Flexibilidade e Erro

o dado e o ajuste

calculando os 60 ajustes…

MSE de treino e de teste

flexibilidade

a decomposição do MSE de teste

Onde o ajuste está λ

graus de liberdade: —
λ: —
MSE de treino: —
MSE de teste: —

O MSE de teste aqui é o esperado, em forma fechada — não a média sobre um conjunto sorteado. Por isso ele não oscila, e por isso não pode furar o piso por sorte da amostra.

A decomposição

variância: —
viés²: —
Var(ε): —
soma: —

A soma é o MSE de teste, exatamente — não é aproximação. Mova a flexibilidade e veja viés² cair enquanto variância sobe; o mínimo da curva em U é onde essa troca para de compensar.

Ruído σ

σ é escolhido por quem simula, então Var(ε) = σ² é conhecido — e é a linha tracejada que a curva de teste não cruza. Mexa aqui e veja o piso subir junto com a curva inteira: a parte do erro que nenhum ajuste alcança. E repare para onde o mínimo anda: quanto mais ruído, menos flexibilidade compensa, porque cada grau de liberdade a mais passa a comprar mais variância pelo mesmo viés.