Esta seção corresponde à seção 2.1.3 de James et al. (2023).
A seção anterior fechou apontando um preço que a flexibilidade cobra além do dado que ela exige: um modelo que se adapta tão de perto ao que observou fica mais difícil de ler — não sobra um coeficiente único para dizer quanto vale cada preditor. Esse preço não é acidente de um exemplo: é um padrão que atravessa o aprendizado estatístico inteiro, e vale a pena nomear com precisão antes de seguir adiante.
O compromisso: acertar mais, entender menos
De um lado da escolha ficam os métodos rígidos: a regressão linear que a seção anterior ajustou a Income2 reduz a superfície inteira a um punhado de coeficientes, e é justamente por ter tão pouco a ajustar que cada um deles se lê de cara — “mais um ano de escolaridade vale tanto de renda”. Do outro lado ficam os métodos flexíveis: o k-NN não guarda coeficiente nenhum para apontar, só uma vizinhança que muda de ponto a ponto; levado ao extremo — um único vizinho, em vez de vários —, ele nem chega a aprender relação nenhuma, e decora as respostas que já tinha, como a seção anterior mostrou. Descrever o que um k-NN “aprendeu” sobre a relação entre escolaridade, senioridade e renda exige desenhar a superfície inteira, não escrever uma frase.
O padrão geral é esse: quanto mais flexível o método, mais formas de f ele consegue acompanhar — e por isso costuma prever melhor —, e menos ele se deixa resumir em algo que uma pessoa lê e repete. Não é uma lei sem exceção, mas é forte o bastante para orientar a escolha de método antes mesmo de olhar o dado: acertar mais e entender menos costumam vir no mesmo pacote.
Por que escolher o menos flexível de propósito
Se a flexibilidade costuma vir com mais precisão, por que alguém abriria mão dela? Duas razões, e nenhuma das duas é conservadorismo.
A primeira é a pergunta que se está fazendo. A seção 7.2 distinguiu predição de inferência: prever só pede que Ŷ saia perto de Y; inferir pede entender a forma de f — que preditor pesa mais, em que direção, com que força. Um método flexível pode prever tão bem quanto promete e ainda assim não servir para essa segunda pergunta: se a única forma de descrever o que ele fez é reproduzir o código inteiro, não há como apontar nele “isto é o que empurra a resposta para cima”. Quando a pergunta é de inferência, um modelo que acerta e não se deixa explicar simplesmente não responde ao que foi perguntado — por melhor que seja a precisão dele.
A segunda é a quantidade de dado disponível. A seção anterior também mostrou o preço que a flexibilidade cobra em dado: pouco dado não basta para uma superfície livre aprender a relação verdadeira, e o que ela aprende no lugar é o ruído específico daquela amostra pequena — a armadilha que ali ficou batizada de overfitting. Com pouco dado, o método flexível não chega nem a entregar a precisão que prometia: erra menos no que já viu e mais no que ainda vai ver. Um método rígido, nesse caso, não é a segunda opção por cautela — pode ser a única que entrega alguma precisão de verdade.
Escolher o menos flexível de propósito
Por quê
A pergunta é de inferência
um ajuste que não se lê não responde “o que explica a resposta”, mesmo acertando
O dado é pouco
o método flexível não tem com que aprender a relação — decora a amostra em vez disso
O mapa: flexibilidade contra interpretabilidade
Colocando lado a lado alguns dos métodos que este material ainda vai ver — regressão linear, lasso, árvores de decisão, ensembles como bagging e boosting, k-vizinhos mais próximos e redes neurais —, o padrão desta seção aparece como duas pontas de um mesmo eixo: de um lado, métodos rígidos o bastante para se ler o efeito de cada preditor; do outro, métodos livres o bastante para acompanhar qualquer forma que o dado tenha.
Não há dado nenhum por trás do mapa a seguir — nenhum experimento mediu “flexibilidade” ou “interpretabilidade” em unidade nenhuma. É uma comparação relativa entre famílias de método, do jeito que a literatura de aprendizado estatístico costuma desenhar: útil para orientar uma escolha antes de ajustar qualquer coisa, não um número a se citar depois.
Figura 38.1: Flexibilidade contra interpretabilidade — um mapa qualitativo, sem unidade em nenhum dos dois eixos: a posição de cada método é uma comparação relativa entre famílias, não uma coordenada medida sobre dado nenhum.
Lasso e regressão linear ficam no canto rígido e legível. Redes neurais e ensembles como bagging e boosting ficam no canto oposto, onde mora a precisão que costumam entregar. Árvore de decisão e k-vizinhos mais próximos ficam no meio — nem tão fechados quanto uma reta, nem tão opacos quanto uma rede ou um ensemble —, e é essa posição relativa, não um valor fixo, que este material vai reencontrar quando cada método ganhar o espaço que merece.
Nenhum desses métodos é explicado aqui — cada um tem, à frente, o capítulo que lhe cabe. O que fica desta seção é a posição relativa e o motivo para levá-la a sério: antes de escolher qual construir, vale perguntar que pergunta se está fazendo e quanto dado se tem, porque as duas respostas empurram a escolha para lados opostos do mesmo mapa.
Flexibilidade e interpretabilidade não são o único par de eixos que decide qual método usar. Há uma pergunta anterior a essa: existe uma resposta para aprender contra, ou só um conjunto de preditores sem rótulo nenhum? É essa distinção — entre aprendizado supervisionado e não supervisionado — que a próxima seção faz.
James, Gareth, Daniela Witten, Trevor Hastie, Robert Tibshirani, e Jonathan Taylor. 2023. An Introduction to Statistical Learning with Applications in Python. Springer.
