A Ascensão dos Dados
Esta seção corresponde a The Ascendance of Data, do capítulo 1 de Grus (2019).
“Dados! Dados! Dados!”, ele exclamou, impaciente. “Não posso fazer tijolos sem barro.”
— Sherlock Holmes, em As Aventuras de Sherlock Holmes, de Arthur Conan Doyle
Vivemos num mundo que se afoga em dados.
Sites registram cada clique de cada visitante. O celular no seu bolso monta, a cada segundo, um registro de onde você está e a que velocidade se move. Relógios e pulseiras medem batimentos, passos, sono e exercício de gente que decidiu se quantificar. Carros registram hábitos de direção, casas conectadas registram hábitos de morar, e o comércio registra hábitos de comprar.
A própria internet é um grafo gigantesco de conhecimento: uma enciclopédia com referências cruzadas, bases especializadas sobre filmes, música, resultados esportivos, jogos, memes e receitas de coquetéis — e estatísticas governamentais em quantidade maior do que qualquer pessoa consegue acompanhar, produzidas por governos demais.
Enterradas nesses dados estão respostas para incontáveis perguntas que ninguém jamais pensou em fazer. Este livro é sobre como encontrá-las.
A frase do Holmes tem duzentos anos e envelheceu bem: sem dado não há inferência. O que mudou no nosso século não foi a lógica do raciocínio a partir de evidência — foi a quantidade absurda de barro disponível.
Por que agora
Nada disso é consequência de uma descoberta científica recente. A estatística que sustenta boa parte desta disciplina foi desenvolvida entre o século XIX e a primeira metade do XX, muito antes de existir computador. A regressão linear é do século XIX; o teorema de Bayes é de 1763.
O que mudou foram três coisas, e todas são de infraestrutura:
Passou a valer a pena guardar tudo. Armazenamento ficou tão barato que jogar dado fora deixou de ser uma decisão econômica óbvia. Diante da dúvida, guarda-se — e decide-se depois para que serve.
Passou a ser possível processar tudo. Cálculos que exigiriam anos de trabalho manual rodam em segundos. Métodos que os estatísticos do século XX descreveram mas não puderam usar — bootstrap, permutação, simulação — hoje são triviais. Boa parte deles não exige matemática mais sofisticada; exige capacidade de repetir uma conta simples um milhão de vezes.
A vida passou a acontecer em sistemas que registram. Comprar, conversar, se locomover, estudar, trabalhar — quase tudo hoje passa por um software, e software registra. O dado não é mais algo que alguém sai a campo para coletar; é subproduto de coisas que já estavam acontecendo.
O que isso tornou possível
Vale olhar o que apareceu do outro lado dessa mudança. Os três casos abaixo são de áreas que não conversam entre si, e todos são da última década.
Uma proteína, de anos para minutos. Prever a forma tridimensional de uma proteína a partir da sequência de aminoácidos era um problema aberto desde os anos 1970, e determinar uma estrutura em laboratório podia consumir anos. Em 2020 o AlphaFold passou a fazer isso em minutos, e o banco público hoje cobre praticamente todas as cerca de 200 milhões de proteínas conhecidas. O trabalho rendeu o Nobel de Química de 2024.
Um livro que virou carvão em 79 d.C. A erupção do Vesúvio carbonizou uma biblioteca inteira em Herculano. Os rolos sobreviveram, mas não podem ser abertos: desmancham. Em 2023 um estudante de graduação treinou um modelo para distinguir, dentro de uma tomografia, a tinta carbonizada do papiro carbonizado — e leu a primeira palavra em dois mil anos: πορφύρας, “púrpura”. Meses depois o Vesuvius Challenge premiou a recuperação de cerca de dois mil caracteres, e um rolo inteiro já foi lido.
Dez dias de previsão em menos de um minuto. Previsão do tempo sempre foi território de supercomputador resolvendo as equações da física da atmosfera. O GraphCast não resolve equação nenhuma: aprendeu com o histórico. Ficou mais preciso que o modelo de referência mundial em mais de 90% das 1.380 variáveis testadas, e entrega dez dias de previsão em menos de sessenta segundos.
Os três se apoiam no mesmo alicerce, e é exatamente o que você vai construir aqui: representar dado como vetor (Capítulo 4), ajustar parâmetros descendo um gradiente (Capítulo 5) e empilhar essas peças em camadas.
O que separa o exemplo de sala do resultado que ganha Nobel é quantidade de dado, quantidade de máquina e anos de trabalho de muita gente — não um segredo matemático que ninguém te contou.
O que isso não resolve
Essa abundância cria um problema que não existia quando o dado era escasso e caro.
Quando obter dado custava muito, ninguém coletava sem uma pergunta na mão. Hoje é o contrário: o dado chega primeiro e a pergunta vem depois — quando vem. E dado abundante coletado sem propósito tem uma propriedade incômoda: se você procurar tempo suficiente, vai encontrar algum padrão. Sempre encontra. A questão é se aquele padrão diz algo sobre o mundo ou apenas sobre o acaso da sua amostra.
Distinguir esses dois casos é boa parte do que esta disciplina ensina. O problema tem nome — overfitting — e volta em praticamente todo modelo que você vier a ajustar.
Em 2009 o Google anunciou que dava para estimar a atividade de gripe nos Estados Unidos a partir do que as pessoas buscavam — e mais rápido que o órgão oficial de saúde, que dependia de relatórios de médicos chegando com atraso. Funcionou, virou artigo na Nature, e por um tempo foi o retrato do que dado abundante era capaz de fazer.
Depois errou. Não viu chegar a pandemia de gripe de 2009 e, a partir de 2011, superestimou a gripe em 100 de 108 semanas seguidas. Parte da explicação é constrangedoramente banal: buscas sobre basquete escolar sobem na mesma época do ano em que a gripe sobe, e o modelo não tinha como saber que uma coisa não causa a outra.
Os pesquisadores que dissecaram o caso na Science deram nome ao erro de fundo — big data hubris, a suposição implícita de que dado em quantidade suficiente substitui a coleta e a análise cuidadosas, em vez de complementá-las.
Repare que o modelo não estava mal ajustado ao passado. Ele acertava o passado muito bem. É esse o ponto.
Um exemplo clássico e desconfortável: quanto mais variáveis você tem, mais fácil fica achar uma que “explica” o que você quer explicar — inclusive quando não há nada para explicar. Com um conjunto de dados grande o bastante e paciência suficiente, dá para encontrar correlações fortes entre coisas que não têm relação alguma.
Isso não é um defeito dos métodos. É consequência aritmética de testar muitas hipóteses, e tem nome, medida e correção.