O que é Ciência de Dados?
Esta seção corresponde a What Is Data Science?, do capítulo 1 de Grus (2019).
Há uma piada que diz que um cientista de dados é alguém que sabe mais estatística que um cientista da computação e mais computação que um estatístico. Ninguém disse que era uma piada boa.
O problema que ela aponta, porém, é real: não existe definição de ciência de dados com a qual todo mundo concorde. Alguns profissionais da área são, para todos os efeitos práticos, estatísticos; outros são indistinguíveis de engenheiros de software. Alguns são especialistas em aprendizado de máquina; outros nunca treinaram um modelo. Alguns têm doutorado e lista de publicações; outros nunca leram um artigo acadêmico. Escolha qualquer definição e você vai encontrar gente competente da área para quem ela está completamente errada.
Isso não nos impede de tentar. A que Grus (2019) propõe, e que serve bem a esta disciplina, é curta:
Um cientista de dados é alguém que extrai conhecimento a partir de dados bagunçados.
Duas palavras fazem o trabalho pesado nessa frase. Bagunçados, porque dado limpo é a exceção — o mundo real entrega ausências, duplicatas, erros de digitação, unidades trocadas e categorias que mudaram de nome no meio da série. E conhecimento, porque o produto não é o modelo nem o gráfico: é alguém entendendo algo que não entendia antes.
Um caso extremo dos dois adjetivos. Para fotografar um buraco negro seria preciso um telescópio do tamanho da Terra. O Event Horizon Telescope não tem isso: tem oito radiotelescópios espalhados pelo planeta, e entre eles um oceano de nada. O dado que chega é esburacado, ruidoso e insuficiente — infinitas imagens diferentes são compatíveis com ele.
A primeira imagem de um buraco negro, publicada em 2019, é uma reconstrução a partir desse dado. E a parte mais instrutiva do trabalho não foi o algoritmo: foi a bateria de testes montada para garantir que o anel na imagem viesse dos dados, e não das suposições embutidas no método. A equipe reconstruiu a imagem por caminhos independentes, e só acreditou quando todos chegaram ao mesmo lugar.
Vale assistir ao TED de Katie Bouman sabendo de uma coisa: ele é de 2017, e a imagem só saiu em 2019. Ela explica como pretendiam fazer — e depois fizeram.
O que a área faz na prática
A melhor forma de entender é olhar o que as pessoas de fato fazem com isso. Os exemplos abaixo vêm de Grus (2019) — são de meados da década de 2010, e vale ler com essa data em mente:
O site de relacionamentos OkCupid pede que seus membros respondam a milhares de perguntas para encontrar bons pares. Mas também analisa essas respostas para descobrir quais perguntas aparentemente inocentes revelam mais sobre o comportamento de alguém num primeiro encontro.
O Facebook pede que você informe cidade natal e cidade atual, ostensivamente para facilitar que amigos o encontrem. Também usa esses dados para mapear padrões globais de migração e para descobrir onde moram as torcidas de cada time.
A varejista Target acompanha compras e interações, na loja e online, e usa esses dados para modelar quais clientes provavelmente estão grávidas — e assim antecipar a oferta de produtos infantis.
Em 2012, a campanha de Obama empregou dezenas de cientistas de dados para identificar eleitores que precisavam de atenção extra, calibrar pedidos de doação e concentrar esforços de mobilização onde renderiam mais. Em 2016, a campanha de Trump testou uma variedade impressionante de anúncios online e analisou os dados para descobrir o que funcionava.
E, antes que o quadro fique sombrio demais: parte da área usa as mesmas técnicas para tornar governos mais eficazes, ajudar pessoas em situação de rua e melhorar a saúde pública.
Alguns exemplos mais recentes e mais próximos, para completar o quadro:
No Brasil, o Cadastro Único e as bases do SUS são usados para dimensionar políticas públicas, detectar surtos e planejar campanhas de vacinação — um trabalho que é, tecnicamente, o mesmo do exemplo da Target, com finalidade diferente.
Sistemas de recomendação decidem o que você vê em plataformas de vídeo, música e comércio. A parcela do consumo dessas plataformas que vem de recomendação, e não de busca, é grande o bastante para que o algoritmo molde a demanda em vez de apenas respondê-la.
Modelos de linguagem treinados sobre texto raspado da internet passaram, nos últimos anos, de curiosidade acadêmica a ferramenta cotidiana. Por baixo do que parece mágica está muito do que esta disciplina ensina: gradiente descendente, redes neurais, e uma quantidade absurda de dados.
A descoberta de medicamentos passou a usar triagem por modelo: em vez de testar moléculas no laboratório uma a uma, treina-se um classificador com os poucos milhares já testados e usa-se ele para varrer milhões de candidatas, deixando para o laboratório só as mais promissoras. Foi assim que se chegou à halicina e à abaucina, depois de décadas sem classes novas de antibiótico.
Crédito, seguro e triagem de currículos são cada vez mais decididos por modelos. Quando um modelo desses erra, ele erra de forma sistemática e em escala — e a pessoa afetada raramente tem a quem recorrer.
A mesma técnica, finalidades opostas
Vale reparar numa coisa que atravessa a lista inteira.
Prever quem está grávida para vender fraldas e prever quem está em risco para oferecer atendimento de saúde são, do ponto de vista técnico, o mesmo problema: classificação a partir de dados de comportamento. O algoritmo não sabe a diferença. O código é praticamente o mesmo.
A técnica não carrega a finalidade dentro de si. Quem carrega é quem a aplica.
Isso significa que aprender esses métodos não torna ninguém capaz de decidir se deve usá-los — essa é uma pergunta diferente, e ela não tem resposta técnica. Mas o contrário também vale: quem não entende o método não tem como avaliar o que ele está fazendo, e fica dependendo da palavra de quem o vendeu.
É por isso que vale abrir as caixas-pretas.
Um caso brasileiro, com os dados abertos
O Projeto Acesso a Oportunidades, do Ipea, responde a uma pergunta que parece simples e não é: quantos empregos, escolas e serviços de saúde uma pessoa alcança a partir de onde mora — em 15, 30, 60 ou 120 minutos, a pé, de bicicleta, de carro ou de transporte público.
Responder isso exige juntar bases que não foram feitas para conversar: onde as pessoas moram, desagregado por renda, idade, sexo e cor; onde estão os empregos, as escolas, os hospitais e os centros de assistência social; e como o transporte público de fato circula, linha por linha e horário por horário. Cada cidade é recortada numa grade fina de hexágonos, e a conta é refeita para cada hexágono.
O retrato que sai dali é o que a média da cidade esconde. A população branca e de alta renda alcança, em média, mais oportunidades de trabalho, saúde e educação do que a população negra e pobre em todas as cidades estudadas, qualquer que seja o modo de transporte. Não é peculiaridade de uma cidade nem artefato de um modo: é padrão.
Três coisas fazem deste um bom exemplo para esta disciplina.
Os dados e o código são públicos. Dá para baixar tudo, refazer a conta e discordar — inclusive com o pacote que o próprio projeto publicou para facilitar isso. Resultado que não se pode conferir é opinião com aparência de número.
O trabalho pesado não está no modelo. Está em obter, limpar e cruzar as bases — e é assim na maior parte dos projetos reais, por mais que a parte de modelagem seja a mais divertida.
O dado disponível limita a pergunta. As estimativas por transporte público só existem para as cidades que forneceram dados de horários em qualidade aceitável. As outras ficaram de fora, não por desinteresse, mas porque o dado não existia em condição de uso. Essa é uma restrição que aparece cedo em qualquer trabalho sério, e ela não se resolve com método melhor.
As três partes
Um diagrama bastante conhecido na área coloca a ciência de dados na interseção de três coisas:
- Habilidade de programação — obter, limpar, transformar e manipular dados
- Matemática e estatística — decidir o que os dados sustentam e o que não sustentam
- Conhecimento do domínio — saber quais perguntas valem a pena e o que uma resposta significa
Esta disciplina trabalha as duas primeiras. A terceira não cabe num livro, porque depende do domínio: quem analisa dados de saúde precisa saber medicina, quem analisa dados de crédito precisa saber de finanças, e nenhum curso ensina as duas.
Mas vale registrar o que acontece quando a terceira falta. Sem conhecimento de domínio, é perfeitamente possível construir um modelo tecnicamente impecável para uma pergunta que não fazia sentido, ou aceitar como descoberta um padrão que qualquer pessoa da área reconheceria como artefato de coleta. A parte que este livro não ensina é a que costuma decidir se o trabalho presta.
O caminho usual não é aprender o domínio sozinho — é trabalhar junto de quem o conhece, e levar a sério quando essa pessoa diz que um resultado parece estranho. Um resultado que surpreende o especialista é, muito mais frequentemente, um erro de processamento do que uma descoberta.