CLAYTON, Aubrey. Bernoulli's fallacy: Statistical illogic and the crisis of modern science. Columbia University Press, 2021.
Sumário:
Introdução 1
1. O que é probabilidade? 20
1.1 A resposta clássica
1.2 A interpretação frequentista
1.3 A interpretação subjetiva
1.4 A resposta axiomática
1.5 Probabilidade como lógica: a síntese
1.6 A diferença entre validade e verdade
1.7 O paradoxo do menino ou menina
1.8 O problema de Monty Hall
1.9 O que a probabilidade não é
2. A falácia titular 69
2.1 A barganha de Bernoulli
2.2 Um acidente na fábrica de doces
2.3 A ocorrência certa de eventos improváveis
2.4 Probabilidade e o paranormal
2.5 Reductio ad so what?
2.6 Negligência da taxa base
2.7 A falácia do promotor
2.8 Um erro com muitos nomes
3. A ponte da curva de sino de Adolphe Quetelet 107
3.1 O homem muito distante da média
3.2 "Nosso método"
3.3 Quetelismus
3.4 O nascimento do frequentismo
3.5 O problema da ignorância perfeita
4. A jihad frequentista 131
5. A lógica entre aspas das estatísticas ortodoxas 179
6. A crise/oportunidade da replicação 240
7. A saída 281
Introdução
Os métodos da estatística moderna—ferramentas de análise de dados ensinadas rotineiramente em escolas e universidades, substantivos e verbos da linguagem comum de inferência estatística falada em laboratórios de pesquisa e escrita em periódicos, resultados teóricos de milhares de anos-pessoa de esforço—são baseados em um erro lógico. Esses métodos não estão errados de forma menor, no sentido de que a física newtoniana é tecnicamente apenas uma aproximação de baixa velocidade e gravidade constante da verdade, mas ainda nos permite construir pontes e trens com sucesso. Eles são simplesmente e irremediavelmente errados. Eles são logicamente falidos, com consequências graves para o mundo da ciência que depende deles. À medida que algumas áreas da ciência se tornaram cada vez mais orientadas por dados e estatísticas, essas falhas fundamentais começaram a aparecer na forma de uma crise de reprodutibilidade que ameaça derrubar disciplinas inteiras de pesquisa. No cerne do problema está um mal-entendido fundamental da quantificação da incerteza—ou seja, probabilidade—e seu papel na obtenção de inferências a partir de dados.
Para esclarecer antes de irmos mais longe, não pretendo que a declaração anterior seja interpretada como “anti-ciência” ou mesmo como uma acusação contra os estabelecimentos da ciência: seus periódicos, laboratórios, departamentos universitários, etc. Apesar de todos os seus problemas, a ciência permanece, nas palavras de Carl Sagan, uma “vela no escuro”. É o melhor princípio organizador que a humanidade tem para o pensamento disciplinado e cético, sob constante ameaça tanto de interesses monetários resistentes às suas descobertas quanto das forças da superstição e pseudociência. O que espero alcançar, mais do que qualquer coisa, é inspirar os cientistas a voltar esse olhar cético para dentro e examinar criticamente a sabedoria recebida de como os argumentos estatísticos são construídos—para tornar esses argumentos mais fortes e melhores. Meu objetivo é empurrar a ciência em direção à melhoria por seu próprio bem—para tornar a vela mais brilhante, não para apagá-la.
Há também grandes áreas da ciência às quais essas críticas não serão muito prejudiciais, se é que serão—áreas como a física de partículas, que são dominadas ou pela teoria ou por métodos experimentais que não dependem muito de técnicas estatísticas. Aqui está outra oportunidade de crescimento. Já que a probabilidade e a estatística são a linguagem unificada da incerteza—um ingrediente comum em todas as disciplinas observacionais—parece natural que as técnicas estatísticas, devidamente reconstituídas, devam desempenhar um papel em todas as pesquisas. Como esses métodos estão atualmente, porém, os cientistas estão certos em evitá-los, se possível; as áreas de pesquisa, especialmente em ciências sociais, que mais os usaram são as que agora estão pagando os maiores custos em resultados irreproduzíveis.
No entanto, não quero correr o risco de subestimar o tamanho do problema ou sua importância. O problema é enorme; abordá-lo exigirá desfazer mais de um século de pensamento estatístico e mudar o vocabulário básico da análise de dados científicos. O crescimento dos métodos estatísticos representa talvez a maior transformação na prática da ciência desde o Iluminismo. A sugestão de que a lógica fundamental subjacente a esses métodos está quebrada deve ser aterrorizante. Desde que fui exposto a essa ideia pela primeira vez, há quase quinze anos, passei quase todos os dias pensando, lendo, escrevendo e ensinando outros sobre probabilidade e estatística, vivendo com o duplo medo de que essa proposta radical à qual me comprometi pudesse estar errada e que pudesse estar certa.
Eu primeiro tive a sensação de que algo estava errado quando, como estudante de pós-graduação, tentei usar estatísticas para ganhar dinheiro apostando em basquete. Eu estava mais ou menos na metade do meu doutorado em matemática na Universidade da Califórnia, em Berkeley, quando percebi que não fazia ideia do que estava fazendo. Minha área de pesquisa era a teoria matemática da probabilidade, basicamente uma versão amplificada dos problemas que todos nós fizemos no ensino médio onde você tira bolas coloridas de um jarro. Eu já havia estudado probabilidade em nível de pós-graduação por alguns anos naquele momento e estava cheio de conhecimento teórico. Eu amava o assunto. Nas paredes do meu quarto de apartamento, colei folhas de papel de caderno nas quais escrevi a declaração de cada teorema do meu livro-texto do primeiro ano de pós-graduação e um esboço da prova de cada um. Dei palestras em seminários departamentais e estava fazendo um progresso lento, mas constante, para resolver o problema que seria o ponto central da minha dissertação, uma questão particularmente desagradável sobre um processo aleatório vivendo em um espaço de dimensão infinita. Eu achava que sabia muito sobre probabilidade.
Em uma festa de Ano Novo no final de 2005, encontrei meu amigo Brian, que havia deixado o programa de matemática em Berkeley para trabalhar em uma empresa que fabricava máquinas de vídeo pôquer. Seu trabalho era ser responsável pela matemática—especificamente, pelas probabilidades. As regulamentações de jogos exigem que as máquinas conformem a regras rígidas sobre a frequência com que pagam, para que as empresas não possam enganar os jogadores, por exemplo, fazendo com que as máquinas distribuam um flush real apenas metade das vezes que deveriam. Brian era responsável por testar o código do computador dentro das máquinas para garantir que funcionassem corretamente. Matematicamente, era algo bem trivial, mas era o tipo de trabalho em que você tinha que ter certeza absoluta de que estava certo.
Brian também gostava de jogar. Isso foi no auge do boom do Texas hold 'em em meados dos anos 2000. De repente, parecia que todos estavam jogando pôquer online e em suas mesas de jantar. Eu ficava particularmente frustrado com a sabedoria convencional de que qualquer pessoa com formação em matemática poderia ficar rica jogando pôquer. Eu tinha sonhos de largar a escola e ganhar dinheiro fácil jogando pôquer profissionalmente. "É tudo apenas probabilidade", todos diziam. Mas, apesar da minha expertise em probabilidade, eu sempre fui um jogador muito ruim. Eu posso provar que uma estratégia ótima única para essa situação existe, mas não tenho ideia de qual seja, pensava enquanto via minha pilha de fichas diminuir lentamente até desaparecer. Normalmente, do outro lado das minhas fichas estavam pessoas como Brian, que de alguma forma conseguiam fazer os cálculos mentais que lhe davam uma vantagem.
Naquela véspera de Ano Novo, no entanto, em vez de pôquer, ele queria falar sobre basquete. Brian também gostava de apostar em esportes e notou o que achava ser uma chance de ganhar dinheiro nos mercados de apostas online da NBA. Existem dois tipos de apostas que você pode fazer em qualquer jogo de basquete: qual equipe vai ganhar e se o total de pontos do jogo, somando os pontos de ambas as equipes, será maior ou menor que um valor chamado over/under. Às vezes, você também pode combinar várias apostas, o que significa que você ganha se todas as suas previsões se realizarem. Normalmente, as pessoas usam uma combinação para apostar em mais de um jogo ao mesmo tempo, mas Brian notou que você também poderia combinar as duas possíveis apostas, vencedor e over/under, no mesmo jogo. Então, se o Dallas Mavericks estivesse jogando contra o Los Angeles Lakers, você poderia apostar, por exemplo, que os Mavericks venceriam e que o total de pontos seria menor que 200. O problema, assim como a oportunidade, era que os sites de apostas sempre calculavam as odds para apostas combinadas como se as partes componentes fossem independentes, o que significa que assumiam que a probabilidade de ambas as coisas acontecerem era o produto das duas probabilidades separadas, como tirar um 6 duas vezes seguidas com um dado justo. Para Brian, isso não parecia certo. Ele sabia uma coisa ou outra sobre basquete, e parecia-lhe que as forças e fraquezas das equipes se manifestariam de uma forma que poderia afetar essas apostas. Em teoria, isso poderia permitir algumas apostas vantajosas porque os pagamentos das combinações poderiam ser maiores do que deveriam, em média.
Brian havia adquirido dados de vários anos de jogos e perguntou se eu poderia dar uma olhada para ver se ele estava certo. Fiquei feliz em tentar (eu ainda fantasiava largar a pós-graduação e ficar rico rapidamente, de alguma forma), mas percebi rapidamente que não sabia realmente como responder à pergunta. Como estudante de graduação, eu havia feito um curso secundário em estatística, a disciplina irmã da probabilidade, e lembrava o suficiente para identificar quais eram as ferramentas padrão para esse tipo de problema. Mas quanto mais pensava sobre isso, mais percebia que não entendia realmente o que essas ferramentas faziam—ou mesmo por que eram as ferramentas padrão em primeiro lugar. Cheguei a uma resposta, embora não pudesse ter certeza de que era a certa, e Brian e eu lucramos apostando na NBA naquele ano.
O problema do basquete continuava a me incomodar. Nosso sucesso provava conclusivamente que nossa teoria estava correta, ou apenas tivemos sorte? Os argumentos estatísticos que apoiavam a teoria ainda não faziam muito sentido para mim. A natureza da associação que estávamos tentando explorar era probabilística. Não era garantido que um determinado time venceria se o jogo tivesse uma pontuação baixa; só precisávamos que fosse mais provável do que os bookmakers creditavam. Mas como eu poderia dizer a partir dos dados se algo era realmente mais provável? Eu talvez pudesse ver se uma certa combinação de resultados aconteceu mais frequentemente do que o esperado, mas sempre havia ruído nos dados. Como eu poderia dizer se os resultados que via eram apenas produto da variação aleatória e não verdadeiramente evidência de um efeito real?
Esta é, vale dizer, exatamente o tipo de pergunta que as técnicas padrão da estatística são projetadas para responder—e não apenas para apostas esportivas. Desde a década de 1920, esses têm sido os métodos de referência para analisar dados em todas as situações concebíveis. Técnicas como o teste de significância são supostas para dizer se um fenômeno que você observa nos dados é real ou apenas produto do acaso. Elas nunca respondem à pergunta de forma definitiva de uma maneira ou de outra, mas existem certas regras práticas. Se uma divergência (no sentido que for apropriado para o problema em questão) tão grande quanto ou maior do que a que você viu deveria acontecer apenas com probabilidade de 5 por cento, então o conselho geral é rejeitar o acaso como uma explicação.
Nenhum comentário:
Postar um comentário