Por que a maioria das pesquisas publicadas é falsa — John Ioannidis e a crise de replicação

John Ioannidis era um médico-cientista greco-americano formado em Harvard e Tufts, com doutorado em biopatologia. Em 30 de agosto de 2005, publicou um artigo na PLOS Medicine intitulado 'Why Most Published Research Findings Are False' ('Por que a maioria dos resultados de pesquisas publicadas é falsa'). Tornou-se o artigo mais acessado da história da PLOS, com mais de 3 milhões de visualizações. Ioannidis argumentou que um resultado de pesquisa tem menos probabilidade de ser verdadeiro quando os estudos são pequenos, os tamanhos de efeito são pequenos, as relações testadas são numerosas e há interesses financeiros presentes.

O artigo mostrou sistematicamente como o método científico estava sendo minado por seus próprios incentivos. As revistas queriam achados positivos e inéditos, então os pesquisadores os produziam — muitas vezes por meio de p-hacking, relato seletivo e estudos pequenos com poder estatístico insuficiente. Ioannidis posteriormente catalogou 235 vieses na pesquisa biomédica e descobriu que pelo menos 1 em cada 6 estudos de saúde amplamente citados foram posteriormente contraditos. Na economia, quase 80% dos efeitos relatados eram exagerados, tipicamente por um fator de dois, com um terço inflado por quatro ou mais.

O artigo fez de Ioannidis uma figura central na crise de replicação que varreu a psicologia, a medicina, a economia e a neurociência. Ele foi coautor do Manifesto for Reproducible Science e codiretor do Meta-Research Innovation Center da Stanford (METRICS). A crise expôs um sistema que vinha produzindo achados falsos há décadas — não por causa de fraude, mas porque os incentivos recompensavam o tipo errado de ciência.

Ioannidis provou que os incentivos garantiam falsos positivos: estudos pequenos, p-hacking e relato seletivo tornavam a maioria dos achados falsa, custando a 3 milhões de leitores a confiança.

As revistas acadêmicas favorecem achados positivos e inéditos, não replicações ou resultados nulos. Os pesquisadores respondem produzindo o que as revistas querem — p-hacking, relato seletivo e estudos pequenos.

O poder estatístico na maioria dos estudos publicados é baixo demais para detectar os efeitos alegados. Um estudo com 20% de poder tem 80% de chance de não detectar um efeito real — mas ainda pode produzir um falso positivo.

O número de equipes concorrentes em um campo multiplica a taxa de falsos positivos. Se 100 equipes testam a mesma hipótese, 5 encontrarão um resultado significativo apenas por acaso — e essas 5 serão publicadas.

Os conflitos de interesse financeiros são generalizados. Ensaios financiados pela indústria têm maior probabilidade de relatar resultados positivos, e o viés está embutido no desenho do estudo, não apenas no relato.

Quando o sistema recompensa achados positivos e inéditos em vez de métodos rigorosos, resultados falsos são inevitáveis. A crise não foi uma falha de cientistas individuais — foi uma falha do sistema.

A crise de replicação levou a grandes reformas: pré-registro de estudos, relatórios registrados (revistas aceitam artigos antes de os resultados serem conhecidos), exigências de compartilhamento de dados e iniciativas de replicação. O Reproducibility Project descobriu que apenas 36% de 100 estudos de psicologia de referência puderam ser replicados. Ioannidis tornou-se um dos cientistas mais citados do mundo, com um índice h de 278. Seu trabalho reformulou a maneira como os cientistas pensam sobre evidências, poder estatístico e falhas sistêmicas na pesquisa. A crise continua, mas a conscientização que ele despertou mudou a ciência permanentemente.