Pourquoi la plupart des recherches publiées sont fausses — John Ioannidis et la crise de la réplication

John Ioannidis était un médecin-chercheur gréco-américain formé à Harvard et Tufts, titulaire d'un doctorat en biopathologie. Le 30 août 2005, il a publié un article dans PLOS Medicine intitulé « Why Most Published Research Findings Are False » (« Pourquoi la plupart des résultats de recherche publiés sont faux »). Il est devenu l'article le plus consulté de l'histoire de PLOS, avec plus de 3 millions de vues. Ioannidis soutenait qu'un résultat de recherche a moins de chances d'être vrai lorsque les études sont petites, que les tailles d'effet sont faibles, que les relations testées sont nombreuses et qu'il existe des intérêts financiers.

L'article montrait systématiquement comment la méthode scientifique était sapée par ses propres incitations. Les revues voulaient des résultats positifs et nouveaux, si bien que les chercheurs en produisaient — souvent par le p-hacking, la déclaration sélective et la réalisation d'études petites et sous-dimensionnées. Ioannidis a ensuite recensé 235 biais dans la recherche biomédicale et constaté qu'au moins 1 étude sur 6 largement citée en santé était ensuite contredite. En économie, près de 80 % des effets rapportés étaient exagérés, généralement d'un facteur deux, un tiers étant gonflé d'un facteur quatre ou plus.

L'article a fait d'Ioannidis une figure centrale de la crise de la réplication qui a traversé la psychologie, la médecine, l'économie et les neurosciences. Il a coécrit le Manifeste pour une science reproductible et codirigé le Meta-Research Innovation Center de Stanford (METRICS). La crise a mis au jour un système qui produisait des résultats faux depuis des décennies — non pas à cause de la fraude, mais parce que les incitations récompensaient le mauvais type de science.

Ioannidis a prouvé que les incitations garantissaient des faux positifs : les petites études, le p-hacking et la déclaration sélective rendaient la plupart des résultats faux, coûtant à 3 millions de lecteurs leur confiance.

Les revues universitaires privilégient les résultats positifs et nouveaux, pas les réplications ni les résultats nuls. Les chercheurs réagissent en produisant ce que les revues veulent — p-hacking, déclaration sélective et petites études.

La puissance statistique de la plupart des études publiées est trop faible pour détecter les effets revendiqués. Une étude avec une puissance de 20 % a 80 % de chances de manquer un effet réel — mais peut néanmoins produire un faux positif.

Le nombre d'équipes concurrentes dans un domaine multiplie le taux de faux positifs. Si 100 équipes testent la même hypothèse, 5 trouveront un résultat significatif par le seul fait du hasard — et ces 5 résultats seront publiés.

Les conflits d'intérêts financiers sont omniprésents. Les essais financés par l'industrie sont plus susceptibles de rapporter des résultats positifs, et le biais est intégré à la conception même, pas seulement à la déclaration.

Lorsque le système récompense les résultats positifs et nouveaux plutôt que des méthodes rigoureuses, des résultats faux sont inévitables. La crise n'était pas un échec des scientifiques individuels — c'était un échec du système.

La crise de la réplication a conduit à d'importantes réformes : le préenregistrement des études, les rapports enregistrés (les revues acceptent les articles avant que les résultats soient connus), les obligations de partage des données et les initiatives de réplication. Le Reproducibility Project a constaté que seulement 36 % de 100 études de psychologie de référence pouvaient être répliquées. Ioannidis est devenu l'un des scientifiques les plus cités au monde, avec un indice h de 278. Ses travaux ont transformé la façon dont les scientifiques pensent les preuves, la puissance statistique et les défauts systémiques de la recherche. La crise se poursuit, mais la prise de conscience qu'il a suscitée a changé la science de façon permanente.