Warum die meisten veröffentlichten Forschungsergebnisse falsch sind — John Ioannidis und die Replikationskrise

John Ioannidis war ein griechisch-amerikanischer Arzt und Wissenschaftler, ausgebildet in Harvard und Tufts, mit einem PhD in Biopathologie. Am 30. August 2005 veröffentlichte er in PLOS Medicine eine Arbeit mit dem Titel „Why Most Published Research Findings Are False“. Sie wurde der meistabgerufene Artikel in der Geschichte von PLOS, mit über 3 Millionen Aufrufen. Ioannidis argumentierte, dass ein Forschungsergebnis weniger wahrscheinlich wahr ist, wenn Studien klein sind, Effektgrößen klein sind, viele Beziehungen getestet werden und finanzielle Interessen bestehen.

Die Arbeit zeigte systematisch, wie die wissenschaftliche Methode durch ihre eigenen Anreize untergraben wurde. Fachzeitschriften wollten neuartige positive Befunde, also produzierten Forschende sie — oft durch p-Hacking, selektive Berichterstattung und kleine, unzureichend aussagekräftige Studien. Ioannidis katalogisierte später 235 Verzerrungen in der biomedizinischen Forschung und stellte fest, dass mindestens 1 von 6 viel zitierten Gesundheitsstudien später widerlegt wurde. In der Ökonomie waren nahezu 80 % der berichteten Effekte übertrieben, typischerweise um den Faktor zwei, wobei ein Drittel um vier oder mehr aufgebläht war.

Die Arbeit machte Ioannidis zu einer zentralen Figur in der Replikationskrise, die Psychologie, Medizin, Ökonomie und Neurowissenschaften erfasste. Er war Mitautor des Manifesto for Reproducible Science und leitete als Co-Direktor das Meta-Research Innovation Center at Stanford (METRICS). Die Krise legte ein System offen, das jahrzehntelang falsche Befunde produziert hatte — nicht wegen Betrugs, sondern weil die Anreize die falsche Art von Wissenschaft belohnten.

Ioannidis bewies, dass Anreize falsch-positive Ergebnisse garantierten: kleine Studien, p-Hacking und selektive Berichterstattung machten die meisten Befunde falsch und kosteten 3 Millionen Leserinnen und Leser ihr Vertrauen.

Akademische Fachzeitschriften bevorzugen neuartige positive Befunde, nicht Replikationen oder Nullergebnisse. Forschende reagieren, indem sie produzieren, was die Zeitschriften wollen — p-Hacking, selektive Berichterstattung und kleine Studien.

Die statistische Power ist in den meisten veröffentlichten Studien zu gering, um die behaupteten Effekte zu erkennen. Eine Studie mit 20 % Power hat eine 80-prozentige Chance, einen realen Effekt zu verfehlen — kann aber dennoch ein falsch-positives Ergebnis liefern.

Die Zahl konkurrierender Teams in einem Feld vervielfacht die Falsch-positiv-Rate. Wenn 100 Teams dieselbe Hypothese testen, werden 5 allein durch Zufall ein signifikantes Ergebnis finden — und diese 5 werden veröffentlicht.

Finanzielle Interessenkonflikte sind allgegenwärtig. Von der Industrie finanzierte Studien berichten wahrscheinlicher positive Ergebnisse, und die Verzerrung ist bereits in das Design eingebaut, nicht nur in die Berichterstattung.

Wenn das System neuartige positive Befunde stärker belohnt als rigorose Methoden, sind falsche Ergebnisse unvermeidlich. Die Krise war kein Versagen einzelner Wissenschaftlerinnen und Wissenschaftler — sie war ein Versagen des Systems.

Die Replikationskrise führte zu wichtigen Reformen: Vorregistrierung von Studien, Registered Reports (Fachzeitschriften nehmen Arbeiten an, bevor die Ergebnisse bekannt sind), Pflichten zur Datenfreigabe und Replikationsinitiativen. Das Reproducibility Project fand, dass nur 36 % von 100 wegweisenden psychologischen Studien repliziert werden konnten. Ioannidis wurde zu einem der weltweit meistzitierten Wissenschaftler, mit einem h-Index von 278. Seine Arbeit veränderte die Art und Weise, wie Wissenschaftlerinnen und Wissenschaftler über Evidenz, statistische Power und systemische Mängel in der Forschung denken. Die Krise dauert an, doch das Bewusstsein, das er schuf, veränderte die Wissenschaft dauerhaft.