なぜ公表された研究の大半は誤りなのか — ジョン・イオアニディスと再現性の危機

ジョン・イオアニディスは、ハーバード大学とタフツ大学で訓練を受けたギリシャ系アメリカ人の医師・科学者であり、生物病理学の博士号を持つ。2005年8月30日、彼はPLOS Medicineに「なぜ公表された研究結果の大半は誤りなのか」と題する論文を発表した。これはPLOS史上最もアクセスされた記事となり、300万回以上閲覧された。イオアニディスは、研究が小規模である場合、効果量が小さい場合、検証される関係が多数である場合、そして金銭的利益が存在する場合には、研究結果が真である可能性が低くなると論じた。

この論文は、科学的方法がそれ自体のインセンティブによってどのように損なわれているかを体系的に示した。学術誌は新規で肯定的な知見を求めたため、研究者はそれを生み出した — しばしばpハッキング、選択的報告、検出力の低い小規模研究によって。イオアニディスは後に生物医学研究における235のバイアスを目録化し、広く引用される健康研究の少なくとも6件に1件は後に否定されたことを見出した。経済学では、報告された効果のほぼ80%が誇張されており、典型的には2倍、3分の1は4倍以上に膨らんでいた。

この論文により、イオアニディスは心理学、医学、経済学、神経科学を席巻した再現性の危機における中心人物となった。彼は「再現可能な科学のためのマニフェスト」の共著者であり、スタンフォード大学のメタ研究イノベーションセンター（METRICS）の共同所長を務めた。この危機は、数十年にわたり誤った知見を生み出してきたシステムを露呈した — 不正によるものではなく、インセンティブが誤った種類の科学に報いてきたためである。

イオアニディスは、インセンティブが偽陽性を保証することを証明した。小規模研究、pハッキング、選択的報告が大半の知見を誤りとし、300万人の読者の信頼を犠牲にした。

学術誌は再現や帰無結果ではなく、新規で肯定的な知見を好む。研究者は学術誌が求めるものを生み出すことで応じる — pハッキング、選択的報告、小規模研究である。

公表された研究の大半における統計的検出力は、主張される効果を検出するには低すぎる。検出力20%の研究は、真の効果を見逃す確率が80%ある — それでも偽陽性を生み出しうる。

ある分野で競合するチームの数は、偽陽性率を増幅させる。100のチームが同じ仮説を検証すれば、5つは偶然だけで有意な結果を見出す — そしてその5つが公表される。

金銭的利益相反は蔓延している。産業界が資金提供する試験は肯定的な結果を報告する可能性が高く、そのバイアスは報告だけでなく設計に組み込まれている。

システムが厳密な方法よりも新規で肯定的な知見に報いるなら、誤った結果は不可避である。この危機は個々の科学者の失敗ではなかった — システムの失敗であった。

再現性の危機は大きな改革をもたらした。研究の事前登録、登録報告（学術誌が結果判明前に論文を受理する仕組み）、データ共有の義務化、再現イニシアチブである。再現性プロジェクトは、100件の画期的な心理学研究のうち再現できたのは36%のみであることを見出した。イオアニディスは世界で最も引用される科学者の一人となり、h指数は278に達した。彼の仕事は、科学者がエビデンス、統計的検出力、研究におけるシステム的欠陥について考える方法を変えた。危機は続いているが、彼が呼び起こした認識は科学を永久に変えた。