發生了什麼事
約翰·約安尼迪斯(John Ioannidis)是希臘裔美國醫師科學家,曾於哈佛與塔夫茨(Tufts)接受訓練,並取得生物病理學博士學位。2005年8月30日,他在《PLOS Medicine》發表了一篇題為〈為何大多數已發表的研究發現是錯的〉的論文。該文成為PLOS歷史上瀏覽次數最多的文章,觀看次數超過300萬。約安尼迪斯主張,當研究規模小、效應量小、被檢驗的關係數量眾多,且存在財務利益時,一項研究發現為真的可能性就較低。
該論文系統性地說明,科學方法如何被其自身的誘因所侵蝕。期刊想要新穎的正面發現,於是研究者便產出這類發現——往往透過p-hacking、選擇性報告,以及進行統計檢定力不足的小型研究。約安尼迪斯後來編目了生物醫學研究中的235種偏差,並發現廣受引用的健康研究中,至少每6篇就有1篇後來被推翻。在經濟學領域,近80%的報告效應被誇大,通常誇大約兩倍,其中三分之一被誇大四倍或以上。
該論文使約安尼迪斯成為席捲心理學、醫學、經濟學與神經科學的重現危機中的核心人物。他共同撰寫了《可重現科學宣言》,並共同主持史丹佛後設研究創新中心(METRICS)。這場危機揭露了一個數十年來持續產出錯誤發現的體系——並非因為造假,而是因為誘因獎勵了錯誤類型的科學。
代價是什麼
約安尼迪斯證明,誘因必然導致偽陽性:小型研究、p-hacking與選擇性報告使大多數發現都是錯的,讓300萬名讀者失去了信任。
為何會發生
學術期刊偏好新穎的正面發現,而非重現研究或無顯著結果。研究者於是迎合期刊所好——p-hacking、選擇性報告與小型研究。
大多數已發表研究的統計檢定力過低,無法偵測所宣稱的效應。檢定力為20%的研究,有80%的機率會漏掉真實效應——但仍可能產生偽陽性。
一個領域中相互競爭的團隊數量會放大偽陽性率。若有100個團隊檢驗同一個假設,光靠機率就會有5個團隊發現顯著結果——而這5個團隊的研究會被發表。
財務利益衝突普遍存在。產業資助的試驗更可能報告正面結果,而這種偏差內建於研究設計之中,不只是報告層面的問題。
教訓
當體系獎勵新穎的正面發現勝過嚴謹方法時,錯誤結果便無可避免。這場危機不是個別科學家的失敗——而是體系的失敗。
後續發展
重現危機促成了重大改革:研究預先註冊、註冊報告(期刊在結果未知前即接受論文)、資料共享強制要求,以及重現計畫。重現計畫(Reproducibility Project)發現,100項具里程碑意義的心理學研究中,只有36%能夠重現。約安尼迪斯成為全球被引用次數最多的科學家之一,h指數為278。他的研究重塑了科學家對證據、統計檢定力與研究體系性缺陷的思考方式。危機仍在持續,但他所喚起的意識已永久改變了科學。
追溯依據
參考來源
- PLOS Medicine — Why Most Published Research Findings Are False (Ioannidis, 30 Aug 2005; the paper itself) journals.plos.org
- Wikipedia — John Ioannidis en.wikipedia.org