출판된 연구 대부분이 거짓인 이유 — 존 이오안니디스와 재현성 위기

존 이오안니디스는 하버드와 터프츠에서 수학한 그리스계 미국인 의사-과학자로, 생물병리학 박사 학위를 보유했다. 2005년 8월 30일 그는 PLOS Medicine에 '출판된 연구 결과 대부분이 거짓인 이유'라는 제목의 논문을 발표했다. 이 논문은 PLOS 역사상 가장 많이 조회된 논문이 되어 300만 회 이상 조회되었다. 이오안니디스는 연구 규모가 작고, 효과 크기가 작으며, 검증되는 관계가 많고, 재정적 이해관계가 존재할 때 연구 결과가 참일 가능성이 낮아진다고 주장했다.

이 논문은 과학적 방법이 그 자체의 인센티브에 의해 어떻게 훼손되고 있는지를 체계적으로 보여주었다. 학술지는 새롭고 긍정적인 결과를 원했고, 연구자들은 종종 p-해킹, 선택적 보고, 검정력이 부족한 소규모 연구를 통해 그러한 결과를 생산했다. 이오안니디스는 이후 생의학 연구에서 235가지 편향을 목록화했으며, 널리 인용된 건강 연구 중 최소 6건 중 1건은 나중에 반박되었다는 사실을 발견했다. 경제학에서는 보고된 효과의 거의 80%가 과장되었는데, 일반적으로 2배 정도였고 3분의 1은 4배 이상 부풀려졌다.

이 논문은 이오안니디스를 심리학, 의학, 경제학, 신경과학을 휩쓴 재현성 위기의 중심 인물로 만들었다. 그는 '재현 가능한 과학을 위한 선언문'의 공동 저자였고 스탠퍼드 메타연구 혁신 센터(METRICS)의 공동 소장을 역임했다. 이 위기는 수십 년 동안 거짓 결과를 생산해 온 시스템을 드러냈다. 그것은 사기 때문이 아니라, 인센티브가 잘못된 종류의 과학에 보상을 주었기 때문이었다.

이오안니디스는 인센티브가 거짓 양성을 보장한다는 것을 입증했다. 소규모 연구, p-해킹, 선택적 보고가 대부분의 결과를 거짓으로 만들었고, 이로 인해 300만 명의 독자가 신뢰를 잃었다.

학술지는 재현이나 무효 결과가 아니라 새롭고 긍정적인 결과를 선호한다. 연구자들은 학술지가 원하는 것을 생산함으로써 이에 대응한다. 즉 p-해킹, 선택적 보고, 소규모 연구다.

출판된 대부분의 연구에서 통계적 검정력은 주장된 효과를 탐지하기에 너무 낮다. 검정력이 20%인 연구는 실제 효과를 놓칠 확률이 80%이지만, 여전히 거짓 양성을 산출할 수 있다.

한 분야에서 경쟁하는 팀의 수는 거짓 양성 비율을 배가시킨다. 100개 팀이 동일한 가설을 검정하면 5개 팀은 우연만으로 유의미한 결과를 찾을 것이고, 그 5개 팀의 결과가 출판될 것이다.

재정적 이해충돌은 만연하다. 산업 자금으로 지원된 임상시험은 긍정적인 결과를 보고할 가능성이 더 높으며, 편향은 보고에만 있는 것이 아니라 설계 자체에 내재해 있다.

시스템이 엄격한 방법보다 새롭고 긍정적인 결과에 보상을 줄 때, 거짓 결과는 불가피하다. 이 위기는 개별 과학자들의 실패가 아니라 시스템의 실패였다.

재현성 위기는 연구 사전 등록, 등록 보고서(학술지가 결과를 알기 전에 논문을 수락하는 제도), 데이터 공유 의무화, 재현 이니셔티브 등 주요 개혁으로 이어졌다. 재현성 프로젝트는 심리학의 획기적 연구 100건 중 36%만이 재현될 수 있음을 발견했다. 이오안니디스는 h-지수 278로 전 세계에서 가장 많이 인용된 과학자 중 한 명이 되었다. 그의 연구는 과학자들이 증거, 통계적 검정력, 연구의 시스템적 결함에 대해 생각하는 방식을 바꾸어 놓았다. 위기는 계속되고 있지만, 그가 촉발한 인식은 과학을 영구적으로 변화시켰다.