존경받는 심리학자가 초감각 지각(ESP)의 증거를 발표하다 — 재현성 위기가 탄생하다

2011년, 1960년대 자기지각 이론으로 알려진 존경받는 코넬 대학교 심리학자 대릴 벰은 《성격 및 사회심리학 저널》에 예지 — 미래를 감지하는 능력 — 의 증거를 주장하는 논문을 발표했다. 그 논문은 참가자들이 무작위 미래 사건을 통계적으로 유의하게 예상한 아홉 개의 실험을 보고했다.

그 논문은 동료 심사를 통과했고 심리학에서 가장 권위 있는 저널 중 하나에 게재되었다. 그 발견은 전 세계적으로 'ESP를 입증한 연구'로 보도되었다. 벰은 신중한 통제를 갖추어 실험을 설계했지만, 효과는 작았고 통계는 관례적이지 않았다 — 그는 단측 검정을 사용했고 데이터를 본 후에 선택한 분석들을 포함시켰다.

재현 시도는 일관되게 실패했다. 2016년까지 90건이 넘는 재현 시도가 예지의 증거를 찾지 못했다. 벰 사례는 재현성 위기의 이정표가 되었다: 최상위 대학의 존경받는 연구자가 최상위 저널에 ESP를 게재할 수 있었다면, 동료 심사 체계는 마땅히 잡아내야 할 것을 잡아내지 못하고 있었던 것이다.

벰의 단측 검정과 사후 분석은 약한 증거를 유의해 보이게 만들었고, 동료 심사는 평판을 신뢰했기에, 90건이 넘는 재현이 실패했다.

벰의 논문은 약한 증거를 유의해 보이게 만드는 관례적이지 않은 통계 방법 — 단측 검정과 사후 분석 — 을 사용했고, 동료 심사는 그 문제들을 잡아내지 못했다.

그 저널은 사전등록이나 완전한 방법론적 투명성을 요구하지 않고 선정적인 발견을 게재했으며, 증거의 견고함 대신 연구자의 평판을 신뢰했다.

언론은 단일 논문을 'ESP는 실재한다'로 확대했기에, 수년 후 그 발견의 철회는 원래의 주장보다 훨씬 적은 주목을 받았다.

주장이 비범하다면, 통계도 비범해야 한다. 방법보다 평판을 신뢰하는 동료 심사는 존경받는 심리학자가 ESP의 증거를 발표하게 되는 방식이다.