Por qué la mayoría de la investigación publicada es falsa: John Ioannidis y la crisis de replicación

John Ioannidis era un médico-científico grecoestadounidense formado en Harvard y Tufts, con un doctorado en biopatología. El 30 de agosto de 2005 publicó un artículo en PLOS Medicine titulado «Why Most Published Research Findings Are False» («Por qué la mayoría de los hallazgos de la investigación publicada son falsos»). Se convirtió en el artículo más consultado en la historia de PLOS, con más de 3 millones de visitas. Ioannidis sostenía que un hallazgo de investigación tiene menos probabilidades de ser verdadero cuando los estudios son pequeños, los tamaños del efecto son pequeños, las relaciones sometidas a prueba son numerosas y existen intereses financieros.

El artículo mostró sistemáticamente cómo el método científico estaba siendo socavado por sus propios incentivos. Las revistas querían hallazgos positivos novedosos, así que los investigadores los producían, a menudo mediante p-hacking, notificación selectiva y la realización de estudios pequeños con potencia insuficiente. Ioannidis catalogó posteriormente 235 sesgos en la investigación biomédica y descubrió que al menos 1 de cada 6 estudios de salud ampliamente citados fueron posteriormente contradichos. En economía, casi el 80% de los efectos notificados estaban exagerados, típicamente por un factor de dos, y un tercio estaban inflados por cuatro o más.

El artículo convirtió a Ioannidis en una figura central de la crisis de replicación que recorrió la psicología, la medicina, la economía y la neurociencia. Fue coautor del Manifiesto por la Ciencia Reproducible y codirector del Centro de Innovación en Meta-Investigación de Stanford (METRICS). La crisis expuso un sistema que había estado produciendo hallazgos falsos durante décadas, no por fraude, sino porque los incentivos recompensaban el tipo equivocado de ciencia.

Ioannidis demostró que los incentivos garantizaban falsos positivos: los estudios pequeños, el p-hacking y la notificación selectiva hacían falsos la mayoría de los hallazgos, lo que costó a 3 millones de lectores su confianza.

Las revistas académicas favorecen los hallazgos positivos novedosos, no las replicaciones ni los resultados nulos. Los investigadores responden produciendo lo que las revistas quieren: p-hacking, notificación selectiva y estudios pequeños.

La potencia estadística en la mayoría de los estudios publicados es demasiado baja para detectar los efectos declarados. Un estudio con una potencia del 20% tiene un 80% de probabilidades de pasar por alto un efecto real, pero aun así puede arrojar un falso positivo.

El número de equipos que compiten en un campo multiplica la tasa de falsos positivos. Si 100 equipos prueban la misma hipótesis, 5 encontrarán un resultado significativo solo por azar, y esos 5 serán publicados.

Los conflictos de intereses financieros son omnipresentes. Los ensayos financiados por la industria tienen más probabilidades de notificar resultados positivos, y el sesgo está integrado en el diseño, no solo en la notificación.

Cuando el sistema recompensa los hallazgos positivos novedosos por encima de los métodos rigurosos, los resultados falsos son inevitables. La crisis no fue un fracaso de científicos individuales, sino un fracaso del sistema.

La crisis de replicación condujo a reformas importantes: el prerregistro de estudios, los informes registrados (las revistas aceptan artículos antes de conocer los resultados), los mandatos de intercambio de datos y las iniciativas de replicación. El Proyecto de Reproducibilidad descubrió que solo el 36% de 100 estudios psicológicos emblemáticos podían replicarse. Ioannidis se convirtió en uno de los científicos más citados del mundo, con un índice h de 278. Su trabajo transformó la forma en que los científicos piensan sobre la evidencia, la potencia estadística y los defectos sistémicos de la investigación. La crisis continúa, pero la concienciación que él despertó cambió la ciencia de forma permanente.