Hace dos años John Ioannidis publicó en PloS Medicine un artículo Why most published research findings are false? en el que se argumentaba de forma impecable que la mayoría o la inmensa mayoría de hallazgos científicos publicados son falsos, porque su certeza sólo es estadística y circunstancial (ver el excelente artículo aparecido en The Econonist). No nos extraña entonces que el texto se lo hayan bajado de la red más de 100.000 veces y que la discusión sobre su contenido no acabe de apagarse (ver, por ejemplo, aquí).

Esta semana última, PLoS Medicine ha vuelto sobre el asunto difundiendo otros dos artículos que exploran esta problemática desde dos perspectivas diferentes y complementarias, ver EurekAlert!. El primero se pregunta cómo evitar una conclusión tan devastadora y, el segundo, explora cómo puede nuestra sociedad seguir habitando entre tantas incertidumbre.Los autores del primero de los artículos mencionados, Ramal Moonesinghe, Muin J. Khoury y J. W. Janssens, están de acuerdo en que el problema tiene que ver con la ausencia (crónica en nuestro tiempo) de estudios que repliquen los experimentos para verificar los resultados.

Y para comprobarlo han hecho un estudio sobre una muestra de 600 publicaciones, cuyos autores daban por buena la existencia de vínculos entre alguna variación genética y alguna enfermedad común. Pero dichas relaciones de causalidad, basadas en hipótesis estadísticamente significativas, son mucho más inciertas de lo suponemos, como se explicó en Marginal Revolution. Hubo 166 artículos que sostuvieron alguno de estos vínculos en 3 o más veces, cuando en la práctica sólo había replicaciones consistentes en sólo 6 casos. Así, los otros 160 artículos mencionaron la correlación variación/enfermedad porque lo habían visto publicado y no porque lo comprobaron.

Este Ioannidis es el mismo que también en 2005 publicó un controvertido artículo en JAMA en donde se afirmaba que el 30% de los ensayos clínicos aparecidos en revistas científicas acreditadas eran posteriormente cuestionados. Hay un excelente post sobre este asunto en Respectful Insolence. Una tesis que, como vemos, también puede ampliarse al conjunto de las publicaciones en genética.

El segundo artículo, firmado por Benjamin Djulbegovic y Iztok Hozo, se pregunta por las circunstancias en la que unos resultados falsos de investigación pueden ser considerados aceptables por nuestra sociedad. O, en otros términos, cuánta incertidumbre epistemológica es admisible para que sean admisibles las decisiones que basan su credibilidad en investigaciones científicas que, como se explica en artículo que estamos mencionando, tratan de decidir si es mejor o no combinar quimioterapia y radiación para tratar un tipo de cáncer. Se ponen otros ejemplos, pero nada cambia. Las conclusiones parecen contundentes.

Siempre se da un balance entre los retornos esperados de una investigación (descubrimientos esperados) y la amenaza de fiasco si los trabajos concluyen precipitadamente (riesgos aceptados). Lo que prueban Djulbegovic y Hozo es que si decae el nivel de alerta que previene a los científicos de aceptar hipótesis poco fundamentadas, entonces crece de forma alarmante el número de afirmaciones científicas que circula y cuya principal credencial es que están publicadas y no que estén verificadas.