Hace unos días Nature publicaba un editorial (Peer review and fraud) sobre la espinosa relación entre peer review y fraude científico. La revista, en una iniciativa conjunta con Science, recomendaba que los papers previsiblemente polémicos por el alcance de sus conclusiones en áreas de mucho impacto mediático (salud pública o cambio climático), fueran sometidos a un escrutinio adicional, ya que “hubo casos de fraude que superaron el proceso de arbitraje (refereeing) y que tiene mucha importancia la confianza pública en la ciencia”.

Las nuevas medidas que se aplicarán a los mencionados artículos obligarán a revisar más cuidadosamente su fundamento empírico (datos brutos) y la participación efectiva en la redacción de cada uno de los autores firmantes. Así, no sólo se sostiene la inquietud por la credibilidad del sistema de control de calidad de las publicaciones, sino que también deja de ser genérica. En esta ocasión se identifican dos problemas históricos de la práctica científica (la verificabilidad de los datos y la autoría de las ideas) que, con independencia de las cuestiones éticas y jurídicas que siempre han suscitado, ya pueden solucionarse con la ayuda de las nuevas tecnologías (características de la ciencia 2.0) si se abren las API que dan acceso a las bases de datos y se extiende el uso de herramientas que conserven el registro histórico de todas las modificaciones.

Y es que, en efecto, la eficacia de los protocolos de control de calidad, es una de las piezas que aseguran la fiabilidad (de los valores y de los intercambios) en los que se basa la nueva sociedad (y no sólo economía) del conocimiento.Ya hemos tratado este asunto en varias ocasiones. El mundo que habitamos es demasiado complejo y sus habitantes estamos asistiendo a una proliferación de experimentos globales, realizados en tiempo real, que pueden incidir/alterar significativamente las condiciones de vida en el planeta. Todos somos ya conejillos de Indias y todos tenemos el derecho a tener información de calidad para poder formarnos un criterio informado. Y, desde luego, a participar.

La fiabilidad de las publicaciones científicas es un asunto que desborda (al igual que muchos de los experimentos que se están haciendo) las paredes del laboratorio y que, además de ser un problema académico, es también un asunto de mucha enjundia política. Tanta, que las polémicas sobre cómo salir de la crisis del peer review, nos afectan a todos.Por eso suscitó tanto interés el experimento de open peer review desarrollado por Nature en los últimos meses. Para llevarlo a cabo se ofreció a los autores la posibilidad de que sus textos (una vez admitidos para revisión) fueran subidos a la red y, como se hace en la wikipedia, expuestos al comentario crítico de los lectores.

Nature quería averiguar cuál de los dos métodos (el tradicional y el open) era más eficaz. Los resultados, los conocimos vía Golem, han sido frustrantes para quienes tanto esperábamos de estas nuevas formas de crear autoridad en ciencia. Nature recibe para publicar unos 10.000 textos al año. Los editores hacen el primer filtrado y rechazan (sin mayor revisión) alrededor del 60%. El 40% restante es revisado por dos o tres árbitros (pares) que ayudan a los editores a decidir tras emitir sus informes expertos. Al final sólo se publica el 7% de lo que les llega.

Durante el período que duró la prueba (1/06/06-30/09/06) Nature recibió 1369 papers, pero sólo el 5% (71) aceptaron que se les aplicara el proceso de revisión abierta (open peer review). De los 71 artículos (venidos de 15 áreas distintas del saber), 33 no recibieron comentario alguno. Los 38 restantes tuvieron 92 comentarios, pero distribuidos muy desigualmente, pues hubo 8 artículos que se quedaron con 49. Lo peor, no obstante, es que sólo 4 comentarios merecieron la calificación de técnicamente relevantes.

La decisión de Nature ha sido suspender el experimento y anunciar otros ensayos en la dirección de permitir que los artículos reciban comentarios una vez ya publicados.Quienes advertían que sólo bajo el anonimato se puede hacer una verdadera crítica no creo que puedan estar contentos, aunque sólo sea por las cuestiones que quedan abiertas. La primera tiene que ver con la paradoja de que se trataba de una idea muy popular entre los científicos que, sin embargo, no ha producido el resultado esperado. La segunda tiene que ver con esa raquítica cifra (4) de comentarios significativos.

Está claro que hacer de revisor es un trabajo ingrato que además requiere tiempo, pero no es fácil entender las razones por las que los científicos han decidido desertar masivamente de una iniciativa pensada para hacer más público su compromiso con el rigor y más igualitaria la distribución de responsabilidades en la llamada República de los sabios. Muchos, ver planned obsolescente, piensan que Nature no hizo lo suficiente.

Hay motivos para la perplejidad y también para la desazón. La propia Nature, como se resalta en ars technica, insinúa que no hay que descartar la influencia de dos factores negativos.El primero tiene que ver con las tensiones introducidas, especialmente en biomedicina, por las leyes de propiedad intelectual. Y el segundo alude al hecho de que cualquier comentador al introducir una observación podría estar dando pistas a otros sobre su investigación. Ambos problemas están enfatizando el régimen de abierta competencia que se da en ciencia. Y, subliminalmente, invitando a reflexionar sobre un hecho clave: el fracaso del experimento tiene que ver con la hegemonía de las estrategias competitivas sobre las colaborativas.