Por Tom Feilden Corresponsal científico
• 22 de febrero de 2017 (Traducción Superando el sida)
• De la sección Ciencia y Medio Ambiente
Fuente: http://www.bbc.com/news/science-environment-39054778
Los científicos que intentaron reproducir los hallazgos reportados en cinco estudios históricos sobre el cáncer sólo pudieron confirmar dos.
La ciencia se enfrenta a una "crisis de reproducibilidad", donde más de dos tercios de los investigadores han intentado y no han podido reproducir los experimentos de otro científico, sugiere la investigación.
Esto es frustrante para los clínicos y quienes desarrollan fármacos que quieren que se construya una investigación pre-clínica sobre bases sólidas.
Desde su laboratorio en el Centro de Ciencia Abierta de la Universidad de Virginia, el inmunólogo Dr. Tim Errington dirige el Proyecto de Reproducibilidad, que intentó reproducir los hallazgos reportados en cinco estudios históricos de cáncer.
"La idea aquí es tomar un montón de experimentos y tratar de hacer exactamente lo mismo para ver si podemos obtener los mismos resultados".
Se podría perdonar por el hecho de pensar que debería ser fácil. Se supone que los experimentos son reproducibles.
(Se supone que) Los autores deben haberlo hecho ellos mismos antes de la publicación, y todo lo que tienes que hacer es leer la sección de métodos en artículo y seguir las instrucciones.
Desgraciadamente, nada, al parecer, podría estar más lejos de la realidad.
Después de una investigación meticulosa que incluyó una minuciosa atención a los detalles durante varios años (el proyecto se puso en marcha en 2011), el equipo pudo confirmar sólo dos de los hallazgos de los estudios originales.
Dos más no resultaron concluyentes y en el quinto, el equipo no pudo replicar el resultado.
"Es preocupante porque la reproducibilidad se supone que es el sello que distingue la integridad científica", dice el Dr. Errington.
La preocupación por la fiabilidad de los resultados publicados en la literatura científica ha ido aumentando conforme pasa el tiempo.
Según una encuesta publicada en la revista Nature el verano pasado, más del 70% de los investigadores han intentado y no han podido reproducir los experimentos de otros científicos.
Marcus Munafo es uno de ellos. Ahora profesor de psicología biológica en la Universidad de Bristol, casi abandonó una carrera de ciencias cuando, como estudiante de doctorado, no pudo reproducir un libro de texto sobre la ansiedad.
"Tuve una crisis de confianza, pensé que tal vez era por causa mía, tal vez no enfocaba bien mi estudio, quizás no estoy preparado para ser un científico".
El problema resultó ser que no fue con la ciencia de Marcus Munafo, sino con la forma en que la literatura científica había sido "ordenada" para presentar un resultado mucho más claro y contundente.
"Lo que vemos en la literatura publicada es una versión altamente cuidada de lo que realmente sucedió", dice.
"El problema es que ofrece un visión de color de rosa de la evidencia porque los resultados que se publican tienden a ser los más interesantes, los más emocionantes, novedosos, llamativos...”.
...Las dificultades de reproducibilidad no son un fraude, según Dame Ottoline Leyser, directora del Laboratorio Sainsbury de la Universidad de Cambridge.
Eso sería relativamente fácil de eliminar. En vez de eso, dice: "Se trata de una cultura que promueve la impresión que se causa por encima de lo esencial, los descubrimientos llamativos sobre el trabajo aburrido, confirmatorio de lo que trata la mayoría de la ciencia”.
Ella dice que se trata de que los organismos que financian quieren asegurar el mayor éxito de su dinero, las revistas de revisión por pares que compiten por publicar los avances más emocionantes, las instituciones y las universidades que miden el éxito por las subvenciones conseguidas y los estudios publicados y la ambición de los mismos investigadores.
"Todo el mundo tiene que asumir su parte de culpa", argumenta. "La forma en que se configura el sistema fomenta resultados menos que óptimos".
Las revistas científicas pueden contribuir a mejorar la fiabilidad de los informes
Por su parte, la revista Nature está tomando medidas para abordar el problema.
Se ha introducido una lista de verificación de la reproducibilidad a la que se deben someter los autores, diseñada para mejorar la fiabilidad y el rigor.
"La reproducibilidad es algo en lo que los científicos deberían pensar antes de escribir un artículo", dice Ritu Dhand, director editorial de Nature.
"Es un serio problema, pero es algo que las revistas no pueden abordar por sí mismas, sino que es necesario adoptar un enfoque multidimensional que implique a quienes financian, a las instituciones, a las publicaciones científicas y a los investigadores".
Pero debemos ser más audaces, según el neurocientífico de Edimburgo, el profesor Malcolm Macleod.
"La cuestión de la reproducibilidad va al meollo del proceso científico".
Al escribir en la última edición de Nature, describe un nuevo enfoque de los estudios en animales que requiere una confirmación independiente y estadísticamente rigurosa de la hipótesis central de un documento antes de su publicación.
"Sin esfuerzos para reproducir los hallazgos de otros, no sabemos si los hechos en realidad representan lo que está pasando en biología o no".
Sin saber si la literatura científica publicada está construida sobre sólidos cimientos o arena, argumenta, estamos perdiendo el tiempo y el dinero.
"Podríamos estar más adelantados en términos de desarrollar nuevas curas y tratamientos. Es una situación lamentable, pero me temo que es la situación en la que estamos".
Comentarios