¿Neuro-Basura?

La revista 'Nature Reviews --Neuroscience--' publica un artículo en el que los autores concluyen que una gran parte de los estudios en neurociencia (especialmente la investigación en biomedicina) debe ponerse seriamente en duda.

Button, K. S.et al. (2013): Power failure: why small sample size undermines the reliability of neuroscience. NRN, vol. 14, 365-376.

Aunque la revisión se centra en el dañino efecto de usar muestras de reducido tamaño (porque se confunden con mayor probabilidad falsos positivos y negativos) el mensaje va más allá. Denuncian las presiones a las que se ven sometidos los científicos para encontrar (aunque sea a la fuerza) resultados llamativos. Y hacerlo rápido. Hay que capturar la atención de los consejos editoriales para que estos, a su vez, puedan reclamar la mirada de los medios de comunicación de masas e incrementar su visibilidad.

Los autores no consideran que los estudios de réplica permitan superar el problema del uso de muestras de reducido tamaño, pero también rechazan  la idea de que estudiar muestras de enorme tamaño sea una solución per se: "se puede producir un sesgo favorable a estudios con muestras reducidas cuando se diseñan meticulosamente y se registran datos de alta calidad, mientras que en los estudios con muestras enormes se reducen los controles de calidad a costa de ganar tamaño".

Sus conclusiones más demoledoras se basan en un meta-análisis que comienza con 246 artículos de revisión y termina basándose en 48 (casi seis veces menos). Resultado: los estudios en neurociencia presentan un poder estadístico del 20%, resaltando que los estudios a menor escala suelen presentan tamaños mayores que los hechos a mayor escala.

Reconocen los autores que los estudios de neuroimagen y con animales se encuentran infra-representados en sus cálculos, así que hacen un nuevo análisis usando otras bases de datos. En el primer caso se ciñen a estudios sobre muestras clínicas, encontrando un poder estadístico del 8%. En el segundo se llega a un poder del 30%. En consecuencia, un panorama de lo más desalentador.

El artículo formula algunas recomendaciones para superar la actual situación:

(1) calcular el poder estadístico necesario para alcanzar una conclusión sólida durante el diseño de la investigación.

(2) aumentar la trasparencia en los métodos usados y en los resultados logrados.

(3) publicar el protocolo del estudio y el plan de análisis antes de materializarlo.

(4) poner a disposición de la comunidad los materiales usados y los resultados.

(5) trabajar en grupo para aumentar el poder estadístico y replicar los resultados antes de darlos por válidos.

Subrayan la carencia endémica de estudios de réplica que permitan detectar la inquietante presencia de falsos positivos (y añadamos también los negativos) en la literatura. Aquí es donde debería promoverse la colaboración entre investigadores compartiendo protocolos, datos y análisis para acorralar las preguntas más relevantes en un determinado campo disciplinar. Hoy en día trabajar aisladamente es ridículo, además de ineficiente.

Los psicólogos son pioneros en este esfuerzo de colaboración a través del 'Reproducibility Project' al que se han unido más de 100 científicos.

An Open, Large-Scale, Collaborative Effort to Estimate the Reproducibility of Psychological Science. Open Science Collaboration. Perspectives on Psychological Science 2012 7: 657. DOI: 10.1177/1745691612462588

En neurociencia y en genética molecular también se está trabajando en esta dirección. Los científicos ya son conscientes de las limitaciones subrayadas por los metodólogos que firman este articulo. Su denuncia llueve sobre mojado.

Existe la urgencia de dejar de mirarse el ombligo y de centrarse en los problemas científicos más relevantes. La tendencia a investigar lo que a cada uno le parece más excitante debe dejar paso a la unión de esfuerzos para compartir objetivos verdaderamente importantes. Solo así avanzaremos con paso firme. Sólo así haremos honor a nuestro rol de científicos que buscan iluminación.