martes, 5 de octubre de 2010

¿Podemos fiarnos de la resonancia funcional (fMRI)?

No demasiado.

Aunque probablemente se trata del método más popular para estudiar las relaciones entre el funcionamiento del cerebro de una persona viva y determinados factores psicológicos, los resultados son desconcertantes desde una perspectiva formal.

¿Por qué? Porque, dicho técnicamente, no alcanzan el estándar de fiabilidad requerido. No podemos fiarnos de los resultados. Los científicos estamos con la mosca detrás de la oreja.

Eso se concluye del análisis publicado en los ‘Annals of the New York Academy of Sciences’ por Craig M. Bennett y Michael B. Miller (Ann. N.Y. Acad. Sci. ISSN 0077-8923) --How reliable are the results from functional magnetic resonance imaging?

Digo que se concluye de sus resultados, porque algo distinto emerge de sus declaraciones (una paradoja relativamente frecuente en la ciencia moderna).

Los valores de fiabilidad de los estudios publicados hasta la fecha oscilan entre 0,17 y 0,75 (entre una mínimo teórico de 0 y un máximo de 1) siendo el valor medio encontrado de 0,50.

Cualquier estudiante de Psicometría sabe que un valor de 0,50 es claramente insuficiente (un valor de 0.7 comienza a considerarse dignamente, pero todavía es inapropiado).

La figura que acompaña a este post muestra el solapamiento entre las regiones que se activan ante una misma tarea resuelta en dos ocasiones diferentes por los mismos individuos. En color rojo se presenta la activación en la primera ocasión y en azul en la segunda ocasión (en gris el solapamiento). Por cierto, la activación del cerebelo se produjo en la primera ocasión, pero en absoluto en la segunda.

Los autores concluyen que la investigación con resonancia funcional (fMRI) ha abandonado la niñez para entrar en la adolescencia, aunque todavía no es adulta, diciendo que “la fiabilidad de la fMRI puede ser escasa en comparación con otras medidas científicas, pero, por ahora, es la mejor herramienta disponible para investigar el funcionamiento de un cerebro vivo”.

Optimistas ellos. Quizá sea bueno saber que hay vida más allá de la fMRI…

7 comentarios:

  1. >>> Cualquier estudiante de Psicometría sabe que un valor de 0,50 es claramente insuficiente (un valor de 0.7 comienza a considerarse dignamente, pero todavía es inapropiado).

    Como cualquier profesor (y espero que estudiante) de Psicometría sabe, la fiabilidad mínima necesaria depende de los usos del test. Para extraer conclusiones sobre individuos, se necesitan fiabilidad altas. Para sacar conclusiones sobre grupos, para lo cual se promedian múltiples mediciones con error y éste se va disipando, la fiabilidad necesaria es menor (pongamos un 0.4 ó 0.5).

    ResponderEliminar
  2. Quizá sería buena idea contar con alguna referencia sólida sobre este relevante matiz, que, por otro lado, es inconsistente con lo que confiesan los propios autores del estudio. Salu2, R.

    ResponderEliminar
  3. Veo que prefiere el argumento de autoridad a la justificación teórica.

    "There is, however, no such thing as a minimum acceptable level of reliability that can be applied to all measures, as this will vary depending on the use of the test."

    http://www.writingforpublication.com/articles/physiotherapy/Article2Physio.pdf

    Por ejemplo.

    ResponderEliminar
  4. Los argumentos de autoridad están fuera de lugar en la ciencia. Lo que vale son las evidencias replicables por equipos independientes. El link que amablemente envías incluye un artículo destinado a relativizar las decisiones basadas en la fiabilidad de las medidas, por razones que se me escapan. Resulta particularmente extraña la declaración, en la conclusión, de que es mejor usar una medida con baja fiabilidad que no usar ninguna medida. Discrepo. Una medida con baja fiabilidad produce resultados difíciles de interpretar y pueden generar una falsa sensación de seguridad. Salu2, R

    ResponderEliminar
  5. El valor esperado del error es igual a 0. A menor fiabilidad, más sujetos son necesarios para estimar correctamente la media poblacional verdadera en el constructo de interés. Baja fiabilidad es baja potencia estadística, intervalos de confianza amplios. La baja fiabilidad hay que compensarla con más unidades medidas. Simplemente. Como cualquier estudiante de Psicometría sabe.

    >>> Lo que vale son las evidencias replicables por equipos independientes.

    Triste papel le queda a la teoría, según esto.

    ResponderEliminar
  6. Un problema habitual de la fMRI es el uso de un escaso número de sujetos. Además la BOLD signal es demasiado sensible a dos factores: (a) leves variaciones en la tarea a resolver y (b) estrategias de ataque usadas por los sujetos. La historia está plagada de elegantes teorías que se han demostrado simplemente inapropiadas gracias a la cuidadosa recopilación de datos hecha por investigadores relativamente anónimos. Una baja fiabilidad es una baja fiabilidad, a pesar de que la psicometría sepa qué se debe hacer para intentar mejorarla. Y una mala medida produce resultados en los que es difícil confiar, y, en gran parte de los casos, en los que no debería confiarse. Salu2, R.

    ResponderEliminar
  7. @unodostres, enhorabuena por tu notable alto en Psicometría I, pero en la vida real, donde usar un escáner cuesta una pasta, te aseguro que es relevante que tu medida sea fiable. Y a día de hoy, la fiabilidad está muy por debajo de lo deseable. Simplemente.

    ResponderEliminar