¿Realmente somos más inteligentes cuando resolvemos mejor un test de inteligencia fluida?

Científicos de la Universidad de Ohio publicarán un artículo en la revista ‘Intelligence’ en el que se informa de un complejo estudio destinado a responder esa pregunta. De hecho, el problema que pretenden contribuir a resolver se centra en las mejoras de inteligencia que se observan después de completar un entrenamiento cognitivo. Es decir, las ganancias en un test de inteligencia que se resuelve después de ese entrenamiento, ¿son mejoras que expresan un incremento genuino del nivel intelectual de los participantes? ¿o son resultado de otro tipo de factores que nada tienen que ver con su inteligencia?

Hayes, T. R. et al. (2014). Do we really become smarter when our fluid intelligence test scores improve? Intelligence.

Se basan en la tecnología disponible para analizar los movimientos oculares (eye tracking) cuando los mismos individuos resuelven en más de una ocasión el mismo test de inteligencia. Cambios en las estrategias que se supone son necesarias para inspeccionar los elementos de los problemas que incluye el test.

Es una investigación original en la que se concluye que las puntuaciones mejoran, cuando lo hacen, porque los individuos han aprendido a explorar o inspeccionar con mayor eficacia los elementos del problema, de modo que logran unas puntuaciones mayores en la segunda ocasión: “la eficacia del entrenamiento cognitivo puede reflejar un refinamiento en la estrategia, no una ganancia de inteligencia (…) el conocimiento procedimental que se adquiere de modo tácito durante el entrenamiento se puede emplear en el post-test”.

Comienzan su extenso artículo comentando que el 'negocio' de mejorar la inteligencia es ahora multimillonario, pero que no está claro que ese objetivo pueda alcanzarse. Responder con seguridad exige clarificar (a) qué es la inteligencia (como si no se supiese), (b) cómo se puede medir la inteligencia (como si no pudiésemos)y (c) cómo se pueden medir los cambios en el nivel intelectual. Este informe se centra particularmente en la tercera cuestión.

Los autores consideran atractiva la idea de que entrenar la memoria operativa puede aumentar su ‘capacidad’ (near-transfer) y, desde ahí, impactar positivamente sobre la inteligencia fluida (far-transfer). Algo similar a lo que sucede en el ámbito físico: la práctica de la natación mejora la capacidad cardiovascular (near-transfer), y, por tanto, aumenta la capacidad atlética general (far-transfer) de los nadadores.

Sin embargo, consideran los autores que las mejoras se valoran con el cambio en un determinado test de inteligencia fluida, en una medida particular que incluye características ajenas a lo que se pretende medir: “las ganancias en las puntuaciones pueden ocurrir sin que cambien en absoluto ‘brainpower factors’ como la capacidad de la memoria operativa”.

Reconocen que el problema se minimizaría si se dispusiera de más de una medida del constructo de interés, en este caso de la inteligencia fluida, y se estudiase el cambio a nivel latente, más allá de las puntuaciones en las medidas concretas. Pero ellos se centran en los procesos que concurren al resolver un test en concreto en más de una ocasión.

Estudian a 35 universitarios que resuelven problemas del Test de Matrices Progresivas de Raven y usan el SRSA (Successor Representation Scanpath Analysis) para evaluar los supuestos cambios en las estrategias de los participantes y cuantificar las diferencias individuales en los patrones de fijación ocular en el pre-test y en el post-test. Esas diferencias se usan posteriormente para predecir el cambio en las puntuaciones.

Los resultados sugieren que una parte sustancial del efecto de la práctica (30%) se asocia al refinamiento en las estrategias de procesamiento, de modo que, en general, se exploran las filas de la matriz de modo más sistemático en el post-test. Sin embargo, ese refinamiento no se observa en absoluto en todos los participantes: 11 participantes no mejoran e incluso empeoran en el post-test.

Una pregunta que permanece en el aire, pero que los autores omiten, es: ¿cuál es la diferencia entre quienes encuentran la estrategia óptima y los que no? Es verdad que cuando se descuenta el efecto de la estrategia, los cambios en las puntuaciones entre el pre-test y el post-test desaparecen, pero eso no responde la pregunta anterior.

En la investigación que estamos comentando no hay ninguna clase de entrenamiento cognitivo. Se limitan a observar cambios entre un pre-test y un post-test usando el mismo test. Pero lo que los autores observan también se aprecia, en mayor o menor medida, en los diseños en los que hay un entrenamiento entre ambas evaluaciones. Pero solamente en mayor o menor medida.

La siguiente tabla presenta los valores en inteligencia fluida, obtenidos a nivel latente (es decir, usando más de una medida para valorar ese factor psicológico) en individuos que mejoran mucho en el entrenamiento cognitivo, que lo hacen moderadamente, o que apenas mejoran. Los valores corresponden al pre-test y al post-test en cada uno de los tres grupos en la escala estándar de CI.

	Alta mejora	Mejora moderada	Escasa mejora
Inteligencia fluida
Pre-Test	110	100	94
Post-Test	121	111	105

Es decir, los tres grupos aumentan exactamente 11 puntos entre el pre-test y el post-test, independientemente de que hayan mejorado mucho, moderadamente o escasamente durante el exigente entrenamiento cognitivo.

Estos son resultados no publicados de un estudio que sí está publicado en el que los participantes completaron un entrenamiento cognitivo adaptativo, basado en la n-back dual, durante doce semanas. Quienes mejoraron mucho en el entrenamiento alcanzaron niveles entre 6 y 9 en la tarea entrenada (créanme, una auténtica proeza). Aquellos que mejoraron moderadamente llegaron al nivel 5 (digno de despertar nuestra admiración). Finalmente, los que apenas mejoraron se quedaron entre el nivel 3 y 4 (que no está nada mal).

Opino que estos resultados son provocadores. Mucho más si consideramos lo que sucede con el grupo de control, es decir, quienes no completan ningún entrenamiento entre el pre-test y el post-test. En este caso, la puntuación es de 100 en el pre-test y de 107 en el post-test, es decir, una mejora de 7 puntos.

La diferencia con respecto a lo que sucede en los tres grupos anteriores es de 4 puntos, lo que llevaría a concluir que el efecto neto del entrenamiento cognitivo sería débil.

Débil, pero ¿despreciable?

Desde luego, llama la atención el incremento extraordinariamente consistente de los tres grupos que completaron el entrenamiento. El análisis estadístico estándar llevó a concluir que la diferencia entre quienes entrenan y los que no, se encuentra disociado del entrenamiento. Sin embargo, ese análisis estadístico no ayuda a explicar la consistente ganancia de los tres grupos.

Los análisis grupales son cómodos, pero pueden ocultar una valiosa información.

Los autores del estudio sobre el posible efecto de las estrategias que estamos comentando en este post, proponen que determinados factores que nada tienen que ver con lo que el test pretende medir, pueden explicar el cambio que se observa en las puntuaciones entre el pre-test y el post-test. Sin embargo, en su caso el efecto no es sistemático: algunos cambian de estrategia y otros no.

Además, ellos estudian lo que sucede en un test en concreto. Sin embargo, el análisis de lo que hay de común a distintas medidas aleja lo que en ese estudio se concluye de lo que se aprecia a nivel latente.

Y luego se dice por ahí que la ciencia es aburrida…