Un meta-análisis sobre la efectividad de los profesores

Nunca entendí la relevancia de la valoración que se les pide a los estudiantes sobre sus profesores al terminar un curso. Siempre me pregunté qué tenía que ver lo satisfechos que estaban con sus profesores y lo que se suponía que habían aprendido. A clase se va a aprender y la medida criterio adecuada es si se ha aprendido lo que se debe.

La estrategia adecuada para valorar la efectividad de los profesores es, sin duda, el nivel de conocimientos y habilidades adquiridos por los estudiantes a los que han enseñado. Si los estudiantes saben lo que deben al terminar el curso, entonces el profesor habrá tenido éxito. Habrá fracasado en caso contrario. Punto.

Sin embargo, desde hace muchos, muchos años, es una práctica habitual preguntar a los estudiantes por su nivel de satisfacción con el profesor, bajo el supuesto de que a mayor satisfacción mejor aprendizaje. En realidad, las autoridades han aceptado que no era un supuesto, sino un hecho comprobado. El problema es que ese ‘hecho’ se basaba en una evidencia cuando menos endeble.

En un reciente meta-análisis se concluye que la valoración que hacen los estudiantes sobre sus profesores carece de relación con su nivel de aprendizaje. La recomendación que se deriva de esta macro-investigación es:

“Las instituciones centradas, tanto en el aprendizaje de los estudiantes como en su posterior éxito profesional, deben abandonar las valoraciones de los estudiantes como medida de la efectividad de sus profesores”.

En esas valoraciones se pregunta por los conocimientos del profesor, la claridad en sus explicaciones, su organización, su entusiasmo, su cordialidad, su disponibilidad, su cercanía, su sentido del humor o el nivel de dificultad de sus clases. La puntuación que recibe el profesor se compara con el resto de miembros de su departamento y con los de su universidad (“ignorando la objeción de sentido común de que es imposible que todos los miembros de la comunidad se sitúen por encima de la media”). Se da por hecho que debe existir una relación entre esas valoraciones y de nivel de aprendizaje al que llegan los estudiantes.

Se cuentan por miles los estudios que han mirado de validar esas valoraciones, pero la división entre quienes las apoyan y las rechazan es abismal:

“Sin embargo, los sólidos resultados de la psicología cognitiva y de la psicología de la inteligencia sugieren que cualquier correlación sustantiva entre esas valoraciones y el nivel de aprendizaje, será resultado de alguna clase de artefacto antes que de la capacidad de los estudiantes para evaluar con precisión la efectividad de los profesores”.

Los autores de este meta-análisis subrayan que:

1. El nivel de aprendizaje se asocia al nivel intelectual de los estudiantes, a sus conocimientos previos y a su motivación por aprender.

2. La capacidad de los estudiantes para juzgar cuánto han aprendido también depende de su nivel intelectual.

El ‘culpable’ de que se hayan aceptado las valoraciones de los estudiantes sobre sus profesores como un criterio válido es Peter Cohen. En su meta-análisis de 1981 concluyó que existía una correlación de 0.43 entre esas valoraciones y nivel de aprendizaje.

Sin embargo, estudios posteriores pusieron en cuestión ese resultado. La conclusión de Cohen proviene de ignorar estudios a pequeña escala con valores de correlación absurdamente altos (aprox. 0.90). Un meta-análisis debe considerar cuidadosamente la calidad de los estudios primarios. Los siete meta-análisis publicados hasta la fecha han ignorado precauciones elementales. Por tanto, los autores re-analizan la información disponible aplicando la doctrina analítica apropiada, aunque también hacen su propio meta-análisis ‘from the ground up’.

En general, los resultados permiten concluir que los estudios a pequeña escala producen correlaciones inverosímiles, mientras que los hechos a gran escala fracasan al observar correlaciones significativas. De hecho, los meta-análisis previamente publicados habrían llegado a la misma conclusión de haber sido más cuidadosos:

“Cuando se tiene en cuenta el nivel de capacidad/aprendizaje (learning/ability) previo de los estudiantes, la correlación entre las valoraciones de los profesores y el nivel de aprendizaje de los estudiantes es cero

(…) los estudiantes no aprenden más de profesores mejor valorados

(…) las diferencias individuales en nivel de inteligencia y en conocimientos influyen en cuánto aprenden los estudiantes del curso explicado por el mismo profesor”.

La tendencia generalizada a usar las valoraciones de los estudiantes como el santo grial del proceso de enseñanza, produce que el profesor infle las calificaciones y desinfle el nivel de trabajo (cría fama y échate a dormir):

“El profesor se enfrenta al siguiente dilema: enseñar para mejorar sus valoraciones y ser promocionado, o enseñar para preparar a los estudiantes para el siguiente curso (su graduación y su futuro profesional) y ser despedido”.

Ahora que algunos psicólogos (educativos y no educativos) proponen que usemos la evidencia a la hora de renovar las enseñanzas, estaría bien considerar explícitamente resultados como los denunciados por el meta-análisis expuesto en este post.

Pero, aunque se me acuse de pesimista, considero que se mantendrá la tendencia a ignorar lo que disgusta, lo que no se desea ver, lo que parece injusto, y a abrazar sin miramientos aquello que parece bien, correcto, justo o lo que sea.

En lugar de establecer los criterios del aprendizaje, establecer un programa docente claro y consensuado, dejar que el profesor haga su trabajo y que un examen independiente valore cuánto han aprendido los estudiantes, volveremos a hacer lo de siempre.

Olvidamos que el estudiante no es un cliente de Mercadona al que el profesor debe satisfacer, sino un ser humano que acude al aula (real o virtual) para adquirir una serie de conocimientos y habilidades. Por tanto, el criterio de valoración adecuado es si al terminar el curso sabe más que al comenzar, si aprendió lo que consensuamos que debía aprender.

Separar el proceso de enseñanza de la valoración de los resultados de ese proceso es absolutamente crucial.

-->