Un meta-análisis sobre la efectividad de los profesores

Nunca entendí la relevancia de la valoración que se les pide a los estudiantes sobre sus profesores al terminar un curso. Siempre me pregunté qué tenía que ver lo satisfechos que estaban con sus profesores y lo que se suponía que habían aprendido. A clase se va a aprender y la medida criterio adecuada es si se ha aprendido lo que se debe.

La estrategia adecuada para valorar la efectividad de los profesores es, sin duda, el nivel de conocimientos y habilidades adquiridos por los estudiantes a los que han enseñado. Si los estudiantes saben lo que deben al terminar el curso, entonces el profesor habrá tenido éxito. Habrá fracasado en caso contrario. Punto.

Sin embargo, desde hace muchos, muchos años, es una práctica habitual preguntar a los estudiantes por su nivel de satisfacción con el profesor, bajo el supuesto de que a mayor satisfacción mejor aprendizaje. En realidad, las autoridades han aceptado que no era un supuesto, sino un hecho comprobado. El problema es que ese ‘hecho’ se basaba en una evidencia cuando menos endeble.


En un reciente meta-análisis se concluye que la valoración que hacen los estudiantes sobre sus profesores carece de relación con su nivel de aprendizaje. La recomendación que se deriva de esta macro-investigación es:

Las instituciones centradas, tanto en el aprendizaje de los estudiantes como en su posterior éxito profesional, deben abandonar las valoraciones de los estudiantes como medida de la efectividad de sus profesores”.

En esas valoraciones se pregunta por los conocimientos del profesor, la claridad en sus explicaciones, su organización, su entusiasmo, su cordialidad, su disponibilidad, su cercanía, su sentido del humor o el nivel de dificultad de sus clases. La puntuación que recibe el profesor se compara con el resto de miembros de su departamento y con los de su universidad (“ignorando la objeción de sentido común de que es imposible que todos los miembros de la comunidad se sitúen por encima de la media”). Se da por hecho que debe existir una relación entre esas valoraciones y de nivel de aprendizaje al que llegan los estudiantes.

Se cuentan por miles los estudios que han mirado de validar esas valoraciones, pero la división entre quienes las apoyan y las rechazan es abismal:

Sin embargo, los sólidos resultados de la psicología cognitiva y de la psicología de la inteligencia sugieren que cualquier correlación sustantiva entre esas valoraciones y el nivel de aprendizaje, será resultado de alguna clase de artefacto antes que de la capacidad de los estudiantes para evaluar con precisión la efectividad de los profesores”.

Los autores de este meta-análisis subrayan que:

1. El nivel de aprendizaje se asocia al nivel intelectual de los estudiantes, a sus conocimientos previos y a su motivación por aprender.

2. La capacidad de los estudiantes para juzgar cuánto han aprendido también depende de su nivel intelectual.

El ‘culpable’ de que se hayan aceptado las valoraciones de los estudiantes sobre sus profesores como un criterio válido es Peter Cohen. En su meta-análisis de 1981 concluyó que existía una correlación de 0.43 entre esas valoraciones y nivel de aprendizaje.

Sin embargo, estudios posteriores pusieron en cuestión ese resultado. La conclusión de Cohen proviene de ignorar estudios a pequeña escala con valores de correlación absurdamente altos (aprox. 0.90). Un meta-análisis debe considerar cuidadosamente la calidad de los estudios primarios. Los siete meta-análisis publicados hasta la fecha han ignorado precauciones elementales. Por tanto, los autores re-analizan la información disponible aplicando la doctrina analítica apropiada, aunque también hacen su propio meta-análisis ‘from the ground up’.

En general, los resultados permiten concluir que los estudios a pequeña escala producen correlaciones inverosímiles, mientras que los hechos a gran escala fracasan al observar correlaciones significativas. De hecho, los meta-análisis previamente publicados habrían llegado a la misma conclusión de haber sido más cuidadosos:

Cuando se tiene en cuenta el nivel de capacidad/aprendizaje (learning/ability) previo de los estudiantes, la correlación entre las valoraciones de los profesores y el nivel de aprendizaje de los estudiantes es cero
(…) los estudiantes no aprenden más de profesores mejor valorados
(…) las diferencias individuales en nivel de inteligencia y en conocimientos influyen en cuánto aprenden los estudiantes del curso explicado por el mismo profesor”.

La tendencia generalizada a usar las valoraciones de los estudiantes como el santo grial del proceso de enseñanza, produce que el profesor infle las calificaciones y desinfle el nivel de trabajo (cría fama y échate a dormir):

El profesor se enfrenta al siguiente dilema: enseñar para mejorar sus valoraciones y ser promocionado, o enseñar para preparar a los estudiantes para el siguiente curso (su graduación y su futuro profesional) y ser despedido”.


Ahora que algunos psicólogos (educativos y no educativos) proponen que usemos la evidencia a la hora de renovar las enseñanzas, estaría bien considerar explícitamente resultados como los denunciados por el meta-análisis expuesto en este post.

Pero, aunque se me acuse de pesimista, considero que se mantendrá la tendencia a ignorar lo que disgusta, lo que no se desea ver, lo que parece injusto, y a abrazar sin miramientos aquello que parece bien, correcto, justo o lo que sea.

En lugar de establecer los criterios del aprendizaje, establecer un programa docente claro y consensuado, dejar que el profesor haga su trabajo y que un examen independiente valore cuánto han aprendido los estudiantes, volveremos a hacer lo de siempre.

Olvidamos que el estudiante no es un cliente de Mercadona al que el profesor debe satisfacer, sino un ser humano que acude al aula (real o virtual) para adquirir una serie de conocimientos y habilidades. Por tanto, el criterio de valoración adecuado es si al terminar el curso sabe más que al comenzar, si aprendió lo que consensuamos que debía aprender.

Separar el proceso de enseñanza de la valoración de los resultados de ese proceso es absolutamente crucial.

-->

Read more...

El valor de la vida humana –por Sergio Escorial Martín

Cómo cualquier persona de bien, condeno firmemente la violencia. Cualquier tipo de violencia. Y me solidarizo con las víctimas con absoluta independencia de su sexo, edad, orientación sexual o religión.

Uno de los tipos de violencia que más llama la atención es la que se produce en el seno familiar, o entre personas que mantienen o mantuvieron un vínculo afectivo. Los medios de comunicación han puesto el foco en los casos de violencia que se producen en el ámbito de las relaciones sentimentales de pareja, con especial interés cuando se producen víctimas mortales.

No voy a entrar aquí en el polémico tema del “efecto imitación”. El Dr. Antonio Andrés Pueyo, profesional de referencia en la investigación de la violencia, dirigió recientemente el trabajo de Tesis doctoral de la Dra. Isabel Marzabal Manresa. En este trabajo se realizó un estudio empírico en Cataluña sobre este espinoso problema. Se analizaron 39 asesinatos de mujeres a manos de sus parejas y las noticias de los medios anteriores al crimen. Los resultados indicaron que las noticias de feminicidios que aparecen en la prensa aumentan la probabilidad de que vuelvan a suceder en el futuro.

Quiero aprovechar el espacio que me brinda el administrador de este blog para referirme a la violencia en el ámbito de la pareja. El tema no será novedoso para los lectores habituales de este espacio:


En España contamos desde 2004 con una Ley Orgánica 1/2004, de 28 de diciembre de Medidas de Protección Integral contra la Violencia de Género”. Ya en el preámbulo de esta ley se define la violencia de género como “…una violencia que se dirige sobre las mujeres por el mismo hecho de serlo, por ser consideradas, por sus agresores, carentes de los derechos mínimos de libertad, respeto y capacidad de decisión”. Así pues, para poder aplicar esta Ley se requiere la concurrencia de una serie de elementos:

- El agresor siempre es un hombre.
- La víctima siempre es una mujer.
- Ha de existir entre ambos una relación afectiva de pareja o ex pareja (sin que sea imprescindible la convivencia).

Esto implica que ningún hombre que sufra maltrato puede acogerse a las medidas de protección de esta Ley. Del mismo modo que tampoco podrían acogerse los hombres y mujeres homosexuales que estén siendo víctimas de maltrato a manos de sus parejas (o ex parejas).

Todos estos casos estarían enmarcados en lo que se conoce como “Violencia Doméstica” y regulados por la Ley Orgánica 15/2003, de 25 de noviembre, por la que se modifica la Ley Orgánica 10/1995, de 23 de noviembre y por la Ley 27/2003, de 31 de julio, reguladora de “la Orden de protección de las víctimas de la violencia doméstica”.

No soy abogado, pero he consultado las implicaciones de este doble tratamiento legal con dos abogados de familia. Sus respuestas me preocuparon. En esencia, ante un mismo delito, las penas son diferentes dependiendo de si se aplica una u otra ley (lo que no depende de las circunstancias del hecho, sino solamente del sexo de la víctima y del agresor). Las circunstancias que tienen que concurrir para que un hecho sea sancionable también son diferentes en uno y otro caso. Incluso el propio tratamiento en dependencias policiales lo es. Y así muchas diferencias en torno a diversos aspectos de lo que sería el proceso judicial. Para quien quiera conocer algo más sobre las implicaciones de este hecho adjunto el siguiente enlace:


Me pregunto: ¿no implica esto que estamos manteniendo, para estas problemáticas sociales, leyes discriminatorias?

Cuando empecé a hablar de este tema con algunos  colegas me dijeron:

es normal este tratamiento legal, la violencia en la pareja siempre tiene como víctima a la mujer y como agresor al hombre”.

Como investigador en Psicología Diferencial, los términos “siempre” y “nunca” me perturban cuando se emplean para describir comportamientos ligados a grupos humanos. Pero como no tengo suficiente conocimiento en estas cuestiones, planteé también este argumento al hacer mi consulta. Según los abogados, esta afirmación es radicalmente falsa. Aun así, me puse a buscar evidencias.

En primer lugar, fue fácil encontrar los datos de víctimas mortales a manos de sus parejas para los casos en los que la víctima es mujer y el asesino es un hombre (pareja o expareja). El Ministerio de Igualdad actualiza periódicamente unas fichas muy completas con estos datos.

Dado que no encontré inicialmente datos de hombres muertos a manos de mujeres (parejas o exparejas) llegué a pensar que este caso era inexistente en la realidad.

Error.

Lo que sucede es que estos datos no son computados por las estadísticas del Ministerio de Igualdad. Es decir, que para este Ministerio no son iguales las víctimas que mueren a manos de sus parejas o exparejas en función de si son hombres o son mujeres, en el sentido de que unas son computadas y otras no.

Consulte a 10 investigadores de mi entorno más cercano: 3 me remitieron a las cifras del Ministerio de Igualdad, y solamente 1 dio con datos fiables de los casos en los que las víctimas eran varones.

El único organismo oficial que publica estos datos es el Consejo General del Poder Judicial, que hasta el año 2014 (fecha del último informe publicado) elabora un informe anual acerca de esta cuestión. Estos son los datos recopilados en cuanto al número de víctimas mortales que, en el caso de las mujeres han sido asesinadas a manos de sus parejas (varones) y que en el caso de los varones han sido asesinados por sus parejas (mujeres).



Según estos datos, desde el año 2008 hasta el 2014 en nuestro país han fallecido 428 mujeres a manos de sus parejas (varones) y 48 varones a manos de sus parejas (mujeres). Es decir, de cada 10 asesinatos producidos en el ámbito de la pareja, en 9 casos la víctima es una mujer y en 1 caso la víctima es un varón.

Por otra parte, el Informe del Consejo General del Poder Judicial del año 2008 proporciona datos que permiten hacer una comparación que puede ser interesante. En ese año se computaron 90 mujeres víctimas mortales en el ámbito de la violencia doméstica y de género, de las cuales 75 fueron víctimas a manos de sus parejas o exparejas varones (el 83,33% de las víctimas). En el caso de los varones, el número de víctimas mortales computadas ese año fue de 31, de las cuales 6 fueron víctimas de sus parejas o exparejas mujeres (el 19,35% de las víctimas).

En resumen, tanto desde un punto de vista absoluto como desde uno relativo (considerando este indicador de víctimas mortales como ejemplo) la violencia en el ámbito de la pareja es mayor en varones que en mujeres. Pero si esto es así, ¿se justiciaría un doble tratamiento legal y penal de estos casos? En mi opinión no.

En primer lugar, porque aunque solamente fuese un hombre el que denunciase maltrato por parte de su pareja (o expareja) ya merecería la misma protección que en el caso de que la denuncia fuese interpuesta por una mujer.

Permítanme ilustrar mi lógica con un ejemplo.

En los accidentes mortales investigados en el ámbito laboral ocurridos en 2014, se observa que un 98,7% de los accidentes de trabajo mortales corresponde a hombres (147 accidentes), mientras que el 1,3% restante corresponde a mujeres (2 accidentes). ¿Justificarían estos datos una Ley de Prevención de Riesgos Laborales que excluyera a las mujeres?

En segundo lugar, estoy utilizando el indicador de víctimas mortales. Sin embargo, se podrían considerar otros indicadores de violencia doméstica (y de género). Es posible, según datos de algunos estudios, que estos % de comportamientos o manifestaciones de violencia en función de sexo fueran distintos a los observados sobre el indicador de víctimas mortales.



Por otra parte, y esto hay que tenerlo también muy presente, hacer visible el problema de la violencia en el seno de las relaciones afectivas no es igual de fácil para una víctima mujer que para una víctima varón.

Finalmente, soy un firme defensor de la igualdad, pero de la igualdad de verdad. La vida de una mujer vale lo mismo que la vida de un hombre.

La vida de un ser humano es lo que vale.

Quizás la sociedad ganaría si empezásemos a buscar las razones y mecanismos de este tipo de violencia (y de cualquier otro tipo de violencia) en aquellas características realmente relevantes para la conducta problema.

De la misma manera que el ser más o menos alto es algo que viene determinado por la longitud que llegan a alcanzar tus huesos, y esto es así seas hombre o mujer, la predisposición a la violencia en general es algo que viene espoleada por características de personalidad que están presentes en hombres y en mujeres.

Habría que huir de explicaciones basadas en categorías que no reflejan una diversidad tan real como relevante. Las diferencias individuales se imponen a las que separan a los grupos.

-->

Read more...

Naturaleza, crianza, autonomía e inteligencia

Me ha costado un tiempo ilógico culminar la lectura del último libro de Jim Flynn (Does your family make you smarter? –Cambridge, 2016). Acabaremos este post recuperando esa declaración, así que dejémoslo aquí por ahora.

Además de usar un nuevo método para estimar el efecto del contexto familiar sobre el nivel de inteligencia, recupera aquí su invitación –original de 2007—a considerar evidencia de distintos niveles de análisis para avanzar en nuestro estado de conocimientos sobre la inteligencia humana.

El método de estimación de la influencia familiar es críptico, pero parece interesante. Se sirve de las decenas de tablas incluidas en los manuales –publicados durante más de 60 años—de algunas baterías de evaluación, como el Wechsler o el Stanford-Binet (Age-Table Method) para mostrar que la familia puede beneficiar o perjudicar el desarrollo intelectual de los individuos. Los resultados rechazan la extendida percepción de que, a partir de los 17 años de edad, la influencia familiar se desvanece. Flynn enfatiza el mensaje de que los humanos somos autónomos y podemos esforzarnos por superar las restricciones que imponen tanto los genes como las familias.

El libro se divide en dos partes –autonomía (humana) e inteligencia—e incluye tres extensos apéndices con apabullante información numérica para apoyar sus cálculos sobre la influencia del ambiente familiar. El esfuerzo titánico que supone mirárselo con esmero puede llevar a algunos a ignorar ‘the whole thing’. Mala idea. Merece la pena dedicarle tiempo para disfrutar de los detalles que este post no puede permitirse describir.

En la primera parte se afana en destruir las ideas que, según él, se derivan de los estudios en genética conductual:

a)    Superada la adolescencia, la familia posee un escasísimo efecto sobre el nivel intelectual.
b)    Desde ese momento del ciclo vital, la calidad cognitiva (CC) del ambiente de un individuo se empareja con su propia calidad genética (correlación gen-ambiente).
c)    Los factores de oportunidad son constantes durante el ciclo vital y contribuyen un 20% a las diferencias de inteligencia que separan a los individuos.

El cálculo sobre la influencia a largo plazo de la familia se cimenta en la idea de que existe un desfase entre la potencialidad (genética) del individuo y su ambiente familiar. Algunas familias beneficiarán el desarrollo cognitivo, mientras que otras serán perjudiciales. Por tanto, el efecto de la familia cambia según el nivel intelectual:

Quienes se sitúan dos desviaciones típicas (SD) por encima de la media (CI = 130) provienen de familias cuya calidad cognitiva (CC) cae, en promedio, en el percentil 69; quienes se sitúan una SD por encima de la media (CI = 115) provienen de familias cuya CC cae en el percentil 61; quienes se sitúan una SD por debajo de la media (CI = 85) provienen de familias cuya CC cae en el percentil 39; y quienes se sitúan dos SD por debajo de la media (CI = 70) provienen de familias cuya CC cae en el percentil 31”.

Quienes presentan un alto nivel suelen ser perjudicados por la CC de sus familias, mientras que quienes presentan un bajo nivel suelen ser beneficiados por la CC de sus familias. Pero lo verdaderamente importante es la decisión personal de ejercitar el intelecto, nuestra autonomía para buscar ambientes estimulantes, para superar el pesimismo al que conducen, según él, los resultados de la genética conductual.


La segunda parte aplica el método de estimación de la influencia del ambiente familiar al Test de Raven. Hábilmente, Jim subraya que no es verdad que lo que mide ese test se encuentre vinculado esencialmente a la potencia biológica de los individuos. El Raven es tan sensible a la cultura como el nivel de vocabulario:

El Raven mide la capacidad para ver secuencias lógicas en una serie de imágenes que no se corresponden con objetos concretos
(las nuevas generaciones) residen ahora en un mundo que invita a usar la lógica sobre símbolos abstractos desapegados de la realidad concreta
(…) la modernización ha modificado nuestra perspectiva
(…) el Raven, más que cualquier otro test, es un barómetro de los estadios de la modernización, y, por tanto, tiene un papel crucial para estudiar la inteligencia”.

Es decir, el Test de Raven es especialmente importante, aunque por razones totalmente distintas a las esgrimidas por teóricos del factor g como A. R. Jensen. Pero más sobre esta cuestión después.

En el tramo final de esta obra –pequeña, pero matona—Jim se centra en la relevancia de la meta-teoría para contribuir a liberar a los científicos de sus lógicas ataduras. En ciencia, determinados fenómenos denuncian los fallos en una teoría (paradigmática). Las ganancias generacionales han ayudado a formularse preguntas sobre la teoría de la inteligencia basada en la relevancia del factor g. Las teorías científicas exigen precisión, mientras que las meta-teorías requieren amplitud de miras. Para ayudarnos a comprender esa diferencia, Flynn se entretiene en un útil paralelismo con la astronomía, desde Galileo y Kepler, a Newton y Einstein.

El debate entre Flynn y Jensen cayó originalmente, durante muchos años, del lado del segundo:

Las flechas iban desde un cerebro saludable hasta la resolución eficiente de problemas, nunca al revés
(…) en el fondo de la estructura cerebral, tan en el fondo que el ambiente apenas puede tener algún efecto, existe una estación de servicio que inyecta una cierta cantidad de combustible –g –hacia los motores que subyacen a la mente consciente: los motores que se usan para resolver los test del Wechsler.
El nivel de rendimiento de los motores depende de g”.

Los científicos han abrazado, mayoritariamente, la concepción de Jensen, rechazando la realidad de las ganancias generacionales de inteligencia: no influyen sobre la estación de servicio, y, por tanto, deben ser irreales. Recuerda Jim una observación que le hice en Cataluña en septiembre de 2002:

Impartí un seminario en Barcelona y alguien me dijo: ‘pero no demuestras que las ganancias generacionales son ganancias en g’”.

En aquel momento estaba encima de la mesa esa crítica al efecto al que su apellido da nombre. Si los cambios estimulados culturalmente no influyen en la estación de servicio, entonces no pueden tener verdaderas consecuencias. Comenzaba a discrepar entonces de esa perspectiva y sigue en esa línea ahora:

El hecho de que las nuevas generaciones hayan desarrollado nuevos hábitos mentales explica por qué las ganancias no son invariantes”.

Un post que se publicó en este mismo foro hace algún tiempo denunciaba ese hecho, lo que me valió el chaparrón (cariñoso, pero contundente) de algunos de mis colegas del departamento de metodología y ciencias del comportamiento. Me comentaron que esa invarianza es esencial para demostrar que se está midiendo el mismo constructo en distintas generaciones. Es correcto, naturalmente. Pero en la concepción que nos invita a usar Flynn, esa invarianza es irrelevante porque se basa en un supuesto discutible, como veremos después.

Bill Dickens mostró que los estudios en genética conductual conceden a los genes un protagonismo inmerecido. Los genes y el ambiente simplemente se encuentran más correlacionados a medida que nos hacemos mayores. Además, el ambiente actual oculta el efecto del ambiente pasado. Estas dos ideas permitieron poner de manifiesto el supuesto oculto de Jensen:

A medida que nos hacemos mayores [sostuvo Jensen y siguen manteniendo sus seguidores] los genes y el ambiente juegan a un juego de suma cero: lo que gana un jugador lo pierde el otro.
Si aumenta el efecto de los genes, debe reducirse el del ambiente
(…) sin embargo, cuando aumenta la correlación de los genes con el ambiente, la potencia de uno de los factores se suma a la potencia del otro, no desaparece”.

No existe una sola causa detrás del solapamiento positivo (la correlación del rendimiento en distintos test de inteligencia), sino a) factores fisiológicos genéticamente guidados que influyen en nuestra capacidad para resolver problemas, b) factores familiares, c) las amistades, y d) factores laborales:

Emerge una nueva teoría gracias, en parte, a un fenómeno que la antigua teoría no puede encajar: las ganancias generacionales de inteligencia”.

La meta-teoría que propone Jim divide el estudio de la inteligencia en tres áreas:

1)     Diferencias individuales dentro de una determinada cohorte (medidas predictivas).
2)     Ganancias generacionales (cambio en los hábitos mentales).
3)     Prerrequisitos fisiológicos de la cognición (federalismo neuronal).

Los psicólogos buscan integrar estas áreas de algún modo, pero el autor piensa que es una empresa improductiva.

En el capítulo 10, Jim discute una serie de teorías sobre la inteligencia (Cattell, Jensen, Carroll, Sternberg, Gardner, Bandura), pero ninguna se salva de la quema. Se decanta por cambiar de paradigma sirviéndose del paraguas que ofrece la teoría de Dickens/Flynn o el mutualismo de van der Maas, aunque también lanza un capote a las teorías sobre la fisiología cerebral (que deben rehuir la tentación del reduccionismo) –le agradezco que reconozca mis modestos esfuerzos por combinar la neurociencia con la investigación de la inteligencia a distintos niveles, aunque está por ver dónde conduce esa estrategia.


El libro se cierra con una confesión del autor:

Al igual que Pinker no simpatizo con quienes piensan que la naturaleza humana puede reducirse a una pizarra en blanco sobre la que el ambiente puede escribir caprichosamente.
Acepto los resultados derivados de la investigación con gemelos, pero rechazo el pesimismo al que conducen”.

Jim interpreta exquisitamente su papel de agitar el árbol de la ciencia de la inteligencia. Nos obliga a los investigadores a mirar hacia lugares a los que evitamos prestar atención, sin que sepamos muy bien por qué. Estamos tan metidos en nuestras batallas domésticas que olvidamos que la guerra se desarrolla a escala global.

Si es cierto que los científicos buscamos iluminación, y no simplemente publicar nuestros resultados en revistas ‘cool’ e incrementar así nuestros índices h, entonces quizá deberíamos dedicar un parte de nuestro tiempo a meditar sobre si lo que este gran pensador nos ofrece vale la pena.

A meditar seriamente.

-->

Read more...

Wikipedia

Resultados de la búsqueda

  © Blogger template Shush by Ourblogtemplates.com 2009

Back to TOP