martes, 11 de junio de 2013

Impactitis

Hace muchos, muchos años (es lo que tiene la edad) estuve trabajando intensamente en algo que por aquel entonces se conocía como valoración de programas. La cosa consistía en encontrar modos de cuantificar la efectividad de programas sociales de diversa naturaleza para promover mecanismos de mejora.

De la valoración de programas se ha pasado a la de instituciones y, también, a la de personas. El caso de los investigadores es paradigmático.

Desde hace algún tiempo, los científicos de los centros de investigación viven obsesionados por el impacto de sus publicaciones. El famoso índice H se ha transformado en el número que suma o resta valor a lo que hace un investigador. Publicar en una revista sin índice de impacto es la muerte. Sería mejor dejarlo en el cajón o tirarlo a la basura.

Los científicos persiguen por todos los medios a su alcance colocar sus trabajos en las revistas de mayor prestigio, es decir, a efectos prácticos en las que presentan un mayor índice de impacto. Todo está al servicio de esa meta. Todo.


La agencia privada Thomson Reuters posee un lucrativo monopolio a través de su JCR (Journal Citation Reports). Hay mucho dinero de por medio, así que la agencia denuncia algunas corruptelas destinadas a mejorar los índices de impacto de las revistas, pero consiente otras. Nadie sabe muy bien cómo se calculan esos índices, pero se siguen consultando con el mismo fanatismo con el que antiguamente los reyes consultaban a sus astrólogos personales.

Nadie recuerda que el Presidente de Thomson Reuters, Gordon Macomber, advirtió de que el índice de impacto de las revistas no debería usarse para evaluar a los investigadores porque el cálculo de ese índice carece de rigor. Las bases de datos de la agencia tienen numerosos errores e inconsistencias fatales.

Recientemente un compañero de la Facultad en la que trabajo nos enviaba un artículo de J. M. de Pablos Coello y M. Túñez, cuyo tono me pareció fuera de lugar, pero que incluía contenidos y reflexiones interesantes que ahora vienen al caso.

-. España ha pagado 25 millones de euros entre 2005 y 2008 a Thomson Reuters por usar sus servicios, para que los investigadores de este país puedan acceder a sus bases de datos.
-. Google Scholar Metrics (GSM) ofrece gratuitamente un servicio probablemente mas eficiente y con seguridad más trasparente.

Escriben Coello y Túñez: "son dos empresas muy diferentes, con formas de actuar bien diferenciadas. Una, Thomson, con más de un siglo de vida, es la representación de la gran compañía capitalista norteamericana; la otra, nacida de la mano de dos jóvenes informáticos, no ha abandonado el espíritu universitario ni traicionado los principios universales de la internet abierta. Siguen comulgando con la idea de que la red es nuestra".

-. Mientras que Thomson acepta o rechaza a determinadas revistas (por razones no demasiado claras), GSM no excluye a ninguna.
-. Las citas valen lo mismo para GSM: "una cita, un voto".

La pregunta que quizá haya que responder, y pronto, es: ¿por qué pagar facturas millonarias por obtener algo que puede lograrse gratuitamente y a partir de una evidencia mucho más trasparente?


Usar unos u otros indicadores conduce a muy distintas conclusiones.

Veámoslo con un ejemplo.

Si consulto mis datos en el conocido 'Researcher ID' de Thomson, observo que mi 'h-index' es de 26.

Ahora vayámonos a GSM.

Aquí mi 'h-index' es 38 y mi 'i10-index' es 91.

¿Qué significan estos números? ¿Cuál es el más adecuado o el más correcto?

Comenzamos este post diciendo que la valoración de programas se puso en circulación para mejorar. No lo hice gratuitamente. Me gustaba esa idea.

¿En qué sentido se contribuye a mejorar la investigación científica consultando los índices de impacto?

La ciencia se ha convertido también en un negocio. Pero la ciencia es mucho más interesante y más grande que eso.

Vean, si lo desean, este video de TED:


No se arrepentirán y, además, encontrarán el antídoto contra los accesos inflamatorios de la 'impactitis'.


4 comentarios:

  1. SAbias reflexiones, amigo Roberto. Las comparto al 100%. El índice de impacto está corroyendo el espíritu científico y minando la capacidad de colaboración abierta.

    ResponderEliminar
  2. Ignoro si son sabias Félix, pero conviene ser cauto con las medidas de productividad, cada vez más consideradas como el Santo Grial. La ciencia bien hecha bien está, pero no es necesariamente mejor por superar el filtro de determinados comités que pueden tener bastante de lobby.

    En cualquier caso, la colaboración no es incompatible con que el resultado se haga público en una revista 'famosa' en ciencia. Es bastante frecuente que los científicos se abran a la colaboración y que compartan sus datos, etc.

    Como casi todo, también ésta historia de los impactos puede tener sus puntos positivos, siempre que no se haga un mal uso.

    Saludos, R

    ResponderEliminar
  3. Personalmente creo que este tipo de índices pueden ser criticados por muchos motivos, especialmente el JCR que últimamente va bastante mal mientras que Scopus es mucho más inmediato y el indicador de Google recoge muchas más fuentes que los dos anteriores. El problema es que me parece que cuando se han querido plantear alternativas, habitualmente han ido en la dirección sugerida por personas cuya productividad científica (tanto cuantitativa como cualitativa) es más bien pobre y han llevado a indicadores que considero mucho peores que estos (veanse In-recs, Car-hus). Esto es como las acreditaciones, son un sistema que se puede mejorar en muchos aspectos pero que en mi opinión es muy superior (en el sentido de la meritocracia) al sistema que teníamos hace algunos años.

    ResponderEliminar
  4. Estimado 'anónimo': este post NO pretende apoyar la eliminación de los indicadores numéricos de la faz de la Tierra. De lo que se trata es de subrayar que deben usarse adecuadamente. Y, especialmente, mi intención es que pensemos en qué sentido ayudan realmente a mejorar la investigación. Evaluar suele ser una fase a la que sigue la intervención. La pregunta es: ¿en qué sentido esta clase de evaluación del impacto científico contribuye a depurar la calidad de lo que hace un investigador en su laboratorio? Aunque seguro que estás muy ocupado, te recomiendo que no pases por alto el video que se incluye en el post. Saludos, R

    ResponderEliminar