(Tema 3.2) Factor de impacto. Calidad de las revistas

No todas las revistas son iguales. Ni siquiera las revistas científicas son iguales. De forma inconsciente tenemos algún tipo de "prestigiómetro" que hace que veamos unas como mejores que otras. Esa idea de calidad de las revistas ¿se puede objetivar de alguna manera? Esto puede parecer un ejercicio académico, sin embargo es muy importante, porque como autor habrá que buscar publicar en las mejores revistas, como evaluador se considerarán con mayor valor las publicaciones en mejores revistas... vamos, que la clasificación de las revistas se convierte de un elemento clave del sistema de publicación y evaluación de la ciencia.

Ni la medida de la calidad de una revista es un asunto obvio, ni todos los artículos de la misma revista tienen la misma calidad. Sin embargo con el tiempo se han establecido unas medidas muy estandarizadas que se aceptan de forma muy general en casi todas las disciplinas (de las ciencias "duras") y en todos los lugares. La idea se basa en la siguiente hipótesis: Los artículos con contenidos más interesantes serán citados más que aquellos con menos interés. A partir de ahí, la mejor revistas es la que tiene artículos con más citas. Y para implementar estas ideas se meten en bases de datos todos los artículos (de un gran número de revistas) junto con sus citas y se calculan medias. En particular, la más conocida, el "Factor de Impacto". Es la métrica clave, la más extendida. Sobre la definición, el uso y el abuso de este índice (y otros más con los que se representa la distribución temporal de citas) está muy bien el artículo "Impact Factor: use and abuse" (Amin & Mabe), en la red AQUÍ.

Os dejo también un PWP que da un vistazo rápido a la cuestión de la calidad de las revistas (y donde aparece el IF, claro):

Evaluacion y calidad de las revistas cientificas-Alonso from Latindex

Pero no todo se acaba ahí. En los últimos años se está haciendo un esfuerzo muy grande por crear una alternativa europea al WOS (de Clarivate Analytics), y así ha surgido SCOPUS como base de datos de artículos y su explotación cara a la calidad de las revistas que es SCIMAGO (Echadle un vistazo, jugad un poco).

Una cuestión muy interesante sobre este asunto del índice de impacto es lo mal que representa realmente a las citas de cada artículo. Las citas que reciben los artículos no siguen una distribución "normal" gausiana, sino una ley de potencias: unos pocos artículos reciben muchísimas citas, mientras que la mayoría no recibe.. ninguna en realidad. El factor de impacto es la media de la distribución, eso es matemáticamente innegable, pero la media describe magníficamente distribuciones gausianas, pero las que siguen leyes de potencias no.

Dicho de otra manera, si consigo colar mi artículo (que no recibirá citas) en una revista mejor, me beneficio más del arrastre de sus autores más citados que si la coloco en una de peor IF en la que me beneficio de autores con menos tirón. Pero en todos los casos mi artículo no añade citas, y por tanto es beneficiario puro de la situación. 

Por cierto, la figura que ilustra este hecho la he tomado de esta presentación.

Una cosa más, últimamente empiezan a aparecer "métricas falsas", sucedáneos del factor de impacto para revistas que no alcanzan los estándares para estar en el SCI de verdad. Un comentario sobre el tema y la lista (en oct de 2015) de este tipo de iniciativas (insisto, fraudulentas), se puede encontrar AQUI.

 

En disciplinas de ciencias sociales no se ha llegado a estandarizar tanto la medida de la calidad de las revistas, como se puede ver en el programa de este congreso sobre calidad de las revistas en Ciencias Sociales. A pesar de que la estandarización tiene problemas, su ausencia probablemente sea aún peor. 

 

En cualquier caso, lo que seguro que se nos ha ido de las manos es la utilización de estos indicadores bibliométricos para la evaluación de la investigación (investigadores, proyectos, sexenios, etc.). Quede claro que no nacieron para eso, pero es donde han adquirido una preponderancia innegable. Han surgido iniciativas colectivas (mundiales) para disminuir el peso de estos indicadores en la evaluación de la investigación como DORA y COARA. Siendo esto importante, se nos va del tema, que era ya largo.