Llevamos unas cuantas ya, y en la anterior varias personas me comentasteis que se aprecia poder elegir, así que vamos a llevar eso al extremo. Esta semana quiero que me comentéis lo que más os haya llamado la atención de las lecturas de la semana pasada: revisión por pares y factores de impacto y calidad de las revistas en general.
Un comentario rápido sobre una idea.
Si además seguís haciendo lo de "dar un paseo" por un par de blogs de compañeros mejor, enriquece mucho la diversidad de puntos de vista.
De las lecturas de la semana pasada, lo que más me ha llamado la atención es la tensión entre la revisión por pares como ideal de calidad y su funcionamiento real, lleno de sesgos y limitaciones, junto con el uso a menudo perverso del factor de impacto como sucedáneo de la calidad individual.
ResponderEliminarLa revisión por pares es considerada el "gold standard" de la ciencia, pero varios autores han señalado que es lenta, costosa, poco reproducible y propensa a sesgos como el favoritismo institucional o la hostilidad hacia resultados novedosos (Smith, 2006). Me sorprendió especialmente que los estudios empíricos muestran que la revisión por pares apenas mejora la detección de errores graves comparada con una edición sin revisores externos (Jefferson et al., 2007). Sin embargo, sigue siendo el mecanismo menos malo que tenemos.
Por otro lado, el factor de impacto (JIF) nació como una herramienta bibliométrica para ayudar a las bibliotecas a decidir qué revistas suscribir, no para evaluar artículos individuales ni mucho menos investigadores (Garfield, 2006). Pero se ha convertido en un fetiche que distorsiona la práctica científica: se publica por impacto, no por rigor; se persiguen temas de moda; se fomenta el "salami slicing" (publicar mínimo publicable) y la presión por resultados positivos (Brembs et al., 2013). La Declaración de San Francisco sobre Evaluación de la Investigación (DORA) ya instó a no usar el factor de impacto como sustituto de la calidad de trabajos individuales (Alberts et al., 2015).
Una idea que me quedó muy clara es que ambos mecanismos —revisión por pares y factor de impacto— son herramientas imperfectas que requieren uso crítico. No deberíamos idolatrarlos ni demonizarlos, sino entender sus sesgos y complementarlos con otras prácticas: revisión abierta, preprints, evaluación por paneles basada en el contenido y no en la revista.
Por último, coincido en que "dar un paseo" por los blogs de compañeros enriquece mucho los puntos de vista. Leer cómo otros interpretan estas mismas lecturas permite detectar matices que uno mismo pasa por alto. La diversidad de perspectivas es precisamente lo que la revisión por pares bien hecha intenta capturar.
Referencias
Alberts, B., Cicerone, R. J., Fienberg, S. E., Kamb, A., McNutt, M., Nerem, R. M., ... & Zuber, M. T. (2015). Self-correction in science at work. Science, *348*(6242), 1420-1422.
Brembs, B., Button, K., & Munafò, M. (2013). Deep impact: Unintended consequences of journal rank. Frontiers in Human Neuroscience, *7*, 291.
Garfield, E. (2006). The history and meaning of the journal impact factor. JAMA, *295*(1), 90-93.
Jefferson, T., Rudin, M., Brodney Folse, S., & Davidoff, F. (2007). Editorial peer review for improving the quality of reports of biomedical studies. Cochrane Database of Systematic Reviews, (2), MR000016.
Smith, R. (2006). Peer review: a flawed process at the heart of science and journals. Journal of the Royal Society of Medicine, *99*(4), 178-182.