El nuevo modelo de evaluación para la categorización de las revistas científicas colombianas: ¿un indicador de calidad e impacto de las revistas en el área de ingeniería y tecnología?
EDITORIAL
En el año 2016, el Departamento Administrativo de Ciencia, Tecnología e Innovación (Colombiano) – Colciencias elaboró y publicó la Política para mejorar la calidad de las publicaciones científicas, en la que uno de los objetivos principales es «aumentar la presencia de las revistas científicas nacionales en los índices citacionales y bases de datos que las comunidades científicas de las diferentes disciplinas reconocen como espacios para la divulgación de resultados de investigación con alto impacto científico». En pro de este objetivo, Colciencias rediseñó el modelo de clasificación de las revistas científicas nacionales, que determina la indexación en el Índice Bibliográfico Nacional IBN-Publindex [
Uno de los cambios más significativos del nuevo modelo es la incorporación de un criterio de evaluación sobre el impacto de la revista, determinado por el nivel de citación de los artículos publicados, lo cual guarda total coherencia con el objetivo planteado, si se tiene en cuenta que es uno de los principales criterios para la inclusión de una revista en bases de datos citacionales como Web of Sciece (WoS) y Scopus.
Así, para la Convocatoria 768 de 2016 se incorporó el índice H5 como indicador de medición del impacto para las revistas que no se encuentran indexadas por el JCR (Journal Citation Report) o SJR (Scimago Journal Ranking). Este índice es una variación del índice H propuesto por el investigador Jorge Hirsch [
De esta manera, el modelo de medición se desarrolló en tres fases [
1. Declaración de cumplimiento del proceso de gestión editorial
2. Validación del proceso de evaluación y de la visibilidad
3. Evaluación del impacto de la revista científica nacional- Cálculo del H5, a través del Software PoP.
Para la Convocatoria 768 se inscribieron en total 604 revistas científicas, de las cuales se clasificaron 246 de la siguiente manera: A1 (1), A2 (12), B (110) y C (123).
Para el 2018, y con el fin de «continuar con la implementación del Modelo de clasificación de revistas científicas para incrementar el número de revistas científicas nacionales incluidas en índices bibliográficos citacionales (IBC) internacionales», Colciencias llevó a cabo la Convocatoria 830 para Indexación de Revistas Científicas Colombianas Especializadas – Publindex 2018 [
1. Evaluar las revistas científicas nacionales de acuerdo con los criterios definidos en el “Modelo de clasificación de revistas científicas -2018”, que hace parte integral de la presente convocatoria.
2. Clasificar las revistas científicas indexadas, de acuerdo con los criterios relacionados con la gestión editorial, visibilidad e impacto, en alguna de las cuatro categorías A1, A2, B o C.
3. Generar indicadores confiables sobre las capacidades de SNCTeI en cuanto a las revistas científicas nacionales, a partir de información validada y actualizada.
Dando cumplimiento a los objetivos 1 y 2, los resultados de la convocatoria fueron publicados el pasado 08 de agosto, a través de la Resolución 1094 de 2019. Estos resultados establecen la categorización de las revistas nacionales vigente para el año 2020. En esta convocatoria se presentaron 573 revistas científicas, de las cuales 275 fueron clasificadas, de la siguiente manera: A1 (3), A2 (10), B (119) y C (143). Como se puede observar, respecto a la convocatoria del 2016, en términos generales se presentó un menor número de revistas, pero se incrementó el número de revistas clasificadas, lo que podría indicar que efectivamente se ha promovido el mejoramiento de las condiciones de calidad editorial, visibilidad e impacto de las revistas nacionales.
En el área de ingeniería y tecnología fueron clasificadas 32 revistas; 19 en categoría B y 13 en categoría C. No hubo revistas clasificadas en categoría A1 o A2, dado que ninguna de las revistas de esta área, se encuentra dentro del cuartil Q1 o Q2 de SJR o JCR. Por su parte, la Revista TecnoLógicas reportó para el momento de la evaluación un índice H5 de 8, lo que le permitió ser indexada y clasificada en categoría C, dado que el valor de corte de este indicador para la categoría B fue de 9.
Con el ánimo de analizar nuestra posición respecto a las revistas colombianas indexadas en una mejor categoría, el equipo editorial técnico de la Revista TecnoLógicas realizó una revisión del indicador H5 de las revistas indexadas en categoría B del área de ingeniería y tecnología, esperando identificar tendencias en las temáticas de publicación y buenas prácticas que nos permitan mejorar nuestro proceso editorial. Para ello se siguió el procedimiento establecido por el modelo de medición, es decir, el cálculo del índice H5 de forma independiente para el nombre de la revista y los ISSN impreso y electrónico, limitando la búsqueda a artículos publicados en el periodo comprendido entre 2013 y 2017, y tomando como resultado aquel en el que se haya obtenido el mayor valor. Posteriormente, se procedió a revisar las citaciones recibidas por los artículos que fueron considerados en el cálculo del indicador para cada revista, la cual se obtiene haciendo uso de la opción Retrieve Citing Works en Publish or Perish.
Los resultados de este análisis nos plantean la posibilidad que no se esté cumpliendo plenamente el tercer objetivo de la convocatoria, en particular respecto al hecho de que la información esté actualizada y validada. Antes de proseguir, queremos señalar que este editorial no pretende señalar a revistas específicas, sino llamar la atención sobre las falencias del modelo de medición de las publicaciones científicas, con respecto a la evaluación de su calidad e impacto, orientado a la búsqueda de su inclusión en índices citacionales.
El primer aspecto al que haremos referencia es sobre la «información actualizada». Más allá de los resultados, consideramos que la misma convocatoria presenta una inconsistencia al respecto, de acuerdo con el procedimiento de evaluación, para definir la clasificación de las revistas para el 2020, ya que se consideró la información de los artículos publicados entre 2013 y 2017. Es decir, entre ocho y tres años atrás de la fecha de vigencia. Esto obviamente no permite observar los resultados de los últimos esfuerzos de las revistas por mejorar la calidad y pertinencia de sus publicaciones, pues no se consideran los artículos publicados los años inmediatamente anteriores, como sí lo hacen los índices citacionales internacionales, que en el caso de SJR es de tres años y en el de JCR es de dos y cinco años, dependiendo del área de conocimiento, pero en ningún caso se llega a observar hasta ocho años atrás. Con relación a los resultados de la última medición, el proceso llevado a cabo permitió evidenciar que más del 50 % de los artículos incluidos en el cálculo del índice H5 para las revistas de ingeniería clasificadas en la categoría B, fueron publicados en 2013 o 2014.
El segundo aspecto hace referencia a la «validación» de la información. De acuerdo con los términos de referencia, la validación se limitó a la verificación del cumplimiento de los requisitos de evaluación y visibilidad internacional (Fase II); sin embargo, ni la convocatoria, ni la Resolución 1094, señalan si se realizó algún proceso de validación de los resultados generados por el software PoP. Al respecto nuestra revisión permitió observar dos grandes falencias. La primera, que el software no verifica la fecha de publicación de los artículos incluidos y, al parecer, esta toma como fecha de publicación la indicada en los metadatos del sitio de publicación, que puede ser la plataforma de la revista (Open Journal System u otra) o, en algunos casos, el repositorio institucional. Por esta limitación encontramos que algunos de los artículos considerados para el cálculo del índice H5 de las revistas indexadas por la convocatoria, fueron publicados en una fecha antes a la de la ventana de observación; en particular, para una de estas revistas, esto sucedió con más de la mitad de los artículos, lo que evidentemente implicaría un error en la categorización. Por otro lado, el software falla al identificar documentos citantes publicados en diferentes fuentes. Así, si un documento que cita un artículo es publicado en una revista, luego es incluido en un repositorio institucional y después se publica en una base de datos académica, como ResearchGate, o en una plataforma como ArXiv o Hal, la citación puede ser contada múltiples veces, alterando el indicador del índice H. Estas fallas de la herramienta de medición pudieron afectar de forma importante los resultados de evaluación, pero además dejan abierta una puerta para que personas inescrupulosas manipulen de forma malintencionada las fuentes de información, para incrementar los resultados del indicador y mejorar así su posición en la clasificación de revistas en Publindex.
Al parecer estas fallas ya habían sido identificadas por Colciencias, toda vez que, en el Modelo de Clasificación (anexo a la Convocatoria 830) se expresa que «A partir de la segunda convocatoria de clasificación, se espera que la normalización de la información para la clasificación de las revistas científicas se realice considerando los siguientes aspectos: autocitas, citas duplicadas, documentos citantes, entre otros». Sin embargo, al parecer no hubo acción alguna para responder a la necesidad de validación de la información en esta segunda convocatoria. Esto nos lleva al tercer punto que debe ser considerado de manera urgente: la autocitación y otras posibles prácticas que pueden incrementar artificialmente el indicador de impacto.
Si bien la convocatoria no realizó ninguna restricción al respecto, es bien sabido que las bases de datos citacionales sí consideran este aspecto en sus procesos de evaluación. En este punto, se observa una autocitación cercana al 40 % en varias de las revistas de ingeniería indexadas en categoría B; incluso, en una de ellas, la cantidad de citas recibidas que provienen de la misma revista supera el 90 %; de las cuales, una gran mayoría fueron generadas entre 2018 y 2019, lo que podría ser un indicio de una mala práctica para mejorar artificialmente el indicador. En otros casos, se observa que la gran mayoría de las citas provienen de documentos de la misma institución editora, lo que podría considerarse también una autocitación, al menos institucional. Por ejemplo, para una de estas revistas, más del 95 % de las citaciones recibidas por los artículos incluidos en el cálculo del indicador H5, provienen de publicaciones de la misma institución, ya sea de otras revistas o de documentos incluidos en el repositorio institucional. En otros casos, este fenómeno de alta autocitación se observa solo para algunos artículos, que evidentemente modifican el cálculo del índice H5 y por ende la clasificación final. Un último aspecto que llamó nuestra atención fue la unicidad de la fuente de citación para algunos artículos, es decir, artículos de una revista que son altamente citados por una sola fuente, en general otra revista, cuyos artículos son principalmente citados por la primera. ¿Podríamos estar ante posibles acuerdos de colaboración entre editores para mejorar el número de citaciones de sus revistas?
Por lo expuesto anteriormente, consideramos que los resultados de la Convocatoria 830 distan mucho de ser confiables, pues las debilidades de la herramienta empleada para la medición y la falta de validación de la información hacen de este un modelo altamente susceptible a errores e imprecisiones, cuyos resultados pueden ser afectados por la manipulación de las fuentes de información. En este sentido, no sobra hacer un llamado a la ética de nuestros pares editores y recordar que es nuestra función ser los garantes de la calidad y rigurosidad de nuestros procesos editoriales, lo que implica también la participación en estos procesos de indexación y clasificación.
Respecto a Colciencias, reconocemos que el proceso de validación de la información puede ser tedioso y costoso. Sin embargo, se deben reconocer las implicaciones que tienen los resultados de la clasificación de revistas para el entorno académico y científico nacional, así como para el presupuesto de las instituciones públicas, ya que estos resultados son empleados para determinar el incremento en puntos salariales y bonificaciones de los profesores de las universidades públicas. Por lo tanto, la mínima responsabilidad de Colciencias, como lo definen los objetivos de la convocatoria, será generar indicadores confiables que permitan la toma de decisiones correctas a todos los actores del sistema.
Finalmente, a nuestros pares evaluadores, autores y lectores, no nos queda más que agradecer la confianza depositada en nosotros. Seguiremos trabajando por el mejoramiento continuo de nuestro proceso editorial para garantizar la calidad científica de nuestra publicación, así como en la búsqueda de la indexación en bases de datos citacionales, que permitan una mayor visibilidad de los artículos publicados.
Referencias
- arrow_upward [1] Departamento Administrativo de Ciencia Tecnología e Innovación - Colciencias, "Política para mejorar la calidad de las publicaciones científicas nacionales," Bogotá, Colombia, 2016.
- arrow_upward [2] A. W. Harzing, "Publish or Perish." Harzing.com, 1999. [Online] https://harzing.com/resources/publish-or-perish.
- arrow_upward [3] M. Shin, J. Ma, A. Mishra, and W. A. Arbaugh, "Wireless Network Security and Interworking," Proc. IEEE, vol. 94, no. 2, pp. 455–466, Feb. 2006. https://doi.org/10.1109/JPROC.2005.862322
- arrow_upward [4] Departamento Administrativo de Ciencia Tecnología e Innovación - Colciencias, "Modelo de Clasificación de Revistas Científicas - Publindex," M304PR03AN01, 2018.
- arrow_upward [5] Departamento Administrativo de Ciencia Tecnología e Innovación - Colciencias, Resolución 1094. Colombia, 2019, p. 2.
Google