Evaluación de la investigación y rankings de universidades, más allá de las citas y el factor de impacto

Autores:
  • Gloria Mercedes Díaz Cabrera
DOI 10.22430/22565337.3103 Logotecnologicas PDF
Cómo citar / How to cite
G. M. Díaz Cabrera, «Evaluación de la investigación y rankings de universidades, más allá de las citas y el factor de impacto »”, TecnoLógicas, vol. 27, nro. 59, e3103, 2024.     https://doi.org/10.22430/22565337.3103


 

EDITORIAL

La evaluación de la investigación es actualmente uno de los temas de mayor relevancia y controversia en la ciencia y la academia, especialmente en el ámbito universitario. Esta evaluación se utiliza comúnmente para clasificar instituciones, grupos, productos académicos como las revistas científicas, y al personal docente investigador. Los indicadores de calidad e impacto de la investigación influyen decisivamente en el ascenso en carreras académicas, selección de beneficiarios de becas e incentivos, culminación de programas de alto nivel (como maestrías y doctorados), asignación de recursos en instituciones y centros de investigación, y en la definición de políticas públicas a nivel institucional y gubernamental [1], [2].

En el caso de los rankings o clasificadores universitarios su impacto ha trascendido de los ámbitos académicos y científicos, y son actualmente reconocidos por la sociedad en general como indicadores de la calidad de las instituciones, gracias a su divulgación en medios de comunicación y redes sociales. Su concepción se remonta a 1986, año en el cual se publicó por primera vez el ranking America's Best Colleges; sin embargo, fue la transformación a la era digital, la que permitió su desarrollo y proliferación.

Actualmente, se publican más de 20 rankings universitarios globales, y otros más regionales, locales y hasta especializados en funciones misionales específicas. Los de mayor reconocimiento en Latinoamérica son: el Academic Ranking of World Universities - ARWU, también conocido como el ranking de Shanghái, el Times Higher Education World University Ranking - THE, el Quacquarelli Symonds (QS) Universities ranking, el Scimago Institution Ranking (SIR) y el Ranking Web de Universidades o Webometrics.

Aunque estos rankings contemplan diferentes dimensiones de las funciones misionales de la educación superior, la evaluación de la investigación mantiene un valor preponderante; e incluso, en algunos de ellos, sólo las instituciones que cuentan con un número mínimo de publicaciones en bases de datos indexadas son evaluadas.

El Academic Ranking of World Universities - ARWU, desarrollado en 2003 por la Universidad de Shanghai Jiao Tong, se basa en la valoración de cuatro características de calidad de la educación (10 %), calidad del personal docente (40 %), resultados de investigación (40 %), y una característica de rendimiento per cápita (10 %), que realiza un ajuste al tamaño de la institución [3]. Sin embargo, se podría decir que todos sus indicadores están asociados a investigación, pues además del número de artículos publicados en las revistas Nature y Science, y el número de artículos indexados en el Science Citation Index-Expanded y el Social Science Citation Index de Clarivate, se valora el número de investigadores altamente citados y el número de docentes y egresados que han sido galardonados con premios Nobel o Medallas Fields (otorgados principalmente a investigadores que realizan aportes al conocimiento de gran importancia).

Otros rankings, como el THE y el QS incorporan la reputación de las instituciones, a partir de encuestas que se realizan a diferentes actores a nivel mundial. Sin embargo, el componente de investigación sigue siendo relevante para la clasificación. El ranking THE, lanzado en 2004, presenta una distribución de valoración en las siguientes características, 29.5 % al entorno de aprendizaje, 59 % al entorno y la calidad de la investigación, en términos de la reputación y los ingresos por investigación, y en métricas bibliográficas como el número de publicaciones en Scopus, y el impacto, solidez, excelencia e influencias de estas, medidas a partir de las citas recibidas, 4 % correspondiente al relacionamiento con la industria y 7.5 % a la perspectiva internacional, del cual 2.5 % se evalúa con base a la colaboración con autores con filiación a instituciones internacionales, es decir una métrica basada en bibliometría [4].

El ranking QS, presentado en 2009 luego de que Quacquarelli Symonds se separará de THE, le otorga un peso mucho menor a la evaluación relacionada directamente con la investigación; un 20 % a las citaciones por docente y 5 % a la coautoría internacional, aunque en la versión para Latinoamérica estos porcentajes varían, con una valoración mayor a la coautoría internacional (10 %) y además, cambia la valoración de citas por docente, a artículos por docente (5 %) y citas por artículo (10 %), y otorga un valor de 5 % a un indicador de impacto del ranking Web de Universidades – Webometrics [5].

El Scimago Institution Ranking - SIR, publicado desde 2009 por el ScimagoLab, hace parte de un conjunto de rankings fuertemente basados en datos bibliométricos, entre los que se encuentran otros rankings con menos reconocimiento en la región, como el Ranking de Leiden y el University Ranking by Academic Performance (URAP) . El SIR, genera una clasificación de instituciones que hacen investigación, incluidas instituciones de educación superior, empresas, entidades de gobierno, entidades de salud y entidades sin ánimo de lucro. Las características que definen la clasificación global se dividen en tres categorías: investigación (50 %), medido en términos de número de publicaciones, liderazgo, excelencia, impacto, colaboración internacional y publicación en acceso abierto; innovación (30 %), medido por el número de patentes solicitadas y la citación de publicaciones de la entidad en patentes e impacto social (20 %), que incluye algunas métricas alternativas sobre menciones en redes sociales, métricas sobre el impacto Web, y en su última versión, número de documentos relacionados con los ODS, número de autoras (mujeres) y número de publicaciones citados en documentos de políticas públicas [6].

Como se observa en esta breve revisión, la evaluación de la investigación en los rankings o clasificadores académicos se ha basado tradicionalmente en indicadores bibliométricos, en principio objetivos, que intentan valorar el impacto de las contribuciones científicas, tales como el número de publicaciones, la tasa de citaciones, o el Factor de Impacto (propuesto hace casi cinco décadas), entre otros. Aun las propuestas de métricas alternativas, como las del SIR, o de nuevos indicadores como la colaboración internacional, la inclusión de mujeres en el ámbito científico, y el impacto en políticas públicas o en la industria, tienen un enfoque predominante en la cantidad de publicaciones y citaciones en revistas de corriente principal, que priorizan la cantidad sobre la calidad y la relevancia local de la investigación, y que menosprecian las brechas en el manejo del idioma inglés, y desconocen la diversidad de productos resultados de investigación y de las funciones misionales de las instituciones de educación superior, que podrían priorizar, por ejemplo, la transferencia de conocimiento sobre la generación de publicaciones. Adicionalmente, la tendencia creciente hacia la publicación de acceso abierto en la ruta dorada, y los elevados costos de los APC (Article Processing Charges) que pueden ser prohibitivos para investigadores de regiones menos desarrolladas, resalta la necesidad de replantear los criterios actuales y promover prácticas más equitativas y responsables en la evaluación de la investigación, y de los actores que la desarrollan (investigadores, grupos e instituciones).

Recientemente, han emergido modelos alternativos de evaluación de Instituciones de Educación Superior que, si bien mantienen indicadores tradicionales basados en publicaciones y citas, proporcionan otros orientados al impacto de la investigación, además de ampliar el enfoque a las diferentes funciones misionales de las Instituciones. Por ejemplo, el Times Higher Education Impact Ranking [7], publicado anualmente desde 2019, realiza una evaluación en función de la contribución de las instituciones a los Objetivos de Desarrollo Sostenible (ODS) desde cuatro dimensiones: investigación, administración, extensión y enseñanza. La evaluación se basa tanto en datos suministrados por la institución, como de otras fuentes; para el componente de investigación, los indicadores son igualmente bibliométricos derivados de datos proporcionados por Elsevier.

Finalmente, quiero hacer mención del ranking U-Multirank, financiado por la Comisión Europea a través de un consorcio independiente que incluye el Centro para la Educación Superior (CHE) en Alemania, el Centro de Investigaciones de Política Científica y Tecnológica (CWTS) de la Universidad de Leiden en los Países Bajos, y el Centro para la Educación Superior y Desarrollo (CHEPS) de la Universidad de Twente, también en los Países Bajos, que permite a los usuarios personalizar los indicadores para comparar universidades respecto a diferentes aspectos como enseñanza y aprendizaje, transferencia de conocimiento, orientación internacional y contribución regional. Sus fuentes de datos incluyen información pública, así como información suministrada por las mismas entidades; y a diferencia de otros rankings, este no elabora una lista de clasificación de las universidades, sino que establece su posición en cinco grupos de desempeño (desde “muy bueno” hasta “débil”) para cada uno de unos 30 indicadores diferentes. Precisamente, por no generar periódicamente una lista de clasificación, es que posiblemente no ha recibido la atención mediática de otros rankings a pesar de ser uno de los más comprensivos [8].

A pesar de estos avances, la evaluación responsable del impacto de la investigación y de los actores que la realizan, aun se presenta como un desafío que afecta e involucra a todos. Iniciativas como el manifiesto de Leiden [9], la Declaración de San Francisco sobre la Evaluación de la Investigación (DORA) [10], la Coalición Canadiense para la Evaluación Responsable de la Investigación (COARA) [11], y recientemente la Declaración de Barcelona [12], han abogado por una evaluación más holística, inclusiva, transparente y responsable de la investigación. Estas han contado con el respaldo de miles de personas y entidades de todo el mundo, incluidas organizaciones financiadoras y generadoras de políticas públicas; sin embargo, su implementación efectiva requiere un compromiso continuo y colaborativo de todas las partes interesadas. Desde investigadores individuales que adoptan prácticas de investigación abierta y ética, hasta instituciones que revisan sus criterios de evaluación para incluir indicadores más amplios y representativos del verdadero impacto y valor de la investigación. En particular, las revistas científicas, que desempeñan un papel crucial en la diseminación del conocimiento en contextos locales y regionales, deben abogar también por la adopción de métricas de evaluación que valoren la calidad y la relevancia local de la investigación por encima de la simple contabilidad de citas y factores de impacto.

Es imperativo que las acciones individuales, institucionales y colectivas se orienten hacia la creación de un ecosistema científico más justo y equitativo, donde el valor de la investigación se mida no solo por su presencia en bases de datos globales, sino también por su capacidad para abordar desafíos locales y contribuir significativamente al desarrollo económico y social del territorio.

Referencias