Como hemos comentado en algunos de nuestros artículos, los rankings universitarios están de moda. En los últimos años se ha publicado un gran número de rankings (en nuestros artículos sobre los rankings Shanghai y THE y el ranking de la Universidad de Leiden recogemos los resultados y la metodología utilizada en tres de ellos). Los resultados de los rankings están generando una importante presión en las universidades de todo el mundo y en los ministerios competentes para aparecer en estos rankings o para escalar posiciones. Así y tal y como hemos comentado en nuestro artículo sobre fusiones en las universidades, diferentes países se están planteando la fusión de universidades como una vía para poder aparecer en los puestos más altos de los rankings.
De este modo, las Universidades que aparecen en estos rankings dan publicidad a su presencia y las que no aparecen ignoran su ausencia, en unos casos, o cuestionan el valor del ranking en otros. Un ejemplo reciente es el titular que podíamos ver hace unos días en la prensa:
La UPC y la UB, las únicas universidades catalanas en un ‘ranking’ internacional. (Europa Press, 2/02/2012), donde se destaca, entre otras afirmaciones, que “ La Universitat Politécnica de Cataluña (UPC) se ha convertido en la primera universidad catalana, la tercera española y la número 30 del ‘ranking’ que elabora el 4 International Colleges and Universities (4ICU), en que también figura la Universitat de Barcelona (UB) en la posición 36.”. Si estáis interesados en leer todo el artículo, se puede consultar, por ejemplo en El Economista.
Partiendo de la importancia que los rankings están teniendo para las universidades, los grupos de interés y la sociedad en general, en este primer artículo analizaremos aspectos generales de los rankings. En una próxima segunda parte estudiaremos y publicaremos en nuestro blog las características de los principales rankings.
Creemos que los rankings tienen o pueden tener valor para las universidades y las políticas universitarias, pero nos planteamos algunos interrogantes:
- ¿qué miden realmente los rankings (docencia, investigación, transferencia, gestión)?
- ¿cuál es su rigor tanto en los datos e indicadores manejados como en la obtención de resultados?
- ¿qué tipo de datos e indicadores utiliza (objetivos, subjetivos)?
- ¿qué valor real aportan a las universidades y a las políticas universitarias de los distintos países?
En los rankings orientados a establecer un orden, no todas las universidades pueden estar en el número uno. Sin embargo podrían servir para resaltar puntos fuertes y puntos débiles de las universidades, contribuyendo a la mejora tanto de las propias universidades como de los sistemas de educación superior. En cualquier caso, no hay que olvidar que la misión de las universidades tiene que estar relacionada con impartir la mejor docencia, realizar la mejor investigación y la transferencia del conocimiento y, por qué no decirlo, con una gestión eficaz y eficiente más que ser la universidad número uno del mundo.
Principales rankings internacionales existentes
La European University Association (EUA) ha realizado en 2011 un análisis de los principales rankings universitarios existentes y ha publicado los resultados en el documento Global University Ranks and Their impacts. El objetivo de dicho documento es aportar información a las universidades sobre la metodología utilizada en los rankings más populares, así como su impacto potencial. El documento se centra en los principales rankings internacionales que puedan tener un impacto en las universidades europeas, sin tener en cuenta los rankings nacionales. Para cumplir este objetivo analiza las metodologías utilizadas por los rankings de modo que esta información sea pública y transparente, confirmando que se mide lo que se dice y que el proceso de medición y los cálculos se realizan de forma adecuada.
La EUA analiza de forma detallada diferentes rankings, agrupándolos en los siguientes tipos:
Rankings académicos cuyo objetivo es generar listados de universidades ordenadas, las llamadas “university league tables”.
- Shanghai Academic Ranking of World Universities (ARWU) – Shanghai Ranking Consultancy, China
- Times Higher Education World University Ranking.
- World’s Best Universities Ranking – US News & World Report.
- Global Universities Ranking – Reitor (Рейтор), Russia.
Rankings centrados exclusivamente en productividad investigadora (generando listados ordenados de universidades o no)
- EU University-Based Research Assessment – AUBR Working Group, European Commission
- Leiden Ranking – Leiden University, The Netherlands
- Performance Rankings of Scientific Papers for World Universities – Higher Education Accreditation and Evaluation Council, Taiwan
Multirankings – rankings universitarios y clasificaciones utilizando un número de indicadores sin la intención de generar listados ordenados de universidades o university league tables.
- CHE Excellence Ranking – Centre for Higher Education Development/die Zeit, Germany
- U-Map classification – CHEPS
- European Multidimensional University Ranking System (U-Multirank) – proyecto financiado por la Unión Europea.
Web rankings
- Webometrics Ranking of World Universities – Cybermetrics lab, Centro de Ciencias Humanas y Sociales, Spain.
Benchmarking basado en resultados del aprendizaje (learning outcomes)
- Assessment of Higher Education Learning Outcomes (AHELO) – Organization for Economic Cooperation and Development (OECD)
Los aspectos más importantes analizados en cada ranking han sido los que se recogen a continuación:
- Indicadores utilizados y obtención de los resultados agregados.
- Qué se mide realmente y cómo se consigue la información.
- Cambios en la metodología a lo largo del tiempo así como su impacto.
- Puntos fuertes, puntos débiles y particularidades de cada ranking
- Otros resultados ofrecidos por cada ranking: análisis generados de forma adicional (por material, comparaciones entre países, información para estudiantes, etc.)
- Elementos específicos de cada ranking.
Algunos rankings como U-Map, U-Multirank and AHELO, estaban todavía en fase de desarrollo en el momento de la elaboración del informe, por lo que se tendrán que analizar con más detalle en el informe que la EUA elabore en 2012.
Principales conclusiones del documento
Se tiende a pensar que los rankings universitarios globales son una herramienta que permite la transparencia de las universidades. Sin embargo sería difícil afirmar lo contrario: sin rankings las universidades no serían transparentes.
Previsiblemente, la tendencia de los rankings será a crecer en número, a la vez que se especialicen; en la situación actual existe una tipología heterogénea de rankings: rankings cuyo principal objetivo es clasificar las principales universidades (university league tables); rankings centrados en la productividad investigadora; rankings y clasificaciones utilizando una serie de indicadores sin intención de generar puntuaciones o listados ordenados de universidades; rankings orientados a comparar universidades teniendo en cuenta los resultados en el aprendizaje de los alumnos; rankings de universidades teniendo en cuenta la presencia en la web.
Los listados clasificados de universidades (“university league tables”) más populares: ARWU, THE-QS y THE-Thomson Reuters, US News and World Report Ranking (USNWR), HEEACT, Reitor, entre otros) hacen referencia a las principales universidades del mundo. Los listados incluyen aproximadamente entre el 1% y 3% de las universidades (200-500 de entre las 17,000 universidades que existen en el mundo) y, además, estos rankings utilizan metodologías que no generan resultados estables para más de 700-1200 universidades y solamente para unas 300 en rankings por área. Este enfoque elitista dejará fuera a unas 16.000 universidades que nunca aparecerán en los rankings.
Como consecuencia del apartado anterior, las universidades y los ministerios competentes de los diferentes gobiernos pueden pensar que las políticas universitarias deben orientarse a que éstas aparezcan en los rankings. De hecho, algunas universidades y gobiernos tienen como objetivo estar en estas “university league tables” y el descenso en el ranking de algunas supone casi una vergüenza nacional.
Cuando se analizan los resultados, no siempre se tiene en cuenta si los indicadores y resultados son absolutos (número de publicaciones, estudiantes, personal, etc.) o relativos (publicación por cada profesor a tiempo completo, financiación por estudiante, etc.) o cómo se han procesado. Por ello es importante analizar con detalle la metodología utilizada en la elaboración de los rankings antes de extraer conclusiones. Más aún, todos los rankings contienen un componente subjetivo o “sujeto a manipulación” (priorización de indicadores, encuestas de reputación, salarios, tiempo en finalizar los grados, tasa de graduados, ratio profesor/alumno) o cuestionable (medir la calidad de la docencia utilizando el número de alumnos que han obtenido el premio Nobel). Más aún la utilización de indicadores absolutos (ARWU) prioriza a las universidades más grandes; la utilización de valores relativos (THE) prioriza a las universidades más eficientes y no necesariamente más grandes, que puntuarán ligeramente más alto; otros rankings como Leiden aportan indicadores dependientes e independientes del tamaño de la universidad. En cuanto a los indicadores bibliométricos utilizados para medir la productividad investigadora, favorecen a las ciencias naturales o la medicina, mientras que se ven penalizadas las ciencias sociales y las humanidades. Mediante la normalización se trata de compensar estos sesgos, aunque la propia normalización puede introducir sesgos (priorización de publicaciones más antiguas por ejemplo).
En los rankings se pueden introducir sesgos debido a la revisión por pares o “peer review” en algunos indicadores. En realidad está haciendo relación a encuestas de reputación, en las cuales los niveles de respuesta son bajos y la selección de encuestados puede estar sesgada y su opinión influida por la reputación previa de la universidad. Además existe un sesgo en función del idioma y de la ubicación de la universidad. Así los rankings favorecen en general a los países de habla inglesa, dado que los trabajos en otros idiomas se publican y se citan menos.
Internacional Ranking Expert Group
Sería lógico que nos preguntásemos quién evalúa al evaluador, es decir, ¿quién valida que los rankings hacen lo que dicen y se elaboran con el rigor y la calidad necesarios?. En este contexto, se crea el International Ranking Expert Group (IREG) en 2004 por el UNESCO European Centre for Higher Education (UNESCO-CEPES) radicado en Bucarest y por el Institute for Higher Education Policy ubicado en Washington, DC. El IREG parte del principio de que los rankings universitarios son un fenómeno arraigado en el mundo universitario como fuente de información y transparencia y como un método de evaluación de la calidad, además de influir en la elaboración de las políticas universitarias. Por ello es importante que los rankings se elaboren bajo un criterio deontológico utilizando metodologías contrastadas y que no estén sujetos a errores de análisis o interpretación.
En esta línea el International Ranking Expert Group (IREG) publicó en Mayo de 2006, una serie de principios sobre la calidad y las buenas prácticas sobre los rankings orientados a las Universidades: “the Berlin Principles on Ranking of Higher Education Institutions” o, de forma más breve, “Berlin Principles”, es decir, los Principios de Berlín para los Rankings de la Educación Universitaria.
IREG Observatory
En Octubre de 2009, se creó el IREG Observatory on Academic Ranking and Excellence o “IREG Observatory”, cuya misión es la evaluación de la calidad de los rankings universitarios, dentro de la iniciativa IREG Ranking Audit, que tiene como objetivos:
- mejorar la transparencia sobre los rankings;
- aportar a los usuarios de los rankings herramientas que les permita identificar los rankings fiables;
- mejorar la calidad de los rankings.
El IREG ha elaborado un manual en el que desarrolla un marco común de entendimiento del proceso de auditoría de los rankings. En este manual se describen los criterios utilizados en la realización de la auditoría y su forma de evaluación, así como los pasos que se seguirán para la realización de la auditoría y la documentación y evidencias que la organización que elabora el ranking tiene que presentar; todo ello dentro de los Principios de Berlín: propósito de los rankings, grupos objetivo y aproximación básica; metodología (indicadores, obtención de datos, tratamiento de los indicadores); publicación y presentación de los resultados; transparencia y capacidad de respuesta de la organización que elabora el ranking; garantía de calidad durante todo el proceso de elaboración del ranking.
Se ha abierto una primera ronda en este proceso de auditoría para que las organizaciones que elaboran los rankings muestren su interés en ser auditadas que finalizaba el 31 de enero de 2012.
CONCLUSIONES
Los rankings nos pueden gustar más o menos pero, al igual que la EUA, creemos que seguirán publicándose y se utilizarán como referencia en el mundo universitario. Evidentemente las universidades que estén más arriba los defenderán y utilizarán como venta de las bondades de su universidad y las que estén más abajo o no aparezcan buscarán motivos que justifiquen su ausencia o medios para aparecer en puestos más altos. Por ello es importante conocer los rankings en detalle y qué criterios utilizan para evaluar a las universidades.
Además es importante ampliar la utilidad de los rankings: evaluación de las universidades y de los sistemas universitarios (puntos fuertes, puntos débiles, aspectos de mejora); orientación para los estudiantes a la hora de elegir una universidad; ampliación a las universidades que quedan fuera del ámbito de análisis del ranking y que pueden estar haciendo un trabajo eficiente, impartiendo una buena docencia o realizando una investigación especializada, pero no se preocupan por los rankings o, sencillamente, quedan fuera de sus posibilidades o ámbito.
Por otra parte es conveniente relativizar los rankings, teniendo en cuenta su componente subjetivo. Por ejemplo, se están publicando clasificaciones de países, pudiéndose utilizar diferentes criterios: desde el número total de universidades (Estados Unidos, Reino Unido, Alemania o Francia), hasta la normalización teniendo en cuenta los habitantes del país (Suiza, Suecia, Finlandia y Dinamarca).
Creemos que la auditoría de los rankings puede contribuir a su propia mejora y a un mayor conocimiento de la metodología utilizada, así como a la clarificación de aquellos aspectos subjetivos sobre los que sea posible intervenir.
MÁS INFORMACIÓN
European University Association
Documento Global Rankings and their impact
Observatory on Academic Ranking and Excellence
Manual de auditoria del IREG group
Documento Berlin Principles on Ranking of Higher Education Institutions
Gestión Pública Responsible ¿también en las Universidades?
Ranking de la Universidad de Leiden
Fusiones de Universidades ¿mejor futuro para las universidades españolas?