El día 15 de marzo de 2012 se publicó el listado de las 100 universidades del mundo con mayor reputación o “Top Universities by Reputation 2012”, por el Times Higher Education. Supongo que ya empezamos a ver rankings detrás de cada esquina, acechándonos, esperando a ver cómo sale nuestra universidad o las universidades de nuestro país. En este artículo vamos a analizar en qué consiste el Ranking de reputación integrado en el Ranking del Times Higher Education. Además conoceremos un poco más sobre cómo se obtienen estos valores de reputación. Para los que tengáis interés en saber más en general sobre rankings podéis leer los artículos el valor de los rankings universitarios primera parte y segunda parte
El Ranking Times Higher Education (THE) World Reputation se elabora mediante una encuesta que se entrega a diferentes académicos de todo el mundo. Tal y como se recoge a continuación, los datos de la encuesta se utilizaron, junto con otros once indicadores, para elaborar el World University Rankings 2011-2012, publicado el pasado octubre (2011) y que ahora se publica de forma separada.
Categoría docencia: entorno de aprendizaje (30%). Incluye cinco indicadores, de los cuales los resultados de la encuesta de reputación valen el 15%.
Categoría investigación: cantidad, ingresos y reputación (30%). Incluye tres indicadores, de los cuales la reputación investigadora vale el 18%.
THE defiende la importancia de este ranking basado exclusivamente en la reputación, dado que considera que, en un mercado universitario competitivo, la reputación proporciona beneficios a las instituciones universitarias:
- atraer y retener a los mejores profesores,
- establecer convenios con las mejores universidades,
- obtener mayor financiación
- orientar a los estudiantes a elegir las mejores universidades, aquellas que les ayudarán a conseguir los mejores trabajos en el mercado laboral.
Además, de acuerdo con el 2011 Global International Student Barometer, es precisamente la reputación (carrera, institución, etc.) uno de los principales factores que influyen en la elección de la universidad por parte de los estudiante. Por otra parte, THE considera que la reputación no se puede sostener a largo plazo si detrás no hay una buena docencia y una buena investigación y esto se relaciona con la producción científica, la contratación del profesorado y los alumnos que solicitan matricularse en esas universidades.
De acuerdo con THE, se invita por correo electrónico a “decenas de miles” de académicos de todo el mundo por Times Higher Education y Thomson Reuters a participar en la Academic Reputation Survey, llevada a cabo por Ipsos.
La encuesta se distribuye en 9 idiomas y el único incentivo que se les ofrece a aquellos que la rellenan es la posibilidad de ver un resumen de los resultados y recibir copias en formato electrónico del magazine Times Higher Education.
Hasta el momento se han realizado dos rondas de recopilación de respuestas (2010 y 2011). En la primera edición realizada entre marzo y abril de 2010, se obtuvieron 13,388 respuestas. En la segunda edición llevada a cabo entre abril y mayo de 2011, no se pidió la participación de los participantes anteriores y se obtuvieron 17,554 respuestas, suponiendo un incremento del 31 por ciento sobre la tasa de respuesta del año anterior.
Algunos datos de los participantes:
- Mayoritariamente trabajan como académicos a tiempo completo, con una experiencia de al menos 16 años.
- En torno al 20 por ciento pertenecen al ámbito de la física, otro 20 por ciento al de la tecnología y la ingeniería, 19 por ciento al de ciencias sociales, 17 por ciento del entorno del ámbito clínico, 16 por ciento de ciencias de la vida y 7 por ciento de artes y humanidades.
- En cuanto al ámbito geográfico: 44 residían en América, 28 por ciento en Europa, 25 por ciento de la región que comprende Asia-Pacífico y el Medio Este, y 4 por ciento en África.
Tal y como se apunta por THE, las encuestas de reputación han generado controversia. Así, hace referencia al artículo de Malcolm Gladwell en The New Yorker: “The Order of Things: what college rankings really tell us“.
Cómo se calculan los resultados
El resultado general se calcula obteniendo un valor de reputación que combina datos de investigación y docencia. Los dos valores se combinan en una ratio 2:1, dando más valor a la investigación que a la docencia, dado que considera que los encuestados valoran de forma más precisa la investigación.
Los resultados se basan en el número de veces que los encuestados responden que una institución es “la mejor” en el campo de su experiencia, pudiendo nominar hasta un máximo de 15 instituciones.
La tabla de resultados recoge 100 universidades, aunque solamente se ordenan las 50 primeras, agrupándose el resto en grupos de 10 en orden alfabético. Los resultados de las tablas se muestran como porcentaje de la Universidad con mayor reputación (Harvard), cuyo valor es 100.
Los resultados
No aparece ninguna Universidad española, de modo que o bien nuestras universidades no se venden de forma adecuada en el mercado global o quizás la marca España no tiene peso en este mercado internacional. Además podríamos encontrar otras causas como el sesgo hacia el mundo angloparlante, la tendencia a perpetuar a la “élite” año tras año, así como la dificultad para los encuestados de seleccionar instituciones menos conocidas, tal y como apunto con posterioridad al analizar la metodología del ranking.
La indiscutible ganadora, según el ranking, es la Universidad de Harvard, seguida por el MIT (Massachusetts Institute of Technology). En tercer lugar aparece la primera universidad europea, aunque también perteneciente al mundo angloparlante: la Universidad de Cambridge. Van seguidas, en este orden, por las universidades de Stanford, California Berkeley, Oxford, Princeton, Tokyo, California Los Angeles y Yale.
En las tablas siguientes se recoge el número de universidades que aparecen en el ranking, ordenadas por el país al que pertenecen:
a) Del 1 al 50:
|
|||||||||||||||||||||||
Como conclusión es suficiente decir que entre las primeras cincuenta universidades, 30 pertenecen a Estados Unidos (60% del total) y 6 al Reino Unido (12%).
b) Del 1 al 100:
|
||||||||||||||||||||||||||||||||||||||||
Esto se anima, aparecen universidades de más países, pero siguen siendo las Universidades de Estados Unidos las que van en cabeza (44) seguidas de las Universidades del Reino Unido (10). Sumando todas las universidades europeas estaríamos hablando de un total de 30 universidades sobre 100. Aparecen algunas universidades de países como Singapur, Bélgica, Brasil, Taiwán o Turquía, pero España sigue ausente del ranking.
Si comparamos las 100 primeras universidades de la encuesta de reputación con las 100 primeras del THE ranking, vemos que, en esta último ranking, la diferencia con las universidades de países angloparlantes es todavía mayor:
| PAÍS | NÚMERO |
| Estados Unidos | 51 |
| Reino Unido | 12 |
| Canadá | 5 |
| Australia | 4 |
| Alemania | 4 |
| Paises Bajos | 4 |
| Francia | 3 |
| Suecia | 3 |
| Suiza | 3 |
| China | 2 |
| Hong Kong | 2 |
| Japón | 2 |
| Corea | 2 |
| Bélgica | 1 |
| Finlandia | 1 |
| Singapur | 1 |
En este último ranking desaparecen las universidades de Israel, Brasil, Taiwan y Turquía y se “cuela” una universidad de Finlandia. En cualquier caso, no hay que olvidar que la reputación pesa en el THE Ranking un 33% del total.
Cuando se tienen en cuenta los indicadores de rendimiento además de los de reputación las universidades españolas siguen sin aparecer en los primeros puestos (para un análisis detallado ver el artículo Ranking Shanghai y THE). Por ello debemos buscar más razones en la no aparición de universidades españolas en los primeros puestos de este ranking.
Otro dato interesante puede ser comparar las posiciones de las universidades que aparecen en este ranking en primer lugar y el puesto que ocupan en el THE Ranking:
|
Institución | THE Ranking | |
| 1 | Harvard University | 2 | |
| 2 | Massachusetts Institute of Technology | 7 | |
| 3 | University of Cambridge | 6 | |
| 4 | Stanford University | 2 | |
| 5 | University of California Berkeley | 10 | |
| 6 | University of Oxford | 4 | |
| 7 | Princeton University | 5 | |
| 8 | University of Tokyo | 30 | |
| 9 | University of California Los Angeles | 13 | |
| 10 | Yale University | 11 | |
| 11 | California Institute of Technology | 1 | |
| 12 | University of Michigan | 18 | |
| 13 | Imperial College London | 8 | |
| 14 | University of Chicago | 9 | |
| 15 | Columbia University | 12 |
Vemos que no hay grandes diferencias para las 15 primeras universidades, salvo en el caso de la Universidad de Tokio que en el THE Ranking baja hasta el puesto 30 y el California Institute of Technology que sube del 11 al 1.
Desde el punto de vista de la reputación hay una élite de 6 universidades de Estados Unidos y Reino Unido que forma las llamadas “super-marcas” (“super-brands”). Estas seis instituciones ocupan lo que THE denomina una “zona especial más allá de la competencia“, cosechando premios y recursos en el ámbito de la docencia y la investigación. El grupo, como hemos visto, está liderado por Harvard y completado por el MIT, Cambridge, Stanford, California Berkeley y Oxford.
La encuesta en detalle
Thomson Reuters ha anunciado el lanzamiento de su Encuesta de Reputación Académica para 2012, por tercer año consecutivo.
De acuerdo con la información suministrada por Reuters, esta encuesta se enviará a 200.000 académicos e investigadores de todo el mundo. Se preguntará a los encuestados por las instituciones que consideran que son las mejores en investigación, docencia. Además se generará un perfil detallado de cada institución combiando esta valoración con otras variables. Se tendrán en cuenta las áreas siguientes: ingeniería y tecnología; física; ciencias de la vida; salud ciencias sociales y arte y humanidades. La encuesta se publica en nueve idiomas: árabe, brasileño, portugués, inglés, francés, alemán, japonés, chino y español.
Tal y como hemos comentado, los resultados de la encuesta del año 2011 han formado parte del World University Rankings 2011-2012 publicado por Times Higher Education en colaboración con Thomson Reuters. Los resultados de la encuesta de 2012 se tendrán en cuenta para elaborar el ranking para 2012-2013.
Por ello, la elaboración de la encuesta se integra en la propia elaboración del ranking. El conocimiento del proceso de elaboración puede aportar un mayor conocimiento del valor del ranking. Así analizaré el proceso de elaboración de forma somera, centrándome principalmente en los aspectos relativos a la encuesta de reputación, dado que es el objetivo del artículo:
- Encuesta de opinión
La primera fase del proyecto consiste en distribuir una encuesta de opinión abierta a los principales líderes y grupos de interés académicos solicitando feedback sobre las comparaciones institucionales actuales, las metodologías, el valor de los indicadores utilizados, etc. El informe se ha elaborado de acuerdo con las respuestas de 350 personas y se puede descargar o consultar respuestas abiertas por localización de los consultados. De entrada, podemos decir que no se trata de una encuesta de opinión global, dado que los encuestados proceden de un total de 30 países, mayoritariamente de Reino Unido (107), Estados Unidos 90) y Australia (30).
Algunas conclusiones: los sistemas de comparación son muy útiles o extremadamente útiles para un 40%, frente a un 45% que considera que son algo útiles; existe una amplia preocupación sobre la calidad de los datos utilizados; se considera que se favorece a las naciones angloparlantes; el 74 por ciento considera que las instituciones manipulan los datos para obtener mejores resultados en los rankings.
- Encuesta de reputación.
Tal y como hemos comentado, Thomson Reuters se pone en contacto con académicos de todo el mundo para rellenar la encuesta de reputación anual. Estos académicos deben resaltar qué instituciones consideran que son las mejores en sus campos específicos tanto en docencia como en investigación, generando así una valoración de la reputación de las instituciones. La distribución de las encuestas se hace teniendo en cuenta los datos de Naciones Unidas de número de académicos por continente-subcontinente.
La encuesta contiene los siguientes bloques:
– Datos sobre el encuestado: Idioma, ocupación, institución en la que trabaja, institución en la que ha obtenido su mayor titulación, otra institución en la que haya trabajado o con la que haya colaborado recientemente (solamente una), regiones del mundo de las que tenga un mayor conocimiento en relación a la educación superior, materias con las que se encuentra más relacionado (arte, ciencias sociales, física, etc.).
– A continuación se le pide que identifique las mejores instituciones tanto en docencia como en investigación, preguntándole para ello:
- Las 15 instituciones mejores en investigación en su área y región.
- Las 15 instituciones mejores en investigación en su área y en todo el mundo.
- Las 15 instituciones mejores en docencia en su área y región.
- Las 15 instituciones mejores en docencia en su área y en todo el mundo.
Para estas cuatro cuestiones se le ofrece una herramienta de búsqueda de las instituciones posibles en la propia encuesta.
- A continuación se le hacen las mismas cuatro preguntas (mejores instituciones en docencia e investigación en su campo de experiencia, tanto globales como en su ubicación) permitiéndole incluir instituciones que no haya encontrado en las herramientas de búsqueda.
– Algunos datos complementarios sobre el encuestado: sexo, país de residencia, años de experiencia como académico, trabajo a tiempo completo/tiempo parcial.
– Datos de contacto para el estudio: se le pide si desea que se contacte con él para otros análisis estadísticos o para otros temas relacionados con este proyecto.
Las principales críticas que ha recibido la encuesta, de acuerdo con Thomson Reuters han sido:
– Elevada representación de Norteamérica y Europa occidental.
– Existe un sesgo hacia los angloparlantes.
– La encuesta no es realista, sino que se perpetúa a la “élite” año tras año.
– No se permite a los encuestados seleccionar instituciones menos conocidas.
– No se tiene en cuenta la docencia.
Para evitar estos sesgos se busca una representación de académicos tomando como referencia los datos de Naciones Unidas sobre número de investigadores por región; se ha hecho la encuesta en varios idiomas; se pregunta a los encuestados por las mejores universidades en su campo de experiencia; se ha incluido un número mayor de instituciones y se permite al encuestado que incluya otras instituciones que no aparecen en el listado general y, por último, se pregunta por las mejores instituciones en docencia.
- Recogida de datos de la institución
Consiste en la recogida de datos sobre las actividadces de la Universidad: profesorado, matriculación, ingresos de investigación, etc. Estos datos se combinan con otras fuentes para crear indicadores de rendimiento y un perfil más completo de la institución. Estos datos objetivos permiten complementar la valoración subjetiva resultante de la encuesta de reputación para poder generar un perfil más detallado.
Reuters no pregunta a todas las instituciones del mundo, sino que elabora una lista por cuestiones de viabilidad y agilidad. Por ello solamente tiene en cuenta aquellas instituciones que, según Reuters, aportan el mayor valor al proyecto. Para ello utiliza un análisis bibliométrico para encontrar las principales instituciones teniendo en cuenta las publicaciones y número de citaciones en los últimos deza años en las categorías analizadas en la encuesta (artes y humanidades; clínica y salud; ingeniería y tecnología; ciencias de la vida; ciencias físicas y ciencias sociales). Además tiene en cuenta los resultados preliminares de la encuesta de reputación para considerar aquellas instituciones que tienen buenos resultados
- Validación de datos
En esta fase se realiza una validación de los datos obtenidos, de modo que: se analiza que no existan errores materiales (por ejemplo número de alumnos internacionales mayor que número de alumnos totales); se compara los datos con los datos obtenidos de otras fuentes (por ejemplo ministerios competentes); se analiza la existencia de otras anomalías que puedan haber generado datos inconsistentes.
- Análisis y entrega de datos:
Por último se realizan los análisis de datos necesarios, así como su interpretación, teniendo en cuenta, por ejemplo, el coste de la vida en el país a la hora de valorar datos económicos o la valoración de los artículos publicados (no es lo mismo un número global, que favorece a las universidades mayores que la producción por investigador). Por último se realizan las comparaciones necesarias y se generan los perfiles de las instituciones que se utilizan para elaborar el Times Higher Education World University Ranking.
Tomás Gómez 19/marzo/2012
Más información:
Proyecto perfiles institucionales.
El valor de los rankings universitarios primera parte y segunda parte.