El pasado 28 de abril se celebró una jornada titulada “La evaluación de la Investigación en la Universidad” en el Campus de Getafe de la Universidad Carlos III de Madrid, organizada por el INAECU, Instituto Interuniversitario de Investigación Avanzada sobre Evaluación de la Ciencia y la Universidad, integrado por investigadores de la Universidad Autónoma de Madrid y de la Universidad Carlos III de Madrid. El asunto presenta un gran interés, puesto que la investigación es una de las misiones de la universidad y puede ser una fuente importante de financiación. Y todo ello sin olvidar que constituye un elemento importante a la hora de definir la posición de las universidades en los “rankings”.

Algunas presentaciones del Seminario están disponibles en la siguiente página web: https://www.inaecu.com/event/seminario-evaluacion-de-la-investigacion-en-la-universidad/.

La inauguración del seminario corrió a cargo de Carlos Balaguer Bernaldo de Quirós, Vicerrector de Investigación y Transferencia de la Universidad Carlos III de Madrid que destacó la importancia de la evaluación de la investigación más allá de los rankings. Analizar el avance de la investigación en España puede ayudar a las Universidades a conocer cómo mejorar, siendo importante establecer cuadros de mando y establecer sinergias.  Asimismo valoró el interés del INAECU, instituto integrado por investigadores de dos universidades (UC3M y UAM), en el marco del desarrollo de sinergias ya mencionado. Asimismo destacó la importancia del Observatorio de indicadores de investigación (Observatorio IUNE), que establece indicadores objetivos a partir de fuentes de datos fiables y permite conocer las posiciones de cada institución.

A continuación Elías Sanz, profesor de la Universidad Carlos III de Madrid y organizador de las jornadas, incidió en el valor que puede tener el Instituto para apoyar a la ciencia española  ayudando a mejorarla y a ser competitiva. La ciencia puede mejorar mediante la evaluación y el establecimiento de políticas de incentivación de la actividad científica. En este sentido, el Instituto aporta valor a través de diferentes mecanismos, como el observatorio  o la creación de metodologías rigurosas

Asimismo destacó la importancia de la investigación como “alma que alimenta las otras dos misiones, docencia y transferencia”.  Así las universidades producen el 65% de las publicaciones en Bases de Datos de Índices de citas; incorporan el 37% de los investigadores (77.000 de 200.000) y de los 13.400 millones de euros de gasto anual en I+D en España, representan el 27,7% (3.700) M de euros. Aunque destacó que la situación actual es mala (plantillas congeladas, sin promoción y máxima carga docente) y puede generar desmotivación en los investigadores y  dificultades para atraer talento, no se debe caer en el desánimo y es preciso renovar los esfuerzos en las universidades, que son la base del sistema científico español.

En la conferencia Evaluación de la actividad investigadora del profesorado de universidades por las agencias de evaluación de Rafael Van Grieken, Director de la ANECA se abordaron tres cuestiones: análisis del sistema de acreditación, referencias internacionales y cuestiones para el debate. El ponente analizó brevemente el sistema de acceso a puestos docentes en dos fases: 1ª fase (evaluación/acreditación) y 2ª fase (presencial).

La primera fase (no presencial) es de ámbito estatal, integral dado que tiene en cuenta todas las actividades y dimensiones relevantes (investigación, formación, docencia, gestión, siendo el peso de la investigación el más elevado en todos los casos), reglada (criterios), pero de aplicación discrecional (indeterminación parcial de los criterios, emisión de “juicios de valor”).   Su objetivo es garantizar unos mínimos y es indirecta o secundaria, porque la llevan a cabo comisiones formadas por vocales de comisiones (agrupaciones de áreas de conocimiento). No detectan la excelencia, son una garantía de mínimos; no se evalúan con precisión competencias que pueden ser importantes, al basarse en indicios y evaluarse en un contexto general. El resultado es positivo o negativo.

La valoración de los resultados de investigación es diferente en función de las distintas áreas, de modo que en todas se tiene en cuenta las publicaciones científicas indexadas, aunque las Bases de Datos pueden variar, las publicaciones no indexadas se tienen en cuenta en algunas áreas, así como los libros y capítulos de libro, exposiciones, congresos, etc.

En todo caso, el peso principal recae en el número de publicaciones, centrándose el modelo  excesivamente en los resultados, estando orientado más a los datos cuantitativos que a los cualitativos.

Además hay otros aspectos a tener en cuenta: puede generar que los participantes en este proceso hagan auténtica ingeniería curricular, pueden existir dudas puntuales sobre la capacidad para evaluar de las comisiones en algunos casos, utiliza medidas indirectas e indiciarias, no se valora suficientemente la actividad profesional, puede ser inconsistente si se tiene en cuenta la doble valoración.

En esta fase se mencionaron dos programas, PEP y ACADEMIA.

Programa de evaluación del profesorado para la contratación (PEP), que evalúa las actividades docentes e investigadoras y la formación académica de los solicitantes para el acceso a las figuras de profesor universitario contratado (profesor contratado doctor, profesor ayudante doctor y profesor de universidad privada) establecidas en la LOMLOU. Más información “Programa PEP

Programa de Acreditación nacional para el acceso a los cuerpos docentes universitarios (ACADEMIA), que evalúa el perfil de los solicitantes para el acceso a los cuerpos de funcionarios docentes universitarios (Profesores Titulares de Universidad y Catedráticos de Universidad). Más información “Programa Academia”, Se regula por el  RD 1312/2007 de 5 de octubre.

La segunda fase, presencial se realizaa través de los concursos de acceso convocados por las Universidades. En los concursos se valora la adecuación de las competencias de los candidatos al perfil de la plaza en un contexto específico (candidato y plaza)

El ponente también hizo referencia a las iniciativas de Francia e Italia, existiendo en ambas la doble etapa.

Se plantearon varias preguntas para el debate:

  • ¿Cuál es el modelo óptimo? ¿El anglosajón en el que existe una evaluación externa y libertad para seleccionar al personal y con implicaciones – consecuencias – financieras o el europeo?
  • ¿Se deben eliminar las restricciones en la contratación? ¿Se debe mantener la condición funcionarial del profesorado? Y si es así ¿Se debe mantener la estructura Titular de Universidad + Catedrático de Universidad? ¿O establecer un cuerpo/escala único con distintas retribuciones?
  • ¿Es necesario mantener el sistema de mínimos a nivel nacional (acreditación)? ¿Hay que mantener o eliminar el primer filtro?
  • ¿Cómo mejorar las dos fases si se mantienen? ¿Cuál es la fiabilidad del primer filtro?
  • ¿Se puede suprimir el informe de expertos de la primera fase?
  • ¿Cómo incorporar criterios cualitativos para equilibrar los cuantitativos?
  • ¿Es necesario mantener el nivel actual de desagregación de méritos?
  • ¿Es necesario tener en consideración los méritos de gestión?
  • ¿Hay que valorar mejor la experiencia profesional?
  • ¿Se puede dotar de mayor transparencia al proceso?

Como conclusión, todo parece indicar que se mantendrá el sistema de acreditación aunque reformado, seguramente tomando como base la línea recogida en Academia 2.0.

También se resaltó el valor del programa ICREA como una iniciativa que puede permitir a las Universidades atraer el talento, además  de otras iniciativas como RIS3, e incluso las vías de contratación que permite la Ley de la Ciencia. ICREA es una Fundación impulsada por la Generalidad de Cataluña que, por medio de un proceso de selección basado en el talento científico, contrata investigadores de todo el mundo. De esta manera ICREA también contribuye a facilitar el regreso de investigadores que han hecho su carrera investigadora en centros fuera de Cataluña.

En la sesión sobre Evaluación de la actividad científica en Ciencias Humanas moderada por Fernando Casani Fernández de Navarrete. Profesor titular y exgerente de la Universidad Autónoma de Madrid, interviene en primer lugar Andoni Ibarra Unzueta. Director del Máster y Doctorado en Filosofía, Ciencia y Valores Universidad del País Vasco-Universidad Nacional Autónoma de México que plantea inicialmente tres cuestiones:

  • ¿Cómo se aborda la evaluación en un contexto de excelencia y competitividad vs cooperación y colaboración?
  • La autoevaluación es importante en las universidades como medio no solo para asignar recursos internos sino para que las propias instituciones sepan qué hacen, y preservar la autonomía  frente a las reglas del juego y política científicas impuestas desde fuera.
  • Ciencias Humanas hay un elemento adicional a tener en cuenta y es que no existen estándares de calidad y evaluación. Por eso plantea un enfoque integral de evaluación en Ciencias Humanas.

En la UPV ha trabajado en un estudio sobre esta materia, estudio que ha contado con cuatro fases:

  • Elaboración de indicadores de autodiagnóstico.
  • Evaluación externa por pares.
  • Valor social de la investigación evaluada por pares y por agentes sociales interesados.
  • Elaboración de herramientas para llevar adelante el programa integral.

En su presentación se centró principalmente en la primera fase, destacando que la evaluación es problemática en Ciencias Humanas puesto que las dimensiones a evaluar son muy amplias y reducirlas a algunos indicadores y métodos solo bibliográficos y de evaluación por pares es reduccionista. Por ello en la UPV elaboraron una metodología que parte de una concepción de la ciencia no como un conjunto de conocimientos – concepción estática – sino de prácticas diversas – concepción dinámica.

Hay que tener presente la paradoja de que el conocimiento se produce y distribuye en colaboración por interacción social de diversos agentes organizados en redes de conocimiento pero su evaluación se hace con un tratamiento de rendimiento individual por las formas tradicionales: enfoque bibliométrico – que funciona cuando se publica mucho y hay extensas bases de datos y se dan otras condiciones, pero esto no se cumple nunca plenamente en Ciencias Humanas – y enfoque de evaluación por pares en el que hay problemas de sesgo en pares, de ausencia de expertos y de tratamiento de las áreas muy reducidas.

Alternativamente propone explorar otras dimensiones de evaluación considerando a la ciencia como práctica e integrando las trayectorias individuales, la construcción de comunidad, las relaciones de cooperación y los productos obtenidos. A partir de ahí identifican patrones de funcionamiento de las disciplinas como prácticas de producción de conocimiento.

Como conclusiones apunta las siguientes ideas:

La idea calidad-productividad es cada vez más insuficiente en términos de evaluación y en términos explicativos.

El modelo integral de evaluación avanza en la calidad relacional en tres planos:

  • Metodológico (incluye mecanismos de consulta y validación incluyendo agentes sociales)
  • Analítico (tratamiento de la información relacional más exigente que por indicadores aislados)
  • Pertinencia (consultas a investigadores y agentes sociales para identificar el uso potencial del conocimiento y orientar estrategias y agendas compartidas)

Se pasa así a un Modelo de Calidad Relacional que permite explorar el patrón empírico y pondera el peso de cada factor según la dinámica interna de las disciplinas.

Establecer la calidad de la investigación en Ciencias Humanas tiene que estar asociado a la mejora. Se mejora a partir “de lo que se hace” y no a partir de “lo que se debería hacer”.

Posteriormente Fernando Broncano Rodríguez. Director del Programa de Doctorado en Humanidades de la Universidad Carlos III de Madrid comenta su experiencia personal como evaluador y los problemas de la evaluación por pares en el ámbito de las Humanidades. Desde el punto de vista bibliográfico considera que lo interesante sería evaluar las publicaciones con un número alto de rechazos de publicación, por ejemplo las que rechazan más del 95% de las propuestas que reciben.

Tras recordar algunos principios: debe evaluarse todo lo que está financiado por fondos públicos, los indicadores son necesarios y permiten la evaluación interna y externa, el sistema de pares es el menos malo, etc. destaca que hay diferencias respecto a las Ciencias: en Humanidades se compite con los “mass media” (menciona la vinculación del grupo El País con un gran grupo de comunicación que tiene un papel muy importante en los mecanismos de evaluación de la investigación) y destaca el carácter contextual de las Humanidades:  dependientes de la lengua, de un entorno cultural, que no tienen carácter científico sino que se configuran en escuelas muy distintas, etc.. También es importante tener en cuenta que, desde fuera, las Humanidades se valoran como parte del capital cultural, del “capital de distinción”, pero desde el punto de vista interno – del profesional – se trata de la ardua tarea de comprender y conocer la sociedad actual desde una perspectiva que no es la de las ciencias sociales.

El sistema de evaluación incide en el sistema de producción y esto genera problemas de tempos diferentes según disciplinas, de división del trabajo cognitivo en áreas etc.

Hay otros problemas específicos y se comprueba que hay un malestar estable de los investigadores en Humanidades porque hay desconfianza respecto a la evaluación por pares y hay un sentido de desprotección respecto al apoyo recibido desde las universidades. La solución debería ser una evaluación por pares “situada” con perfiles y contratos referidos a  una evolución y una trayectoria a lo largo de un plazo de tiempo. Destaca también que es fundamental en Humanidades que los evaluadores estén bien formados y comprendan bien qué deben evaluar, no se trata de automatizar la evaluación, y destaca que tampoco los evaluados conocen bien los mecanismos concretos de la evaluación por lo que la formación sobre evaluación debería comenzar en el posgrado. Igualmente menciona que el sistema de evaluación de bibliografía mejor, sobre todo en Humanidades, es probablemente el EHIR, mucho mejor que el JCR y que los indicadores deben emplearse teniendo en cuenta las subáreas, como lo hacen italianos y franceses.

Pedro Ruiz Pérez, profesor de la Universidad de Córdoba inicia su exposición exponiendo una cierta esquizofrenia del profesorado que muestra rechazo a  ser evaluado siendo así que es habitualmente evaluador. Indica que hay que tener presente que hay distintas finalidades en la evaluación y recuerda que hay un desconocimiento profundo de las prácticas de evaluación. La evaluación es imprescindible entre otro motivos dada la función de formación de profesionales encomendada y la competencia debe acreditarse no una sola vez (bombero que accede a su plaza) sino que esa competencia (su condición física por ejemplo) debe estar actualizada y por ello debe evaluarse periódicamente.

El sistema de evaluación es muy complejo, poco transparente y ello amplia la desconfianza y el rechazo naturales hacia la evaluación. No solo se exige una actividad y que se refleje en un CV sino que además se piden varias versiones de los CVs. Esto debe modificarse y deben unificarse redes y bases de datos que aporten automáticamente estos datos.

Los mecanismos de evaluación no pueden ser homogéneos en todas las disciplinas, las técnicas, metodologías de trabajo, las prácticas, los resultados, los “tempos” son muy diferentes. Por eso deben revisarse y adaptarse. Por otra parte la evaluación de publicaciones en internet y en papel debe reconsiderarse teniendo en cuenta el control de calidad y el impacto reales cualquiera que sea el medio en que se publica.

Debe distinguirse y diferenciarse en sus métodos la evaluación competitiva en los que no hay oposición (sexenios, referencia al pasado) de aquellos en los que si hay oposición al haber un número de elegidos limitado (por ejemplo selección de un doctor entre 30 candidatos, qué criterios aplicar? consideración de lo realizado y de la proyección futura).

En su opinión el sistema español de evaluación:

  • tiene deficiencias pero que, muchas veces, tienen origen en factores del propio sistema general y tiene la virtud de ser un sistema muy garantista.
  • es fluido, no hay un cuerpo profesional de evaluadores, hay entradas y salidas, esto permite evitar que se perpetúen errores.
  • genera una cultura de diseño de la carrera profesional y en ese sentido de mejora.

En el debate que siguió a estas intervenciones se comentaron diversas cuestiones:

  • No hay que cambiar continuamente los sistemas de evaluación porque eso dificulta a los investigadores y no saben cómo orientar su carrera profesional.
  • ¿Cuáles son los modelos en las buenas universidades?  ¿Se pueden aplicar los mismos criterios que universidades anglosajonas radicalmente diferentes de las nuestras?
  • El sistema de evaluación español es bueno, sólo sirve para las carreras individuales, lo que es malo es el sistema de responsabilidades, sale gratis tener un mal profesor, un mal departamento, una mala facultad y eso no incita a seleccionar a los mejores.
  • Las instituciones deben auto-conocerse y luego fijarse objetivos, si no se conocen o si hay indicadores pero luego no se emplean para fijar objetivos no sirve para nada
  • ¿Qué pasa con la pertinencia social de la investigación que se hace, qué resultados sociales hay, qué uso, qué demanda social existe, qué oferta de líneas de investigación existe? ¿Cómo medir los resultados de transferencia del conocimiento – concepción lineal – en el ámbito de las Ciencias Humanas? Es preciso establecer cuadros de mando y luego lograr consensos en el desarrollo de acciones concretas y en su evaluación y rendición de cuentas.
  • Los sexenios deben valorar también la transferencia que tiene un carácter local. Un responsable del CNAI destaca que sí se tienen en cuenta estos criterios y que la amplitud de criterios de valoración es muy grande pero lo importante es acreditar los resultados concretos de la investigación.

El bloque siguiente referido a Propuestas de evaluación de la actividad investigadora y la innovación contó como moderador al profesor  Luis E. Moreno Lorente, Catedrático de la Universidad Carlos III de Madrid.  Intervino en primer lugar José Carlos Gómez Sal, Rector de la Universidad de Cantabria, que, tras recordar las tres misiones de la universidad, docencia, investigación, transferencia, hizo una intensa autocrítica recordando que las plantillas universitarias no se han planificado, que la selección e incremento de las plantillas se ha realizado en función de intereses muchas veces espurios y que muchos profesores no realizan actividad investigadora. Pero la actividad investigadora y la transferencia son funciones de la universidad e históricamente ha habido programas de establecimiento de plazas con un perfil claramente investigador (ICREA, I3…), y también esto puede haberse tenido en cuentas mediante fijación de mecanismos de distribución de dedicaciones, etc. En paralelo es importante contar con una estructura de gestión muy profesionalizada.

Comenta algunos datos del sistema español, con gran peso de las universidades en la producción científica, 2/3 de los investigadores están en las universidades, enorme número de patentes per cápita de universidades, segundos en el mundo en este indicador, escasa vinculación de los doctores al mundo industrial, apenas el 20% frente a un 44% en EEUU, etc.

Pero hay un problema y es la asunción de responsabilidades en función de las evaluaciones. ¿Para qué se quiere? Una vez que se tiene la evaluación realizada hay que huir de su utilización sistemática para cualquier otro asunto.

Expone en detalle el método de valoración de la actividad investigadora en la UC que tiene como objetivo establecer una pauta general para la dedicación total del profesorado, para la eficiencia, y que opera evaluando la trayectoria individual del profesorado en los seis años anteriores. Es importante tener en cuenta las evaluaciones para definir la carga docente, para establecer políticas de investigación de investigación, para definir culturas de dedicación flexible en el tiempo y en contenido y también para facilitar la movilidad del profesorado entre universidades e instituciones.

Rafael Garesse Alarcón. Vicerrector de Política Científica e Infraestructuras de Investigación de la UAM destaca la importancia de evaluar sobre una estrategia de investigación, algo que no se hace en las universidades.

Afirma que se está produciendo una extraordinaria modificación del sistema universitario del que sus actores no son conscientes: por ejemplo hay centros profesionales de investigación de alto nivel que compiten con las universidades en las convocatorias de proyectos de investigación, las universidades deben tener las competencias suficientes para poder competir con ellos, el alumnado ha cambiado, las tecnologías han variado, y por todo ello hoy es preciso ser un excelente profesional en materia de investigación y de docencia, ya no vale hacer las cosas a medias en ambos campos, y resulta imprescindible avanzar en la profesionalización de las plantillas en cada uno de los dos ámbitos, con profesores más especializados en la investigación y otros más especializados en la docencia.

Finalmente expone que los mecanismos de evaluación en ciencias experimentales gozan ya del suficiente consenso y que el problema es adaptarlos y usarlos internamente en las universidades.

Ignacio Fernández de Lucio, Director de INGENIO (CSIC-UPV) afirma que la evaluación en investigación e innovación suele simplificarse por ignorancia, por emulación (patentes), por intereses específicos políticos o corporativos, por conflictos entre el corto y el largo plazo. La elección correcta en materia de evaluación es difícil.

En su opinión, las universidades no suelen realizar innovaciones tecnológicas, suelen realizar innovaciones que conducen a innovaciones por otros actores; donde realmente innova la universidad es en la formación y en la forma en que lleva a cabo la investigación, en la organización de la investigación en institutos potentes, en alcanzar masa crítica con institutos mixtos, en los procesos, en la captación de financiación privada, en el modelo que se pretende alcanzar. Etc. No hay transferencia, lo que hay es intercambio de conocimientos. Debemos evaluar para la cooperación.

Alerta del peligro de las universidades españolas de atender a la excelencia y en cambio no preocuparse por la relevancia y de no saber qué objetivos desea alcanzar y menciona que en la UPV se ha pasado a contratar al investigador no tanto por su CV como por el proyecto y por saber trabajar en equipo, algo de lo que se carece en las universidades y que es imprescindible hoy en todos los ámbitos.

Hay que avanzar hacia una valoración de la investigación diferente, que contemple las participaciones en consejos, las participaciones en redes, la divulgación no académica, la formación ligada a la I+D, el asesoramiento, la consultoría, las contribuciones a estándares industriales, protocolos de intervención, guías profesionales, etc. La evaluación debe ser por tanto multidimensional y tener en cuenta la relevancia y por ello requiere bases de datos ad hoc propias, no las externas.

La clausura del seminario corrió a cargo de Carmen Pérez Esparrells, Vicerrectora de Innovación de la UAM.

Xavier Puente y Tomás Gómez – 28 de abril de 2014