¿se pueden evaluar los resultados de investigación y la dotación económica asignada?

‘We were running for the money and the flesh’ Leonard Cohen

¿Se pueden evaluar los resultados de investigación y la

dotación económica asignada?

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Nicolás Robinson-García

elrobin@ugr.es

Guión

Por qué y qué se evalúa

Tipos de evaluación

Tips & hints

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Por qué se evalúa

Governments absorbed, in the 1990s, the “new management” ideology that focused on the

evaluation of everything using indicators and benchmarks as “objective” measures of efficiency and return on investment

Gingras, 2014

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Por qué se evalúa

Los indicadores basados en citas y publicaciones

El prestigio de los científicos es proporcional al prestigio de su obra

Las citas como expresión del reconocimiento de la obra <- MERTON

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Por qué se evalúa

Los indicadores basados en citas y publicaciones

+ PAPERS + CITAS ≈ + RIQUEZA

El INPUT y el CONTEXTO son importantes

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Por qué se evalúa

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Qué se evalúa

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

• Investigadores • Infraestructura • Presupuesto

• PIB regional • % gasto empresarial

• % población activa

• Publicaciones • Citas • Q1 • Altamente citados

Qué se evalúa

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

• Investigadores • Infraestructura • Presupuesto

• PIB regional • % gasto empresarial

• % población activa

• Publicaciones • Citas • Q1 • Altamente citados

Qué se evalúa

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Tipo de indicador

Tipo de medida Unidad de análisis

Publicaciones

Citas

Actividad

Impacto

Relacional

Nivel micro

Nivel meso

Nivel macro

Qué se evalúa

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Ejemplo 1. Políticas de evaluación

Jiménez-Contreras et al., 2003

Qué se evalúa

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Ejemplo 2. Investigadores

Costas & Noyons, 2014

Qué se evalúa

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Ejemplo 3. Países

King, 2004

Tipos de evaluación

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Tipos de evaluación

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Ex ante Ex post

Peer Review Ciego

Doble ciego

Abierto

Bibliometría Rendimiento

Impacto

Transferencia

Tipos de evaluación

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Los proyectos del Plan Nacional se conceden en función del rendimiento investigador del IP

Los indicadores que más influyen son el nº de publicaciones y papers en revistas Q1

Tips & hints

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

La evaluación científica debe de aplicarse en función a unos objetivos

La metodología aplicada debe evolucionar según evolucione el sistema. Ejemplo: Sexenios

No hay un indicador global, sino que deben aplicarse baterías de indicadores por tipo de medida

Tips & hints

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Tipos de resultados

Tipos de indicadores

Algunas propuestas

Rafols et al., 2012 > Opening up & broadening out

Tips & hints

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Algunas propuestas

Rafols et al., 2012 > Opening up & broadening out Jiménez-Contreras et al., 2011 > Umbrales de referencia por áreas

3 años 5 años 7 años

P50 P75 P90 P50 P75 P90 P50 P75 P90

Tips & hints

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Algunas propuestas

Rafols et al., 2012 > Opening up & broadening out Jiménez-Contreras et al., 2011 > Umbrales de referencia por áreas Leiden Manifesto – Septiembre 2014 > Buenas prácticas en la evaluación de la actividad científica

‘We were running for the money and the flesh’ Leonard Cohen

Muchas gracias por su atención.

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Nicolás Robinson-García

elrobin@ugr.es