mª pilar serrano casarrubio - rua.ua.es · universitat dÁlacant universidad de alicante...

¿CÓMO EVALUAMOS LA FORMACIÓN CONTINUADA SANITARIA?

PROPUESTA DE UN INDICADOR DE EFICIENCIA

Mª Pilar Serrano Casarrubio

www.ua.es

www.eltallerdigital.com

UNIVERSITAT D´ALACANT

UNIVERSIDAD DE ALICANTE

¿CÓMO EVALUAMOS LA FORMACIÓN CONTINUADA SANITARIA?. PROPUESTA DE UN INDICADOR DE EFICIENCIA.

Mª Pilar Serrano Casarrubio

Tesis doctoral Alicante, enero de 2016



UNIVERSITAT DÁLACANT

UNIVERSIDAD DE ALICANTE

DEPARTAMENTO DE PSICOLOGÍA EVOLUTIVA Y DIDÁCTICA

FACULTAD DE EDUCACIÓN

¿CÓMO EVALUAMOS LA FORMACIÓN CONTINUADA SANITARIA?.PROPUESTA DE UN INDICADOR DE EFICIENCIA.

Mª PILAR SERRANO CASARRUBIO

Tesis presentada para aspirar al grado deDOCTORA POR LA UNIVERSIDAD DE ALICANTE

DISEÑO, ORIENTACIÓN, E INTERVENCIÓN PSICOPEDAGÓGICA

Dirigida por:

Dra. Raquel Gilar Corbí.Dra. Cristina Vilaplana Prieto.



Tesis presentada para aspirar al grado de

A mi familia, en

especial, a mi padre y

abuelo que desde el

cielo me protegen y a

mi madre, abuela y

hermano, por todo lo

que significan para mí.

A Daniel por sus incesantes

ánimos y a Cristina por su

apoyo incondicional.

AGRADECIMIENTOS: En primer lugar agradezco a Francesc Molina, Coordinador de Desarrollo Profesional de

la Dirección General de Recursos Humanos del Servicio Murciano de Salud, que haya

impulsado este proyecto, y autorizado la utilización de los datos que se presentan. Él ha

sabido poner luz a mis tinieblas psicopedagógicas y alumbrado el camino con sus sabios

consejos. Es un privilegio trabajar con él.

Agradezco al Departamento de Psicología Evolutiva y Didáctica de la Universidad de

Alicante, en especial a sus Directores de Departamento, Juan Luís Castejón y Raquel Gilar

su acogida, ayuda, disponibilidad y orientación en la elaboración de este proyecto.

Agradezco a toda mi familia el haberme dado ánimo en los momentos más difíciles, en

especial a mi madre y abuela, porque ellas me motivan a mirar hacia delante.

Agradezco a Cristina Vilaplana sus desvelos durante todo este proceso. Su implicación,

diligencia, profesionalidad, paciencia, ayuda y ánimos han sido vitales para mí durante

todo este tiempo.

Agradezco a Daniel Sáez, sus incesantes ánimos, y su apoyo durante todo este tiempo.

Ahora comienza una nueva etapa. (SEC 2 ).

ÍNDICE DE CONTENIDOS OBJETIVO DE LA TESIS ................................................................................................. 13

1.CAPÍTULO I. REVISIÓN TEÓRICA MODELOS DE EVALUACIÓN .................... 15

1.1 Concepto de evaluación. ........................................................................................... 15

1.2 Modelos de evaluación conductistas: ....................................................................... 16

1.2.1 Modelo de evaluación basado en la consecución de objetivos de Ralph W. Tyler. ... 16

1.2.2.Modelo de evaluación CIPP (Contexto, Input, Proceso, Producto) de Stufflebeam. . 32

1.2.3 Modelo de evaluación respondiente de Robert E. Stake. ........................................... 42

1.3 Modelos de evaluación humanísticos ...................................................................... 46

1.3.1 Modelo de evaluación al cliente de Michael Scriven ................................................. 46

1.3.2 Modelo de evaluación como crítica artística de Elliot W. Eisner ............................ 51

1.4 Modelos de evaluación holísticos. ........................................................................... 55

1.4.1 Modelo de evaluación iluminativa de M.Parlett y D.Hamilton. ................................. 55

1.4.2 Modelo de evaluación democrática de Barry MacDonald. ........................................ 58

1.4.3 Modelo de evaluación estratégica de Fred David R. .................................................. 58

1.4.4 Modelo de evaluación EFQM..................................................................................... 64

1.5 Otros modelos basados en la calidad: ...................................................................... 72

1.5.1 Modelo de evaluación de la calidad Seis Sigma (6σ) de Jack Welch ....................... 72

1.5.2 Modelo Relacional de Calidad de De la Orden .......................................................... 78

1.5.3 Modelo de evaluación de la calidad de Le Boterf, Barzucchetti y Vincent .............. 80

1.5.4 Modelo Enfoque de Inversión de Pilar Mamolar ....................................................... 83

1.5.5 Modelo de Jean- Marie Barbier .................................................................................. 85

1.5.6 Modelo de calidad orientado a la satisfacción de Martínez-Tur y Tordera ........ 88

1.5.7 Modelo de Evaluación de la Gestión de Ángel José Olaz ......................................... 89

2.CAPÍTULO II. REVISIÓN TEÓRICA MODELOS DE EVALUACIÓN DEL

IMPACTO EN FORMACIÓN ........................................................................................... 93

2.1 Aspectos generales en la evaluación del impacto en formación ............................. 93

2.2 Modelos de evaluación de impacto en la formación: .............................................. 98

2.2.1 Modelo de evaluación orientado a los resultados de Jackson .................................... 98

2.2.2 Modelo de Evaluación del Impacto de Chang .......................................................... 100

2.2.3 Modelo de evaluación de Grotelueschen .................................................................. 102

2.2.4 Modelo de Cervero y Rottet ..................................................................................... 104

2.2.5 Modelo de evaluación del impacto de la formación de Robinson y Robinson . 106

2.2.6 Modelo de Wade ....................................................................................................... 108

2.2.7 Modelo de Evaluación de Cuatro Niveles de Kirkpatrick .................................. 109

2.2.8 Modelo de Phillips .................................................................................................... 118

2.2.9 Modelo de medición del ROTI de Liliana Rodríguez y Andrés Mosteiro ............... 121

2.3 Modelos de evaluación de impacto en el ámbito sanitario ............................. 123

2.3.1 Modelo SM/PI (System Model of Policy Indicators) de Thomas R. Doy ............... 123

2.3.2 Modelo QSP-INC (Fornell, Universidad de Michigan) ....................................... 124

2.3.3 Modelo de Ubillos .................................................................................................... 125

2.3.4 Otros modelos: .......................................................................................................... 125

2.4 Beneficios en formación. ........................................................................................ 128

2.5 Costes en formación. .............................................................................................. 130

2.6 Algunos resultados de investigaciones en indicadores de eficiencia .................... 132

3. CAPÍTULO III. REVISIÓN TEÓRICA: MARCO LEGAL ....................................... 149

3.1 Contextualización de la formación continuada de las profesiones sanitarias. .... 149

3.2 Regulación de la formación continuada de las profesiones sanitarias a nivel

europeo. ......................................................................................................................... 151


nacional. ........................................................................................................................ 152


regional ......................................................................................................................... 159

3.5 Beneficios de la formación continuada en la Comunidad Autónoma de la Región

de Murcia. ..................................................................................................................... 161

4. CAPÍTULO IV. PARTE EMPÍRICA .......................................................................... 165

4.1 Planteamiento general y objetivos. ......................................................................... 165

4.2 Método ..................................................................................................................... 166

4.2.1 Participantes ........................................................................................................ 166

4.2.2 Medidas ................................................................................................................ 167

4.2.3 Procedimiento ...................................................................................................... 168

4.2.4 Diseño y Análisis de datos ................................................................................... 168

4.3 Resultados. .............................................................................................................. 169

4.3.1 Primera parte: indicador de eficiencia. .............................................................. 169

4.3.1.1 Tasa de cobertura ................................................................................................... 171

4.3.1.2 Cálculo de la tasa de cobertura estandarizada ....................................................... 179

4.3.1.3 Coste ...................................................................................................................... 180

4.3.1.4 Cálculo del coste estandarizado:............................................................................ 182

4.3.1.5 Aforo ...................................................................................................................... 186

4.3.1.6 Cálculo del aforo estandarizado ............................................................................ 193

4.3.1.7 Beneficio ................................................................................................................ 194

4.3.1.8 Cálculo del beneficio estandarizado: ..................................................................... 201

4.3.1.9 Cálculo del indicador de eficiencia: ...................................................................... 204

4.3.1.10 Indicador Cualitativo ........................................................................................... 209

4.3.1.11 Cálculo del indicador cualitativo estandarizado .................................................. 213

4.3.2 Segunda parte: análisis econométrico. ............................................................... 217

4.3.2.1 Modelo econométrico ............................................................................................ 217

4.3.2.2 Idoneidad de la utilización de datos de panel ........................................................ 218

4.3.2.3 Estimación con datos de panel............................................................................... 220

4.3.2.4 Resultados .............................................................................................................. 232

4.4. DISCUSIÓN Y CONCLUSIONES ........................................................................... 252

5. BIBLIOGRAFÍA .......................................................................................................... 267

6. ANEXOS ....................................................................................................................... 285

Anexo 1. Estimación del coste indirecto de formación ............................................... 285

Anexo 2. Satisfacción de los pacientes con la atención recibida ................................ 288

Anexo 3. Descripción de la base de datos de panel ..................................................... 292

ÍNDICE TABLAS Tabla 1. Taxonomía de Bloom revisada. ........................................................................... 17

Tabla 2. Fases del modelo propuesto por Ralph W. Tyler ................................................ 21

Tabla 3. Clasificación de las actividades según modelo de Tyler. .................................... 27

Tabla 4. Ventajas e inconvenientes del modelo de Tyler: ................................................. 30

Tabla 5. Estrategia de intervención y elementos de análisis según modelo de

Stufflebeam ......................................................................................................................... 37

Tabla 6. Ventajas e inconvenientes del modelo de Stufflebeam. ...................................... 41

Tabla 7. Ventajas e inconvenientes del modelo de Stake. ................................................. 45

Tabla 8. Análisis indicadores modelos de Scriven. ........................................................... 48

Tabla 9. Ventajas e inconvenientes del modelo de Scriven: ............................................. 50

Tabla 10. Ventajas e inconvenientes del modelo de Eisner .............................................. 54

Tabla 11. Resumen momentos claves según el modelo de evaluación iluminativa ......... 56

Tabla 12. Diferencias entre sistema de enseñanza y sistema de aprendizaje ................... 57

Tabla 13. Ventajas e inconvenientes del modelo de Parlett y Hamilton ......................... 57

Tabla 14. Ventajas e inconvenientes del modelo de Fred David R. .................................. 63

Tabla 15. Resumen de las principales características de los criterios de modelo EFQM 67

Tabla 16. Ventajas e inconvenientes del modelo EFQM .................................................. 71

Tabla 17. Características de la variable dependiente e independiente. ............................ 72

Tabla 18. Ventajas e inconvenientes del 6σ ...................................................................... 77

Tabla 19. Criterios de calidad según modelo de Le Boterf. .............................................. 81

Tabla 20. Principales elementos del enfoque basado en la inversión de Pilar Mamolar

(2000) .................................................................................................................................. 83

Tabla 21. Adaptación del modelo de Barbier al campo de formación continuada. ......... 85

Tabla 22. Tipos de evaluación de los resultados según modelo de Barbier ..................... 86

Tabla 23. Ventajas e inconvenientes del Modelo de evaluación orientado a los resultados

de Jackson ......................................................................................................................... 100

Tabla 24. Principales fases del modelo IDEAMS .......................................................... 101

Tabla 25. Ventajas e inconvenientes del modelo evaluación del impacto de Chang ..... 102

Tabla 26. Modelo de evaluación de Grotelueschen ......................................................... 103

Tabla 27. Ventajas e inconvenientes del modelo de Grotelueschen ............................... 104

Tabla 28. Ventajas e inconvenientes del modelo de Robinson y Robinson .................... 108

Tabla 29. Ventajas e inconvenientes del modelo de Wade .............................................. 109

Tabla 30. Resumen de fases del modelo de Phillips (2003) ............................................ 119

Tabla 31. Beneficios de la formación según Horton (2001) ........................................... 126

Tabla 32. Diferentes tipos de beneficios en formación. .................................................. 128

Tabla 33. Propuesta de indicadores del proceso de enseñanza/aprendizaje.Andrés

Fernández, Miguel A. (2005). .......................................................................................... 136

Tabla 34. Resultados impacto de formación en ocupaciones relacionadas con la

soldadura en el acceso a empleo. ..................................................................................... 144

Tabla 35. Relación entre gasto formación y gasto en sanidad en la Región de Murcia

2009-2014 .......................................................................................................................... 163

Tabla 36. Relación del gasto formación y el gasto en sanidad respecto al Producto

Interior Bruto en la Región de Murcia 2009-2014 ......................................................... 164

Tabla 37. Cálculo de la tasa de cobertura para 2009. ..................................................... 171

Tabla 38. Cálculo de la tasa de cobertura para 2010 ...................................................... 172





Tabla 43. Cálculo de la tasa de cobertura sin estandarizar 2009-2014. ......................... 176

Tabla 44. Cálculo de la tasa de cobertura estandarizada 2009-2014 ............................. 180

Tabla 45. Cálculo del coste por hora estandarizado 2009-2014. .................................... 183

Tabla 46. Cálculo de la tasa de variación del coste (€/hora) de los cursos de formación

........................................................................................................................................... 184

Tabla 47. Media anual y variación de servicios médicos generales 2008-2014 ............. 184

Tabla 48. Media anual y variación de educación universitaria y otras enseñanzas 2008-

2014 ................................................................................................................................... 185

Tabla 49. Participantes y ediciones 2009 ......................................................................... 186





Tabla 54. Participantes y ediciones 2014. ........................................................................ 190

Tabla 55. Cálculo del aforo 2009-2014 ............................................................................ 191

Tabla 56. Cálculo del aforo estandarizado 2009-2014 .................................................... 194

Tabla 57. Participantes, horas y ediciones 2009 ............................................................. 195






Tabla 63. Cálculo del beneficio 2009-2014 ..................................................................... 200

Tabla 64. Cálculo del beneficio estandarizado 2009-2014.............................................. 202

Tabla 65. Cálculo de la eficiencia 2009-2014 ................................................................. 207

Tabla 66. Ejemplo componente cualitativo (CCL) .......................................................... 211

Tabla 67. Indicador cualitativo 2009-2014 ...................................................................... 212

Tabla 68. Cálculo del Indicador Componente cualitativo estandarizado 2009-2014 ... 214

Tabla 69. Cálculo de la eficiencia ponderada 2009-2014 ............................................... 215

Tabla 70. Estimación del modelo de datos de panel con efectos fijos ............................ 237

Tabla 71. Estimación del modelo de efectos aleatorios ................................................... 241

Tabla 72. Test de Hausman .............................................................................................. 242

Tabla 73. Estimaciones adicionales por efectos aleatorios (incluyendo variables

constantes en el tiempo) ................................................................................................... 245

Tabla 74. Estimación mediante el método de Hausman y Taylor .................................. 249

Tabla 75. Test de Hausman para comparar modelo de efectos aleatorios y modelo

Hausman y Taylor ............................................................................................................ 250

Tabla 76. A1. Promedio coste laboral por hora en actividades sanitarias (€/hora) ....... 285

Tabla 77. A1. Costes indirectos hora formación 2009-14 ............................................... 287

Tabla 78. A2. Valoración de pacientes en relación con los médicos de Atención Primaria

........................................................................................................................................... 289

Tabla 79. A3. Valoración de pacientes en relación con la Atención Especializada ...... 290

Tabla 80. A1. Descripción de la base de datos de panel .................................................. 292

ÍNDICE FIGURAS Figura 1. Síntesis de paradigmas, modelos y teorías de evaluación ................................. 15

Figura 2. Diferencias en la clasificación de la taxonomía de Bloom original y la

actualización en 2001. ........................................................................................................ 19

Figura 3. Resumen de las principales fases y elementos según el modelo CIPP de

Stufflebeam. ........................................................................................................................ 34

Figura 4. Modelo CIPP de Stuffebeam. ............................................................................ 39

Figura 5. Modelo CIPP de Stuffebeam: contexto. ........................................................... 39

Figura 6. Modelo CIPP de Stuffebeam: inputs. ................................................................ 40

Figura 7. Modelo CIPP de Stuffebeam: proceso. ............................................................. 40

Figura 8. Modelo CIPP de Stuffebeam: producto ............................................................ 40

Figura 9. Ejemplo de modelo matricial propuesto por Stake. .......................................... 42

Figura 10. Modelo matricial de Stake ............................................................................... 44

Figura 11. Principales elementos que aporta el modelo de Scriven. ................................ 51

Figura 12. Modelo de evaluación estratégica de Fred David R. ...................................... 62

Figura 13. Modelo EFQM ................................................................................................. 65

Figura 14. Cambio de un proceso con calidad tres sigma a seis sigma. .......................... 73

Figura 15. Principales etapas de DMAIC. ........................................................................ 73

Figura 16. Modelo relacional de la calidad del profesor de la Orden. ............................. 79

Figura 17. Tipos de evaluación según diferentes criterios. .............................................. 95

Figura 18. Fases en la evaluación del impacto según Tejada. ......................................... 97

Figura 19. Principales fases en el Modelo de evaluación orientado a los resultados de

Jackson. ............................................................................................................................... 98

Figura 20. Esquema del modelo de Cervero y Rottet ...................................................... 105

Figura 21. Fases del modelo de formación para el impacto de Robinson, D.G. y

Robinson, J. (1989) ........................................................................................................... 107

Figura 22. Niveles del modelo de Wade. .......................................................................... 108

Figura 23. Principales etapas del Modelo de evaluación de Kirkpatrick ....................... 110

Figura 24. Niveles de evaluación de Kirpatrick .............................................................. 116

Figura 25. Cálculo del ROI según modelo planteado por Phillips. ............................... 119

Figura 26. Elementos que integran el modelo SM/PI .................................................... 123

Figura 27. Tasa de cobertura 2009-14. ........................................................................... 177

Figura 28. Coste por Hora 2009-14. ................................................................................ 181

Figura 29. Aforo 2009-14. ................................................................................................ 192

Figura 30. Beneficio 2009-14. ......................................................................................... 201

Figura 31. Eficiencia 2009-2014 ..................................................................................... 208

Figura 32. Componente cualitativo 2009-2014 ............................................................... 213

Figura 33. Coste laboral hora efectiva sanidad 2008-2014 ............................................ 286

Objetivo de la Tesis

13 | P á g i n a

OBJETIVO DE LA TESIS

El objetivo de esta tesis consiste en presentar una propuesta de indicador de eficiencia

de un Plan de Formación Continuada en el ámbito sanitario, contemplando los modelos

explicativos del impacto de la formación continuada en el ámbito sanitario.

El esquema que conceptualmente se seguirá, abarcará definiciones más holísticas o

globales, tales como la evaluación de programas de formación y su impacto, que servirán

no sólo como base para explicar el resultado de los diferentes modelos existentes

recopilados en la búsqueda bibliográfica, sino también para asentar las bases en las que se

fundamentará y concretará la propuesta de un indicador de eficiencia.

Una vez explicado el modelo, tanto de evaluación como de impacto, sobre el que se basará

la tesis, se procederá a la contextualización de la formación continuada, ya que el indicador

de eficiencia propuesto versa sobre formación continuada en las profesiones sanitarias de

la Región de Murcia. En este punto, se esbozará la normativa legal que sustenta la

formación continuada sanitaria tanto a nivel nacional, como a nivel autonómico, y más

concretamente a nivel de la Región de Murcia, que es de donde se han extraído los datos de

la parte empírica.

Los datos se analizarán con un modelo de panel de datos donde se buscará el efecto de las

variables consideradas en el indicador de eficiencia, buscando la precisión, que en lenguaje

econométrico se traduce en insesgadez y consistencia. Entre las variables explicativas no

sólo se incluyen aquellas que de forma intuitiva se pueden considerar como determinantes

de la eficiencia, tales como el porcentaje de participantes a cursos de formación respecto al

total de empleados, el coste por hora de formación y el tamaño promedio de los grupos que

Objetivo de la Tesis

14 | P á g i n a

reciben cursos de formación. También se considerarán otras variables potencialmente

significativas, que hasta el momento no han recibido atención en los modelos empíricos

revisados: carga de trabajo de los empleados a los que van dirigidos los cursos de

formación (en términos de número de pacientes atendidos) y distribución de hospitales,

Centros de salud y consultorios por áreas de salud (tanto en términos absolutos, como

relativos en proporción a la superficie que comprende cada área de salud).

Se compararán las diferentes variables conforme a un modelo de efectos fijos vs. efectos

aleatorios, justificando cuál de los modelos explica mejor las variables consideradas y

representa el modelo más preciso en relación al indicador de eficiencia propuesto.

Adicionalmente, también se considerará un modelo con variable dependiente retardada

para explorar la posibilidad de que el nivel de eficiencia del año anterior ejerza una

influencia significativa sobre el nivel de eficiencia del año en curso. Tanto la utilización de

datos de panel como la especificación econométrica de los modelos planteados constituyen

una clara innovación en el campo de la eficiencia aplicada a la formación continuada.

Capítulo I. Revisión Teórica Modelos de Evaluación.

15 | P á g i n a

1.CAPÍTULO I. REVISIÓN TEÓRICA MODELOS DE

EVALUACIÓN

1.1 Concepto de evaluación.

El primer punto de inexcusable abordaje es el de la evaluación, ya que éste es el pilar sobre

el que se sustenta el trabajo que se presenta.

Tras la revisión de la literatura existente acerca de los modelos de evaluación, puede

concluirse que son muchos los modelos y versiones que surgen en torno al tema de la

evaluación, pudiendo identificar tres paradigmas fundamentales: cuantitativo, cualitativo y

mixto, sobre los que se basan los modelos conductistas, humanísticos y holísticos.

De todos ellos, se han seleccionado los que no sólo han tenido una mayor repercusión en el

campo de la Educación, sino los que, además, están más estrechamente relacionados con la

presente tesis doctoral.

A modo de resumen, estos serán los principales métodos o teorías que se abordarán,

ubicándose cada una de ellas en un modelo concreto, que a su vez se encuadra en uno de

los tres grandes paradigmas.

Figura 1. Síntesis de paradigmas, modelos y teorías de evaluación Fuente: Elaboración propia.


16 | P á g i n a

1.2 Modelos de evaluación conductistas:

1.2.1 Modelo de evaluación basado en la consecución de objetivos de Ralph

W. Tyler.

Tras la revisión bibliográfica de los paradigmas conductuales puede concluirse que con

Ralph W. Tyler, al que podríamos denominar “padre de la evaluación”, comienzan a

desarrollarse los primeros modelos de evaluación en torno a 1930. Antes de dicha fecha no

se hablaba de evaluación, más bien existía la “medición”.

A partir de esta fecha es cuando Tyler rodeado de otros célebres estudiosos pertenecientes

al campo de la Pedagogía, de la Psicología y de la Educación empiezan a desarrollar un

modelo conductista de evaluación, cuya repercusión se extenderá hasta mediados de los

años 60.

Es por lo tanto, un paradigma conductista el germen u origen desde el que surge la

evaluación. En este paradigma prima fundamentalmente el resultado obtenido, siendo un

elemento fundamental la definición de objetivos. En este sentido, el mayor aporte lo realiza

Bloom (1948) con la formulación de una taxonomía que clasifica los objetivos en función

de su complejidad y grado de abstracción.

Concretamente en esta taxonomía se distinguen 6 categorías:

1) Conocimiento (Recoger información)

2) Comprensión (Confirmación, aplicación)

3) Aplicación (Hacer uso del conocimiento)

4) Análisis (Orden superior: dividir, desglosar)

5) Sintetizar (Orden superior: reunir, incorporar)


17 | P á g i n a

6) Evaluar (Orden superior: evaluar el resultado)

Esta taxonomía se revisó posteriormente en 2001 (Anderson y Krathwohl), manteniendo 3

categorías y apareciendo otras tres nuevas:

1) Recordar (nueva categoría)

2) Comprender.

3) Aplicar.

4) Analizar (nueva categoría)

5) Evaluar

6) Crear (nueva categoría).

De forma esquemática ésta sería la descripción de cada una de las categorías existentes:

Tabla 1. Taxonomía de Bloom revisada.

RECORDAR

COMPRENDER

APLICAR

ANALIZAR

EVALUAR

CREAR

Reconocer y

evocar

información

relevante de la

memoria a largo

plazo

Dotar de

significado al

material

educativo con

lecturas o

explicaciones del

docente

Aplicación de

un proceso

aprendido a

una situación

concreta.

Dividir el

conocimiento en

partes y

establecer

relaciones

respecto a la

estructura

global.

Comprobación

y crítica del

conocimiento

adquirido.

Planificar y

generar nuevo

conocimiento.

Fuente: Elaboración propia a partir de (Anderson y Krathwohl, 2001)


18 | P á g i n a

Esta revisión no fue la única realizada, ya que en 2008, en la que se ha denominado

“Taxonomía de Bloom para la era digital”, Churches realiza una nueva revisión en la que

no incorpora ninguna categoría más, pero sí amplía el repertorio de verbos utilizados hasta

el momento, adaptándolos a la utilización de las TICs (Tecnologías de la Información y

Comunicación). En este sentido, aparecen verbos como “filmar”, “animar”, “bloguear”,

“programar”, entre otros.

A la vista de las tres nuevas categorías puede concluirse que la evaluación es un pilar

fundamental a la hora de determinar cuál ha sido el resultado de la planificación prevista, si

bien es cierto, que con la aparición de las nuevas tecnologías, la taxonomía se ha

actualizado para permitir la evaluación de actividades de aprendizaje cuyo desarrollo tiene

lugar a través de una modalidad no presencial, bien se trate de actividades mixtas u on-line.

A modo gráfico en la figura 2 se compara la taxonomía de Bloom original y la

actualización de 2001, cuya diferencia más significativa estriba en la posición que ocupa la

categoría de “evaluación” en la pirámide. Esta diferencia también puede encontrarse en la

actualización de Churches en 2008.


19 | P á g i n a

Figura 2. Diferencias en la clasificación de la taxonomía de Bloom original y la

actualización en 2001. Fuente: https://www.google.es/search?q=taxonomia+de+bloom&biw=1280&bih=579&sour

Características del modelo de Ralph W. Tyler:

El modelo de los objetivos de aprendizaje desarrollado por Ralph W. Tyler, también

conocido como Modelo de congruencia de objetivos, se centraba, sobre todo, en medir los

resultados, y verificar el logro de los objetivos. Para construir el currículum se necesitaba

concretar cuáles serían las conductas deseables, siendo el cambio de dichos patrones

conductuales lo que llevaba a hablar de educación. Es, precisamente, esta premisa la que

hace que en 1969 Ralph W. Tyler cambie el foco de la evaluación, y no se centre en las

habilidades de los individuos sino en el diseño del currículum. La evaluación dejó de ser

una forma para reconocer el aprendizaje de los individuos y se convirtió en un medio para

conocer el grado en que las intenciones del currículum se alcanzaban en la práctica.

La evaluación no se centraba ya en la consecución de los objetivos por parte del alumno,

sino en el alcance de los mismos a través del programa del currículum y la enseñanza. Los

https://www.google.es/search?q=taxonomia+de+bloom&biw=1280&bih=579&sour


20 | P á g i n a

exámenes servían como medio para verificar el alcance de los objetivos curriculares, pero

no eran el fin en sí mismos.

En un primer momento, Tyler, se centró en mejorar el trabajo en un contexto

universitario, ya que formaba parte del Comité Exploratorio para la Evaluación del

Progreso Educacional, pero posteriormente, su método se centró en el contexto escolar,

priorizando todas las iniciativas que pudieran surgir a nivel local así como la construcción

de un currículum basado en las necesidades de la comunidad, en el que era primordial la

implicación de todos los maestros. Estos principios tuvieron su repercusión años más tarde

en las primeras evaluaciones de programas de acción social así como evaluaciones de

iniciativas innovadoras.

Para Tyler los programas educativos, es decir, los currículum deben ser el resultado del

proceso de indagación en las “fuentes”, es decir: necesidades de los alumnos, sociedad,

tareas, contexto cultural, así como en el planteamiento de los contenidos.

Tras considerar e indagar en las mismas, se hace preciso “filtrar” el resultado, para lo que

se precisa recurrir a la filosofía y psicología del centro educativo. De esta manera, se

pueden articular objetivos acordes con los principios filosóficos y factibles dentro del

proceso de aprendizaje.


21 | P á g i n a

Fases del Modelo de congruencia de objetivos de Ralph W. Tyler.

A modo de resumen estos son los pasos más relevantes del modelo propuesto por Tyler:

Tabla 2. Fases del modelo propuesto por Ralph W. Tyler Fase Tareas

1. Identificación de objetivos en el programa

educativo

Formular objetivos en función de:

Necesidades de los alumnos

Características del contexto sociocultural

Contenidos

2. Clasificación de objetivos Relacionar los objetivos y ubicarlos en la categoría

más acorde, en función de su finalidad:

Hábitos de trabajo y conductas de estudio.

Actitudes sociales

Desarrollo del pensamiento.

Desarrollo de la creatividad

Desarrollo de la sensibilidad social

Desarrollo de la salud física

Desarrollo de una filosofía vital

Fomento de ampliación de intereses

Desarrollo de un mayor ajuste social

Fomento de la adquisición de información

3. Operativizar cada objetivo en términos de conducta Formular los objetivos teniendo en cuenta el

logro deseado en relación al mismo,

ubicándolo en una de las categorías de la

taxonomía de Bloom.

4. Identificar situaciones de logro de los objetivos Demostrar el alcance del objetivo, por parte

del alumno.

5. Diseñar metodología de evaluación Analizar la validez y fiabilidad de los

métodos propuestos


22 | P á g i n a

Fase Tareas

6. Implementar técnicas de evaluación Desarrollar técnicas que permitan evaluar el

alcance de los objetivos propuestos, ya sean a

nivel cognoscitivo o actitudinal

7. Valorar los objetivos alcanzados

Interpretar los resultados conseguidos en

función de los objetivos planteados.

Fuente: Elaboración propia a partir del Modelo de congruencia de objetivos de Ralph W. Tyler (1948)

Principios básicos en la “Justificación de Tyler”:

Son cuatro las preguntas que Tyler se formuló y que aparecen en su obra “Educational

evaluation: new roles and new means” publicado por la Universidad de Chicago en 1969,

y cuyas respuestas, hoy en día, siguen siendo un punto de partida en materias como

Psicología de la Instrucción, cuando se trata de formular planteamientos curriculares.

Las preguntas son las siguientes:

1. ¿Qué fines educativos debería alcanzar la escuela? Definición de objetivos de

aprendizaje adecuado.

2. ¿Qué experiencias de aprendizaje útiles se pueden seleccionar para alcanzar estos

objetivos? Aprendizaje significativo basado en la experiencia.

3. ¿Cómo pueden organizarse experiencias de aprendizaje para una instrucción

eficaz? Aprendizaje eficaz.

4. ¿Cómo se puede evaluar la eficacia de experiencias de aprendizaje? Evaluación

del proceso y valoración de fortalezas y debilidades.

A continuación, de manera esquemática, se expondrán los puntos más relevantes de las

cuatro preguntas clave formuladas en la teoría de Tyler:


23 | P á g i n a

Pregunta 1: ¿Qué fines educativos debería alcanzar la escuela?

La primera pregunta que se plantea Tyler tiene que ver con la reflexión acerca de los fines

que la escuela desea alcanzar, ya que él llega a constatar que existen Centros donde los

programas no se corresponden con ningún propósito previamente definido, lo cual es un

claro óbice para la planificación y mejora de un programa. Esta definición de objetivos

será la que sirva de guía en la selección de material, contenido del programa, elaboración

de los procedimientos de enseñanza y preparación de las pruebas y exámenes para la

superación de los mismos.

A la hora de determinar las metas educativas, éstas adquirirán sentido cuando se comparen

los datos obtenidos en cuanto a la consecución de objetivos con los niveles deseables.

En el proceso de planificación del currículum la formulación de objetivos de manera

precisa, coherente y pertinente es vital en la selección del desarrollo del programa,

concretamente, en la descripción de las actividades de aprendizaje. Para la organización de

la lista de los objetivos importantes, conviene enumerarlos en forma tal que resulten

útiles para seleccionar la actividad de aprendizaje y orientar el mismo.

La contextualización en la formulación de objetivos adquiere un importante papel, ya que

es preciso considerar las características socioculturales que rodean al individuo así como

sus necesidades educativas particulares.


24 | P á g i n a

Pregunta 2: ¿Qué experiencias de aprendizaje útiles se pueden seleccionar para alcanzar

estos objetivos?

Las experiencias del aprendizaje constituyen el medio a través del cual pueden alcanzarse

los objetivos planificados. Aprendemos en base a lo que somos y a lo que sabemos

previamente. Este argumento explica la significatividad del aprendizaje que promueven las

teorías constructivistas.

La expresión “experiencia de aprendizaje” alude a la interacción que se establece entre el

estudiante y las condiciones del medio en el cual interacciona y aprende.

El papel del estudiante deja de ser un papel pasivo, ya que es la conducta activa,

materializada en el aprendizaje, la que otorga un papel activo al mismo. Se aprende con lo

que se hace y se experimenta.

Por lo tanto, el responsable de la educación debe establecer las condiciones y estructurar la

situación para ofrecer una experiencia que fomente el aprendizaje, adaptándola, en la

medida de lo posible, al perfil de dicho alumno, lo que implica el conocimiento de los

intereses y personalidades de los alumnos, a fin de generar reacciones estimulantes que les

motiven para aprender. Por ello, para Tyler era fundamental disponer de filtros como la

filosofía y la psicología con los que contara el Centro a la hora de “filtrar” los

aprendizajes, entendiendo “filtrar” como la adecuación de los objetivos al contexto

sociocultural y necesidades educativas del que aprende.

Tyler establece una serie de premisas básicas para poder seleccionar experiencias de

aprendizaje significativas, que se resumen en las siguientes:


25 | P á g i n a

a) Relación de los objetivos, contenidos y actividades de aprendizaje:

Una vez se plantea la necesidad de seleccionar unas actividades concretas de aprendizaje,

se ha de considerar que hay determinadas actividades que pueden responder a unos mismos

objetivos. A la hora de seleccionar las actividades de aprendizaje éstas pueden agruparse

teniendo en cuenta los objetivos generales comunes a algunas de ellas, así como los

objetivos específicos, propios de algunas de las mismas. En el planteamiento de estas

actividades influirá de qué tipo de objetivo concreto se trata.

Por lo tanto, la definición del objetivo, según la teoría propuesta por Tyler abarcaría

además del enunciado completo según el tipo de conducta, el contenido con el que dicha

conducta se relaciona, siendo las actividades concretas de aprendizaje los medios a través

de los que el estudiante trabajaría los contenidos acorde con los propósitos que se

pretenden conseguir.

Éste es un principio básico útil en la selección de experiencias de aprendizaje y válido para

todo tipo de objetivos.

b) Motivación implícita.

Una premisa para la selección de experiencias según Tyler, es conseguir que las

actividades propuestas permitan al estudiante sentirse satisfecho tras la realización de las

mismas. Por lo tanto, será fundamental, tener en cuenta las características particulares de

dicho alumno así como sus necesidades educativas como punto de partida.

c) Adecuación de las actividades a las posibilidades del alumno.

Esta premisa básicamente intenta centrar la atención en la importancia de planificar unos

contenidos que tengan en cuenta los recursos físicos y materiales que se encuentran


26 | P á g i n a

disponibles o están al alcance del alumno, ya que lo contrario coadyuvaría a un escenario

donde no existen posibilidades de concluir con éxito el alcance de los objetivos propuestos.

d) Selección dentro de un repertorio de actividades establecido.

Esta premisa intenta poner el foco de atención en la multitud de actividades que pueden

planificarse para conseguir los objetivos, y en esta especie de “base de actividades” es

donde el docente debería seleccionar aquellas más acordes con la finalidad que se persigue.

Con esta premisa Tyler intenta seleccionar y organizar todo un conjunto de actividades y

experiencias y unificar criterios, y no dejar al azar la selección de las mismas.

e) Resultados diferentes a los planificados.

Esta última premisa sostiene que no siempre el planteamiento de una misma actividad

genera los mismos resultados en los estudiantes, ya que son diferentes las motivaciones

con las que cuentan los mismos a la hora de llevar a cabo las diferentes actividades. De

esta manera un alumno, con la resolución de un problema matemático, además de adquirir

conocimientos en el campo del cálculo, puede encontrar una motivación adicional por

temas económicos, o por el uso racional de recursos.

En relación al tipo de actividades que Tyler plantea, éstas pueden clasificarse en varios

tipos, en función del número y tipo de objetivos:


27 | P á g i n a

Tabla 3. Clasificación de las actividades según modelo de Tyler. TIPOS DE ACTIVIDADES DE APRENDIZAJE PRINCIPIOS BÁSICOS

Actividades de desarrollo de

pensamiento/razonamiento hipotético-deductivo.

o Intentan desarrollar el pensamiento

general partiendo de un supuesto concreto y

específico mediante el que desarrollar la

lógica a través de premisas y supuestos para

llegar a conclusiones.

Actividades para adquisición de conocimientos

o Incluyen objetivos centrados en la

comprensión de hechos concretos. Es

importante la selección de la información

más relevante, y la utilización en diversos

contextos.

Actividades de aprendizaje que fomenten actitudes

sociales

o Son determinadas materias las que

contribuyen a adquirir las actitudes sociales,

tales como la literatura, o aquellas

relacionadas con el campo artístico y

educación física, entre otras.

Actividades de aprendizaje con la finalidad de dar

respuesta a motivaciones.

o Estas actividades ejemplifican la

adecuación de la planificación a las

necesidades e intereses de los alumnos.



28 | P á g i n a

Pregunta 3: ¿Cómo pueden organizarse experiencias de aprendizaje para una instrucción

eficaz?

Dado que en la programación curricular debe existir coherencia entre los objetivos,

contenidos y actividades de aprendizaje, el siguiente paso es el de dotar de una

organización lógica en cuanto a unidades, cursos y programas se refiere.

Dentro de los criterios lógicos para una organización curricular efectiva se ha de tener en

cuenta:

a) Continuidad

b) Secuencia

c) Integración

A la hora de organizar las actividades de aprendizaje es importante atender a dichos

criterios. Estos criterios están referidos no sólo a la secuenciación vertical de los

contenidos sino a la organización en función de los contenidos, y por supuesto, a la

coherencia en relación al conjunto total. De esta forma, la programación adquiere sentido

vista desde una perspectiva global y no sólo como una suma de actividades aisladas.

Igualmente, es importante considerar la presencia de nexos organizativos que articulen los

diferentes componentes del currículum. A mayor extensión en la programación, mayor

dificultad para establecer el nexo de unión entre las distintas partes que la integran.


29 | P á g i n a

Pregunta 4: ¿Cómo se puede evaluar la eficacia de experiencias de aprendizaje?

La respuesta a esta última pregunta está estrechamente relacionada con la evaluación de los

objetivos propuestos en relación con las experiencias de aprendizaje realizadas.

Se hace preciso corroborar si se han alcanzado otros objetivos, que tienen más que ver con

los filtros psicológicos y filosóficos de la institución.

En el contexto real, son muchas las variables que pueden presentarse y que están

relacionadas con la individualidad propia de cada estudiante, los factores ambientales

donde tiene lugar la docencia y el perfil competencial del docente, entre otros.

Es preciso, por lo tanto, determinar varios procedimientos de evaluación, sometidos a

revisión continua, en aras a una mejora del proceso de planificación y evaluación posterior.

Estos procedimientos de evaluación tendrán como misión determinar en qué medida los

objetivos inicialmente planificados se han cumplido, qué tipo de conductas ha alcanzado el

alumno en relación a cada uno de los objetivos propuestos e identificar los aciertos y

errores, así como la mejora de estos últimos.


30 | P á g i n a

Tabla 4. Ventajas e inconvenientes del modelo de Tyler: VENTAJAS

Algunos aspectos más relevantes contemplados en el modelo son:

Sistematización del concepto de evaluación. Hasta el momento sólo se habla de medición.

Para Tyler los aprendizajes siempre han de estar relacionados con el planteamiento de unos

objetivos bien definidos cuya coherencia con los resultados o logros alcanzados habrán de

ser verificados por el docente.

Sistematización del proceso curricular, estableciendo diversas partes diferenciadas:

objetivos, contenidos, actividades (lo que en su modelo denomina “experiencias de

aprendizaje”), y evaluación.

Diversidad educativa, ya que se contempla la existencia de diversas metodologías de

aprendizaje, diversidad en cuanto a las necesidades de los alumnos, así como diferentes

métodos de evaluación, dependiendo del tipo de pensamiento que se quiera fomentar.

Relación sociedad-educación, al contemplar en el proceso de planificación educativa las

necesidades del alumno y las características socioculturales que le rodean, que habrán de

tenerse en cuenta en la selección de las experiencias del aprendizaje.

Verificación del logro alcanzado, mediante la comparación de los objetivos y los

resultados. Éste, además, es uno de los principios básicos, de la planificación curricular, ya

que la evaluación siempre ha de estar relacionada con los objetivos planteados, de lo

contrario el proceso educativo estaría abocado al fracaso, y precisamente hoy en día, pueden

encontrarse planificaciones cuyos objetivos no guardan coherencia con la evaluación, por lo

que esta ventaja, aunque planteada a mediados del siglo XX, sigue gozando de una vigencia

plena en la actualidad.


31 | P á g i n a

INCONVENIENTES:

Entre los inconvenientes más relevantes se han de destacar:

Falta de autonomía docente y discente. El hecho de enfatizar los cambios conductuales en

los alumnos e intentar predecir los mismos contradice el principio de autonomía del

discente. Además, el modelo no reconoce que hay conductas que son impredecibles, y por lo

tanto, al no contemplar este aspecto no tiene en cuenta medidas para hacer frente a los

efectos secundarios que pudieran derivarse. En relación al docente, no se enfatiza su propio

desarrollo y con ello queda relegada a un segundo plano la faceta más crítica. Puede

afirmarse que es un modelo un tanto inflexible en cuanto a planteamiento curricular se

refiere.

Ausencia de innovación en detrimento de la eficacia. Tyler plantea un modelo propio del

pensamiento tecnocrático. El papel del docente no se basa en la investigación activa tras la

revisión de los resultados obtenidos.

Ausencia de multidimensionalidad en las pruebas de evaluación, puesto que la atención

se centra exclusivamente en el resultado de los exámenes y no tanto en la mejora de los

cursos. En relación, a este aspecto algunos autores como Lee J. Cronbach en su obra

“Course improvement through evaluation” publicada en 1963 han sido especialmente

críticos, afirmando que los exámenes eran insuficientes y que era necesario que la

evaluación se centrara en aspectos basados en la innovación y no exclusivamente en las

pruebas escritas.

Predominio de la evaluación sumativa frente a la formativa, debido a que el valor

fundamental estriba en el resultado final y no en el proceso formador llevado a cabo. En

definitiva, predomina el producto antes que el proceso.



32 | P á g i n a

1.2.2.Modelo de evaluación CIPP (Contexto, Input, Proceso, Producto) de

Stufflebeam.

Siguiendo dentro del paradigma conductista, a mediados de los años 60 surge un nuevo

modelo de evaluación que desbanca al modelo tradicional propuesto por Tyler. Existe un

elemento que fomenta este cambio y tiene que ver con la aparición en Estados Unidos de

una nueva legislación que afecta a los estudios de Primaria y Secundaria, denominada

ESEA (Elementary and Secondary Education Act).

Los docentes pasan a un segundo plano en el proceso evaluativo, adquiriendo esta

responsabilidad evaluadores externos, y dando paso, de esta manera, a la aparición de las

primeras agencias de evaluación y Universidades encargadas de crear programas para

apoyar y asesorar en relación a estas evaluaciones. Se ha de destacar que el interés en

conseguir el alcance de los objetivos era máximo, ya que la asignación de los fondos

federales sólo podía llevarse a cabo en aquellos Centros donde se constatara que con los

proyectos curriculares propuestos se habían alcanzado los objetivos. Y es en este contexto,

donde aparece el modelo de Daniel Stufflebeam orientado a la toma de decisiones. Se ha

de destacar que él fue el fundador del Centro de Evaluación de la Universidad de Ohio en

1965, Centro que dirigió hasta el 2002. En su análisis para diagnosticar el estado de la

evaluación se encontró que ésta contaba con una situación crítica, llegando a afirmar en el

National Study Committee on Evaluation en 1971 que “la evaluación educacional es

víctima de una grave enfermedad”.

La aportación más significativa del modelo de Stufflebeam es considerar la posibilidad de

cambios dentro del proceso. Ya no hablamos de la evaluación como una estructura lineal

objetivos/resultados sino de un proceso que se pueda retroalimentar con información útil y

descriptiva sobre el valor y mérito de las metas, la planificación, la ejecución y el impacto


33 | P á g i n a

con la finalidad de servir de guía en la toma de decisiones, y poder así solucionar

problemas de responsabilidad y promover la compresión de los fenómenos implicados.

El primer paso previo a la evaluación es el análisis de los objetivos deseados, así como de

la información necesaria a tener en cuenta en el contexto en el que van a ser utilizados los

resultados. Además es preciso determinar cuál es el perfil de los estudiantes, para poder

configurar un mapa con todos los elementos implicados y establecer una planificación que

vaya retroalimentándose, para posteriormente, valorar el impacto de la ejecución llevada a

cabo.

La toma de decisiones se va realizando sujeta al continuo cambio y modificación de los

criterios, dentro de unos parámetros caracterizados por una dualidad, ya que se trata de un

modelo abierto por un lado y cerrado por otro. Es un modelo abierto porque es posible

tomar nuevas decisiones no previstas en función del contexto, inputs o entradas, proceso y

producto, permitiendo orientar el proceso hacia el cambio deseado. Por otro lado, es un

modelo cerrado ya que se nutre de los propios elementos internos de los que se va

retroalimentando.

Además de esta dualidad, se ha de tener en cuenta que una vez finalizado el proceso,

nuevamente, hay que situarse en el punto de partida. La figura del docente ha de tomar

conciencia de su papel e intervenir de manera dinámica, ya que es él quien tras realizar el

análisis ha de determinar el momento oportuno para actuar, así como establecer las áreas

donde se ha de instaurar el cambio y herramientas a utilizar.

Lo más importante de este modelo es el carácter dinámico, ya que una entrada o input,

dependiendo de las condiciones, puede influir en el proceso y orientar éste hacia otros

resultados. El feedback o retroalimentación del proceso influye para que la situación de


34 | P á g i n a

logro final no sea inevitablemente la asumida desde un primer momento considerando este

resultado como valioso para docente, alumno y evaluador, al ampliar el repertorio de

elementos docentes a tener en cuenta en el proceso de planificación curricular y utilizarlos

como un elemento de mejora.

A modo de resumen, éstas serían las principales fases y los principales elementos

planteados en el modelo CIPP planteado por Stufflebeam.

Figura 3. Resumen de las principales fases y elementos según el modelo CIPP de

Stufflebeam.

Fuente: Elaboración propia a partir del modelo Stufflebeam.


35 | P á g i n a

A continuación se procederá a explicar de manera resumida cuáles son las características

principales de cada una de las evaluaciones descritas en el modelo de Stufflebeam:

Contexto, Input, Proceso y Producto (CIPP)

1. Contexto:

La pregunta básica a la que se intentaría responder es ¿qué necesitamos hacer?. A la hora

de dar respuesta se han de tener en cuenta las fortalezas y debilidades del programa,

identificando las características del entorno

Según Rodgers (1979), las finalidades que persigue son:

a) Definir las características y parámetros del entorno donde se desarrolla el programa

b) Determinar las metas generales y los objetivos específicos.

c) Identificar y diagnosticar los problemas u obstáculos que pudieran impedir el logro

de metas y objetivos.

Esta evaluación se centraría en definir el entorno, no sólo el real, sino el deseado,

identificando las necesidades que no se han alcanzado, así como las oportunidades y los

obstáculos.

La metodología incluye entrevistas, reuniones y lectura de informes. El procedimiento

utilizado se basa en:

a) Análisis conceptual en aras a determinar los límites del entorno donde se desarrolla

el programa.

b) Estudios empíricos para determinar cuáles son las necesidades que no se han

resuelto, así como establecer nuevas oportunidades para alcanzarlas.


36 | P á g i n a

c) Emisión de juicios o valoraciones por parte de un grupo de expertos. sobre las

metas y objetivos que se desean alcanzar.

2. Evaluación del input o entrada.

Lo más importante en esta fase de evaluación es determinar los recursos disponibles para

alcanzar las metas y objetivos del programa. La principal premisa en la evaluación del

input intenta dar respuesta a la pregunta ¿es posible llevar a cabo el programa?. A través de

esta pregunta habría que determinar no sólo qué recursos, sino también qué estrategias de

programas alternativos, dentro del contexto de necesidades que se haya definido, van a ser

de utilidad para alcanzar los objetivos.

Dentro de las principales acciones a seguir se encontrarían:

a) Diseñar un programa para satisfacer objetivos

b) Definir recursos necesarios que han de utilizarse en el programa.

c) Valorar la adecuación de los recursos humanos y materiales.

Las estrategias de intervención contemplan los siguientes elementos:


37 | P á g i n a

Tabla 5. Estrategia de intervención y elementos de análisis según modelo de Stufflebeam ESTRATEGIA ELEMENTOS DE ANÁLISIS

Estrategia para lograr objetivos

Temporalidad

Recursos físicos

Recursos materiales

Recursos económicos

Capacidad de cobertura de necesidades

Obstáculos potenciales

Estrategia para definir las capacidades y los

recursos del equipo

Revisión del desarrollo del programa en

función de objetivos planteados.

Valoración de soluciones viables

Escucha activa de agentes de evaluación

Estimación realista de los recursos

Búsqueda bibliográfica

Revisión de programas ejemplares

Fuente: Elaboración propia a partir del modelo planteado por Stufflebeam

3. Evaluación del proceso.

La pregunta que tendríamos que formularnos para dar respuesta a esta evaluación sería

¿cómo se realiza la comprobación del proceso para garantizar que éste se lleve a cabo de

manera adecuada?. En el fondo, la evaluación del proceso consiste en la verificación de la

realización del plan. Es una parte muy importante, ya que proporciona información sobre

la eficacia y la eficiencia de las estrategias llevadas a cabo. Permite decidir si el programa

tal y como se está llevando a cabo contaría con aceptación o es necesario modificar algún

aspecto. Se trata, por lo tanto, de comprobar cuál es la diferencia que existe entre el diseño

final y la implementación real.


38 | P á g i n a

La metodología se basa en la revisión y la supervisión por parte del evaluador que verifica

las características del contexto, los elementos del programa llevados a cabo en la realidad,

las fortalezas y las debilidades con la finalidad de poder establecer una toma de decisiones

adecuada. El soporte que aparece es un registro con todas las incidencias surgidas al

respecto, que será vital para la toma de decisiones en la etapa siguiente.

4. Evaluación del producto

Si bien en la evaluación del proceso se registraban datos durante el mismo, en esta etapa

es esencial la valoración a posteriori, utilizando el estudio de caso y el análisis de

eficiencia medida en tiempo/coste. Se trata de determinar hasta qué punto las necesidades

inicialmente contempladas han sido cubiertas, cuáles fueron los imprevistos a los que hubo

que hacer frente, así como el análisis de resultados positivos no contemplados inicialmente.

Esta última parte es la que entraña una mayor dificultad, ya que la evaluación del producto

necesita un claro establecimiento de criterios derivados de un análisis completo de los

objetivos conseguidos y planificados, además de la comparación de la información

recogida, relacionándola con la evaluación del contexto, input y proceso a la vez.

De manera resumida, el modelo CIPP proporciona información referida a:

Necesidades existentes /Necesidades cubiertas.

Descripción del programa de intervención propuesto y alcance de los objetivos que

lo integran.


39 | P á g i n a

Grado de realización del plan de intervención, tras la retroalimentación llevada a

cabo en el proceso.

Resultados obtenidos.

A modo de gráfico, éstas son las principales fases incluidas en el modelo CIPP propuesto

por Stuffebeam.

Figura 4. Modelo CIPP de Stuffebeam. Fuente: Elaboración propia

Figura 5. Modelo CIPP de Stuffebeam: contexto. Fuente: Elaboración propia


40 | P á g i n a

Figura 6. Modelo CIPP de Stuffebeam: inputs. Fuente: Elaboración propia

Figura 7. Modelo CIPP de Stuffebeam: proceso. Fuente: Elaboración propia

Figura 8. Modelo CIPP de Stuffebeam: producto Fuente: Elaboración propia


41 | P á g i n a

De manera resumida las principales ventajas e inconvenientes del modelo de evaluación

CIPP son las siguientes:

Tabla 6. Ventajas e inconvenientes del modelo de Stufflebeam. VENTAJAS

Proceso como elemento fundamental de la planificación curricular, en detrimento del

modelo de Tyler que sólo tenía en cuenta el alcance de los logros (producto).

Retroalimentación o feedback de los elementos que intervienen en el proceso, analizados

en las fases de evaluación del contexto, input, proceso y producto, como medida de

modificación y mejora. Puede afirmarse que es un proceso cíclico.

Toma de decisiones tras el análisis de la información registrada después de la fase de

evaluación del proceso.

Eficiencia como elemento a valorar tras el análisis del programa educativo, y revisión del

coste/tiempo invertido así como de los recursos físicos y materiales empleados.

Registro de información analizada, así como empleo de metodologías que intentan

sistematizar la información tales como estudio de caso, informe, o técnica Delphi, entre

otros.

Evaluación que tiene en cuenta la opinión no sólo del evaluador sino la de las personas

encargadas de tomar decisiones en el proceso educativo.

INCONVENIENTES:

Escasa especificación en la manera en la que se procederá a la toma de decisiones.

Papel tecnócrata del evaluador, relegando a un segundo plano la opinión de los discentes,

y en general, de la comunidad. El planteamiento es excesivamente técnico.

Ausencia de detección de necesidades sentidas, no considerando la opinión de los

estudiantes.

Evaluaciones exclusivamente cuantitativas, en las que se mide el impacto mediante un

grupo control comparándolo con el grupo que se ha de beneficiar del programa educativo.

Sesgo en la información final ofrecida por los agentes de la evaluación encargados de dar

información al evaluador.

Fuente: Elaboración propia a partir del modelo CIPP propuesto por Daniel Stufflebeam (1967)


42 | P á g i n a

1.2.3 Modelo de evaluación respondiente de Robert E. Stake.

Robert E. Stake formula su modelo de evaluación en 1967. Para Stake la evaluación es “un

proceso interactivo para adquirir información sobre una institución, un programa o

proyecto, que identifica o define los problemas correspondientes, atendiendo la fuerza o

debilidad de estos problemas” (Gagné R.M y Briggs, L.J, 1987).

Para Stake lo más importante en un programa no son en sí los objetivos, sino las

actividades llevadas a cabo dentro del mismo, destacando tres elementos de gran

importancia:

a) Antecedentes: condiciones existentes previas a la aplicación del programa.

b) Procesos o transacciones: actividades que van a llevarse a cabo con el desarrollo del

programa.

c) Resultados: logros obtenidos con el programa, tanto planificados, y por lo tanto,

esperados como no planificados.

Figura 9. Ejemplo de modelo matricial propuesto por Stake. Fuente: Stake(1967)

ANTECEDENTES

RESULTADOS

PROCESOS

Matrices propuestas por R.Stake en la Evaluación Respondiente

Intenciones / Observaciones Standards Juicios

MATRIZ DE DESCRIPTIVA

MATRIZ DE JUICIOS


43 | P á g i n a

Estos 3 elementos constituyen la base sobre la que se articula la estructura funcional, que

cuenta con 12 pasos:

1. Hablar con los clientes, personal del programa y audiencias.

2. Identificar el alcance del programa.

3. Describir una panorámica de las actividades que conforman el programa.

4. Descubrir los propósitos e intereses.

5. Conceptualizar las cuestiones y problemas.

6. Identificar los datos necesarios para investigar los problemas.

7. Seleccionar, siempre que exista posibilidad: observadores, jueces e instrumentos de

evaluación.

8. Observar los antecedentes, procesos o transacciones y resultados.

9. Desarrollar temas, preparar descripciones y estudiar casos concretos.

10. Validar y buscar evidencias para la confirmación de las mismas.

11. Determinar cuál va a ser el papel de la audiencia.

12. Reunir y analizar los informes.

El modelo de Stake, como puede apreciarse, implica la evaluación de diferentes variables e

indicadores elaborados para observar antecedentes, procesos o transacciones y resultados.

Para ello se aplican criterios e indicadores, lo que explica su modelo basado en matrices.

La valoración de dichos criterios puede llevar a establecer juicios absolutos si se compara

con los estándares establecidos dentro del propio programa, o relativos si se compara con

programas que guarden alguna similitud.


44 | P á g i n a

Figura 10. Modelo matricial de Stake Fuente: Stenhouse, L. La investigación y desarrollo del currículo. Ed Morata. Madrid, 1984 y adaptado por Restrepo Ramírez , P.(1990)


45 | P á g i n a

Las ventajas e inconvenientes del modelo de Stake pueden resumirse en las siguientes:

Tabla 7. Ventajas e inconvenientes del modelo de Stake. VENTAJAS:

Evaluación orientada al cliente, centrada en las actividades, pero no exclusivamente en la

consecución de objetivos.

Flexible, ya que tiene en cuenta el análisis de los problemas del programa.

Permite recoger gran cantidad de datos de información organizados en las distintas

matrices.

Establece comunicación entre evaluador y cliente para solucionar problemas.

INCONVENIENTES:

Requiere una compleja organización de datos.

Datos imprecisos, dado el carácter cualitativo de las metodologías empleadas en su registro.

Los agentes implicados en la evaluación siguen estando centrados en los evaluadores y

clientes, sin tener en cuenta a los alumnos ni a la comunidad educativa y a la sociedad.

Fuente: Elaboración propia


46 | P á g i n a

1.3 Modelos de evaluación humanísticos

1.3.1 Modelo de evaluación al cliente de Michael Scriven

El modelo de Scriven (2000) es conocido también como modelo libre de metas. Dentro de

sus características más importantes se halla la de estar orientado a las necesidades del

cliente y no centrado exclusivamente en los objetivos. Es más, según Scriven el evaluador

no debería conocer los objetivos que se pretenden alcanzar para poder valorar con más

objetividad los resultados alcanzados, tanto los esperados como los no previstos, paliando

así un posible sesgo por parte del evaluador.

La evaluación formativa está presente en todas las etapas educativas, tomando cada vez

más protagonismo en la etapa universitaria, tal y como aparece en el artículo publicado

sobre medios, técnicas e instrumentos de evaluación formativa (Hamodi, 2015).

Algunas características del modelo de Scriven son:

Los programas se evalúan como si se tratase de una investigación en la que se ha de

valorar el alcance de hechos planificados e imprevistos y no de intenciones. Éste es

otro punto clave, el emitir juicios de valor y no tanto evaluar el logro.

Las necesidades vienen determinadas por el propio evaluador, quien determina si su

consecución conlleva una satisfacción para quien lo alcanza.

El verdadero valor del programa estriba en la satisfacción de las necesidades del

consumidor. El evaluador debe identificar y ordenar los programas y valorar

opciones alternativas en base a su coste y en función de las necesidades sociales.


47 | P á g i n a

Aparece por primera vez el concepto de “conciencia social informada”, algo que está

estrechamente ligado con la ética del evaluador. De hecho, Scriven analiza la influencia de

cuatro ideologías en el proceso evaluativo: separatista, positivista, administrativa y

relativista.

La ideología más relacionada con los aspectos éticos es la separatista, ya que para Scriven

es fundamental minimizar las resistencias a evaluar las propias evaluaciones. En relación al

resto de ideologías se ha de comentar que en todas ellas Scriven enfatiza un aspecto

concreto. En el caso del positivismo consiste en dar valor a los estados de evaluación,

razón por la que en algunas referencias bibliográficas, este modelo está asociado a una

evaluación de “mérito o valor”. En relación a la ideología administrativa, existe una

tendencia a realizar controles rígidos y a establecer informes favorables, poniendo de

manifiesto una vez más la importancia de la ética del evaluador. Por último, en relación a

la ideología relativista, que es opuesta a la positivista, para Scriven hay una realidad

objetiva.

Centrándonos más en las fases mediante las que se construye el “estado de valor” propio

de este modelo de evaluación pueden destacarse:

Fase 1: Selección de un criterio de valor.

Fase 2: Descripción de los estándares de desempeño.

Fase 3: Medición del desempeño.

Fase 4: Síntesis de los resultados acorde con el criterio de valor establecido.

Uno de los aportes de Scriven fue la utilización de las listas de control, lo que hoy,

salvando diferencias, vendrían a ser los check-list. Dichas listas de control de indicadores

ponen de manifiesto el concepto de evaluación como un proceso multidimensional.


48 | P á g i n a

A continuación, se resumen los indicadores del modelo multidimensional de evaluación.

Tabla 8. Análisis indicadores modelos de Scriven. LISTA DE CONTROL DE

INDICADORES

PREGUNTA QUE PUEDE

FORMULARSE PARA SU

ELABORACIÓN.

TIPO DE

EVALUACIÓN

Descripción ¿Qué hay que evaluar? ¿Cuáles son

los elementos clave?

Evaluación formativa

Cliente ¿Quién ha encargado la evaluación? Evaluación formativa

Antecedentes y contexto

¿Qué circunstancias rodean a quien

ha encargado la evaluación y a

quien va a ser evaluado?


Recursos ¿Qué recursos tiene a su disposición

quien va a ser evaluado? ¿Cuáles

son los recursos disponibles para el

evaluador?


Función ¿Cuál es la actividad del evaluado? Evaluación formativa

Sistema de distribución ¿Cómo llega el evaluado al

mercado? ¿Existe algún mecanismo

de control seguimiento o

perfeccionamiento del mismo?


Consumidor ¿A quién afectan los resultados del

evaluador?



49 | P á g i n a

LISTA DE CONTROL DE

INDICADORES

PREGUNTA QUE PUEDE

FORMULARSE PARA SU

ELABORACIÓN.

TIPO DE

EVALUACIÓN

Necesidades y valores ¿Cuáles son las necesidades y

valores de los consumidores?


Normas ¿Existen normas acerca del mérito o

valor que deba aplicarse? ¿Cuáles

de ellas provienen del cliente y

cuáles del consumidor?


Proceso ¿Cuáles son las limitaciones y

beneficios que aparecen en el

proceso?


Resultados ¿Cuáles son los logros alcanzados

por el evaluado?

Evaluación sumativa

Posibilidad de generalización ¿Es posible extrapolar los

resultados y aplicarlos a otros

programas /contextos/ personas?


Costes ¿Cuál ha sido la inversión

económica llevada a cabo?


Comparaciones ¿Existen otras alternativas para

evaluar?


Fuente: Elaboración propia a partir del modelo planteado por Michael Scriven (2000)

A esta lista hay que añadir las recomendaciones, la elaboración del informe así como un

elemento novedoso hasta el momento: la metaevaluación, la cual ha de llevarse a cabo


50 | P á g i n a

antes del inicio de la evaluación, antes de que el proceso haya concluido y el informe se

haya redactado y difundido.

La metaevaluación, también aparece en la actualidad como aspecto y propósito del proceso

evaluativo (Rosales, 2015).

Tabla 9. Ventajas e inconvenientes del modelo de Scriven VENTAJAS:

Promueve la autoevaluación, muy importante en una primera etapa para fomentar la

creatividad y dar paso en una segunda etapa a la evaluación profesional

Considera la evaluación sin metas orientada a las necesidades del consumidor, como

elemento de evaluación diagnóstica y adaptación de las mismas durante el proceso.

Promueve la evaluación formativa y sumativa.

Aporta conceptos clave tales como las listas de control de evaluación, la metaevaluación y

la efectividad con la valoración del coste-beneficio.

Ética profesional, a la hora de obtener la información precisa y de intervenir en el proceso

de evaluación.

Evaluador como profesional informado que ha de servir de ayuda tanto a los

profesionales, considerando su opinión, para proporcionar servicios de calidad, como a los

consumidores a la hora de identificar propuestas alternativas.

INCONVENIENTES:

Necesidades del consumidor como punto primordial en el proceso evaluativo, ya que

puede ser que dichas necesidades no sean reales sino sentidas.

No proporciona una metodología concreta, por ejemplo, en cuanto a la manera en la que

van a ser tenidas en cuenta las necesidades del consumidor.

Subjetividad en la valoración de las necesidades del consumidor, aún cuando éstas

obedezcan a necesidades reales.

Sesgo en la valoración del programa, al considerar la capacidad de satisfacer sus

necesidades únicamente, sin tener en cuenta los propósitos para los que se diseñó.

Fuente: Elaboración propia a partir del modelo planteado por Scriven (2000)


51 | P á g i n a

En síntesis, algunas de las aportaciones de manera gráfica del modelo de Scriven son:

Figura 11. Principales elementos que aporta el modelo de Scriven. Fuente: Elaboración propia a partir del modelo de Scriven.

1.3.2 Modelo de evaluación como crítica artística de Elliot W. Eisner

Este modelo humanista que comienza a desarrollarse a partir de 1970 intenta explicar la

evaluación estableciendo una comparación entre ésta y el mundo del arte, así como entre el

evaluador y un artista. Su precursor fue Elliot W. Eisner (1985).

Para Eisner es fundamental la comprensión del contexto, de los símbolos, reglas y

tradiciones de los que participa cualquier persona, objeto o fenómeno.

Son tres los elementos a tener en cuenta:

1. Carácter descriptivo, referido a una relación detallada de hechos y valores. En

relación a los hechos, o la parte fáctica del proceso, pueden servir como ejemplo las

interacciones entre alumno y profesor, lo que en el modelo de Stufflebeam serían

las transacciones. En relación a la parte relacionada con los valores habría que

aludir a lo artístico, lo metafórico o literario. El docente motivaría a los alumnos a

participar en acontecimientos de los que no han tenido una experiencia directa,

jugando las emociones un importante papel.


52 | P á g i n a

2. Carácter interpretativo, basado en el empleo de la teoría para poder explicar

aspectos prácticos relacionados con acontecimientos diarios, estableciendo así un

nexo entre la teoría y la práctica, mejorando la misma. Bajo este proceso tienen

lugar las inferencias al ir más allá de lo observable.

3. Juicios de valor sobre el mérito educativo, utilizando criterios adecuados, para lo

que se hace preciso valorar el contexto prestando especial atención a las

particularidades de cada situación educativa.

Asimismo, pueden establecerse varias dimensiones del currículum:

a) Apreciación (aprender a ver, saber comprender y valorar).

b) Productividad (hacer, representar y transformar).

c) Emocional (disfrutar de forma sensible).

La sensibilización perceptual se basa, sobre todo, en hablar de lo observado, percibido, y

realizado. Es muy importante opinar sobre lo expresado, ya que ello coadyuva a generar un

ambiente de tolerancia, flexibilidad y sensibilidad.

Los objetivos propuestos son de 3 tipos:

a) Educativos

b) Expresivos

c) Experienciales, relacionados con las aptitudes y la sensibilidad.

Algunas de las características más importantes son:

Su lenguaje se centra en la utilización de formas expresivas. Priman los

sentimientos sobre los hechos.


53 | P á g i n a

Requiere el uso de capacidades, tales como la creatividad, la empatía, la

comprensión y la intuición.

Requiere una formación artística y literaria. Desde el punto de vista del docente,

demanda un entrenamiento adecuado, así como una gran experiencia directa con

la realidad.

La fiabilidad y validez se logran a través de un proceso de corroboración

estructural, para lo que es necesario la puesta en común de los puntos de vista de

los participantes, así como la reformulación de criterios, surgiendo nuevos

significados y nuevos conceptos.

Además de corroboración estructural, ha de llevarse a cabo otro complementario

denominado “adecuación referencial”, referido a la posibilidad de identificar las

características a las que apunta la crítica en el programa evaluado, es decir,

contrastar empíricamente la crítica con el fenómeno. En palabras de Eisner

(1981), “Una crítica educativa es válida y fiable cuando capacita a alguien con

menor especialización que el crítico para ver lo que de otro modo permanecería

oculto”.


54 | P á g i n a

La tabla 10 resume las principales ventajas e inconvenientes del modelo de Eisner:

Tabla 10. Ventajas e inconvenientes del modelo de Eisner VENTAJAS:

Fomenta la reflexión y el pensamiento crítico.

La educación está basada en la creatividad y no en el entrenamiento.

Fomenta habilidades sociales.

Fomenta la creatividad sin limitar las potencialidades del estudiante.

INCONVENIENTES:

Requiere un perfil de evaluador con amplia formación en arte y literatura.

No especifica parámetros en cuanto a metodología se refiere.

Insuficiente desarrollo de búsqueda de evidencias, así como de consecución de validez y

fiabilidad, pese a establecer los procesos de corroboración estructural y adecuación

referencial.



55 | P á g i n a

1.4 Modelos de evaluación holísticos.

1.4.1 Modelo de evaluación iluminativa de M.Parlett y D.Hamilton.

Los modelos holísticos se caracterizan por representar un compendio de los paradigmas

cuantitativos y cualitativos, aunque primen estos últimos y exista una débil línea que

separa ambos modelos. De hecho, algunos autores como McDonald pueden aparecer como

referentes tanto del paradigma cualitativo como del modelo holístico. En los modelos

holísticos se han de abordar de manera global elementos que tienen que ver con el alcance

de los resultados, propios del modelo tyleriano, junto con otros relacionados con el proceso

evaluativo, propios de modelos humanístico tales como el propuesto por Scriven, entre

otros.

El modelo de evaluación iluminativa, fue propuesto por Parlett y Hamilton en 1972. El

foco de atención de este modelo es la descripción e interpretación del proceso evaluativo,

con la finalidad de establecer un esquema claro en cuanto a innovación se refiere.

En este modelo es muy importante describir las fases y características, así como las

herramientas empleadas para su aplicación en los procesos de enseñanza aprendizaje.

El programa se concibe como un “todo”, priorizando la descripción cualitativa del

programa sobre la cuantitativa.

En este modelo se distinguen tres momentos claves: observación, investigación y

explicación.


56 | P á g i n a

- El procedimiento utilizado se basa en: observación, entrevistas, tests,

cuestionarios y análisis documental.

- La finalidad de la investigación es analizar los procesos de negociación que

se dan en el aula, comprender el contexto, así como las múltiples

interrelaciones entre los agentes intervinientes.

- El papel del evaluador se centra en recopilar datos, sugerencias,

alternativas, estudiar los antecedentes, así como fomentar nuevas

iniciativas orientadas al cambio.

Tabla 11. Resumen momentos claves según el modelo de evaluación iluminativa OBSERVACIÓN INVESTIGACIÓN EXPLICACIÓN

Centrada en las variables que

afectan a la innovación del

programa.

Se basa en la selección de los

aspectos más relevantes en

relación con el contexto.

Justifican el procedimiento

llevado a cabo en cuanto a

aspectos organizativos del

programa se refiere. Se

establece un modelo causa-

efecto.


Se diferencian 2 entornos: por un lado, el sistema de enseñanza, y por otro, el sistema de

aprendizaje. El primero se caracteriza por ser más estático, en detrimento del dinamismo

del segundo. A modo de resumen, éstas serían las características más relevantes:


57 | P á g i n a

Tabla 12. Diferencias entre sistema de enseñanza y sistema de aprendizaje SISTEMA DE ENSEÑANZA SISTEMA DE APRENDIZAJE

Es un modelo inicialmente definido, pero sujeto

a interpretación por la intervención de

profesores, evaluadores o administradores,

técnicos o estudiantes.

Es un modelo interactivo entre profesor y

alumno donde es de vital importancia considerar

las características del entorno sociocultural, así

como las características psicológicas de los

estudiantes.

Fuente: Elaboración propia Las ventajas e inconvenientes del modelo de Parlett y Hamilton son las siguientes:

Tabla 13. Ventajas e inconvenientes del modelo de Parlett y Hamilton VENTAJAS

Contextualización, sobre todo, en cuanto a la observación de los antecedentes se refiere y a

la selección de aquellos aspectos más relevantes.

Los resultados del programa tienen como antecedentes el análisis e interpretación del

proceso.

Flexibilidad. No describe las causas y efectos de un programa en un contexto concreto, sino

que trabaja la manera de mejorarlo.

Basado en la negociación.

INCONVENIENTES

Criterios de evaluación poco definidos.

Subjetividad en las técnicas abiertas empleadas, tales como la entrevista y la observación,

entre otras.



58 | P á g i n a

1.4.2 Modelo de evaluación democrática de Barry MacDonald.

La premisa fundamental de este modelo se basa en reforzar la naturaleza política de la

evaluación. Si bien es cierto que este tema no es totalmente nuevo y autores como House

en 1973 o Weiss en 1975 ya hablan sobre la misma, Barry MacDonald es el primer

evaluador que la sitúa como el factor más importante. Elabora la primera clasificación

política de los estudios de evaluación en 1974 y realiza una propuesta curricular acorde con

dichos principios democráticos.

1.4.3 Modelo de evaluación estratégica de Fred David R.

Este modelo es uno de los más importantes sobre todo a nivel de empresa. El modelo de

Fred David R.(2008) es uno de los más representativos dentro de la planificación

estratégica, aunque no es el único. En este sentido, pueden citarse los modelos de Kaplan y

Norton (Cuadro de Mando Integral), Goodstein, Nolan y Pfeiffer (Planeación Estratégica

Aplicada).

Si bien es cierto que el modelo de David está muy ligado al mundo de los negocios y

empresarial, sus principios son perfectamente extrapolables al ámbito curricular, pero eso

sí, a nivel global, es decir, no sólo proponen la evaluación curricular del programa teniendo

en cuenta el contexto, sino la evaluación de la organización y de todo un plan, así como de

la definición de sus líneas estratégicas.

En este modelo la importancia estriba, fundamentalmente, en la fase de planificación o

“planeación estratégica”, siendo fundamental la formulación de la misión y visión. De


59 | P á g i n a

hecho, uno de los aportes más importantes de este modelo, es precisamente, definir la

misión y visión como paso fundamental obligatorio previo a cualquier planificación. La

formulación de la misión consiste en definir la propia identidad de la institución

respondiendo a las preguntas ¿quiénes somos? y ¿cuáles son los principios de identidad

con los que contamos?, algo así como cuál es nuestro “buque insignia”.

Existen investigaciones que afirman que un alto porcentaje de empresas, en torno al 60%

cuentan con una declaración de su misión, y los resultados son mejores en aquellas con una

misión mejor formulada. Por otro lado, la visión está centrada sobre todo a plantear los

objetivos a medio y largo plazo, pero especialmente, a largo plazo, para lo que es preciso

preguntarse ¿hacia dónde vamos? y ¿qué queremos conseguir?.

Asimismo, se ha de destacar que otra de las principales aportaciones de este modelo es la

identificación de amenazas, oportunidades, debilidades y fortalezas centradas tanto en un

nivel interno referido a la propia institución como en uno externo, lo que se conoce bajo

las siglas de DAFO. Tanto las debilidades como las fortalezas están referidas a un análisis

interno, donde el referente es la propia institución, mientras que las amenazas y

oportunidades corresponden al ámbito externo, es decir, la óptica en este caso está centrada

en el entorno que rodea a la institución.

Esta técnica es de gran valor como paso previo al inicio de un plan de formación, y resulta

vital para delimitar cuáles van a ser las estrategias a seguir.


60 | P á g i n a

Las características más importantes son las siguientes:

- Formulación de objetivos anuales y a largo plazo.

Los objetivos se plantean como logros específicos que la organización pretende alcanzar de

acuerdo con su misión. La temporalidad establece un mínimo de un año, siendo su

“objetivo”, marcar la dirección hacia la que se pretende ir y servir de guía en la evaluación.

Son fruto de una priorización y marcan la base para la realización de las actividades, la

organización, la dirección y el control.

En cuanto a las características, los objetivos deben ser medibles, claros, consistentes y

también innovadores y hasta incluso suponer un desafío, dependiendo del entorno en el que

vayan a ser implementados. En una empresa multidimensional los objetivos deben

establecerse de manera global para todos, y de forma específica para cada una de las

divisiones existentes.

En el campo educativo, podríamos referirnos a unos objetivos generales para todos,

definidos no sólo por la identidad de la institución sino también marcados por las

directrices estratégicas de la organización. Por ejemplo, en el contexto de Sanidad, la

estrategia estaría definida por la Consejería, y a un nivel más macro por el Ministerio de

Sanidad y Política Social.

- Comunicación como factor de éxito en las interacciones llevadas a cabo en la

institución.

Una comunicación adecuada entre todos los agentes que intervienen en el proceso de

evaluación asegura una mayor participación, y servirá además, como impulso en el

aumento de la calidad y la productividad, al existir una mayor implicación. Para facilitar y


61 | P á g i n a

vehicular dicha comunicación es fundamental la existencia del estratega, cuya misión es

generar un contexto que anime al cambio y genere una actitud comprometida y

responsable.

La información acerca de la misión y visión, así como de los objetivos, actividades y, en

definitiva, avances logrados, coadyuva en una mayor implicación y una mayor

corresponsabilidad por parte de todos los implicados.

- Proactividad ante los futuros cambios que pudieran aparecer.

El modelo estratégico tiene en consideración la globalización y el continuo cambio del

entorno, por lo que es fundamental desarrollar estrategias encaminadas a la adaptación ante

dichos cambios, y así poder garantizar la “supervivencia” del mismo y el éxito.

- Existencia de una política organizativa que marque las líneas estratégicas de

actuación.

- Realización de auditorías como medidas de autoevaluación interna del propio

proceso y del estado de la organización, en cuanto a cumplimento de objetivos se

refiere.

Entre los elementos que influyen en la planificación de los objetivos a alcanzar destacan:

El tamaño de la organización

El estilo de los gerentes

La complejidad del entorno


62 | P á g i n a

La complejidad de los procesos de producción

La índole de los problemas

El propósito del sistema de planificación

Las características de estos elementos influirán también en los resultados obtenidos. Así

por ejemplo, no será lo mismo llevar este modelo de evaluación en una empresa pequeña

con un gerente con estilo integrador que otra que cuente con un gran número de

profesionales y un estilo burocrático.

A modo gráfico, la figura 12 muestra los principales pasos del modelo de evaluación

estratégica de David R. Fred, que han sido enumerados anteriormente, entre los que se

encuentran establecer la misión y visión como punto de partida.

Figura 12. Modelo de evaluación estratégica de Fred David R. Fuente: Conceptos de Administración Estratégica de Fred David R.( (2014)

FORMULACIÓN DE LA

ESTRATEGIA

IMPLANTACIÓN DE LA

ESTRATEGIA

EVALUACIÓN DE LA

ESTRATEGIA

DESARROLLAR LAS

DECLARACIONES DE LA VISIÓN Y

LA MISIÓN

ESTABLECER LOS

OBJETIVOS A LARGO PLAZO

GENERAR, EVALUAR Y

SELECCIONAR ESTRATEGIAS

ASUNTOS RELACIONADOS

CON LA GERENCIA

ASUNTOS RELACIONADOS

CON MERCADOTECNIA

,FINANZAS, CONTABILIDAD,

INVESTIGACIÓN Y DESARROLLO ADEMÁS DE

SISTEMAS DE INFORMACIÓN DE

LA GERENCIA

MEDIR Y EVALUAR EL

RENDIMIENTO

A U D I T O R I A S


63 | P á g i n a

Las ventajas e inconvenientes del modelo de David (2014) son las siguientes: Tabla 14. Ventajas e inconvenientes del modelo de Fred David R. VENTAJAS

Permite detectar oportunidades, clasificarlas por prioridad y explotarlas mediante

DAFO.

Representa un marco para coordinar y controlar mejor las actividades

Permite mejor asignación de recursos

Permite tomar decisiones importantes que respaldan los objetivos establecidos, tras la

evaluación mediante auditorías.

Disminuye la cantidad de tiempo y recursos que se dedican a corregir decisiones

equivocadas

Constituye un marco para la comunicación interna

Contribuye a incorporar la conducta de los individuos al esfuerzo total, fomentando un

enfoque cooperativo.

Ofrece una base para delimitar las responsabilidades individuales

Propicia una actitud positiva ante los cambios

INCONVENIENTES

Análisis detallado del contexto a nivel interno y externo.

Rigurosa selección de los factores internos y externos que más influyen. Si esta

selección no se realiza adecuadamente, la dirección de las estrategias no llevará a

alcanzar los objetivos propuestos.

Ausencia de objetivos inmediatos o a corto plazo.

Implicación de todos los agentes que intervienen en el proceso de evaluación,

incluyendo los gerentes, que tienen un peso fundamental en la motivación de los

empleados.

Es un modelo centrado en la organización de manera exclusiva.



64 | P á g i n a

1.4.4 Modelo de evaluación EFQM

El modelo de EFQM (1988) se refiere a un modelo de evaluación de la calidad generalista

es decir, aplicable a cualquier organización, propuesto por la Fundación Europea para la

Gestión de la Calidad, de ahí sus siglas.

Este modelo al igual que el de planificación estratégica, aunque inicialmente surge en el

ámbito de la empresa, es perfectamente extrapolable a otros entornos, entre ellos el

sanitario.

De hecho, existen áreas de salud de la Región de Murcia que cuentan con Planes de

Gestión de la Calidad basados en el EFQM. Estos Planes también están presentes en otras

comunidades; ejemplo de ello es el Servicio Madrileño de Salud, cuya Dirección General

de Atención al Paciente cuenta con una publicación en marzo de 2014 sobre la guía de

aplicación de un modelo EFQM.

Este modelo europeo, surgido en Bruselas, se ha convertido en un referente para las

empresas públicas, especialmente porque implica que aquellas que reciben la certificación

EFQM realizan una gestión de calidad y de excelencia. Se puede afirmar, que contar con el

sello EFQM denota prestigio para la institución. Este modelo se basa en los principios de la

TQM, Gestión de la Calidad Total (del inglés Total Quality Management), que es una

estrategia de gestión desarrollada por las industrias japonesas en década de los 60, cuyo

objetivo era promover el control de la calidad. El pionero en este modelo fue Feigenbaum

en 1951, siendo uno de sus promotores W. Edwars Deming, autor de los “círculos de

Deming”. La TQM ha sido ampliamente utilizada en todos los sectores, desde la empresa

hasta la educación. Se le denomina “total” porque alude a la globalidad de la organización

así como de las personas que la integran.


65 | P á g i n a

A modo ilustrativo, este sería el esquema base del funcionamiento de un modelo EFQM:

Figura 13. Modelo EFQM Fuente: López, A., Ruiz, J. y López, R.C. (s.f.) Cuestionario de autoevaluación adaptado a un servicio universitario siguiendo el modelo EFQM de excelencia. Universidad de Murcia.

Como puede apreciarse en la figura existe una división entre lo que se planifica, donde

intervienen los agentes o facilitadores y los resultados. Se puede establecer una relación

“causa-resultado”. De hecho, los agentes son las causas que originan los resultados, y están

referidas a los aspectos del sistema de gestión de la organización, y los resultados son el

producto llevado a cabo por parte de los agentes.

Los agentes han de estar integrados dentro del sistema en el que se implantan y contar con

una retroalimentación continua sobre aspectos derivados del propio sistema de gestión

interna, han de estar sometidos a una revisión periódica de la efectividad con la finalidad

de conseguir una mejora continua y su evaluación ha de ser sistemática. En este sentido, la

…..

Resu

ltad

os c

lave (

15

%)…

...

.Resultados en la sociedad.

(6%)

Resultados en las personas

(9%)

CRITERIOS AGENTES FACILITADORES …….CRITERIOS RESULTADOS…...

………

..P

ro

ceso

s (

14

%)………

...

..Colaboradores y recursos..

(9%)

.Resultados en los clientes.

(20%)

...………...Personas……………

(9%)

…...Política y estrategia……

(8%)

………

..Lid

erazg

o (

10

%)………

..

………...…....INNOVACIÓN Y APRENDIZAJE….………......


66 | P á g i n a

metodología empleada consiste en la valoración de los resultados, enfoque, despliegue,

evaluación y revisión (REDER).

Los resultados no sólo están referidos al alcance de los objetivos propuestos, sino que han

de poder compararse con resultados de otras organizaciones.

En cada una de estas divisiones (agentes y resultados) existe a su vez una serie de criterios:

a) Criterios de los agentes: liderazgo, personas, política y estrategia, alianzas y

recursos y procesos.

b) Criterios de resultados: resultados en las personas, resultados en los clientes,

resultados en la sociedad, resultados clave.

En la figura 13 puede apreciarse la asignación de una ponderación del 50% en cada uno de

los bloques. A su vez, para cada criterio de los bloques hay asignado una ponderación

determinada, siendo diferente para cada uno de estos criterios. En este sentido, en relación

a los agentes, los criterios con más valor son los procesos (14%) y el liderazgo (10%), y en

relación a los resultados, destacan los clientes (20%) y los resultados clave (15%).

De manera resumida, éstos serían los principales criterios tanto de los agentes como de los

resultados:


67 | P á g i n a

Tabla 15. Resumen de las principales características de los criterios de modelo EFQM CRITERIOS DE LOS AGENTES

CARÁCTERÍSTICAS MÁS RELEVANTES:

Liderazgo (10%) Alude a la persona o equipo responsable de impulsar y promover

el éxito de la organización. Debe contar con la actitud y aptitud

propia de un líder generando confianza y tomando decisiones

flexibles. Requerirá una gran capacidad ante la resolución de

problemas y en la gestión de relaciones humanas, reconociendo

logros y esfuerzos así como vehiculando mecanismos de relación

fluida entre todos los integrantes del equipo.

Personas (9%) La gestión adecuada de todos los agentes humanos implicados es

fundamental, así como la revisión del rendimiento llevado a cabo.

Igualmente es importante, el establecimiento de una política de

personal clara donde se reconozca el grado de formación

adecuado, funciones y niveles de responsabilidad.

La formación del personal acorde con la política global de la

organización es otro elemento clave, así como medidas que

puedan tomarse al respecto en relación con el desempeño

profesional (aumento de salario, cambios en las plantillas,

programa de formación y perfeccionamiento, entre otros).

Política y estrategia (8%) Análisis del tipo de planificación existente, es decir, si existe una

planificación estratégica (a medio plazo), o una planificación a

largo plazo, que puede ser una planificación para un año. En

ambos casos se supervisa el proceso, se realiza un seguimiento y

se analizan las estrategias de despliegue en cada uno de los

grupos de interés que las van a llevar a cabo.


68 | P á g i n a

CRITERIOS DE LOS AGENTES


Alianzas y recursos (9%) Gestión de una manera eficaz y eficiente de los recursos

materiales, económicos, humanos e informativos (información en

red de la que se disponga). Es fundamental establecer alianzas

tanto a nivel interno como externo de la organización. Aunque

todos son igualmente importantes, los recursos humanos en

ocasiones suplen determinadas carencias a nivel de recursos

materiales.

Procesos (14%) Hace referencia al:

1) Sistema de gestión adoptado.

2) Revisión de los procesos (aplicación de estándares, revisión de

indicadores y objetivos, eficacia de los procesos) que conforman

este sistema.

3) Medidas adoptadas para satisfacer a todos los grupos de

interés.

4) Integración de la mejora.

5) Establecimiento de medidas a adoptar para las “no

conformidades” que hayan surgido durante el proceso.


69 | P á g i n a

CRITERIOS DE LOS

RESULTADOS


Resultados en las personas (9%) Se ha de considerar la percepción que las personas que integran la

organización tienen de ésta, así como medidas a adoptar en

relación al rendimiento de las mismas.

Respecto al primer aspecto, es importante analizar la satisfacción,

comunicación, entorno de trabajo, salarios, formación, incentivos,

entre otros.

En relación al rendimiento, se han de considerar niveles de

formación, eficacia de la formación, absentismo e índice de

participación en grupos de mejora, entre otros.

Resultados en los clientes (20%) Está en función de lo que la organización entienda por cliente,

siendo frecuente incluir no sólo a quienes demandan el servicio,

sino también al usuario y beneficiario del mismo. Por ejemplo, en

el ámbito educativo, y más concretamente, en relación a un plan

de formación continuada, que es el contexto en el que se centra el

objeto de investigación, el cliente sería la propia institución, el

usuario sería el destinatario de la formación y el beneficiario sería

el paciente, porque es el destinatario en el que va a repercutir el

resultado de la formación del profesional llevada a cabo por parte

de la organización.

Medir la satisfacción de los beneficiarios es un punto clave en

este criterio. Algunos subcriterios a tener en cuenta son:

capacidad técnica, conducta, accesibilidad, comunicación y

empatía, entre otros.


70 | P á g i n a

CRITERIOS DE LOS

RESULTADOS


Resultados en la sociedad (6%) Valora la repercusión que tienen en la sociedad las actividades

llevadas a cabo. Para ello se tiene en cuenta:

a) Análisis de información cualitativa en relación a la

percepción que la sociedad tiene en términos de imagen

e índice de valoración, reflejados en encuestas, informes,

artículos de prensa, entre otros

b) Análisis de la información cuantitativa, que aunque es

más difícil de identificar, puede obtenerse atendiendo al

número de menciones en prensa, certificaciones, premios

recibidos, entre otros.

Resultados clave (15%) Está basada en la autoevaluación acerca de los conceptos clave

definidos previamente por la organización (cumplimento de

presupuesto, número de empleados que han recibido

formación…).

Fuente: Elaboración propia a partir del modelo EFQM

A través de la autoevaluación, el modelo EFQM pretende una gestión más eficaz y

eficiente. La identificación de las fortalezas y debilidades aplicadas a diferentes ámbitos de

la organización son el punto de partida para el proceso de mejora continua.

La Tabla 16 muestra las principales ventajas e inconvenientes del modelo EFQM.


71 | P á g i n a

Tabla 16. Ventajas e inconvenientes del modelo EFQM VENTAJAS:

Posibilita una planificación estratégica de los procesos y áreas claves de éxito.

Permite sistematizar el proceso de evaluación y contemplar todos los agentes sociales, lo

que facilita la implicación de los mismos.

Fomenta un proceso continuo de mejora al analizar las no conformidades llevadas a cabo

durante la revisión del proceso.

Orienta la evaluación al contar con puntuaciones ponderadas en cada uno de los criterios.

Permite identificar cuáles son los puntos clave de actuación al disponer de una

clasificación perfectamente estructurada del proceso en torno a criterios y subcriterios que

incluyen elementos del proceso, pero también de los agentes que intervienen directa o

indirectamente en el mismo (clientes, beneficiarios, sociedad), que en el ámbito de la

formación sanitaria se traduciría en organización, profesionales y pacientes.

INCONVENIENTES:

Exige de una gran inversión de tiempo y dedicación en la elaboración de las estrategias a

seguir en relación a cada uno de los criterios.

Conlleva una alta disponibilidad e implicación de todos los agentes facilitadores. En el

caso de la formación sanitaria abarcaría desde los docentes hasta el equipo directivo

Requiere formación previa a la implantación del mismo.

Implica la existencia de un equipo que supervise el proceso de implantación del sistema de

calidad.

Pueden existir resistencias a la evaluación de determinados agentes sociales (profesorado,

por ejemplo), así como de procesos y resultados del Centro.



72 | P á g i n a

1.5 Otros modelos basados en la calidad:

1.5.1 Modelo de evaluación de la calidad Seis Sigma (6σ) de Jack Welch

El Modelo Seis Sigma (1998) es otro de los modelos surgidos en 1998, a partir del modelo

de Total Quality Management (TQM) o Sistema de la Calidad Total. Una de las diferencias

respecto a otros modelos es la orientación al cliente. La meta de 6 Sigma es llegar a un

máximo de 3,4 defectos por millón de eventos u oportunidades.

Seis Sigma es una estrategia de mejora continua que busca identificar las causas de los

errores, defectos y retrasos en los diferentes procesos de negocio, enfocándose en los

aspectos que son críticos para el cliente (Gutiérrez Pulido, H., De la Vara Salazar,R. ,

2004, p. 548)

La metodología se basa en una mejora de procesos centrada en reducir y eliminar los

defectos o fallos en la entrega de un producto o servicio al cliente.

Tabla 17. Características de la variable dependiente e independiente. Y= f(x) Características Variable Y Características variable X1….Xn

Dependiente

Asociada a la salida del proceso

Centrada en los efectos

Centrada en los síntomas

Centrada en la comprobación por monitoreo

Independiente

Asociada a la entrada del proceso

Centrada en las causas

Centrada en los problemas

Centrada en el control.

Fuente : Elaboración propia a partir de Polesky (2006)

Como puede comprobarse en el siguiente gráfico cuando más se acerca el proceso al 6 σ

mayor eficiencia para el sistema.


73 | P á g i n a

Figura 14. Cambio de un proceso con calidad tres sigma a seis sigma.

Fuente: Gitlow, H. (2004)

Aunque es un modelo que surge en el ámbito de empresa, concretamente en el de la

industria de ingeniería, no es exclusivo de este sector, si bien es cierto, que en el campo de

la formación serían necesarias ciertas adaptaciones, ya que la “producción” en un ámbito

educativo no se puede cuantificar de la misma manera que en la industria.

La parte más relevante de este modelo con respecto al objeto de estudio de esta

investigación tiene que ver con la importancia otorgada a la eficiencia, centrada en

mejores resultados con menor coste.

En relación a la metodología, ésta se lleva a cabo mediante el proceso DMAIC, cuya

traducción de siglas son: definir, medir, analizar, mejorar y controlar.

Figura 15. Principales etapas de DMAIC. Fuente: Elaboración propia a partir del modelo de Robinson y Robinson


74 | P á g i n a

Definir: consiste en concretar el objetivo del problema o defecto y validarlo, a la

vez que se definen los participantes del programa.

Medir: consiste en entender el funcionamiento actual del problema o defecto.

Analizar: pretende averiguar las causas reales del problema o defecto.

Mejorar: permite determinar las mejoras procurando minimizar la inversión a

realizar.

Controlar: se basa en tomar medidas con el fin de garantizar la continuidad de la

mejora y valorarla en términos económicos y de satisfacción del cliente.

Otras metodologías derivadas de ésta son: DMADOV (Definir, Medir, Actuar, Diseñar,

Optimizar, Verificar) y PDCA-SDCA (Planificar, Definir, Controlar, Actuar)-

(Estandarizar, Definir, Controlar, Actuar)

A continuación, se define de manera resumida, en qué consiste cada una de las principales

etapas:

D (Definir)

En la fase de definición se seleccionan los proyectos y equipo más adecuados para su

ejecución, con la finalidad de optimizar al máximo los recursos. Algunas de las preguntas

que pueden plantearse en esta fase son:

¿Qué procesos existen?

¿De qué actividades (procesos) es usted el responsable?

¿Quién o quiénes son los responsables de estos procesos?

¿Quiénes intervienen en el proceso?

¿Quiénes podrían ser parte de un equipo para cambiar el proceso?


75 | P á g i n a

¿Qué tipo de información tiene en relación al proceso?

¿Qué procesos tienen mayor prioridad para mejorarse?

M (Medir)

Esta fase consiste en identificar las características más relevantes tanto del producto como

de los clientes, así como los parámetros que afectan al funcionamiento del proceso.

Las preguntas a las que se ha de responder son:

¿Quiénes son los clientes?

¿Qué necesidades tienen sus clientes?

¿Cómo se desarrolla el proceso?. ¿Cuáles son los pasos?

¿Cuáles son los parámetros de medición del proceso y cómo se relacionan con las

necesidades del cliente?

¿Qué exactitud o precisión tiene su sistema de medición?

A (Analizar)

Esta fase consiste en la valoración por parte del equipo de los resultados comparándolos

con otros obtenidos con anterioridad. Se establecen relaciones causa-efecto utilizando las

herramientas estadísticas pertinentes con la finalidad de determinar qué variables de

entrada afectan a los resultados.

Algunas de las preguntas que podrían plantearse en esta etapa son:

¿Con qué parámetros de medición se cuenta?

¿Cómo se desempeña el proceso actual con respecto a esos parámetros?

¿Cuáles son los datos que se han obtenido?


76 | P á g i n a

¿Cuáles son los objetivos de mejora del proceso?

¿Cuáles son las posibles fuentes de variación del proceso?. ¿Cuáles controla y

cómo?

¿Qué medidas adopta respecto a las variables que no controla?. ¿Existe algún

método de monitorización de las mismas?

I (Mejorar)

En esta etapa es clave mejorar y optimizar el funcionamiento del proceso. Algunas de las

preguntas que podrían formularse al respecto son:

¿Quién es el proveedor?

¿Qué relación hay entre los parámetros de medición y las variables críticas? ¿Existe

algún método de control o monitorización?

¿Qué ajustes a las variables son necesarios para optimizar el proceso?

C (Controlar)

La fase de "control" consiste en elaborar y documentar los controles necesarios para

asegurar que los resultados se mantengan en el tiempo, una vez que han sido llevados a

cabo y revisados. Una vez finalizada la misión y alcanzado los objetivos, el equipo

encargado ha de informar a los líderes responsables y dar por cerrado el proceso.

Algunas de las preguntas que pueden formularse en esta etapa son:

¿Qué exactitud o precisión tiene el sistema de medición?

¿Cuáles son los datos obtenidos?

¿Cuánto se ha mejorado el proceso tras llevar a cabo los cambios?


77 | P á g i n a

¿Cómo mantiene los cambios? ¿Emplea algún proceso de monitorización?

¿Cuánto ha ahorrado en tiempo y en recursos económicos?

Las principales ventajas e inconvenientes del modelo Seis Sigma (6σ) se resumen en la

siguiente tabla:

Tabla 18. Ventajas e inconvenientes del 6σ VENTAJAS:

Aumento de productividad mejorando la calidad y reduciendo errores.

Aumento de los productos y servicios ofrecidos.

Reducción de costes.

Técnica a nivel empresarial validada.

INCONVENIENTES:

El contexto por excelencia para ser implementado es el ámbito de la empresa e industria. Es

muy complicado trasladar este modelo al ámbito de la formación continuada sanitaria,

ya que se centra en la producción y en la disminución de errores. El único principio

extrapolable es el de la mejora de la calidad.

Gran inversión de tiempo en cuanto a la toma de decisiones, ya que éstas han de estar

basadas en la evidencia empírica y no en hipótesis.

Requiere un equipo altamente cualificado y experimentado. El equipo cuenta con una

estructura muy jerarquizada en base al nivel de formación que tenga en relación con Seis

Sigma.

Puede suponer pérdida de recursos económicos y eficiencia.

Precisa de líderes ejecutivos comprometidos con Seis Sigma y que promuevan en toda la

organización sus actividades; líderes que se apropien de los procesos que deben mejorarse.

Exige capacitación corporativa en los conceptos y herramientas de Seis Sigma, así como

determinación de la dificultad de los objetivos de mejoramiento y refuerzo continuo y

estímulos.



78 | P á g i n a

1.5.2 Modelo Relacional de Calidad de De la Orden

Este modelo debe su nombre a la característica principal que lo define, que es relacionar

objetivos, metas, recursos, procesos, entradas, contexto y producto, teniendo en cuenta tres

criterios de calidad:

Eficacia, que tiene que ver con la relación de entradas o inputs y productos.

Eficiencia, que tiene que ver con la relación de entradas o inputs y procesos,

por un lado y productos, por otro.

Funcionalidad, relacionada con la coherencia entre objetivos propuestos

inicialmente y productos.

A continuación se presenta el modelo relacional de la calidad del profesor de la Orden, de

forma gráfica.


79 | P á g i n a

Figura 16. Modelo relacional de la calidad del profesor de la Orden. Fuente: Modelo Relacional de Calidad (De la Orden, 1997)

El modelo de la Orden, plantea una interrelación de inputs y outputs, en un engranaje en el

que el contexto institucional es clave; de hecho está presente tanto en el proceso de

detección de necesidades como en los productos y procesos. Podría definirse como un

modelo de índole institucional. Es una visión lógica y ordenada de calidad, pero debería

cumplimentarse con las necesidades de los alumnos, de los profesionales y de la sociedad.


80 | P á g i n a

1.5.3 Modelo de evaluación de la calidad de Le Boterf, Barzucchetti y

Vincent

Este modelo planteado en 1993 aporta un enfoque de la calidad basado en un desglose en

tres criterios: orientación, concepción y conexión.

A continuación, se desglosan los aspectos más relevantes en cada uno de estos criterios:

a) Calidad de orientación: está estrechamente ligada al momento político. Los indicadores

a tener en cuenta son: pertinencia y control estratégico.

Forman parte del proceso todos aquellos implicados en determinar las políticas de

formación, que han de responder a las necesidades y demandas de los

clientes/profesionales de formación continuada.

b) Calidad de concepción: se encuentra dentro de lo que Le Boterf. denomina “momento

de ingeniería”, que se refiere al conjunto de acciones estructuradas para la planificación e

implementación de la formación. Los indicadores a tener en cuenta son: coherencia,

sincronización, eficacia y consistencia.

c) Calidad de la conexión pedagógica: se refiere al momento de realización, que supone un

contacto directo entre docente/discente. Los indicadores a considerar son: eficacia

pedagógica, esto es, grado de alcance de los objetivos planificados, así como implicación

de los alumnos, donde se tendrá en cuenta la motivación e interés que tengan durante el

proceso formativo.

d) Calidad de la aplicación de las competencias: este tipo de calidad alude al momento

de aplicación que difiere del de realización. Podría traducirse como un momento “post-


81 | P á g i n a

formativo”, y tendría que ver con la transferencia al puesto de trabajo e impacto que la

formación ha tenido. Los indicadores son: transferencia de los contenidos adquiridos,

eficacia, adaptabilidad de las competencias y mantenimiento de las mismas.

En el objeto de esta tesis, que es la presentación de un indicador de eficiencia, este último

tipo de calidad es la que más se ajusta al modelo que se presenta.

Tabla 19. Criterios de calidad según modelo de Le Boterf. DIFERENTES TIPOS DE

CALIDAD ETAPAS INDICADORES MÁS RELEVANTES

Calidad de concepción Planificación: diseño de competencias profesionales a alcanzar

- Coherencia

- Pertinencia

- Temporalización ajustada a los contenidos (sincronización)

Calidad pedagógica Ejecución: Relación docente/discente

- Eficacia pedagógica

- Implicación y motivación del discente

Calidad de aplicación Seguimiento -Transferencia de los contenidos adquiridos, eficacia, adaptabilidad de las competencias, mantenimiento

Fuente: Elaboración propia a partir de Le Boterf, G.; Barzucchetti, S. y Vincent, F.

Le Boterf (1993) además, hace alusiones al Ciclo de Deming destacando las cuatro

acciones fundamentales:

- Planificar (P): En el caso de la formación continuada esta etapa estaría referida al

diseño del plan de formación.

- Desarrollar o ejecutar (D): Teniendo en cuenta el modelo de Le Boterf en esta etapa

habría que considerar las recomendaciones pedagógicas, que podrían traducirse en

una especie de asesoría a las personas que van a realizar las acciones formativas.

En nuestro caso, esta función “pedagógica” se limita a algunas áreas concretas,

referidas más a temáticas sociosanitarias como violencia de género, donde los


82 | P á g i n a

formadores precisan de estrategias pedagógicas que puedan llevar a cabo en cada

uno de los dispositivos en los que trabajan.

- Controlar (C): evaluación del desarrollo profesional durante el proceso de

formación y seguimiento del mismo.

- Mejorar (A): referida a la supervisión de los criterios de selección y planificación

de líneas de actuación futura, para conseguir una mejora del proceso formativo.

En síntesis, se puede afirmar que teniendo en cuenta este modelo, la formación se traduce

en la adquisición de competencias y transferencia al puesto de trabajo.

Le Boterf, Barzucchetti y Vincent (1993), definen calidad en base a una serie de

criterios y momentos del proceso de formación.

La calidad vendrá determinada por la puesta en práctica de las acciones formativas. Son

elementos esenciales el contacto docente/discente, la adaptación de las acciones formativas

a las necesidades profesionales, el mantenimiento de las competencias y transferencia.

La etapa de “conexión pedagógica” es la etapa que está más relacionada con el objetivo de

esta tesis, ya que en ella se contempla la eficacia, pero en términos pedagógicos. Nosotros

abordaremos también el tema de rentabilidad económica.

Para garantizar la calidad de la formación se deberá considerar la transferencia del

aprendizaje y el mantenimiento en el tiempo de las competencias adquiridas, por lo que los

objetivos pedagógicos deben caracterizarse por su operatividad y aplicabilidad a

situaciones reales.


83 | P á g i n a

1.5.4 Modelo Enfoque de Inversión de Pilar Mamolar

Este modelo surge en el entorno de empresa, pero sus premisas son extrapolables al ámbito

de la formación. Tal y como ocurre en una empresa, en la que se invierten unos gastos pero

no siempre se obtiene una rentabilidad precisa, en el campo de la formación ocurre algo

similar. Con esta premisa, se han de llevar a cabo estrategias de evaluación coherentes, que

optimicen tanto los esfuerzos de recursos dedicados a la hora de evaluar, como la búsqueda

de indicadores relacionados con el impacto en aspectos concretos que deseen ser

transformados.

El modelo de Pilar Mamolar (2000) precisa de una detección de necesidades para adaptar

el programa de formación a los intereses y demandas de los profesionales, así como de una

especificación de competencias y habilidades que se prevé vayan a adquirir los

profesionales y de una selección de indicadores que permitan recoger información que

resulte relevante para poder evaluar tanto el proceso como los resultados de la formación.

Este sería un esquema de lo que Pilar Mamolar plantea en su modelo basado en la

inversión:

Tabla 20. Principales elementos del enfoque basado en la inversión de Pilar Mamolar (2000) ELEMENTOS CLAVE

PROGRAMA FORMATIVO Detección de necesidades

Nivel de impacto

OBJETIVOS A ALCANZAR Competencias

TIPO DE GASTO/INVERSIÓN Beneficios

EJE VERTEBRADOR Calidad

RESULTADOS/ ORIENTACIÓN Desempeño profesional

Transferencia

Aprendizaje tanto individual como social

Futuras mejoras

Fuente: Elaboración propia a partir del modelo de inversión de Pilar Mamolar (2000)


84 | P á g i n a

Son dos los elementos claves en este modelo: la inversión y la calidad. La inversión está

referida a los beneficios que se esperan obtener, que en nuestro caso se traduciría en

términos de grado de competencias adquiridas. En relación a la calidad, ésta es el eje

vertebrador de todo el modelo, considerando la importancia de adecuar todo el proceso

formativo al mantenimiento de las competencias y a la adaptación de las demandas de los

profesionales, que quedan recogidas en el proceso de detección de necesidades.


85 | P á g i n a

1.5.5 Modelo de Jean- Marie Barbier

Jean-Marie Barbier (1993) pone el énfasis sobre todo en los procesos. Afirma que “en la

evaluación, como en cualquier otro acto de conocimiento, no se capta nunca directa y

totalmente la realidad examinada. Ésta es siempre objeto de un proceso previo de

definición o de elección de los caracteres que permitirán aprenderla”.

Tabla 21. Adaptación del modelo de Barbier al campo de formación continuada. Campos de actividades Tipos funcionales de evaluación

Evaluación de agentes Evaluación de acciones

Producción de medios Evaluación del perfil competencial a

alcanzar.

Evaluación de la transferencia al

puesto de trabajo.

Ejercicio del trabajo Evaluación del desempeño profesional. Realización de pruebas de

evaluación centradas en el

razonamiento clínico y en el puesto

de trabajo.

Formación Evaluación (reacción, aprendizaje,

comportamiento y conducta, resultados).

Realización de encuestas de

satisfacción, pruebas de evaluación,

transferencia al puesto de trabajo y

valoración del impacto a nivel de

organización.

Pedagogía Identificar fases de planificación, desarrollo

y evaluación, estableciendo indicadores para

ello.

Valoración de los resultados

obtenidos en planificación,

desarrollo y evaluación.

Propuestas de mejora.

Fuente: Elaboración propia a partir del modelo de Barbier.

En la siguiente tabla se han adaptado los ítems propuestos por Barbier al campo de la

formación continuada, ya que aspectos como la cualificación escolar o social son propios

de otros ámbitos educativos.


86 | P á g i n a

Con la adaptación a la formación continuada, el campo más importante es el de la

valoración del perfil competencial y el desempeño profesional. La certificación se

encuentra más vinculada a la carrera profesional o a la obtención de diplomas de

acreditación que son fases posteriores a la acreditación de programas.

Tabla 22. Tipos de evaluación de los resultados según modelo de Barbier Evaluación de agentes Evaluación de acciones

Operaciones de constitución de los datos de referencia:

1. Determinación de los indicadores.

2.Productos de información

1. Designación de comportamientos pertinentes, susceptibles de servir de instrumentos de aprehensión del estado que interesa.

2. Aprehensión de actuaciones concretas, autónomas, estables y diferenciadas.

Determinación de indicadores de funcionamiento y de resultados de la acción.

Operaciones de constitución del referente

1. Determinación de los indicadores.

2. Productos de información

Identificación de modelos de comportamiento.

Elaboración de escalas y normas de actuación.

Explicitación de estrategias.

Especificación de criterios de realización de proyectos.

Relaciones de evaluación Ejercicio unilateral para detectar modelos de conducta.

El derecho de evaluar es de todos.

El poder de evaluar recae en la organización de referencia.

La evaluación tiende a explicitar el poder de la organización.

Juicios de valor Clasificación Balance de puntos fuertes y débiles de la acción evaluada.

Fuente: J. M Barbier. La evaluación de los procesos de formación, Madrid, Paidós, 1993.

En esta tabla Barbier considera que para la evaluación de los resultados no sólo hay que

considerar a los sujetos que son evaluados y a los que evalúan, sino también hay que hacer

un balance dentro de la propia organización, enfatizando una de las principales

características que definen al modelo: el carácter procesual.


87 | P á g i n a

Además, existen ciertas similitudes con modelos propios de la evaluación democrática,

dentro del paradigma mixto, como por ejemplo, la consideración del derecho a evaluar por

parte de todos los agentes implicados, que puede apreciarse en el apartado “relaciones de

evaluación”.

En la Tabla 22, el término “agente” se refiere al grupo de personas que son evaluados, y

que pueden tratarse de entidades individuales o de grupos. La evaluación de acciones se

refiere a los procesos de formación llevados a cabo, como por ejemplo, el desarrollo de

acciones formativas. Se ha de destacar la mención específica a la función pedagógica,

donde el rol en la interacción profesor/alumno es fundamental en el proceso formativo.

El esquema propuesto por Barbier coincide en algunos aspectos propios del modelo

holístico propuesto por Stufflebeam, donde no se considera la consecución de metas si no

son tenidas en cuenta al mismo tiempo las capacidades individuales de los sujetos y se

evalúa el proceso llevado a cabo.

En síntesis son tres los momentos que pueden establecerse en el proceso de formación:

a) Establecimiento de objetivos, adaptados a las necesidades y capacidades del

individuo/ grupo.

b) Elaboración de estrategias que coadyuven a la adquisición de destrezas.

c) Evaluación de los objetivos, previamente planificados, así como valoración de todo

el proceso, teniendo en cuenta las etapas pedagógicas del mismo.


88 | P á g i n a

1.5.6 Modelo de calidad orientado a la satisfacción de Martínez-Tur y

Tordera

Este modelo es un modelo causal, que sigue las mismas directrices que los modelos

clásicos orientados a la evaluación de la satisfacción, con la diferencia de estar basado en

la revisión del MAI (Modelo de Alta Implicación), sobre el que trabajaron Churchill,

Guilbert y Suprenant. En dicho modelo, se analizan las relaciones existentes entre la

calidad, expectativas del usuario ante el producto, la desconfirmación, la satisfacción y las

intenciones existentes en cuanto a cambio conductual. En el campo de formación

continuada, cuando se habla de producto, se estaría aludiendo a la formación.

Cuando Martínez-Tur y Tordera (2011) revisan el modelo encuentran elementos a

modificar, tales como:

1) Unidimensionalidad de la variable satisfacción, ya que sólo aparece una

medición de dicha variable, siendo deseable utilizar más de un indicador.

2) Imposibilidad de generalización de los resultados a otros ámbitos, debido a

la escasa muestra utilizada, así como a la imprecisión de los criterios de

valoración.

Con posterioridad a este estudio, se han realizado modificaciones en la metodología

utilizada, para intentar explicar las relaciones causales entre las variables utilizando la

aplicación LISREL (Linear Structural Relations) basado en análisis de ecuaciones

estructurales, cuya versión más reciente es de agosto de 2009 y que en su origen fue

diseñada en los años 70 por Karl Jöreskog, profesor de la Universidad de Upsala, Suecia.

La aplicación LISREL aporta un mayor poder explicativo a las variables, ya que permite la

inclusión de variables latentes multidimensionales.

https://es.wikipedia.org/wiki/Karl_Gustav_J%C3%B6reskog

https://es.wikipedia.org/wiki/Universidad_de_Upsala

https://es.wikipedia.org/wiki/Suecia


89 | P á g i n a

1.5.7 Modelo de Evaluación de la Gestión de Ángel José Olaz

Este modelo, a diferencia de otros modelos aporta una metodología concreta de evaluación.

Está basado en la gestión de procesos en Recursos Humanos y su baza más importante es

presentar una metodología cuantitativa en la que se establecen relaciones causales entre

varias variables. Olaz (2009) se centra sobre todo en la valoración cuantitativa de procesos

del clima laboral en la Gestión de Recursos Humanos.

El modelo que propone Olaz está basado en la organización entendida ésta como un

conjunto de procesos conectados entre sí. En este sentido, la toma de decisiones no debe

realizarse tanto por la identificación de las personas o puestos de trabajo sino por las

conexiones entre los diferentes procesos que la conforman. Para ello, hay que tener en

cuenta que por proceso se entiende un “modo a través del cual la realización de una

acción conecta con funciones distintas con áreas organizativas diferentes, integrándolas

en un único sistema de comunicación en el que emisor, receptor, medio comunicativo,

lenguaje y contexto quedan claramente definidos”.

Las fases metodológicas de las que consta el modelo son cinco:

1. Definir el marco de referencia.

La parte más importante en esta fase viene definida por la creación de un equipo de

trabajo, siendo fundamental la implicación del equipo directivo, el reparto de

responsabilidades y la comunicación fluida entre los miembros. Para ello, Olaz considera

primordial mantener entrevistas personalizadas con la gerencia y analizar las variables que

influyen y los procesos que pueden afectar negativamente al clima laboral que se espera.


90 | P á g i n a

2. Revisión del clima laboral

Los objetivos fundamentales de esta etapa: son contextualizar el sistema y documentar los

procesos implicados. Para contextualizar el sistema, se tendrá en cuenta:

a) Aspectos culturales, tanto individuales y grupales como organizativos.

b) Estructura de la organización: refiriéndose a cuestiones tales como organigramas,

manuales de funciones, de puestos de trabajo, de procedimientos, entre otros.

c) Procesos organizativos relativos a sistemas de evaluación para valorar el

rendimiento, retributivos, comunicación y toma de decisiones.

Para documentar los procesos implicados se considerarán flujogramas que permitan

identificar los procedimientos, tareas y actividades que dan coherencia a la ejecución de los

trabajos desarrollados.

3. Selección de variables explicativas

El siguiente paso consiste en la identificación de aquellas variables más representativas del

clima laboral. Se establecen varias fases:

a) Identificación de variables: será importante considerar el conjunto de los procesos

que definen el sistema organizativo. Éstas deben abarcar a todos y cada uno de los

elementos que definen los procesos que se hayan identificado y sean susceptibles

de ser medidos, al margen de la dificultad que pueda entrañar su cuantificación.

Las variables deberán ser finalmente mensurables, con independencia de la

dificultad que pueda suponer su cuantificación.

b) Adscripción de factores a variables: Una vez identificadas las variables generales

sobre los procesos de trabajo, esta etapa centra su atención en la asignación de

factores a cada una de dichas variables, con el fin de poder llevar a cabo una

explicación de las mismas.


91 | P á g i n a

c) Gradación de factores: El objetivo de esta etapa persigue el redimensionamiento de

los factores mediante la creación de una escala de referencia. De este modo, puede

comprobarse cómo no todos los factores participan del mismo modo e intensidad en

las variables y, finalmente, en el proceso considerado. Se utilizan escalas de

medición.

Con todas estas variables puede construirse un “Sistema de Puntuación por Factores” que

establezca relaciones causales entre las variables, factores y grados, obteniendo un

algoritmo que permita ponderar la participación cuantitativa de cada uno de estos aspectos

en el estudio del proceso de trabajo.

4. Construcción cuantitativa del proceso: consiste en ordenar en términos cuantitativos

cada uno de los procesos que definen la organización con las puntuaciones de la valoración

de la etapa anterior.

5. Conexión con variables de negocio: en esta etapa se ha de establecer una relación entre

la puntuación obtenida y ordenada con otras variables tipo, que sean representativas de la

actividad que se desarrolla en la organización.

Si tomamos como referencia el objeto de esta tesis en esta fase se podría considerar la

eficiencia, si el caso planteado fuera determinar la influencia del coste invertido en las

acciones formativas que forman el plan de formación continuada (costes, beneficios en

capital humano). Con todo ello, se podría volver a valorar el orden de las variables, y poder

realizar una nueva priorización de las mismas.


92 | P á g i n a

Este modelo nos aporta un enfoque metodológico diferente, donde está contemplada la

medición de variables desde un punto de vista cuantitativo, y aunque está centrado en el

clima laboral como aspecto más relevante de la calidad, es extrapolable a otros procesos,

tales como el proceso de formación y los subprocesos que lo conforman. La implicación

del equipo directivo y la etapa de gradación de factores, posiblemente, sean los aspectos

más tediosos con los que podría contarse.

Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación

93 | P á g i n a

2.CAPÍTULO II. REVISIÓN TEÓRICA MODELOS DE

EVALUACIÓN DEL IMPACTO EN FORMACIÓN

2.1 Aspectos generales en la evaluación del impacto en formación

Según la Real Academia Española el impacto se define como “repercusión, influencia

importante” (RAE, 2001).

Una vez se han definido los modelos de evaluación en general, desde una óptica macro,

analizando las ventajas e inconvenientes de cada uno de ellos y viendo cuáles se adaptan

más al objeto de estudio de esta tesis, se van a describir los modelos de evaluación del

impacto en formación más recientes. Son muchos los modelos y revisiones que se han

realizado en torno al tema de evaluación del impacto aunque pocas las organizaciones que

la llevan a cabo. De hecho, en dos de las últimas investigaciones realizadas en nuestro país

sobre el estado de la evaluación del impacto en las organizaciones (EPISE 2000; Pineda y

otros 1999) se desprende que 89% de las empresas de la muestra evalúan la formación,

pero sólo un 8% evalúa el impacto de la misma.

Kenney y Donnelly (1979) definen la evaluación de la formación en las organizaciones

como: “El análisis del valor total de un sistema, de un programa o de un curso de

formación en términos tanto sociales como financieros [...] La evaluación intenta valorar

el coste-beneficio total de la formación y no únicamente el logro de sus objetivos

inmediatos”.

Las funciones básicas que podrían destacarse en cuanto a la evaluación de la formación

serían, siguiendo el esquema de Pilar Pineda (2000):


94 | P á g i n a

a) Función pedagógica, consistente en verificar el proceso de consecución de

los objetivos para mejorar la propia formación.

b) Función social, orientada a certificar la adquisición de unos aprendizajes

por parte de los participantes.

c) Función económica, centrada en identificar los beneficios y la rentabilidad

que la formación genera en la organización.

En síntesis, la evaluación de la formación en las organizaciones es importante porque

contribuye a:

1. Mejorar el rendimiento y la rentabilidad. Para ello es importante que la

formación esté bien evaluada y pueda compararse con diversas

metodologías, como gestión por competencias, por ejemplo.

2. Justificar los gastos realizados en formación, y así poder disponer con

información rigurosa acerca de la pertinencia para implementar acciones

formativas, sobre todo en casos de reducción presupuestaria.

3. Mejorar la planificación y diseño de la formación, al contar con resultados

que puedan orientar a aumentar los beneficios de la organización.

4. Seleccionar métodos de formación adecuados, ya que el uso de diferentes

técnicas facilita la toma de decisiones de mejora acerca de la metodología

más adecuada para conseguir los objetivos propuestos.

Cuando hablamos de evaluación del impacto hacemos referencia a un tipo de evaluación,

que se centra en el alcance que los resultados han tenido.

Son múltiples los focos desde los que podemos contemplar el término evaluación, siendo

vital para determinar la evaluación del impacto, el para qué.


95 | P á g i n a

A modo de resumen, y para contextualizar dentro del amplio campo de la evaluación

donde se ubicaría la evaluación del impacto se presenta la siguiente figura:

Figura 17. Tipos de evaluación según diferentes criterios. Fuente: Elaboración propia.

Como puede apreciarse, la evaluación del impacto se ubica dentro de la finalidad. Si con la

evaluación sumativa el foco es considerar cuál es el alcance de los resultados, con la

evaluación del impacto se pretende determinar cuál es el grado en el que esos resultados se

mantienen. Nuestro objeto de estudio se ubica en este tipo de impacto, no centrado en la

transferencia al puesto, sino en la eficiencia, en definitiva, la rentabilidad, medida a través

de un indicador cuantitativo que tiene en cuenta también la dimensión cualitativa, como se

verá más adelante.

Tal como plantea Pineda (2000), la rentabilidad de la formación es una de las modalidades

de evaluación de la formación que tiene lugar en las organizaciones cuando se analizan las

repercusiones de unas determinadas acciones formativas, en términos de respuesta, a las

necesidades de formación, resolución de problemas y contribución al alcance de los

objetivos estratégicos planteados.


96 | P á g i n a

En este sentido, el impacto de la formación puede definirse como “el conjunto de cambios

que el aprendizaje derivado de la formación y su transferencia al puesto de trabajo genera

en el departamento o área de la persona formada y en el total de la organización”

(Pineda, 2000)

Si se revisa el esquema de dicha autora pueden diferenciarse, por un lado, los efectos que

la formación genera en la organización y, por otro, los tipos de impacto de formación.

En relación a los efectos que la formación genera en la organización, como consecuencia

del uso de las competencias que los participantes han adquirido a través de la formación

pueden diferenciarse dos tipos de efectos:

a) Cuantitativos o traducibles a valores monetarios.

b) Cualitativos o no traducibles a términos económicos

Estos “efectos” sirven para establecer una clasificación del tipo de impacto de índole, o

bien cualitativa, o bien centrada en el impacto económico o rentabilidad de la formación.

Desde esta visión, la evaluación del impacto y la rentabilidad daría respuesta a una de las

tres funciones propias de la evaluación de la formación: la función económica, centrada en

determinar los resultados en términos de impacto y de rentabilidad. Pero el indicador de

eficiencia, objeto de investigación, va más allá de esta función, ya que también intenta

determinar la certificación de la adquisición de los aprendizajes por parte de los

profesionales (función social), y cuenta con una visión pedagógica, al verificar el proceso

de consecución de los objetivos para mejorar la propia formación (función pedagógica).


97 | P á g i n a

Según Tejada (2007), la evaluación de impacto aparece después de transcurrido un tiempo

de la acción formativa, con el propósito de verificar la permanencia y consistencia de los

cambios producidos en los sujetos, el grado en el que las prácticas profesionales han

mejorado, así como otros cambios en la institución que pudieran haberse producido como

consecuencia de la formación.

Plantea que esta evaluación permite conocer la eficacia, efectividad, comprensividad,

validez y utilidad del programa, así como su rentabilidad profesional y social. Por todo

ello, en la evaluación de impacto se hace referencia a dos niveles de análisis:

Análisis centrado en los individuos, de acuerdo con el aprendizaje y transferencia

de lo aprendido al puesto de trabajo.

Análisis centrado en la organización, de acuerdo con la rentabilidad de la

formación para la empresa y el impacto sobre ésta.

Figura 18. Fases en la evaluación del impacto según Tejada. Fuente: Tejada y Fernández: La evaluación de impacto de la formación como estrategia en las organizaciones (2007)


98 | P á g i n a

2.2 Modelos de evaluación de impacto en la formación:

A continuación se presentan algunos de los modelos teóricos utilizados en la práctica para

evaluar el impacto de la formación.

2.2.1 Modelo de evaluación orientado a los resultados de Jackson

Jackson (1994), hace un recorrido por los diferentes modelos de evaluación de impacto

desarrollados en el ámbito de la empresa. En dicho análisis se llega a la conclusión de que

el personal encargado de planificar e impartir la formación a los trabajadores debe tener en

cuenta los objetivos que se persiguen para poder medir los resultados obtenidos. Es

decir, los resultados deben guardar coherencia con los objetivos para, de esta forma,

comprobar la eficacia del programa de formación objeto de evaluación.

A continuación se presenta un esquema donde aparecen los elementos que Jackson

considera en su modelo:

Figura 19. Principales fases en el Modelo de evaluación orientado a los resultados de Jackson. Fuente: Elaboración propia


99 | P á g i n a

Como puede apreciarse existe un proceso vertical y otro horizontal que abarca desde la

planificación hasta la evaluación, y en el que pueden distinguirse siete etapas que se

exponen a continuación:

ETAPAS EN EL PROCESO DE FORMACIÓN:

1. Identificación de necesidades.

2. Análisis de las necesidades de formación.

3. Redacción de objetivos de formación.

4. Desarrollo del programa.

5. Ejecución del programa.

6. Evaluación del programa.

7. Comunicación de resultados.

Estas etapas nos conducen al análisis de resultados en términos de coste-beneficio,

teniendo en cuenta, o bien, el grado de ejecución del proceso de adquisición de

habilidades, o bien , el número de ítems completados para determinar los estándares de

rendimiento.


100 | P á g i n a

Tabla 23. Ventajas e inconvenientes del Modelo de evaluación orientado a los resultados de Jackson VENTAJAS:

Consideración de la detección de necesidades.

Operativización del proceso y medición del proceso en base a unos estándares.

Enfoque práctico del modelo.

Concreción de las diferentes fases de evaluación, que van desde la evaluación diagnóstica

hasta la evaluación de impacto.

INCONVENIENTES:

Ausencia de concreción acerca de cómo va a realizarse la detección de necesidades.

Ausencia de consideración de necesidades de tipo social dentro de la evaluación

diagnóstica.

Consideración del individuo como única referencia olvidando el amplio contexto en el que

éste se encuentra inmerso y del que forma parte.

Fuente: Elaboración propia a partir del modelo de evaluación de Jackson.

El valor del impacto que puede deducirse en este modelo se situaría, únicamente a nivel de

consecución de objetivos, en consonancia con el paradigma cuantitativo que proponía

Tyler.

2.2.2 Modelo de Evaluación del Impacto de Chang

Modelo planteado por Chang (2000) denominado IDEAMS, por las letras iniciales de las

fases de las que consta, al igual que el modelo de Jackson plantea una evaluación del

impacto que sólo se centra en el alcance de los objetivos. La única diferencia notable

respecto al de Jackson estriba en la fase de seguimiento, un elemento clave en la

evaluación del impacto. En este sentido, no sólo contempla que los conocimientos


101 | P á g i n a

adquiridos se mantengan por un tiempo en el individuo, sino también dentro del seno de la

organización.

La tabla 24 resume las principales fases del modelo IDEAMS

Tabla 24. Principales fases del modelo IDEAMS Fase Objetivo de la fase:

I. IDENTIFICAR NECESIDADES DE

FORMACIÓN

Decidir si la formación puede mejorar el rendimiento laboral

y cómo se puede lograr. En esta fase se tendrán que definir y

determinar las metas a conseguir en el proceso de formación.

D. DISEÑO Concreción del enfoque de formación más adecuado a los

objetivos definidos en la primera fase para conseguir mejorar

el rendimiento laboral de los profesionales a los que va

dirigida la formación.

E. ELABORACIÓN Diseño y desarrollo de las herramientas necesarias para llevar

a cabo la formación o entrenamiento de los asistentes

(material bibliográfico, audiovisual, de apoyo…).

A. APLICACIÓN Puesta en práctica de lo diseñado. Consiste en implementar

aquello que se ha diseñado. En esta etapa la flexibilidad no ha

de ser incompatible con la rigurosidad a la hora de llevar a

cabo los pasos diseñados.

M. MEDICIÓN Evaluación de los resultados de la formación, y la

consecución de objetivos y logros en la mejora del

rendimiento actual. Éste será el momento de subsanar las

deficiencias que se hayan encontrado.

S. SEGUIMIENTO Evaluación del impacto a medio y largo plazo. Mediante la

evaluación de la consolidación de las adquisiciones, tanto a

nivel individual como de organización, se consigue que los

efectos positivos, fruto del proceso de formación, se

mantengan en el tiempo.

Fuente: Modelo de evaluación del impacto (Chang, 2000)


102 | P á g i n a

De forma esquemática, las principales ventajas e inconvenientes del modelo de Chang son:

Tabla 25. Ventajas e inconvenientes del modelo evaluación del impacto de Chang VENTAJAS:

Definición exhaustiva de cada una de las fases, que se describen de forma detallada.

Inclusión de fase de seguimiento.

Establecimiento de una fase de evaluación del impacto, con la que se pretende valorar que

los resultados obtenidos se mantengan durante el tiempo.

INCONVENIENTES:

Fases de seguimiento centrada exclusivamente en la adquisición de conocimientos.

No se contempla otro tipo de repercusión a nivel de transferencia al puesto de trabajo o a

nivel de rentabilidad, por ejemplo.

Ausencia de definición de directrices para llevar a cabo las fases exhaustivamente

definidas

Riesgo de improvisación por ausencia de directrices claras, con la consiguiente

interferencia negativa en la valoración del programa.

Fuente: Elaboración propia a partir del modelo de evaluación de Chang

2.2.3 Modelo de evaluación de Grotelueschen

Este modelo supone una ampliación del modelo de evaluación propuesto por Tyler basado

en el paradigma conductista. Para ello Grotelueschen (1986) considera tres categorías

principales como eje de su esquema:

a) Evaluación formativa, centrada en el proceso.

b) Evaluación sumativa, centrada en el resultado final, consistente en modelos

de evaluación que están en consonancia con enfoques teóricos, como por

ejemplo, el modelo libre de metas de Scriven (2000), dentro del paradigma

humanístico, que se abordó en la primera parte.


103 | P á g i n a

c) Acciones y decisiones futuras que puedan tomarse en relación a la

planificación de programas formativos.

El autor propone tener en cuenta tres dimensiones a la hora de evaluar un programa

formativo:

1. Propósito de la evaluación, el cual ha de estar previamente definido.

2. Elementos del programa.

3. Características del programa.

A su vez, cada una de estas dimensiones se concretan en ocho cuestiones fundamentales a

considerar tanto en la planificación como en la evaluación de programas de

formación. Estas cuestiones son: propósito de la evaluación, audiencias implicadas,

usos de la evaluación, recursos disponibles, colección de evidencias, recogida de

datos, análisis de la evidencia y transmisión de los hallazgos encontrados tras la

evaluación.

En la siguiente tabla presentamos el Modelo de Evaluación de Programas Formativos que

propone el autor.

Tabla 26. Modelo de evaluación de Grotelueschen

Perspectivas del programa Metas Diseño Implementación Resultados

Participantes ¿Son adecuadas las metas educativas a los participantes?

Instructores ¿Están adecuados al diseño?

Tópicos ¿Son estos tópicos los adecuados a los propósitos?

Contexto ¿Cuál es el impacto de los resultados de la evaluación?

Fuente: Evaluación de Programas Formativos (Grotelueschen, 1986)


104 | P á g i n a

Las principales ventajas e inconvenientes del modelo de Grotelouschen son:

Tabla 27. Ventajas e inconvenientes del modelo de Grotelueschen VENTAJAS:

Carácter externo de la evaluación. Grotelueschen considera que la evaluación, ha de ser

realizada por agentes externos e ir orientada a diferentes tipos de audiencias.

Orientación hacia la organización y hacia los usuarios que van a beneficiarse de la misma.

Evaluación objetiva y de calidad.

Considera no sólo evaluación sumativa, también formativa (el proceso es tenido en

cuenta).

INCONVENIENTES:

Ausencia de detección de necesidades.

Ausencia de transferencia al puesto de trabajo.

Fuente: Elaboración propia a partir del modelo de evaluación de Grotelueschen.

2.2.4 Modelo de Cervero y Rottet

Este modelo es uno de los que más específicamente se utilizan para evaluar la formación

continuada de los profesionales en ejercicio. De hecho, una de las características que lo

definen es su orientación al desempeño profesional. Este modelo fue desarrollado Cervero

y Rottet en 1984 y, posteriormente, Dimmock lo completó en 1993, profundizando en

temas relacionados con el liderazgo, la administración y la gestión.

En la siguiente figura se presenta el modelo de forma esquemática. Puede apreciarse

la interrelación que existe entre el desempeño (profesional en ejercicio) y el cambio de

conducta, algo que podría traducirse en términos de impacto en transferencia al puesto de

trabajo.


105 | P á g i n a

Figura 20. Esquema del modelo de Cervero y Rottet Fuente: Elaboración propia. Este modelo se basa en la interrelación de variables independientes. El punto de partida es

el propio programa de formación continua, que a diferencia de otros modelos como el de

Grotelueschen, sí tiene en cuenta las necesidades de los profesionales. Esta formación

revierte en el segundo de los constructos, que es el propio entorno laboral en el que se lleva

a cabo el desempeño profesional. En tercer lugar, habría que considerar el cambio

propuesto, es decir, los cambios que se han previsto a partir de la formación, que a su vez

repercute en el cuarto constructo, el sistema social, donde se halla inmerso el profesional.

Estos cuatro bloques actúan como variables independientes, y como variable

dependiente se considera el desarrollo profesional del sujeto. Cada uno de esos bloques,

se subdividen, a su vez, en distintos indicadores.

CAMBIO PROPUESTO

SISTEMA SOCIAL = CAMBIO DE CONDUCTAS

PROGRAMA DE FORMACION CONTINUA

PROFESIONAL EN EJERCICIO


106 | P á g i n a

Fortalezas y debilidades:

Uno de los puntos fuertes de este modelo es la validación del mismo, con sus limitaciones,

ya que sólo está basado en las mediciones post-test. Para la validación, los autores

utilizaron la técnica de regresión múltiple, en la que se encontró que las cuatro variables

independientes explicaban del 63 a 81% de la varianza de la variable dependiente.

Asimismo, se trata de un modelo generalizable a todas las profesiones, por lo que esta

adaptabilidad también puede ser considerada como una fortaleza del mismo.

En relación a la validación, los autores recomiendan utilizar una muestra mayor para

poder generalizar resultados, así como la utilización de técnicas estadísticas multivariantes

para validar los datos obtenidos. Estas recomendaciones servirían para mejorar este punto

débil del modelo.

2.2.5 Modelo de evaluación del impacto de la formación de Robinson y

Robinson

Este modelo pone el énfasis en la relación entre todos los agentes sociales que intervienen

(formadores, profesionales y destinatarios). Al igual que en el modelo de Cervero y Rottet,

la identificación de las necesidades en un elemento crucial.

El desglose teórico de este modelo se encuentra en la obra “Formación para el impacto”

de Robinson y Robinson (1989) A modo de resumen, la figura 21 resume las principales

fases de las que consta el modelo:


107 | P á g i n a

Figura 21. Fases del modelo de formación para el impacto de Robinson, D.G. y Robinson, J. (1989) Fuente: Elaboración propia

Como puede apreciarse el resultado final dependerá del contexto y de las conductas que se

consigan a partir de la formación del programa, para lo cual hay diseñado un esquema de

análisis en el que se analiza la eficiencia. En este sentido, la coherencia entre los objetivos

propuestos y los resultados obtenidos darán como resultado la medida del impacto en la

organización.

La fórmula que se deriva de la implementación de este modelo es la siguiente:

(EXPERIENCIAS DE APRENDIZAJE) x (CONTEXTO) = (RESULTADOS)

La medida de los resultados de impacto se realiza en base a una serie de preguntas:

¿Coinciden las necesidades detectadas con las necesidades reales?

¿Qué habilidades o destrezas se transfieren una vez realizada la formación?

¿Cuál es el número de profesionales que se forma?


108 | P á g i n a

Las principales ventajas e inconvenientes del modelo de Robinson y Robinson son:

Tabla 28. Ventajas e inconvenientes del modelo de Robinson y Robinson VENTAJAS:

Colaboración entre los agentes sociales implicados (formadores, profesionales y aquellos

que tienen la responsabilidad de planificar la formación)

Contempla la detección de necesidades y el análisis de la eficiencia

INCONVENIENTES:

Necesidad de establecer una relación fluida entre los diferentes agentes sociales

Dificultades en el feedback que pueden coadyuvar a un sesgo en los resultados

Fuente: Elaboración propia a partir del modelo de Robinson y Robinson

2.2.6 Modelo de Wade

El modelo del Wade es uno de los modelos centrados en la rentabilidad de la formación,

siendo crucial el valor que la formación aporta a la organización. Se pueden diferenciar

cuatro niveles:

Figura 22. Niveles del modelo de Wade. Fuente: Elaboración propia a partir del modelo de Robinson y Robinson


109 | P á g i n a

Asimismo, Wade diferencia 2 tipos de evaluación:

a) Evaluación de los resultados como consecuencia de la formación llevada a cabo.

Esta evaluación se mide con indicadores cuantitativos, también denominados

indicadores duros e indicadores cualitativos o indicadores blandos.

b) Evaluación del impacto, medida a través del análisis coste-beneficio.

Esta diferenciación entre evaluación de transferencia e impacto también la podemos

encontrar en Pilar Pineda (2003).

Las principales ventajas e inconvenientes del modelo de Wade son:

Tabla 29. Ventajas e inconvenientes del modelo de Wade VENTAJAS:

Consideración de la rentabilidad económica una dimensión propia de la evaluación

Propuesta de análisis del beneficio-coste

INCONVENIENTES:

Traducir los indicadores en términos de inversión y beneficios en un ámbito como la

formación no es tarea fácil.

Fuente: Elaboración propia.

2.2.7 Modelo de Evaluación de Cuatro Niveles de Kirkpatrick

El Modelo de Evaluación de Programas de Formación que plantea Kirkpatrick en

1959, aún habiendo transcurrido más de 40 años sigue plenamente vigente. De hecho, es

uno de los modelos de referencia en la elaboración del indicador de eficiencia, objeto del

estudio. El modelo abarca todas las etapas de la planificación desde la detección de

necesidades hasta la evaluación, diferenciando 10 etapas que se muestran a continuación:


110 | P á g i n a

Figura 23. Principales etapas del Modelo de evaluación de Kirkpatrick Fuente: Elaboración propia a partir del modelo planteado por Kirkpatrick (1999)

El modelo de Kirkpatrick es junto con el de Phillips, que se verá más adelante, el que va a

ser utilizado como referencia, al ser un modelo sencillo, lineal pero a su vez muy completo.

Este modelo abarca todas y cada una de las fases del proceso de planificación, desde la

detección de necesidades hasta la evaluación, contemplando elementos que otros modelos

no han tenido en cuenta, y que son fundamentales para una implementación de calidad,

como por ejemplo, adecuar el perfil de los docentes encargados de impartir la formación,


111 | P á g i n a

así como el de los destinatarios que van a recibirla. En este sentido, puede afirmarse que es

el modelo que mayor pertinencia aporta, al menos en su diseño, al concepto de evaluación.

A continuación, se describen los elementos principales que integran cada una de las fases

de las que consta:

1. Detección de necesidades:

La detección de necesidades trata de responder a 2 preguntas:

a) ¿Qué necesitan los profesionales?

b) ¿Qué necesita la organización?

A diferencia de otros modelos, Kirkpatrick tiene en cuenta también las necesidades de la

organización, lo cual aporta un enfoque mucho más estratégico e integrador.

2. Objetivos.

Para establecer los objetivos, se han de tener en cuenta los resultados que se pretenden

alcanzar, es decir, la finalidad de la formación. De hecho, se considera que Kirkpatrick

sigue los principios tylerianos, al hablar del logro de objetivos. Además de tener en cuenta

los resultados, también considera el proceso de planificación (fases 5 a 9).

3. Contenidos.

Estos han de guardar coherencia con la detección de necesidades y objetivos previstos. Una

vez más, Kirkpatrick apuesta por la pertinencia en la planificación, no dejando al azar

ninguno de los elementos que promueve. En este sentido, además de la selección es

importante la priorización de los mismos atendiendo a las necesidades y a los objetivos

previamente planificados.


112 | P á g i n a

4. Participantes.

La selección que se haga de los mismos, se ha de realizar teniendo en cuenta una serie de

criterios bien definidos y que sean conocidos con antelación por los participantes que son

susceptibles de participar en el proceso de formación, para lo cual es imprescindible

planificar una adecuada difusión.

5. Cronograma (horas y duración).

Dependiendo de los objetivos se establecerá un plan de trabajo acorde con los mismos,

donde se distribuyan los contenidos en función de su carácter teórico, práctico, así como de

su grado de dificultad.

6. Infraestructura.

No puede concebirse un plan de trabajo si no se establecen recursos materiales para

conseguirlo, siempre en función de los objetivos y contenidos previstos. El concepto de

infraestructura abarca desde las instalaciones hasta los materiales necesarios para llevar a

cabo la formación.

7. Personal docente.

Seleccionar adecuadamente al personal docente encargado de impartir la formación es otro

de los puntos clave en el modelo en la fase de implementación. A la hora de seleccionar el

personal docente, se ha de considerar el perfil competencial con el que cuenta, así como el

dominio en la materia y las habilidades de comunicación, y no centrar exclusivamente la

atención en otros temas como pueden ser los estrictamente económicos.


113 | P á g i n a

8. Medios audiovisuales.

Este elemento, aunque obvio, resulta imprescindible en la impartición de la formación,

teniendo que ser coherente con los contenidos que van a abordarse y el contenido,

especialmente, cuando cuenta con un carácter práctico de la materia, ya que por ejemplo, el

empleo de determinados recursos como la proyección de vídeos puede contribuir a

alcanzar objetivos partiendo de escenarios simulados. Por ejemplo, un vídeo en el que se

proyecte una operación quirúrgica, sin requerir presencia física en un quirófano por parte

de los profesionales que asistan a la formación.

9. Coordinación.

La función de coordinación conlleva identificar un responsable en la formación cuyas

funciones sean, entre otras:

o Analizar el proceso de detección de necesidades.

o Seleccionar al personal docente y los participantes que van a participar en la acción

formativa.

o Llevar a cabo toda la organización y logística.

o Analizar la evaluación.

Esta figura en ocasiones puede coincidir con la de los docentes encargados de impartir la

formación.

10. Evaluación.

Este es el punto más importante en nuestro objeto de investigación.

Contempla los denominados “4 niveles de Kirkpatrick”:

o Reacción.

o Aprendizaje.


114 | P á g i n a

o Comportamiento y conductas.

o Resultados.

Para cada uno de los niveles se proponen una serie de indicadores, que de forma resumida

se detallan a continuación:

i. Nivel de reacción:

El nivel de reacción se puede traducir en satisfacción por parte del profesional que realiza

la formación. Al finalizar la acción formativa y de manera inmediata se ha de pasar un

cuestionario en donde sean valorados los elementos que tienen que ver con la adecuación y

pertinencia de los objetivos al desempeño profesional así como otras, relativas a la

infraestructura y a la valoración

ii. 2. Nivel de aprendizaje.

Este nivel está referido a la adquisición de conocimientos, mejora de las destrezas y

habilidades y cambio de actitudes. Este tipo de conocimientos que se adquieren durante la

formación deben ser evaluados a través de pruebas post-formación para medir los logros

obtenidos y el cumplimiento de objetivos fijados a priori. Normalmente, el

aprendizaje va acompañado de uno o más de estos indicadores.

iii. 3. Nivel de comportamientos y conductas.

Este nivel puede traducirse como transferencia al puesto de trabajo, de ahí que tenga que

ver con el cambio de comportamientos y conductas. Éste supone un nivel más avanzado de

evaluación que el de la adquisición de aprendizaje, ya que puede ser que en el aula se

hayan adquirido ciertos conocimientos, hasta incluso que se hayan superado pruebas de


115 | P á g i n a

evaluación prácticas, pero luego dichas conductas no se mantengan en el tiempo y no se

practiquen ni lleven a cabo en el puesto de trabajo.

Por ejemplo, si en una actividad de RCP (Reanimación Cardiopulmonar) logramos salvar

al maniquí utilizado en la simulación durante la evaluación práctica, pero luego en el

escenario real, esto es, en el puesto de trabajo, no logramos transferir esa competencia

profesional, el aprendizaje se quedaría en el segundo nivel y el logro de los resultados

contaría con un importante sesgo.

iv. 4. Nivel de resultados.

En este nivel, el término resultados alude a la repercusión global que el aprendizaje ha

tenido en la organización, no sólo en cuanto a estabilidad del aprendizaje, sino en cuanto a

beneficios obtenidos, reducción de costes y repercusiones en general para la organización.

La mayor fortaleza del modelo de Kirkpatrick es la concreción de cada una de sus etapas.

Resulta un modelo muy completo que tiene en cuenta como punto de partida la detección

de necesidades, pero no sólo de los profesionales, como suele ser lo habitual en gran parte

de los modelos, sino también contempla la de la propia organización. Este punto es muy

importante, porque para que una planificación sea pertinente tiene que existir coherencia

entre ambos tipos de necesidades. Como aspecto a mejorar, podría incluirse también el

resultado de la detección de necesidades del usuario. Por ejemplo, en el contexto de la

formación continuada sanitaria, sería positivo contar con un análisis de la opinión de los

pacientes, que se recogiera a través de las encuestas de satisfacción, o bien a través de

grupos concretos, mediante la técnica Delphi, para tener una fuente de información que

recoja datos también de índole cualitativa.


116 | P á g i n a

Los dos primeros niveles son más fáciles de evaluar que los niveles 3 y 4, especialmente

que el nivel 4. En este sentido, según el artículo sobre la implicación de la economía en el

aprendizaje realizado en 2002 por la American Society for Training and Development

(Saba Sofware Inc., 2002), sobre la empresa estadounidense Saba Sowftware, una de la

más importantes en gestión del capital humanos, el 78% de las organizaciones evaluaron el

nivel 1 (reacción) utilizando encuestas de satisfacción tras las acciones formativas, el 32%

evaluaron el nivel 2 (aprendizaje), el 9% el nivel 3 (comportamiento y conductas) y tan

sólo el 6% el nivel 4 (resultados).

Por lo tanto, estos datos proporcionan una visión de que incluso siendo un modelo muy

completo, y siendo conscientes de que la evaluación de los niveles 3 y 4 resulta la más

interesante y valiosa, las organizaciones, bien sean Centros educativos, Universidades o

áreas de salud, como es nuestro caso, aún tienen bastante margen de mejora.

Por último, cabe destacar que el nivel 4 es, en cierta manera impreciso, ya que Kirkpatrick

no propone un indicador concreto para evaluar la relación beneficio/coste.

Figura 24. Niveles de evaluación de Kirpatrick Fuente: http://www.galileo.edu/ivn/noticias/caracteristicas-de-un-modelo-efectivo-de-elearning/


117 | P á g i n a

Ventajas e inconvenientes del modelo de Kirkpatrick:

El modelo presenta varios puntos fuertes.

1) El primero de ellos reside en su viabilidad práctica, existe un consenso entre los

formadores y evaluadores en la capacidad del modelo para llevarlo a la práctica sin

dificultad. Esta ventaja reside en la excelente estructuración del mismo, así como

en lo pormenorizado de cada acción a seguir para evaluar un programa formativo.

2) Otra de las ventajas de este modelo es su carácter pionero, es decir, resulta la base

de la evaluación del impacto de la formación. Hace cuarenta años, cuando la

evaluación del impacto apenas estaba en sus albores, el modelo de Kirkpatrick

resultó toda una revolución en este ámbito.

Del mismo modo, este modelo ha recibido varias críticas y se considera superado en

muchos aspectos. De cualquier forma, nos parece acertado incluirlo en esta revisión ya que

sienta las bases de la implantación definitiva de la evaluación de programas formativos

como herramienta de cambio y mejora de la calidad. Éstas son algunas de las críticas más

comunes que se le atribuyen al Modelo de Kirkpatrick.

1) La primera de ellas formulada por Adams (1970), considera el modelo defectuoso.

Se trata, según el autor, de un modelo simplista que no cuantifica el impacto real de

la formación, ya que la consecuencia o resultado de la evaluación rara vez puede

ser observada como impacto. Habitualmente, en las organizaciones, la evaluación

de la formación se estanca en el segundo nivel que propone Kirkpatrick

(aprendizaje) y no se llega al nivel 4 en donde se mide el impacto propiamente

dicho. Por tanto, no podemos decir que la formación ha sido efectiva.

2) Otra de las críticas que se le hacen a este modelo viene de la mano de autores como

Brinkerhoff (2005) que ponen de manifiesto las ventajas e inconvenientes de la

utilización de modelos como el de Kirkpatrick.


118 | P á g i n a

o La primera de estas limitaciones hace referencia a la unidimensionalidad del

modelo, puesto que los resultado se traducen en términos meramente

económicos, dejando de lado aspectos muy importantes que no pueden

definirse con estos términos.

o La segunda limitación se refiere a que el posible feedback de la acción

formativa no es inmediato o directo. Normalmente los contenidos,

habilidades y actitudes adquiridos durante la formación no se ponen en

práctica de forma inmediata y es en este periodo de tiempo transcurrido,

donde puede perderse gran parte de la información recibida.

o Por último, estos autores hacen referencia a la no-adecuación de los

Modelos de Análisis Económicos como modelos de evaluación de la

formación en recursos humanos. En esta crítica se está totalmente de

acuerdo, ya que es una forma simplista y reduccionista de abordar los

elementos que pueden estar influyendo en la calidad de esa formación. Del

mismo modo no podemos medir el impacto de la formación en términos

meramente económicos, ya que dejaríamos de lado los verdaderos

elementos que influyen en el mantenimiento y puesta en práctica de los

conocimientos adquiridos durante el proceso formativo.

2.2.8 Modelo de Phillips

Este modelo puede definirse como la continuación del modelo propuesto por Kirkpatrick.

De hecho, la aportación más significativa de Jack Phillips (2003) es, precisamente, el

considerado como quinto nivel: ROI, o retorno de inversión (Return On Investment).

El modelo comprende 10 etapas:


119 | P á g i n a

Tabla 30. Resumen de fases del modelo de Phillips (2003) 1. Análisis de problemas empresariales y oportunidades

2. Identificación de las necesidades de la organización

3. Identificación de las necesidades de rendimiento en el trabajo (recogida de datos del rendimiento)

4. Identificación de las formas preferidas de aprendizaje

5. Formulación de una estrategia de evaluación

6. Recogida de datos del programa

7. Aislamiento de los efectos obtenidos mediante el programa de capacitación

8. Conversión de los efectos en valores económicos

9. Tabulación de los costos del programa

10. Cálculo de la rentabilidad de la inversión

Fuente: Elaboración propia adaptada del modelo de Etapas del modelo de Phillips para formular el ROI (2003)

De manera gráfica, a continuación, se muestra un resumen del proceso planteado por

Phillips para calcular el ROI.

Figura 25. Cálculo del ROI según modelo planteado por Phillips. Fuente: http://roiinstitute.net/wp-content/uploads/2013/04/Binder1_Page_1.jpg

Develop Objective

of solution

(s)

Desarrollar el Objetivo

de la Solución/es

Desarrollar el Informe y

Comunicar el Resultado

Desarrollar Planes de

Evaluación y Datos de Referencia

Datos recogidos durante la Implemen-tación de la Solución/es

Aislar los Efectos de

la Solución/es

Convertir los Datos en

Coste Monetario

Develop Objective

of solution

(s)

Evaluación de la Planificación

Recopilación de Datos

Análisis de Datos Resultado

Calcular el ROI

Costes de encontrar la

Solución

Identificar los

Intangibles

Datos recogidos

tras la Implemen-tación de la Solución/es

•Entradas/ Indicadores

•Reacción y Plan de Acción

•Aprendizaje y Confianza

•Aplicación e Implementación

•Impacto en el Negocio

http://roiinstitute.net/wp-content/uploads/2013/04/Binder1_Page_1.jpg


120 | P á g i n a

Como puede apreciarse el modelo se basa en los cuatro niveles de Kirpatrick, añadiendo un

nivel 5 (ROI). Es muy importante la recogida de datos para documentar cuál es el estado de

la situación a priori, antes de llevar a cabo la formación.

Para Phillips es muy importante partir de los niveles 3 y 4, para poder comparar el antes y

después de la formación y poder valorar la rentabilidad de la misma. Para el aislamiento de

los efectos de la formación, propone utilizar herramientas de medida tales como grupos de

control o evaluaciones del desempeño. Para convertir los efectos en términos económicos,

propone aplicar métodos tales como el costo de la calidad, de las estimaciones de los

profesionales o el costo del tiempo empleado.

Ventajas e inconvenientes:

Una de las fortalezas de este modelo es mejorar el ya propuesto por Kirkpatrick, añadiendo

un quinto nivel centrado en la rentabilidad económica. Este factor es de suma importancia,

ya que no se puede determinar con precisión el nivel 4 si no se concreta en un indicador que

valore la relación beneficio/coste.

Quizá la debilidad de este modelo radica en lo difíciles que son de cuantificar algunos

indicadores de beneficio, lo cual no ha de ser óbice para su evaluación. Una de las críticas

hacia el modelo viene dada precisamente por no centrarse en los objetivos. De hecho,

cuando se habla de ROO se alude al “Return On Objectives”, al retorno de los objetivos,

para los que se diseñen indicadores cualitativos y cuantitativos.


121 | P á g i n a

2.2.9 Modelo de medición del ROTI de Liliana Rodríguez y Andrés Mosteiro

Rodríguez y Mosteiro (2001) señalan que sólo el 3% de las organizaciones en el mundo

utilizan mecanismos para medir económicamente el impacto de la formación en los

resultados de sus negocios. Precisamente, teniendo en consideración estos datos proponen

la medición del ROTI (Return Over Training Investment).

(1)

(2)

G: Ganancia del ejercicio

F: Factor de formación

R: Retorno en moneda

I: Inversión en formación

ROTI: porcentaje del retorno sobre la formación.

En este modelo se empieza a mencionar por primera vez el retorno de la formación y el

capital humano de la organización.

Rodríguez y Mosteiro (2001), en su artículo “La medición del retorno de la inversión en

formación, dentro del marco de la nueva economía”, señalan la existencia de diversas

experiencias en empresas en relación con la utilización de herramientas para la medida del

grado de efectividad de sus acciones de formación. Hay que destacar que la eficiencia no

está exclusivamente vinculada al diseño, sino a la manera en la que se aplica en las

organizaciones, enfatizando el papel tan importante que debe concedérsele a la reflexión

sobre el propio concepto de evaluación, reservándole un espacio propio y considerándola

una herramienta generadora de procesos de mejora.


122 | P á g i n a

Ventajas e inconvenientes:

Una ventaja del modelo es considerar la ganancia no sólo en términos de rentabilidad

económica traducida a valor monetario, sino considerar las ganancias en términos de

capital humano. Esta fortaleza será uno de los puntos que se ha considerado a la hora de

elaborar el indicador de eficiencia propuesto en esta tesis.

La mayor debilidad estriba en la necesidad de contar con suficientes recursos, sobre todo, a

nivel de personal que se encarguen de la adecuada supervisión de todo el proceso.


123 | P á g i n a

2.3 Modelos de evaluación de impacto en el ámbito sanitario

A continuación se van a analizar modelos adaptados al ámbito sanitario.

2.3.1 Modelo SM/PI (System Model of Policy Indicators) de Thomas R. Doy

Este modelo está planteado por el Instituto Politécnico y la Universidad del Estado de

Virginia (1987) para evaluar la política de un sistema sanitario. El modelo SM/PI (System

Model of Policy Indicators) tiene sus inicios en la década de los 70, incorporándose

al campo de las Ciencias Sociales, a partir de esta fecha, el concepto de input-output-

feedback.

En la siguiente figura aparece recogido el modelo original:

Figura 26. Elementos que integran el modelo SM/PI Fuente: Elaboración propia


124 | P á g i n a

El input o entrada, está basado en las demandas y los resultados u outputs en las

acciones/decisiones a tomar. Se considera fundamental la retroalimentación o feedback, ya

que es la que posibilita la obtención de los resultados.

2.3.2 Modelo QSP-INC (Fornell, Universidad de Michigan)

En este modelo, al igual que ocurría en el modelo de Olaz (2009) se propone una

metodología cuantitativa con el objetivo de establecer relaciones causales entre diferentes

variables. El modelo se centra, básicamente, en la calidad de los servicios hospitalarios,

destacando las siguientes variables: satisfacción de los usuarios, resultados e impacto.

Este modelo se ha llevado a cabo en países como Suecia. En esta experiencia se podían

identificar una serie de atributos medibles para cada componente de calidad asociados a

cada una de las variables.

a) Variable calidad percibida: adecuación al uso y fiabilidad.

b) Variable valor percibido: coste, dada la calidad y calidad dado el precio.

c) Variable expectativas: general, adecuación al uso y fiabilidad.

d) Variable satisfacción del usuario: satisfacción propiamente dicha,

confirmar/anular expectativas y comparación con ideal.

e) Variable quejas: en función del nivel de satisfacción

f) Variable lealtad a la empresa.

La metodología QSP-INC supone un avance muy importante a la hora de resolver

ecuaciones estructurales de relaciones causales en cadenas largas, ya que otro tipo


125 | P á g i n a

de metodologías como la regresión o el análisis factorial no responden al objetivo de

“...medir una secuencia de percepciones que se tiene que valorar de forma

simultánea con la restricción de maximizar la relación entre el índice de satisfacción y

las variables de comportamiento objetivo” (Friberg, 1995).

2.3.3 Modelo de Ubillos

Ubillos (1994) analiza dos tipos de diseños quasi-experimentales para comparar el poder

evaluativo de cada uno de ellos. Por un lado, el diseño de grupos no-equivalentes,

en el que se compara la medida post-test del grupo experimental con la medida post-test

del grupo de control. Se trata de un diseño quasi-experimental válido y que posee gran

validez externa. Por otro lado, los diseños quasi-experimentales de línea base no

causal construida, tienen su base en la comparación de la medida post-test del grupo de

tratamiento con un grupo apareado disfuncional o funcional, es decir, se compara con

una norma (en la mayoría de los casos perceptibles de una población comparable).

2.3.4 Otros modelos:

Otros modelos en relación a la evaluación del impacto los encontramos en Pilar Pineda

(2003) y W. Horton (2001). De manera resumida, puede afirmarse que un elemento común

de ambos autores es identificar y describir diferentes tipos de beneficio, según sea el grado

de cuantificación así como su relación de dichos resultados en la organización.

En la siguiente tabla se clasifican los beneficios de la formación de acuerdo con W. Horton

en Evaluating E-Learning (2001), en donde se dividen en tangibles, intangibles y muy

intangibles.


126 | P á g i n a

Tabla 31. Beneficios de la formación según Horton (2001)

Tipo de beneficio

Definición

Tipología

Ejemplos de valores de medida

Incidencia directa de la formación

Incidencia teniendo en cuenta los resultados

Tangibles Beneficios fáciles de cuantificar y de expresar en valores monetarios

Ahorro en costes

Aumento de la producción

Ahorro en tiempo

Mejora de la calidad

Alta Media

Intangibles Beneficios que muestran dificultad para ser cuantificados y expresados en valores monetarios

Mejoras en el trabajo

Innovación y creatividad

Ambiente laboral

Políticas de carrera profesional

Niveles de absentismo laboral o impuntualidad

Número de patentes

Niveles de rotación

Promociones internas

Media Media

Muy intangibles

Beneficios imposibles de cuantificar y de expresar en valores monetarios

Satisfacción y felicidad

Iniciativa y liderazgo

Resultados encuestas de satisfacción

Definición clara de objetivos

Baja Alta

Fuente: Beneficios de la formación modificada a partir de W. Horton (2001). Evaluating E-Learning ASTD

El modelo GDOR (2012) más que de un modelo se trata de una herramienta desarrollada

por Heures Network, consistente en la aplicación de indicadores de impacto y de gestión

de costes que permiten la continua redefinición y replanteamiento de las acciones de

formación, de manera que éstas siempre estén enfocadas a conseguir los objetivos

previstos con el nivel de inversión más adecuado.


127 | P á g i n a

El inconveniente de esta herramienta es que no se basa en una detección de necesidades

donde se tenga en cuenta al individuo, Ortiz (2015) y a la organización, sino que se centra

en el output a conseguir como elemento clave que guíe la gestión.


128 | P á g i n a

2.4 Beneficios en formación.

Calcular los beneficios en formación no es tarea fácil. A continuación se presenta una tabla

que resume los diferentes tipos de beneficios realizada por Josep M. Duart (2002) de la

Universitat Oberta de Catalunya.

Tabla 32. Diferentes tipos de beneficios en formación.

Definición Tipologías Ejemplos de valores de

medida

Incidencia directa de la formación

Incidencia teniendo en cuenta los resultados

Hard Beneficios fáciles de cuantificar y expresar en valores monetarios.

- Ahorro en costes.

- Aumento de la producción.

- Ahorro en tiempo.

- Mejora de la calidad.

- Costes por unidad.

- Número de unidades producidas.

- Tiempo de producción.

-Número de productos defectuosos.

Alta Media

Soft Beneficios que muestran dificultad para ser cuantificados y expresados en valores monetarios.

- Mejoras en el trabajo.

- Innovación y creatividad.

- Ambiente laboral.

- Políticas de carrera profesional

- Niveles de absentismo laboral o impuntualidad.

- Número de patentes.

- Niveles de rotación.

- Promociones internas

Media Media

Fuzzy Beneficios imposibles de cuantificar y expresar en valores monetarios

- Satisfacción y felicidad.

- Iniciativa y liderazgo.

- Habilidades y competencias para el negocio.

- Resultados de encuestas de satisfacción.

- Definición clara de objetivos.

- Actitudes de escucha, trabajo en equipo, resolución de conflictos, etc.

Baja Alta

Fuente: Josep M. Duart. (Universitat Oberta de Catalunya. 2002


129 | P á g i n a

Como puede apreciarse en la tabla existen 3 tipos de beneficios:

a) Beneficios fáciles de cuantificar, tales como el ahorro en costes o tiempo.

b) Beneficios con una dificultad media para ser cuantificados, tales como el ambiente

laboral o las políticas de carrera profesional.

c) Beneficios muy difíciles de ser cuantificados, tales como la satisfacción o el

liderazgo.

La tabla no sólo nos muestra la identificación y clasificación de 3 tipos de beneficios, sino

que, además, relaciona éstos con la incidencia de la formación. En este sentido, los

beneficios que son más fáciles de cuantificar son los que tienen un impacto menor.


130 | P á g i n a

2.5 Costes en formación.

La determinación de los costes de la formación es más sencilla que la estimación de

beneficios. Existen algunas propuestas concretas en costes de formación, como por

ejemplo, el presentado por Javier Lozano (2003), Director General y Consejero Delegado

de Nanfor Ibérica, en que se contemplan:

Costes relativos a la realización de la formación.

Costes de preparación de las clases y del material.

Costes de elementos físicos para realizar la formación.

Costes de viaje.

Costes de oportunidad.

Otras referencias sobre la estimación de costes podemos encontrarlas en el proyecto que se

ha desarrollado dentro del Technology Costing Methodology Project (Lozano, 2003), una

herramienta de ayuda a la determinación de los costes. En total, hay publicados 15 casos,

entre otros el de la Universidad de Carolina del Norte, el de Ohio o el de la Escuela Virtual

de Florida. La única limitación de esta herramienta es que se centra en el e-learning.

Resultan interesantes los resultados que apuntan a que la formación basada en la tecnología

es más cara, no debido a los costes que conlleva la tecnología, sino debido al tiempo

adicional necesario para desarrollar y entregar el contenido en la plataforma. A modo de

ejemplo, en la experiencia llevada a cabo en la Universidad de Carolina del Norte en 2001,

el mayor coste recae en la elaboración y entrega de los contenidos, que supone un 52% del

presupuesto, mientras que la planificación curricular supone un 10,44% y el soporte

informático un 2,84% entre otros.


131 | P á g i n a

Otra propuesta, esta vez inglesa, es el proyecto “Networked Learning” (Baschic, 1999)

auspiciada por el Joint Information System Committee, así como en Australia, la propuesta

del Department of Education, Science and Training.


132 | P á g i n a

2.6 Algunos resultados de investigaciones en indicadores de eficiencia

En este apartado se van a revisar algunos ejemplos prácticos en cuanto a definición e

implementación de indicadores de eficiencia se refiere. Los ámbitos son diversos y abarcan

el ámbito de la formación profesional, recursos humanos así como área de salud.

Ejemplo nº 1: Indicadores de calidad y eficiencia de los servicios hospitalarios (Jiménez

Paneque, 2004)

En este artículo se plantea el indicador de eficiencia como el cociente entre resultados y

recursos. Se destaca la dificultad en establecer un único indicador de eficiencia, ya que la

responsabilidad no sólo recae en los profesionales de la salud, sino que existen otros

agentes intervinientes claves en el proceso, sobre todo, en lo concerniente a los resultados

que se desean alcanzar.

El foco se posiciona en el aprovechamiento que se hace de la cama como recurso así como

de la estancia hospitalaria, identificando 2 indicadores concretos que tienen que ver con la

eficiencia:

a) Índice ocupacional: Medida promedio de ocupación de la cama.

b) Índice de rotación: Número promedio de personas que pasan por una cama

durante un periodo dado.

Se plantean, además, otros indicadores que influyen en la calidad de los servicios

hospitalarios. Entre otros destacan:


133 | P á g i n a

Indicadores de calidad de la estructura:

Estructura física: comprende cimientos, edificaciones, equipo médico y no médico

(fijo y movible), vehículos, mobiliario médico y de oficina, medicamentos y otros

insumos farmacéuticos, almacenes y condiciones de almacenamiento y

mantenimiento de los inmuebles.

Estructura ocupacional (staff): incluye la calidad y cantidad del personal médico y

no médico empleado para brindar asistencia médica: número y tipo de personal por

categoría. Incluye también relaciones entre categorías de personal (ej:

enfermeras/médico) o entre personal y población (ej: médicos/habitante),

entrenamiento del personal (por tiempo y lugar) y los criterios de desempeño del

personal específico.

Estructura financiera: incluye el presupuesto disponible para gestionar

adecuadamente los servicios, pagar a los trabajadores, financiar los requerimientos

mínimos de entradas físicas y de personal y proveer incentivos con la finalidad de

obtener un desempeño mejor.

Estructura organizacional: refleja las relaciones entre autoridad y responsabilidad,

los diseños de organización, aspectos de gobierno y poderes, proximidad entre


134 | P á g i n a

responsabilidad financiera y operacional, grado de descentralización de la

capacidad de decisión y tipo de decisiones que son delegadas.

Indicadores de la calidad del proceso

La calidad no está relacionada con la tecnología que se utilice, exclusivamente, sino

también con la interacción del paciente con el equipo de salud.

También se analizan aquí variables relacionadas con el acceso de los pacientes al hospital,

el grado de utilización de los servicios, la habilidad con que los médicos realizan acciones

sobre los pacientes. Se considera que la historia clínica es otro de los criterios de calidad

del proceso, estableciendo sistemas de puntuación.

Indicadores de calidad basados en los resultados

Los indicadores basados en los resultados suponen un importante eje de la investigación

para la monitorización de la calidad, dada la enorme ventaja de ser fácilmente

identificados.

El principal inconveniente radica en que para que constituyan un reflejo real de la calidad

deben estar relacionados con los pacientes de los que se trata.

Dentro de los indicadores de resultados se pueden identificar dos grandes grupos los

llamados “Indicadores Centinela” e “Indicadores basados en proporciones o datos

agregados”.


135 | P á g i n a

Indicadores centinela

Sirven para identificar situaciones críticas, que precisa de un análisis en detalle.

Son importantes para garantizar la seguridad del paciente, pero son menos útiles para

medir el desempeño global de una institución.

Indicadores de datos agregados (continuos o basados en tasas)

Los indicadores de datos agregados (continuos o basados en tasas) son los que miden el

desempeño basándose en eventos que ocurren con cierta frecuencia. Son los más

importantes para determinar el nivel de desempeño de una institución, detectar tendencias,

hacer comparaciones con el desempeño pasado, con otras instituciones o con puntos de

referencia establecidos.

Los indicadores de datos agregados (continuos o basados en tasas) son los que miden el

desempeño basándose en eventos que ocurren con cierta frecuencia. Son los más

importantes para determinar el nivel de desempeño de una institución, detectar tendencias,

hacer comparaciones con el desempeño pasado, con otras instituciones o con puntos de

referencia establecidos.

Como puede apreciarse, en esta investigación la eficiencia no deja de ser un elemento más

dentro del conglomerado de indicadores de calidad.


136 | P á g i n a

Ejemplo nº 2: Indicadores del proceso de enseñanza/aprendizaje en la formación

profesional (Andrés Fernández, 2005)

Existen investigaciones 1 que aluden a la propuesta de indicadores del proceso de

enseñanza/aprendizaje en la formación profesional en un contexto de gestión de calidad

total, tal y como se refleja en la siguiente tabla.

Tabla 33. Propuesta de indicadores del proceso de enseñanza/aprendizaje. Andrés Fernández, Miguel A. (2005).

Entrada (Input) Proceso Salida (Resultados)

Porcentaje de asistencia del

alumnado

Planificación %de aprobados

Tasa de neta de aprobados

Esfuerzo y capacidad suficientes Grado de información a los

clientes

% de contenidos impartidos.

Tasa de contenidos

Conformidad número de

alumnos /curso

Tasa de conformidad de los

recursos materiales

Clima en el proceso de

enseñanza / aprendizaje

Utilidad de los aprendizajes

Tasa de profesores Seguimiento Satisfacción global de los

alumnos

Tasa de tiempo Conformidad del profesor Satisfacción de las empresas

Porcentaje de asistencia del

profesorado

Satisfacción de la sociedad

Fuente: Andrés Fernández, Miguel A.(2005)

Los indicadores utilizados para gestionar la mejora de la calidad educativa en la formación

profesional son un elemento clave de la gestión de la misma, que delimitan la entrada de


137 | P á g i n a

información para la toma de decisiones. Así pues, en gran medida la calidad de las

decisiones depende de que los indicadores realicen bien su función.

Por ello, los indicadores han de medir todas las variables relevantes del proceso de

enseñanza/aprendizaje con objeto de obtener información diferencial que permita tomar

decisiones, y al mismo tiempo, promuevan información que discrimine si los factores

limitantes de la calidad en nuestro sistema son variables internas del Centro y, por tanto,

susceptibles de acciones directas por parte de los gestores del Centro, o si son variables

externas, no dependientes de las posibilidades de gestión del mismo y, por tanto, requieren

acciones en ámbitos diferentes al del Centro.

El análisis que se realizó sobre la calidad de algunos factores relevantes en esta

investigación, tanto para la concepción de calidad como para la satisfacción de los alumnos

y de los profesores, no utilizó una escala de calibración que permitiera establecer si los

valores obtenidos eran buenos, malos, mejorables o inmejorables. Por lo tanto, para una

toma de decisiones adecuada en este tipo de indicadores, se necesitaría establecer dicha

escala de calibración mediante la existencia de un sistema de intercomparación entre

Centros de características similares en las variables externas.

El uso de indicadores globales, dependientes en buena medida de factores externos a la

gestión del centro, requiere que se realicen tareas de ajuste que delimiten la información

del indicador a los factores internos. Si pretendemos que la valoración de los resultados de

dicho indicador sea aplicable a la gestión interna del Centro, se han de evitar estrategias de

fuga de responsabilidades al atribuir siempre a los factores externos los malos resultados y

a los factores internos los buenos resultados.

En este sentido se pueden destacar algunos indicadores que se clasificaron en:


138 | P á g i n a

a) Indicadores de entrada

b) Indicadores de salida o rendimiento.

A continuación se detallan la definición de cada uno de los indicadores:

INDICADORES DE ENTRADA:

Porcentaje de asistencia del alumno/a: número de horas asistidas respecto al

número total de horas del curso. Se contabiliza el número de alumnos que no han

faltado a más del 20% de horas lectivas, dividiéndolo entre número total de

alumnos y multiplicándolo por 100.

Los valores de este indicador oscilan entre 0 y 100.

Esfuerzo y capacidad necesaria del alumno/a: Es un indicador cualitativo que se

valorará con un SÍ o un NO en la lista de alumnos conformes. Es un indicador de la

calidad de la educación en los niveles educativos previos al nivel en el que el

alumno/a se encuentra. Podría ser usado para verificar la exactitud o validez del

sistema de gestión de calidad de los cursos ya realizados. Este indicador se

obtendría a partir de los informes del profesorado realizados en las sesiones de

seguimiento previo a la evaluación final del alumno/a. Este indicador se utiliza

para definir la conformidad del alumno/a junto con el porcentaje de asistencia.

Porcentaje conformidad de alumnos de un curso: número de alumnos con

porcentaje de asistencia de al menos 80% de horas lectivas, evaluados

positivamente en esfuerzo y capacidad respecto al número de alumnos del curso.

Tasa de conformidad del número de alumnos: número de alumnos matriculados

respecto al número máximo de alumnos estipulado en las especificaciones de cada

curso de la oferta educativa.


139 | P á g i n a

Tasa de conformidad de recursos: recursos existentes respecto a los recursos

necesarios .

Tasa de profesores: profesores disponibles respecto a profesores necesarios.

Tasa de tiempo: número de horas disponibles respecto a número de horas

necesarias para impartir los mínimos de los Diseños Curriculares Bases (DCBs).

Aunque en esta investigación concreta, el tema de los discentes se recoge de una manera

puntual, en la actualidad existen instrumentos para valorar el sistema de evaluación del

desempeño profesional docente, como el publicado por el Ministerio de Sanidad Chile.

(2015).

INDICADORES DE SALIDA O RENDIMIENTO:

Porcentaje de aprobados: nº de alumnos con calificación igual o superior a 5 en

porcentaje respecto a. número de alumnos matriculados.

Tasa neta de alumnos aprobados: número de alumnos/as aprobados respecto a

número de alumnos calificados positivamente en esfuerzo y capacidad y que han

asistido al 80% de las horas lectivas.

Porcentaje contenidos: contenidos impartidos respecto a total contenidos

programados multiplicado por 100.

Tasa de contenidos: Totalidad de contenidos a impartir, expresado en porcentaje y

multiplicado por tasa de profesores, tasa de recursos y tasa de tiempo.


140 | P á g i n a

Utilidad de contenidos: suma de la puntuación promedio de los alumnos en la

encuesta de FCT (Formación del Ciclo Formativo) más la puntuación promedio de

encuesta a los tutores de empresa.

Satisfacción del alumno: Se calcula con los resultados directos de la encuesta de

alumnos al final del ciclo formativo.

Satisfacción de la empresa: Se calcula con los resultados directos de la encuesta

del tutor de empresa al final de la FCT (Formación del Ciclo Formativo).

Satisfacción de la sociedad: Se obtiene con los datos directos sobre el grado de

cumplimiento de las prescripciones de los DCBs en las programaciones del Centro,

registradas en la hoja de registro global de seguimiento de las programaciones.

Ejemplo nº 3: Proyecto PRODELE 60/05. Universidad de Nebrija.

Este proyecto se llevó a cabo en 2006 (Javier Aguado-Orea y David García Ramos). Se

trata de un programa de intervención social que cuenta con financiación estatal y que se

elaboró siguiendo las recomendaciones de la UNESCO.

Su objetivo principal fue el de generar un prototipo pedagógico válido para la formación de

personas mayores como profesores de español a inmigrantes, intentando mejorar tanto la

calidad de vida como la inserción social de mayores así como de inmigrantes.

Para la evaluación de este programa no se pudo disponer más que de datos a corto plazo,

no pudiendo evaluar la relación coste-beneficio. Metodológicamente, se utilizó el diario de

campo, entrevistas y cuestionarios. Por lo que, esta investigación se basa en resultados

cuantitativos y etnográficos.


141 | P á g i n a

Ejemplo nº 4: Metodología para la evaluación de la eficacia y la eficiencia en la

capacitación del recurso humano (Robles Obando 2008)

En este artículo se valoraron lo efectivas y eficientes que podían ser determinadas

actividades de formación, en un estudio en cuatro empresas. El estudio se llevó a cabo en

Costa Rica. Los indicadores de eficacia que se plantearon fueron:

a) Capacitaciones en el tema de servicio al cliente: número de quejas, reclamaciones

o demandas, tiempo de resolución de reclamaciones, retención de clientes, pérdida

de clientes.

b) En aspectos propios del trabajo: reducción en el tiempo de proceso (duración del

trabajo), disminución de errores, aumento de la producción.

c) En términos de calidad: número de rechazos, número de devoluciones, aumento

de la producción, aumento de ingresos y aumento de la productividad, entre otros.

d) En temas de gestión laboral: reducción del absentismo, satisfacción laboral,

número de conflictos, número de sugerencias.

e) En temas de innovación o desarrollo de productos: número de productos nuevos

o patentes, número de nuevos modelos o número de cambios en el diseño, entre

otros.

f) En temas de comercialización de productos: clientes nuevos, volumen de las

ventas.

El indicador de eficiencia se utilizado fue:

(3)


142 | P á g i n a

El coste se calculó teniendo en cuenta las horas por curso, la inversión en materiales y el

pago de instructores. En el caso de empresas sin objetivos de la actividad claros, ni medios

para lograrlos, no se pudieron calcular los beneficios. En el resto, la implementación de la

metodología generó información relevante en cuanto a la eficiencia y eficacia.

Ejemplo nº 5: Evaluación e implantación de un modelo de evaluación de acciones

formativas (Jiménez y Barchino, 2011)

En este artículo se realiza una revisión del modelo de Kirpatrick, sugiriendo la necesidad

de establecer un quinto nivel, que es el ROI, consistente en valorar la inversión de costes

en relación a la obtención de beneficios. Se enfatiza lo costoso de evaluar los beneficios en

el terreno de la formación, en detrimento de los costes.

El artículo está enfocado a la implantación de un modelo de evaluación que tenga en

cuenta el ROI en un entorno de enseñanza a distancia con plataforma de aprendizaje

virtual. En este sentido, en sistemas de formación e-learning se plantean algunos posibles

costes en formación, tales como:

Costes relativos a la realización de la formación.

Costes de preparación de las clases y del material.

Costes de elementos físicos para realizar la formación.

Costes de viaje.

Costes de oportunidad.

Se describen algunas propuestas para medir costes en sistemas basados en e-learning,

como por ejemplo, el americano National Center of Higher Education Management


143 | P á g i n a

Systems, que en colaboración con el Western Cooperative for Educational

Telecommunications, ha desarrollado dentro del Technology Costing Methodology Project

una herramienta de ayuda a la determinación de los costes.

También, la iniciativa inglesa, Cost of Networked Learning, subvencionada por el Join

Information System Committee, así como el departamento australiano evalúan costes de

actividades a distancia.

Ejemplo nº 6: Guía para la evaluación de impacto de la formación (OIT, 2011).

Esta guía publicada en 2011 por la OIT (Organización Internacional del Trabajo) en la que

participaron 18 países, entre los que se encuentra España aporta las premisas básicas sobre

los conceptos de impacto, los indicadores de eficacia y efectividad de la formación en

general. En ella, aparece un ejemplo concreto, en el que se analiza el impacto de un

programa en el ámbito de formación profesional en el acceso al empleo en trabajos

relacionados con la soldadura y el impacto que éste ha tenido durante 4 años, lo cual se

traduce en la tasa de empleo conseguida durante ese periodo de tiempo. En la

investigación, se concluye que el impacto durante esos 4 años fue diferente, siendo nulo en

el cuarto año.

Se observó cómo la tasa de empleo fue decreciendo en el tiempo, y a raíz de ello se

cuestionaron los objetivos planteados, las competencias adquiridas, así como otros factores

tales como el agotamiento del sector en cuanto a generar nuevos puestos de trabajo.

Los indicadores utilizados fueron:

Relación beneficio-costo= 100costeslosdepresenteValor

beneficioslosdepresenteValor x (4)

ROI= 100óncapacitaciladecosteslosdeValor

óncapacitaciladebeneficioslosdeValor x (5)


144 | P á g i n a

Relación beneficio-efectividad= 100costeslosdepresenteValor

Impacto x (6)

Relación costo-efectividad= 100Impactos

costeslosdepresenteValor x (7)

Tabla 34. Resultados impacto de formación en ocupaciones relacionadas con la soldadura en el acceso a empleo.

Años de ejecución de la acción

Tasa de acceso al empleo en ocupaciones relacionadas con la

soldadura

Impacto Grupo de

participantes Grupo de control

1

75

60

15

2

80

55

25

3 85 65

20 4 70 70

0

Tasa media empleo

77,5

62,5

15

Meta propuesta

90

90

Eficacia

86,1

69,4

16,7

Fuente: Guía para la evaluación de impacto de la formación. OIT.2011.

Ejemplo nº 7: Revisión sobre la efectividad de la formación continuada en los servicios de

salud (Bluestone y Johnson 2013)

Esta revisión fue llevada a cabo en 2013 por Julia Bluestone y Peter Johnson, sobre

distintas estrategias metodológicas en el ámbito sanitario.

La metodología consistió en una revisión de los datos incluidos en bases de datos como

PubMed, entre otras, entre mayo y junio de 2011, en la que se revisaron 244 artículos, de

los que, finalmente, se analizaron 37. El foco de atención se centra en la metodología


145 | P á g i n a

utilizada, concluyendo que el aprendizaje basado en casos, las simulaciones clínicas, las

prácticas clínicas y el feedback son las metodologías más efectivas. Las técnicas didácticas

que se basan en una instrucción pasiva, tales como la lectura no tienen impacto en los

“outcomes” del aprendizaje.

El autoaprendizaje también se puede considerar una estrategia eficaz, ya que permite

seleccionar su aprendizaje a sus necesidades específicas.

Existe evidencia limitada en cuanto a la formación en trabajo basado en equipos, muy

importante para trabajar la colaboración y cooperación.

Las conclusiones que aparecen refuerzan la importancia del aprendizaje contextualizado, y

la formación relacionada con las competencias en el puesto de trabajo.

La formación continuada es una inversión significativa en el desarrollo y el

mantenimiento de las competencias esenciales para la salud pública óptima en todos los

entornos de servicios globales. Lamentablemente, a pesar de las grandes inversiones, no

existen pruebas certeras acerca de la efectividad de las técnicas de aplicación común entre

los países, independientemente del nivel de recursos.


146 | P á g i n a

Ejemplo nº 8: Eficiencia, eficacia y efectividad en la calidad empresarial (Pérez Quintero,

2013).

Se trata de un estudio descriptivo de las principales características de lo que en el artículo

se denominan las 3E: eficiencia, eficacia y efectividad. Se analiza la estrecha relación que

existe entre ellas.

La eficiencia se asocia a la capacidad para lograr que la productividad sea favorable, es

decir, lograr el máximo resultado con una cantidad mínima de recursos.

La eficiencia es medible ya sea a través de un indicador o un conjunto de ellos. Constituye

una de las bases para lograr la competitividad.

La eficacia alude al grado en que el producto o servicio satisface las necesidades reales y

potenciales o expectativas de los clientes o destinatarios.

Por último, la efectividad, hace referencia al grado de cumplimiento de los objetivos

planificados, es decir, los resultados obtenidos entre las metas fijadas y las alcanzadas.

En la definición de administración está implícito el concepto productividad como una de

las metas principales a lograr, que implica eficiencia (productividad favorable), eficacia

(grado en que el producto o servicio satisface las necesidades reales/ futuras), y efectividad

(grado de cumplimiento de los objetivos planificados).

La productividad, considera la calidad para el buen desempeño individual y

organizacional.

El concepto de calidad además de estar considerado en la fórmula de la productividad, se

refleja de manera explícita en los elementos que se encuentran implícitos en la misma:

eficiencia, eficacia y efectividad


147 | P á g i n a

En síntesis, la perspectiva que nos ofrece este artículo está basada en la importancia de la

calidad.

Ejemplo nº 9: Experiencia en la unidad administrativa de Personería de Manizales.

Caldas, Colombia. (Última actualización página web 12 de marzo de 2015).

La denominada Personería Municipal es un órgano dentro del ámbito jurídico, que se

encarga de asegurar el cumplimiento y desempeño de programas de seguridad alimentaria,

atención en salud y seguridad ciudadana en Colombia, entre otros.

Para ello, han diseñado indicadores que miden la eficacia, la eficiencia y la efectividad.

a) Eficacia: Grado en que se logran los objetivos y metas de un plan.

(8)

b) Eficiencia: Es el logro de un objetivo con el menor coste.

(9)

c) Efectividad: Este concepto involucra la eficiencia y la eficacia, es decir, el logro de

los resultados programados en el tiempo y con los costos más razonables posibles.

(10)


148 | P á g i n a

Conclusión de las investigaciones consultadas:

Tras la revisión de experiencias concretas sobre impacto de la formación y formulación de

indicadores de eficiencia, pueden extraerse las siguientes conclusiones:

a) El tema de impacto, sobre todo, se utiliza en el ámbito de empresa, considerando

sobre todo resultados u “outputs” tangibles, asociados en su gran mayoría a temas

económicos. En este sector, el ROI es fácil de calcular si se tienen claros cuáles son

los costes y se establecen medidas objetivas para calcular los beneficios.

b) No existe un consenso en cuanto al uso de los términos eficacia, eficiencia y

efectividad, en función del ámbito consultado (empresa, educación, sanidad).

c) En cuanto a formación, aún falta lo que podría denominarse “la cultura de

evaluación del impacto”. Si atendemos a la clasificación de niveles de evaluación

que hace Kirkpatrik la mayoría de los planes de formación se limitan a evaluar

satisfacción y aprendizaje, pero el impacto, en términos no meramente económicos,

sino de ganancia de capital humano, es evaluado de manera ínfima.

No existen muchas investigaciones en cuanto al ámbito de Educación Infantil y Primaria,

aunque existen guías de indicadores homologados, como por ejemplo, la publicada por la

Agencia Andaluza de Evaluación Educativa (2014).

Capítulo III. Revisión Teórica: Marco Legal

149 | P á g i n a

3. CAPÍTULO III. REVISIÓN TEÓRICA: MARCO LEGAL

3.1 Contextualización de la formación continuada de las profesiones

sanitarias.

El objeto de estudio de esta tesis se centra en la propuesta de un indicador de eficiencia

dentro del contexto de la formación continuada de las profesiones sanitarias de la Región

de Murcia, que pueda tener aplicación en cualquier contexto educativo.

Por ello parece adecuado analizar, en primer lugar a qué tipo de formación nos referimos y

cuál es la normativa que la regula.

La formación continuada de las profesiones sanitarias hace referencia a una etapa de

reciclaje y actualización del profesional que tiene lugar tras el alcance de la

especialización. Por ejemplo, un licenciado en Medicina que acaba la residencia

favorablemente y por lo tanto obtenga el título de especialista, sería un destinatario de la

formación continuada.

Existe una diferencia en relación a la formación continua, ya que la formación continuada

está regulada legalmente y la formación continua alude más a la filosofía de la formación

como un proceso de formación dinámico que siempre ha de estar activo y que afecta a

cualquier tipo de profesional. La regulación de la formación continuada en la Región de

Murcia, actualmente afecta sólo a las profesiones sanitarias, pero existen Comunidades con

regulación también de la formación continuada de profesiones no sanitarias, como por

ejemplo, Castilla y León.

En la Resolución de 30 de julio de 1999, de la Subsecretaría, por la que se dispone la

publicación del Acuerdo adoptado por la Comisión de Formación Continuada del Sistema


150 | P á g i n a

Nacional de Salud, en relación con el Sistema Acreditador de Actividades de Formación

Continuada, publicada en el BOE núm. 204 de 26 de agosto de 1999, el concepto de

formación continuada se define como “el conjunto de actividades formativas destinadas a

mantener o mejorar la competencia profesional, una vez obtenida la titulación básica o de

especialidad correspondiente”.


151 | P á g i n a

3.2 Regulación de la formación continuada de las profesiones sanitarias a

nivel europeo.

Decisión 90/267/CEE del Consejo, de 29 de mayo de 1990, por la que se crea un

programa de acción para el desarrollo de la formación profesional continuada en la

Comunidad Europea (FORCE).

Este tipo de directivas posibilita la puesta en marcha de programas como el “Da Vinci”,

llevado a cabo entre el 1 de enero de 1995 y el 31 de diciembre de 1999.

La directiva 90/267 alude específicamente a la formación profesional continuada, y su

finalidad es crear programas con objetivos comunes cuya finalidad es la de apoyar y

completar las iniciativas de todos los estados miembros. Se especifican, además, algunos

objetivos básicos, tales como el referido a la mejora de la calidad y capacidad de

innovación de los sistemas y dispositivos, la promoción de la formación a lo largo de toda

la vida con vistas a favorecer una adaptación permanente de las competencias para

responder a las necesidades profesionales y de la empresa, con el propósito de intentar

reducir el desempleo y conseguir una mayor realización profesional y personal.


152 | P á g i n a


nivel nacional.

Resolución de 30 de julio de 1999, de la Subsecretaría, por la que se dispone la

publicación del Acuerdo adoptado por la Comisión de Formación Continuada del Sistema

Nacional de Salud, en relación con el Sistema Acreditador de Actividades de Formación

Continuada, publicada en el BOE núm.204 de 26 de agosto de 1999.

En esta Resolución se sientan las bases acerca de las funciones y procedimientos a seguir

por parte del Sistema Acreditador a nivel nacional. Se especifica también el contexto en el

que se crea dicho Sistema Acreditador. En este sentido, textualmente se recoge que “el

Sistema Acreditador de Actividades de Formación Continuada se crea en virtud del

Convenio de Conferencia Sectorial de 15 de diciembre de 1997, y se constituye a través de

la Comisión de Formación Continuada del Sistema Nacional de Salud, como Comisión

Permanente del Consejo Interterritorial, en la que participan las Consejerías de Sanidad y

Salud de las Comunidades Autónomas y los Ministerios de Sanidad y Consumo y

Educación y Cultura; asimismo, se han incorporado los representantes del mundo

científico-profesional”.

Tal y como se recogía al principio del apartado de la contextualización, en esta Resolución

la formación continuada se define como “el conjunto de actividades formativas destinadas

a mantener o mejorar la competencia profesional, una vez obtenida la titulación básica o

de especialidad correspondiente”.

Se destacan 2 tipos de acreditación:

a) Acreditación de acciones formativas.


153 | P á g i n a

b) Reconocimiento de acreditación de instituciones de formación continuada, es

decir, acreditación de Centros.

En relación a la acreditación de actividades de formación continuada se establecen los

requisitos fundamentales, que abarcan criterios referidos al procedimiento administrativo

así como los relativos al modelo de solicitud de carácter cuantitativo como cualitativo. El

aspecto cuantitativo está referido a la duración de la actividad. En este sentido, se ha de

destacar que no pueden acreditarse acciones formativas con más de 100 horas de duración.

Respecto al aspecto cualitativo, éste hace referencia a la calidad de la actividad, que se

puntúa utilizando un factor de extensión y las puntuaciones asignadas por un grupo de

evaluadores como máximo de 5. Se basa en una valoración ponderada del perfil

pedagógico de la actividad y contempla: objetivos de la actividad, organización y logística,

pertinencia de la actividad, metodología docente y evaluación

El sistema de acreditación contempla la descentralización funcional, consistente en el

reconocimiento formal de una institución pública o privada para acreditar actividades

formativas, en nombre de la Comisión de Formación Continuada del Sistema Nacional de

Salud o Autonómica.

La institución, con reconocimiento de entidad acreditadora, deberá reunir los siguientes

requisitos básicos:

1. Disponer de historial reconocido en el campo de formación continuada.

2. Disponer de un sistema externo de acreditación, adecuado y suficiente que

responda a las directrices formuladas por la Comisión de Formación Continuada

y, en todo caso, existirá separación entre provisión de formación continuada y


154 | P á g i n a

acreditación de actividades de formación continuada para conseguir la necesaria

independencia y objetividad de la valoración.

3. Disponer de medios materiales y humanos adecuados.

Resolución de 22 de diciembre de 1997, de la Subsecretaría, por la que se da publicidad

al Convenio de Conferencia Sectorial del Consejo Interterritorial del Sistema Nacional de

Salud

En esta resolución son especialmente relevantes la disposición primera y cuarta. En

relación a la disposición primera aparece la creación de la Comisión de Formación

Continuada del Sistema Nacional de Salud (SNS) con la finalidad de coordinar las

Consejerías de Sanidad y Salud de las Comunidades Autónomas, así como de los

Ministerios de Sanidad y Consumo y Educación y Cultura en materia de formación

continuada de las profesiones sanitarias.

En la disposición cuarta se detallan las funciones de los órganos de las Comunidades

Autónomas en materia de formación continuada de las profesiones sanitarias, entre las que

se encuentran:

1. Organizar y gestionar la acreditación de centros, actividades y profesionales, así

como de los sistemas de información y registro.

2. Llevar a cabo la evaluación del sistema de formación sanitaria continuada, la

inspección y auditoría de centros y actividades acreditados, así como la

realización de estudios estadísticos, cuyos resultados serán presentados de forma

periódica a la Comisión de Formación Continuada del Sistema Nacional de

Salud.


155 | P á g i n a

3. Difundir a través de los medios que se estimen adecuados para el conocimiento

de las entidades, particulares y profesionales interesados, los criterios aprobados

y las formas y órganos administrativos ante los que se podrá solicitar la

acreditación.

Se ha de destacar, que en el indicador que se propone en esta tesis, toda la información de

las actividades de formación continuada ha sido supervisada por el órgano acreditador de

la Comunidad Autónoma de la Región de Murcia.

Ley 44/2003 de 21 de noviembre de ordenación de las profesiones sanitarias.

Esta Ley es importante porque en ella se establece una categorización de lo que se entiende

por profesiones sanitarias, ya que algunas profesiones que pueden encontrarse dentro del

contexto sanitario, como por ejemplo, la de celador, no entran dentro de la categoría de

profesiones sanitarias. En este sentido se establecen varios grupos que se detallan a

continuación.

a) De nivel Licenciado en:

- Medicina

- Farmacia

- Odontología

- Veterinaria

- Títulos oficiales de especialista en Ciencias de la Salud para Licenciados a

que se refiere el título II que aparece en la ley 44/2003

b) De nivel Diplomado en:

- Enfermería


156 | P á g i n a

- Fisioterapia

- Terapia Ocupacional

- Podología

- Óptica y Optometría

- Logopedia

- Nutrición Humana y Dietética

c) Profesionales del área sanitaria de formación profesional, de conformidad con el

artículo 35.1 de la Constitución, considerando profesionales del área sanitaria de

formación a aquellos que ostentan los títulos de formación profesional de la familia

profesional sanidad, o los títulos o certificados equivalentes a los mismos. Los

profesionales del área sanitaria de formación profesional se estructuran en los

siguientes grupos:

- De grado superior: quienes ostentan los títulos de Técnico Superior en

Anatomía Patológica y Citología, Dietética, Documentación Sanitaria,

Higiene Bucodental, Imagen para el Diagnóstico, Laboratorio de

Diagnóstico Clínico, Ortoprotésico, Prótesis Dentales, Radioterapia, Salud

Ambiental y Audioprótesis.

- De grado medio: quienes ostentan los títulos de Técnico en Cuidados

Auxiliares de Enfermería y en Farmacia.

Se ha mantenido la nomenclatura que aparece en Real Decreto en cuanto a licenciado o

diplomado, sin ser adaptada a la que surge tras el Plan Bolonia.


157 | P á g i n a

Real Decreto 1142/2007, de 31 de agosto, por el que se determina la composición y

funciones de la Comisión de Formación Continuada de las Profesiones Sanitarias y se

regula el sistema de acreditación de la formación continuada, publicado en el BOE de 14

de septiembre de 2007.

Este Real Decreto versa en torno a 2 temas:

1) Composición y funciones de la Comisión de Formación Continuada de las

Profesiones Sanitarias prevista en el artículo 34 de la Ley 44/2003, de 21 de

noviembre, de ordenación de las profesiones sanitarias.

2) La manera en la que se regula el sistema de acreditación de la formación continuada

de las profesiones sanitarias.

Entre los artículos a destacar se ha de resaltar el artículo 8, ya que en él se determina la

forma en la que se articula el proceso de acreditación de formación continuada. A

continuación, se citan los principales puntos que se recogen en cuanto a acreditación de la

formación continuada:

1) Corresponde al Ministerio de Sanidad y Consumo y a las Comunidades

Autónomas, en el ámbito de sus respectivas competencias, acreditar actividades y

programas de actuación en materia de formación continuada de los profesionales

sanitarios, así como, con carácter global, los Centros en los que las mismas se

impartan.

2) La acreditación, que deberá realizarse necesariamente de acuerdo con los requisitos,

procedimiento y criterios establecidos por la Comisión de Formación Continuada,

tendrá efectos en todo el territorio nacional, sea cual sea la Administración pública

que expidió la acreditación.


158 | P á g i n a

3) Los criterios que apruebe dicha Comisión deberán sujetarse a los principios de

necesidad, objetividad, no discriminación y proporcionalidad.

4) El Ministerio de Sanidad y Consumo y los órganos competentes de las

Comunidades Autónomas podrán delegar las funciones de gestión y acreditación de

la formación continuada, incluyendo la expedición de certificaciones individuales,

en otras corporaciones o instituciones de derecho público, de conformidad con lo

que dispone la Ley 44/2003, de 21 de noviembre, de ordenación de las profesiones

sanitarias y las normas en cada caso aplicables. En todo caso, los organismos de

acreditación de la formación continuada habrán de ser independientes de los

organismos encargados de la provisión de las actividades de formación continuada

acreditadas por aquellos.


159 | P á g i n a


nivel regional

Decreto nº 223/2006, de 27 de octubre, por el que se dictan normas para la aplicación del

sistema de acreditación de formación continuada de las profesiones sanitarias, publicado

en el BORM 257, publicado el 7 de noviembre de 2006.

Este Decreto aborda expresamente la regulación de la formación continuada a nivel de

Comunidad Autónoma. Puesto que la acreditación ya es materia transferida, este Decreto

es el documento base donde se sustentan todas las actuaciones que tienen que ver con el

tema de acreditación.

Aunque en el Decreto se alude a la Dirección General de Calidad Asistencial, Formación e

Investigación Sanitaria, actualmente el nombre ha cambiado (octubre 2015), y es la

Dirección General de Planificación, Investigación, Farmacia y Atención al Ciudadano la

que se encarga de asegurar el cumplimiento de las funciones por parte del órgano

acreditador de la Región de Murcia.

Entre las funciones a desarrollar se encuentran:

1) La acreditación de actividades concretas de formación sanitaria continuada, a

solicitud de las personas o entidades organizadoras de las mismas, con validez en el

conjunto del Sistema Nacional de Salud, de acuerdo con el artículo 35.1 de la Ley

44/2003, de 21 de noviembre, de Ordenación de las Profesiones Sanitarias.

2) La acreditación de Centros o Unidades Docentes, a solicitud de la entidad titular de

las mismas, para desarrollar actividades de formación sanitaria continuada, con

validez en el conjunto del Sistema Nacional de Salud, de acuerdo con el artículo

35.1 de la Ley 44/2003, de 21 de noviembre, de Ordenación de las Profesiones

Sanitarias.


160 | P á g i n a

3) La realización de las evaluaciones, controles y actuaciones que se estimen

oportunas en materia de formación continuada.

4) La difusión, a través de los medios que se estimen adecuados para conocimiento de

las entidades, particulares y profesionales interesados, de los criterios aprobados y

de las formas y órganos administrativos ante los que se podrá solicitar la

acreditación.

Además, la acreditación de la formación continuada de las profesiones sanitarias aparece

dentro de la guía de procedimientos, concretamente con el código 5884, encuadrada dentro

de las actividades sanitarias. Toda la información en relación al procedimiento de

acreditación aparece en la página web de los procedimientos del área de salud2.

2 http://www.carm.es/web/pagina?IDCONTENIDO=5884&IDTIPO=240&ESTILO=servicios&ESTILO_CANAL=servicios&NOMBRECANAL=Salud&IDIMAGEN=672&RASTRO=c163$m2381

http://www.carm.es/web/pagina?IDCONTENIDO=5884&IDTIPO=240&ESTILO=servicios&ESTILO_CANAL=servicios&NOMBRECANAL=Salud&IDIMAGEN=672&RASTRO=c163$m2381

http://www.carm.es/web/pagina?IDCONTENIDO=5884&IDTIPO=240&ESTILO=servicios&ESTILO_CANAL=servicios&NOMBRECANAL=Salud&IDIMAGEN=672&RASTRO=c163$m2381


161 | P á g i n a

3.5 Beneficios de la formación continuada en la Comunidad Autónoma de

la Región de Murcia.

La realización y superación de las acciones formativas además de incrementar el nivel de

conocimiento y la mejora en la calidad de los servicios prestados representa un mérito

académico, contemplado en el baremo de todas y cada una de las categorías profesionales,

tal y como aparece en la Orden de 10 de abril de 2014, de la Consejería de Sanidad y

Política Social por la que se modifica la Orden de 12 de noviembre de 2002, de la

Consejería de Sanidad y Consumo por la que se regula la selección del personal

estatutario temporal del Servicio Murciano de Salud, publicada en el BORM el martes 29

de abril de 2014, según baremo unificado con aplicación en la convocatoria de 2014 y

sucesivas.

En este sentido, dependiendo de la categoría concreta de la que se trate, el máximo de

puntuación que se puede obtener puede variar, ya que por ejemplo, los facultativos

especialistas de un máximo de 70 puntos en el apartado de méritos académicos pueden

obtener:

a) Un máximo de 10 puntos “por la realización de cursos impartidos u organizados

por organismos dependientes de las Administraciones que integran el Sistema

Nacional de Salud o por la Universidad. Por cada 100 horas lectivas o fracción

restante 0,50 puntos”

b) Un máximo de 5 puntos “por cada ponencia o comunicación sobre materias

relativas a la especialidad correspondiente, presentada a Congresos, Jornadas o

Reuniones Científicas, convocadas por entidades oficiales nacionales o

extranjeras” (primer firmante 0,10, resto de firmantes 0,05)


162 | P á g i n a

En el caso de los diplomados en enfermería/ayudante técnico sanitario pueden obtenerse de

un máximo de 95 puntos en méritos académicos:

a) 30 puntos por la “realización de cursos que guarden relación con las funciones de

la opción correspondiente y que reúnan alguno de los siguientes requisitos:

- Que hayan sido impartidos por la Administración Pública u organismos

dependientes de la misma.

- Que los hayan sido por entidades distintas a las anteriores, siempre que haya

existido participación de la Administración Pública o de los organismos

dependientes de la misma a través de cualquier tipo de colaboración.

- Que hayan sido impartidos por Sociedades Científicas.

- Que hayan sido declarados de interés científico o sanitario por cualquier

Administración Pública.

- Los cursos serán valorados a razón de 0,043 puntos por hora.

b) Por presentación de ponencias (hasta un máximo de 6 puntos):

b1) como primer firmante 0,15 puntos

b2) a partir del segundo firmante 0,075 puntos

En el caso de técnicos especialistas, como por ejemplo, técnicos especialistas en Anatomía

Patológica de un máximo de 50 puntos en méritos académicos, pueden obtenerse:

a) 30 puntos por la “realización de cursos que guarden relación con las funciones de

la opción correspondiente y que reúnan alguno de los siguientes requisitos:

- Que hayan sido impartidos por la Administración Pública u organismos

dependientes de la misma.


163 | P á g i n a

- Que los hayan sido por entidades distintas a las anteriores, siempre que haya

existido participación de la Administración Pública o de los organismos

dependientes de la misma a través de cualquier tipo de colaboración.

- Que hayan sido impartidos por Sociedades Científicas.

- Que hayan sido declarados de interés científico o sanitario por cualquier

Administración Pública.

- Los cursos serán valorados a razón de 0,060 puntos por hora.

b) Por presentación de ponencias, pueden obtenerse hasta un máximo de 6 puntos :

b1) como primer firmante 0,15 puntos

b2) a partir del segundo firmante 0,075 puntos

Como broche final de esta sección, se muestra, a continuación, en las tablas nº 35 y nº 36

el gasto total en formación continuada en la Región de Murcia, en porcentaje del gasto

total en sanidad y del PIB de la Región de Murcia (a precios de mercado).

Tabla 35. Relación entre gasto formación y gasto en sanidad en la Región de Murcia 2009-2014 GASTO TOTAL

FORMACIÓN (€)

GASTO TOTAL SANIDAD

(€)

GASTO TOTAL FORMACIÓN /GASTO TOTAL SANIDAD

(%)

2009 528.820 2.263.235.799 0,023

2010 567.590 2.242.781.664 0,025

2011 525.663 2.268.330.696 0,023

2012 276.552 2.112.167.575 0,013

2013 285.616 2.087.436.034 0,014

2014 266.113 - -

TOTAL 2.450.354 10.973.951.768 0,022 Fuente: Elaboración propia a partir de Estadísticas del Gasto Sanitario Público (Ministerio de Sanidad, Política Social e Igualdad)


164 | P á g i n a

Tabla 36. Relación del gasto formación y el gasto en sanidad respecto al Producto Interior Bruto en la Región de Murcia 2009-2014 PIB

(€)

GASTO TOTAL FORMACIÓN /PIB

(%)

GASTO SANIDAD / PIB

(%)

2009 27.797.007.000 0,002 8,142

2010 27.984.477.000 0,002 8,014

2011 27.417.994.000 0,002 8,273

2012 26.994.938.000 0,001 7,824

2013 26.875.168.000 0,001 7,767

2014 27.122.416.000 0,001

TOTAL 193.329.167.000 0,001 5,676 Fuente: Elaboración propia a partir de Estadísticas del Gasto Sanitario Público (Ministerio de Sanidad, Política Social e Igualdad)

En relación al gasto de formación, si se compara con el gasto total en sanidad, se puede

apreciar un descenso del 0,23% en 2009 al 0,14% en 2013, siendo 2012 el año en el que

mayor bajada ha existido. Estos datos indican que con el paso de los años desde 2008 se ha

reducido la inversión en formación.

Cabría reflexionar sobre este particular aspecto y preguntarnos cuál es el motivo. El gasto

total en Sanidad en relación al PIB, ha descendido (Tabla 36), aunque no lo ha hecho de

una forma tan significativa. Al margen de cuáles sean las causas, es evidente que con

menor presupuesto, el número de destinatarios potenciales no ha descendido, por lo que se

presenta una excelente oportunidad para rentabilizar recursos económicos e implementar

estrategias formativas eficientes. Por lo tanto, este dato, en principio, negativo, tendríamos

que traducirlo en términos de oportunidad de mejora.

Discusión y Conclusiones

165 | P á g i n a

4. CAPÍTULO IV. PARTE EMPÍRICA

4.1 Planteamiento general y objetivos.

Actualmente, la evaluación de la formación continuada sanitaria se lleva a cabo a través de

encuestas de satisfacción y pruebas evaluación de desempeño profesional.

Son muchos los modelos y revisiones que se han realizado en torno al tema de evaluación

del impacto de la inversión en la formación, aunque pocas las organizaciones que la llevan

a cabo. De hecho, en el informe publicado en 2001 por Liliana Rodríguez y Andrés

Mosteiro se afirma que tan sólo el 3% de las organizaciones mundiales evalúan el impacto

de la formación llevada a cabo.

Puesto que la evaluación es el pilar de la formación, es necesario plantearnos la utilización

de indicadores que nos ayuden a tener una visión de la repercusión de la misma.

Es en este contexto, en el que se plantea la propuesta de indicador de eficiencia.

El objetivo general de esta tesis es proponer un indicador de eficiencia fiable de la

formación continuada de las profesiones sanitarias. Para el alcance de este objetivo general

se llevarán a cabo los siguientes objetivos específicos:

Objetivos específicos:

Realizar una revisión de los indicadores fundamentales en el ámbito de la

formación, y en especial de la formación continuada sanitaria.

Elaborar un indicador que integre elementos de índole cuantitativa así como

cualitativos, que más repercuten en el ámbito de la formación continuada sanitaria:

cobertura, coste, aforo, beneficio y calidad, entre otras.


166 | P á g i n a

Aplicar varios tests econométricos para validar el indicador de eficiencia propuesto.

4.2 Método

4.2.1 Participantes

En el proyecto han participado todos los dispositivos que conforman el mapa sanitario de

la Región de Murcia, que se traducen en 9 áreas de salud, Subdirección General de Salud

Mental y Gerencia de Emergencias Urgencias 061. Por motivos de confidencialidad, el

nombre de las áreas no aparece.

Dichas áreas pueden clasificarse en función del número de empleados, pudiendo establecer

3 grupos diferenciados:

1) Grupo 1: áreas “grandes”, las cuales con mayor volumen de empleados:

A,B,F

2) Grupo 2: áreas “medianas”: C y G

3) Grupo 3: áreas “pequeñas”: D,E,H,I,J,K

De estas áreas de salud se han utilizado datos referidos a la ejecución de acciones

formativas desde 2009 hasta 2014 con financiación INAP (Instituto Nacional de

Administración Pública).

También ha participado la Dirección General de Planificación, Ordenación Sanitaria,

Farmacéutica e Investigación, que es desde donde se han extraído los datos, tanto los

referidos a datos de ejecución de formación de las diferentes áreas de salud, como los

referidos a la parte cualitativa, utilizando la base de datos del Sistema Acreditador de la

Región de Murcia que también se encuentra en la Dirección General.


167 | P á g i n a

Los datos utilizados para el cálculo de empleados proceden de la Dirección General de

Recursos Humanos.

4.2.2 Medidas

La información analizada procede de:

-Anexo VII: es un anexo utilizado en la Dirección General para resumir ejecución de

formación continuada INAP, y posteriormente enviar a la Escuela de Administración

Pública, con la finalidad de justificar la financiación concedida.

En este anexo, la información que se pide a las diferentes áreas es la referida al número de

profesionales que se forman y gasto ejecutado. En este documento quedan reflejados todos

los cambios en cuanto a número de participantes y presupuesto.

- Base de datos del Sistema de Información de Acreditación de las Profesiones Sanitarias

de la Región de Murcia. Es en este sistema de información, donde aparece el total de

créditos concedidos de las actividades susceptibles de acreditación, para lo cual se realiza

el cálculo del componente cuantitativo y del cualitativo. El componente cuantitativo viene

determinado por el número de horas de la actividad y la aplicación de un factor de

corrección, mientras que el componente cualitativo se obtiene en base a la puntuación

otorgada por los evaluadores y un factor de corrección. Los ítems evaluados son: objetivos,

organización y logística, pertinencia, metodología y evaluación. Es esta la parte cualitativa

la que se ha utilizado para el estudio.


168 | P á g i n a

4.2.3 Procedimiento

Los datos se han obtenido con la autorización del Coordinador de Desarrollo Profesional

de la Dirección General de Recursos Humanos del Servicio Murciano de Salud.

Los datos referidos al anexo VII se han recogido a principios de año (primeros 15 días de

enero) desde 2010 (datos referidos a 2009) hasta 2015 (datos referidos a 2014), ya que

cuando finaliza el año se suele dar un plazo de 15 días en enero del año siguiente para

enviar los mismos, algo lógico teniendo en cuenta que el año no acaba hasta 31 de

diciembre, y antes es imposible obtener datos reales de ejecución.

Una vez obtenidos los datos en las diferentes áreas aplicando el indicador de eficiencia,

mediante la utilización del programa Stata se han aplicado diferentes modelos (efectos fijos

vs efectos aleatorios) para validar dicho indicador.

4.2.4 Diseño y Análisis de datos

El diseño llevado a cabo se basa, sobre todo, en estudios descriptivos, donde se han

calculado diferentes tasas (cobertura, aforo, coste, beneficio, índice cualitativo).

En primer lugar se calcularon los datos sin estandarizar, para posteriormente

estandarizarlos, con la finalidad de poder establecer comparaciones entre áreas. Se tuvo en

cuenta un doble subíndice, que contemplaba el área y la variable temporal.

Una vez obtenida la tasa estandarizada de cobertura, aforo, coste y beneficio, se calculó el

índice de eficiencia, el cual al combinarlo con el índice cualitativo dio como resultado el

índice de eficiencia ponderado.


169 | P á g i n a

La utilización del programa Stata posibilitó determinar las variables que más influían en el

indicador de eficiencia, y sobre todo la validez del mimo en términos de insesgadez y

consistencia.

4.3 Resultados.

4.3.1 Primera parte: indicador de eficiencia.

El objetivo es la elaboración de un indicador de eficiencia válido, construido a partir de

una serie de variables cuantitativas y cualitativas. Dentro de las variables cuantitativas se

han de destacar:

- Número de acciones formativas

- Número de participantes

- Número de empleados en cada una de las áreas de salud

- Coste, entendido como coste de la hora de formación en euros.

La combinación de estas variables nos permitirá definir cuatro determinantes de la

eficiencia: tasa de cobertura, coste, aforo y beneficio en capital humano. Los nombres de

las áreas han sido codificados por motivos de confidencialidad.

En relación a la variable cualitativa se ha considerado el Indicador Cualitativo de las

acciones formativas durante cada año en cada una de las áreas. Este indicador se obtiene

tras realizar la media de la puntuación de los evaluadores en los apartados: objetivos,

organización y logística, pertinencia, metodología y evaluación, en todas y cada una de las

acciones formativas susceptibles de ser acreditadas. La puntuación oscila de 0.0 a 0.4.

Dicha puntuación se multiplica por un factor de corrección. En el caso de objetivos y

organización y logística el factor de corrección es 1. En el caso de metodología y

evaluación es 1,5 y en el caso de pertinencia es 2.


170 | P á g i n a

El periodo considerado en nuestro estudio, abarca desde 2009 a 2014. Los datos del

componente cualitativo se han extraído de la base de datos con la que cuenta el sistema

acreditador de la Región de Murcia, en la que quedan registradas las acciones formativas

que han sido acreditadas.

En nuestro caso, y siguiendo el modelo de Kirpatrick y Phillips, entendiendo el ROI no

como la traducción en beneficios económicos sino como incremento en la calidad de la

formación y en capital humano, el indicador de eficiencia considera las siguientes

variables:

- Tasa de cobertura, que se traduce en la proporción de empleados que asisten a las

acciones formativas.

- Coste, que se traduce en lo que cuesta la hora en cada una de las acciones

formativas.

- Aforo de los cursos, que implica el cálculo de la asistencia promedio a las acciones

formativas.

- Beneficio del capital humano, en el que “hay que tener en cuenta todas las

capacidades humanas ya sean innatas o adquiridas. Cada persona nace con un

conjunto específico de genes, lo que determina su capacidad innata. Los atributos

adquiridos, los cuales tienen valor y pueden aumentarse a través de una inversión

adecuada, serán considerados capital humano”, siguiendo la filosofía de Theodore

Schultz (1981), Premio Nobel de Economía.


171 | P á g i n a

4.3.1.1 Tasa de cobertura

La tasa de cobertura del área i en el año t se calcula como el cociente entre el número de

participantes en cursos de formación del área i en el año t respecto al total de empleados en

dicha área y año.

(11)

A continuación, en la tabla nº 37 se muestra el cálculo de la tasa de cobertura para 2009, es

decir el alcance de la formación en participantes, en relación al número de empleados.

Tabla 37. Cálculo de la tasa de cobertura para 2009. 2009

Participantes Empleados Tasa Cobertura

A 1.941 5.423 35,80

B 1.644 3.933 41,79

C 1.052 1.664 63,22

D 226 773 29,24

E 307 669 45,89

F 1.841 2.538 72,52

G 991 2.133 46,47

H 644 1.213 53,12

I 525 629 83,42

J 139 505 27,52

K 401 313 128,12 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.


172 | P á g i n a



Tabla 38. Cálculo de la tasa de cobertura para 2010 2010


A 2728 5.423 50,30

B 1566 3.933 39,82

C 1086 1.664 65,26

D 314 773 40,62

E 472 669 70,55

F 1885 2.538 74,27

G 1423 2.133 66,71

H 277 1.213 22,84

I 275 629 43,72

J 484 505 95,84



173 | P á g i n a





A 2.654 5.423 48,94

B 1.557 3.933 39,59

C 776 1.664 46,63

D 206 773 26,65

E 400 669 59,79

F 1.296 2.538 51,06

G 1.500 2.133 70,32

H 321 1.213 26,46

I 390 629 62,00

J 337 505 66,73





174 | P á g i n a



A 2.631 5.423 48,52

B 1.159 3.933 29,47

C 942 1.664 56,61

D 106 773 13,71

E 325 669 48,58

F 1.145 2.538 45,11

G 868 2.133 40,69

H 210 1.213 17,31

I 188 629 29,89

J 301 505 59,60






A 2.441 5.039 48,44

B 1.533 3.540 43,31

C 1.205 1.521 79,22

D 206 727 28,34

E 244 638 38,24

F 1.198 2.407 49,77

G 1.044 1.975 52,86

H 264 1.090 24,22

I 254 581 43,72

J 213 949 22,44



175 | P á g i n a





A 2.173 4.990 43,55

B 976 3.732 26,15

C 1.181 1.428 82,70

D 323 726 44,49

E 202 668 30,24

F 1.160 2.401 48,31

G 824 1.941 42,45

H 331 825 40,12

I 290 590 49,15

J 446 516 86,43



176 | P á g i n a

A continuación, en la tabla nº 43 se muestra el cálculo de la tasa de cobertura total sin

estandarizar desde 2009 hasta 2014.

Tabla 43. Cálculo de la tasa de cobertura sin estandarizar 2009-2014. Tasa Cobertura

2009 2010 2011 2012 2013 2014

A 35,80 50,30 48,94 48,52 48,44 100,15

B 41,79 39,82 39,59 29,47 43,31 68,05

C 63,22 65,26 46,63 56,61 79,22 71,46

D 29,24 40,62 26,65 13,71 28,34 48,39

E 45,89 70,55 59,79 48,58 38,24 127,02

F 72,52 74,27 51,06 45,11 49,77 90,64

G 46,47 66,71 70,32 40,69 52,86 76,98

H 53,12 22,84 26,46 17,31 24,22 71,48

I 83,42 43,72 62,00 29,89 43,72 68,37

J 27,52 95,84 66,73 59,60 22,44 265,56

K 128,12 84,66 80,83 42,81 97,09 44,09

Media 57,01 59,51 52,64 39,30 47,97 93,84

Desviación estándar

29,33 21,91 17,40 15,01 22,70 61,46

NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.

En la figura nº 27 que aparece a continuación, aparece representada la tasa de cobertura

desde 2009 hasta 2014 sin estandarizar por cada una de las áreas de salud, que aparecen

identificadas con una letra.


177 | P á g i n a

0

50

100

150

200

250

300

A B C D E F G H I J K

TASA DE COBERTURA 2009-14

Tasa Cobertura 2009 Tasa Cobertura 2010 Tasa Cobertura 2011

Tasa Cobertura 2012 Tasa Cobertura 2013 Tasa Cobertura 2014

Figura 27. Tasa de cobertura 2009-14.


Como puede observarse en la gráfica existe una tendencia de incremento de la cobertura

desde 2009 a 2010 excepto en cuatro áreas, dos de las cuales son áreas con un número

reducido de empleados (área H y área I). En los años 2010 y 2011, se produce un descenso

en la cobertura en todas las áreas, excepto en tres, dos de ellas con un menor número de

empleados (área H y área I) y otra con un mayor número de empleados (área G).

Entre 2011 y 2012, la tendencia general es un claro descenso en la cobertura, a excepción

del área C, que curiosamente es la única que desciende en cobertura en 2014.


178 | P á g i n a

En conclusión, se puede afirmar que los dos años clave sobre los que poner el foco de

atención son 2012 y 2014. En el año 2012 se puede apreciar un descenso de la cobertura,

coincidiendo con un año de recortes presupuestarios y mayor exigencia en cuanto a las

condiciones de asistencia a la formación por parte de los profesionales.

En el año 2014, destaca un incremento en la cobertura como consecuencia de una

reestructuración y redistribución de efectivos y el fomento de la denominada “formación a

coste 0” que en sentido estricto, sabemos que no es formación a coste 0 ya que siempre

conlleva costes indirectos, mínimos, pero no por ello inexistentes.

Llama la atención que en algunas áreas pequeñas (E y J) la tasa de cobertura sea superior al

100%. Ello podría explicarse por la elevada asistencia a formación continuada de los

profesionales de dichas áreas, de tal manera que el mismo participante pueda estar presente

en varias de las acciones formativas que tienen lugar durante el año formativo, y que se

corresponde con un único empleado.

Los anteriores resultados de tasa de cobertura son resultados sin estandarizar. Sin embargo,

dado que en el indicador de eficiencia vamos a introducir diferentes variables (cobertura,

coste, aforo y beneficio) que están medidas en unidades diferentes y tienen rangos de

variación sustancialmente distintos, es conveniente llevar a cabo una estandarización de las

mismas. Ésta es una técnica muy útil a la hora de comparar datos de diferentes

distribuciones y consiste en aplicar una sencilla transformación a la variable objeto de

estudio, con la que se consigue que los datos de la distribución normalizada tengan un

valor de la media aritmética de 0 y una desviación típica de 1.

La estandarización la utilizaremos en todas y cada una de las variables: cobertura, aforo,

coste, beneficio, y también en el propio indicador de eficiencia, para poder combinarlo con

el indicador cualitativo.


179 | P á g i n a

4.3.1.2 Cálculo de la tasa de cobertura estandarizada

Como paso previo a la estandarización de la variable, se contrasta que la distribución de la

misma sigue una distribución normal. Para ello se utiliza el test de Shapiro-Wilk (1965),

dado que es adecuado para muestras pequeñas como la nuestra. El estadístico toma un

valor de 0.9836 y el p-valor es 0.5398 por lo que se acepta la hipótesis de normalidad al

95% de confianza.

La tasa de cobertura estandarizada se calcula como la diferencia entre la tasa de cobertura

del área i en el año t y la media de la tasa de cobertura para el año t, dividido por la

desviación estándar de la tasa de cobertura en el año t.

(12)

=

=

A continuación, en la tabla nº 44 se detalla la tasa de cobertura estandarizada de cada área

de salud desde 2009 hasta 2014, identificada con una letra.


180 | P á g i n a

Tabla 44. Cálculo de la tasa de cobertura estandarizada 2009-2014 Tasa Cobertura Estandarizada

2009 2010 2011 2012 2013 2014

A -0,72 -0,42 -0,21 0,61 0,02 0,10

B -0,52 -0,90 -0,75 -0,65 -0,21 -0,42

C 0,21 0,26 -0,34 1,15 1,38 -0,36

D -0,95 -0,86 -1,49 -1,70 -0,86 -0,74

E -0,38 0,50 0,41 0,62 -0,43 0,54

F 0,53 0,67 -0,09 0,39 0,08 -0,05

G -0,36 0,33 1,02 0,09 0,22 -0,27

H -0,13 -1,67 -1,50 -1,46 -1,05 -0,36

I 0,90 -0,72 0,54 -0,63 -0,19 -0,41

J -1,01 1,66 0,81 1,35 -1,12 2,79

K 2,42 1,15 1,62 0,23 2,16 -0,81 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.

4.3.1.3 Coste

El coste se refiere a la inversión económica que supone una hora de formación. En este

concepto no sólo está incluido el coste por hora según la Orden de la Consejería de

Hacienda, de 30 de julio de 2004, por la que se actualizan las cuantías de las

indemnizaciones y retribuciones por realización de actividades de formación, respecto al

Real Decreto 24/1997 de 25 de abril, sino que también incluye otros conceptos tales como:

medios y materiales, coordinación, colaboración y otros conceptos asociados a

alojamientos, manutención y desplazamiento. De todos estos conceptos el que más influye

es el gasto por coordinación. Sobre dicho gasto se aconsejó disminuir el importe y hasta

incluso eliminarlo, indicación que fue llevaba a cabo en las reuniones mantenidas en la

etapa de planificación de la formación a partir de 2011, sobre todo teniendo en cuenta la

disminución en la asignación presupuestaria.


181 | P á g i n a

En sentido estricto, además de todos estos costes habría que sumar los denominados

“costes indirectos”, es decir los costes difíciles de cuantificar, tales como el gasto de luz,

así como los derivados de la utilización de las instalaciones físicas.

A continuación, en la figura nº 28 se detalla el coste por área de salud desde 2009 hasta

2014.

0

20

40

60

80

100

120


COSTE POR HORA (2009-2014)

Coste por Hora (Euros/Hora) 2009 Coste por Hora (Euros/Hora) 2010 Coste por Hora (Euros/Hora) 2011

Coste por Hora (Euros/Hora) 2012 Coste por Hora (Euros/Hora) 2013 Coste por Hora (Euros/Hora) 2014

Figura 28. Coste por Hora 2009-14.


En relación al coste pueden destacarse dos puntos de inflexión: 2011 y 2013. En el año

2011 el coste es elevado, debido fundamentalmente a una mayor asignación

presupuestaria, y por lo tanto, una mayor inversión, en conceptos tales como el de

coordinación. Por otro lado, en 2013 parece estabilizarse la tendencia “a la baja”, atribuible

a una racionalización de recursos económicos, por ejemplo, reduciendo o eliminando el


182 | P á g i n a

importe asignado a los conceptos de coordinación y colaboración o al de medios

materiales. Todo ello, redunda en un importe de coste por hora inferior al presente en 2011.

Por último, 2013 y 2014 son los años con menos desviación entre áreas de salud.

Hay que tener en cuenta que existen diferencias significativas en cuanto a la asignación

presupuestaria entre las diferentes áreas, ya que ésta se asigna en función del número de

profesionales, a lo que habría que sumar las diferentes variables metodológicas que las

áreas adoptan a la hora de planificar la formación. Por ejemplo: pocos cursos abiertos a un

alto número de participantes con muchas horas de duración versus repetición de ediciones

dirigidas a grupos más discretos de profesionales. Todos estos elementos influyen

igualmente en la dispersión que podemos encontrarnos en el coste/hora.

4.3.1.4 Cálculo del coste estandarizado:

El test de Shapiro-Wilk arroja un estadístico de 0,9772 y un p-valor de 0,2654 por lo que

se acepta la hipótesis de normalidad al 95% de confianza.

El coste estandarizado se calcula como la diferencia entre el coste de una hora de

formación del área i en el año t y la media del coste para el año t, dividido por la

desviación estándar del coste de formación en el año t.

(13)

=

=


183 | P á g i n a

A continuación, en tabla nº 45 se detalla el cálculo del coste por hora estandarizado de cada

una de las áreas de salud, identificadas con una letra, en el periodo 2009-2014.

Tabla 45. Cálculo del coste por hora estandarizado 2009-2014. Coste por Hora Estandarizado

2009 2010 2011 2012 2013 2014

A 1,68 1,22 1,46 1,32 1,81 0,77

B -0,24 -0,35 -0,08 0,40 -0,59 -0,41

C 0,58 -0,07 0,75 1,53 0,35 0,34

D 0,50 0,13 -0,28 0,39 -0,09 1,47

E 0,51 0,41 0,53 -0,08 1,43 0,40

F 0,13 0,05 0,17 -0,65 0,31 0,79

G -0,13 -1,09 -1,80 -0,71 -1,12 -0,79

H -0,59 -2,05 -0,86 -1,78 -0,85 -1,24

I -2,28 -0,50 -1,08 -0,97 -1,17 -1,71

J 0,49 1,06 1,32 -0,18 0,57 0,90

K -0,66 1,20 -0,14 0,74 -0,65 -0,51 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.

Otro factor a tener en cuenta es la comparación de la tasa de crecimiento del coste por hora

de formación respecto al Índice de Precios al Consumo (IPC) de las rúbricas “servicios

médicos” y “educación universitaria” para la Región de Murcia.

La tasa de variación del coste por hora se calcula de la siguiente manera:

(14)


184 | P á g i n a

A continuación, en la tabla nº 46 se detalla el cálculo de la tasa de variación del coste en

euros por hora de los cursos de formación.

Tabla 46. Cálculo de la tasa de variación del coste (€/hora) de los cursos de formación 2009-10 2010-11 2011-12 2012-13 2013-14

A -4.19 12.20 -16.55 -5.25 -13.36

B 0.11 7.63 -6.56 -24.43 4.60

C -6.74 18.45 -5.29 -24.21 -0.17

D -3.36 -2.38 -3.43 -17.76 22.57

E -0.14 7.88 -21.04 9.09 -13.22

F 0.28 6.58 -23.62 2.42 6.30

G -11.44 -15.55 11.91 -18.75 8.90

H -19.06 21.19 -25.04 3.74 -3.63

I 36.40 -8.94 -8.79 -15.94 -5.74

J 8.24 12.02 -30.69 -1.28 3.75

K 28.43 -11.89 -1.18 -28.56 4.11

Media 1.41 4.18 -12.96 -11.82 0.62 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente de los datos del IPC según INE. En la tabla nº 47 se detalla la media anual y la variación de servicios médicos generales,

desde 2008 hasta 2014, en base a los datos del IPC para la Región de Murcia.

Tabla 47. Media anual y variación de servicios médicos generales 2008-2014

Año Media Anual Variación de medias anuales

Servicios médicos y generales Servicios médicos y generales

2008 93,265 -

2009 95,848 2,8

2010 97,952 2,2

2011 100,000 2,1

2012 99,748 -0,3

2013 100,862 1,1

2014 102,017 1,1 Fuente: INE. Datos del IPC para la Región de Murcia


185 | P á g i n a

A continuación, en la tabla nº 48, se detalla la media anual y la variación de la educación

universitaria y otras enseñanzas desde 2008 hasta 2014, según los datos del IPC para la

Región de Murcia, lo que nos permite establecer una comparación entre la media anual de

educación universitaria y otros gastos de enseñanza, con la media de servicios médicos y

generales que aparecía en la tabla nº 47.

Tabla 48. Media anual y variación de educación universitaria y otras enseñanzas 2008-2014

Año Media Anual Variación de medias anuales

Educación universitaria

Otros gastos de enseñanza

Educación universitaria

Otros gastos de enseñanza

2008 89,252 93,780 - -

2009 94,154 97,066 5,5 3,5

2010 97,028 97,755 3,1 0,7

2011 100,000 100,000 3,1 2,3

2012 107,020 99,784 7,0 -0,2

2013 119,545 99,933 11,7 0,1

2014 121,635 100,582 1,7 0,6 Fuente: INE. Datos del IPC para la Región de Murcia

Se puede comprobar que el coste por hora de formación ha experimentado tasas de

variación más negativas (-12,96%, -11,82%) entre los años 2011 y 2013, en comparación

con el índice de “servicios médicos y similares” y “educación universitaria”.

Si comparamos la variación del coste por hora de formación continuada con la tasa de

crecimiento del índice de precios de educación universitaria y de otros gastos de

enseñanza, constatamos que han experimentado trayectorias totalmente opuestas:

disminución del coste de formación frente a incremento de media anual de enseñanza

universitaria y otros gastos de enseñanza.


186 | P á g i n a

4.3.1.5 Aforo

El aforo se define como los participantes de cada una de las áreas para cada uno de los

años divido entre las ediciones por año

(15)

A continuación, en la tabla nº 49, se detalla el número de participantes y el número de

ediciones, de todas y cada una de las áreas de salud, identificadas con una letra, durante el

año 2009.

Tabla 49. Participantes y ediciones 2009

2009

Participantes Ediciones

A 1.941 102

B 1.644 76

C 1.052 74

D 226 15

E 307 18

F 1.841 172

G 991 77

H 644 22

I 525 38

J 139 7

K 401 16 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.


187 | P á g i n a



año 2010.

Tabla 50. Participantes y ediciones 2010 2010


A 2728 158

B 1566 79

C 1086 80

D 314 18

E 472 21

F 1885 128

G 1423 97

H 277 12

I 275 26

J 484 19




año 2011.


188 | P á g i n a



A 2.654 147

B 1.557 70

C 776 50

D 206 12

E 400 27

F 1.296 122

G 1.500 88

H 321 19

I 390 38

J 337 19

K 253 15 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano. A continuación, en la tabla nº 52, se detalla el número de participantes y el número de


año 2012.



A 2.631 134

B 1.159 42

C 942 61

D 106 6

E 325 17

F 1.145 67

G 868 47

H 210 10

I 188 13

J 301 14



189 | P á g i n a



año 2013.

Tabla 53. Participantes y ediciones 2013




año 2014.

2013


A 2.441 139

B 1.533 64

C 1.205 69

D 206 12

E 244 17

F 1.198 93

G 1.044 59

H 264 11

I 254 30

J 213 8

K 501 21


190 | P á g i n a

Tabla 54. Participantes y ediciones 2014. 2014


A 2.173 121

B 976 47

C 1.181 81

D 323 32

E 202 14

F 1.160 81

G 824 13

H 331 13

I 290 30

J 446 17




periodo 2009-2014.


191 | P á g i n a

Tabla 55. Cálculo del aforo 2009-2014

Aforo

2009 2010 2011 2012 2013 2014

A 19,09 17,27 18,05 19,63 17,56 17,96

B 21,61 19,82 22,24 27,60 23,95 20,77

C 14,22 13,58 15,52 15,44 17,46 14,58

D 15,07 17,44 17,17 17,67 17,17 10,09

E 17,06 22,48 14,81 19,12 14,35 14,43

F 10,67 14,73 10,62 17,09 12,88 14,32

G 12,94 14,67 17,05 18,47 17,69 63,38

H 29,38 23,08 16,89 21,00 24,00 25,46

I 13,72 10,58 10,26 14,46 8,47 9,67

J 19,86 25,47 17,74 21,50 26,63 26,24

K 25,06 20,38 16,87 22,33 23,86 22,83

Media 18,06 18,14 16,11 19,48 18,55 21,79

Desviación estándar 5,64 4,56 3,37 3,63 5,55 14,92 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.

En la figura nº 29 que aparece a continuación, se muestra de forma gráfica el aforo, sin

estandarizar, de todas las áreas de salud desde 2009 hasta 2014.


192 | P á g i n a

AFORO 2009-2014

0

10

20

30

40

50

60

70


Aforo 2009 Aforo 2010 Aforo 2011

Aforo 2012 Aforo 2013 Aforo 2014

Figura 29. Aforo 2009-14.


El dato más significativo lo encontramos en el área G en la que apreciamos cómo el aforo

se dispara en 2014. El hecho de que pocas ediciones cuenten con un elevado número de

participantes podría relacionarse con un cambio en la estrategia metodológica, con la que

la oferta formativa se ve reducida drásticamente.

A tenor de los resultados, podría deducirse que la estrategia formativa utilizada influye en

los resultados de aforo. En este sentido, se ha de destacar que en las áreas pequeñas no es

la misma que la empleada en las áreas de mayor dimensión. En las áreas pequeñas se

planifican pocas acciones formativas para todos sus empleados sin que apenas existan


193 | P á g i n a

repeticiones de ediciones, mientras que en las áreas con un mayor número de empleados se

planifican más acciones formativas y con más ediciones. Lógicamente, el presupuesto

asignado es determinante, pero no es el único factor, ya que como se ha comentado, con el

mismo presupuesto se pueden organizar pocos cursos con metodología magistral

participativa, o bien varias ediciones con una metodología más práctica y con un menor

número de empleados.

4.3.1.6 Cálculo del aforo estandarizado

El test de Shapiro-Wilk arroja un estadístico de 0,9795 y un p-valor de 0,4109 por lo que

se acepta la hipótesis de normalidad al 95% de confianza.

El aforo estandarizado se calcula como la diferencia entre el aforo promedio del área i en el

año t y la media del aforo para el año t, dividido por la desviación estándar del aforo en el

año t.

(16)

=

=

A continuación, en la tabla nº 56, se detalla el aforo estandarizado, de todas y cada una de

las áreas de salud, identificadas con una letra, durante el periodo 2009-14.


194 | P á g i n a

Tabla 56. Cálculo del aforo estandarizado 2009-2014 Aforo Estandarizado

2009 2010 2011 2012 2013 2014

A 0,18 -0,19 0,58 0,04 -0,18 -0,26

B 0,63 0,37 1,82 2,23 0,97 -0,07

C -0,68 -1,00 -0,18 -1,11 -0,20 -0,48

D -0,53 -0,15 0,31 -0,50 -0,25 -0,78

E -0,18 0,95 -0,38 -0,10 -0,76 -0,49

F -1,31 -0,75 -1,63 -0,66 -1,02 -0,50

G -0,91 -0,76 0,28 -0,28 -0,15 2,79

H 2,01 1,09 0,23 0,42 0,98 0,25

I -0,77 -1,66 -1,74 -1,38 -1,82 -0,81

J 0,32 1,61 0,48 0,56 1,45 0,30

K 1,24 0,49 0,22 0,78 0,96 0,07 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.

4.3.1.7 Beneficio

Ante todo, hay que destacar que el concepto de “beneficio”, en realidad es una

aproximación a las ganancias en capital humano, ya que no contamos con datos reales de la

transferencia al puesto de trabajo. También es interesante resaltar las ganancias de calidad

de formación, que tendremos en cuenta con el indicador cualitativo utilizado en la fórmula.

Dado que las horas en formación suponen un incremento del capital humano de los

empleados, nuestra variable representa el producto de la duración promedio de los

cursos por el aforo promedio. Aunque la variable “aforo” se tenga en cuenta como un

indicador separado, nuestro indicador de beneficio sirve tanto para cursos de duración

corta, pero que lleguen a un número amplio de personas, como para otros cursos de


195 | P á g i n a

duración establecida o programada (área K) ponderado por el número promedio de

participantes.

(17)

A continuación, en la tabla nº 57, se detalla el número de participantes, número de horas y

número de ediciones, de todas y cada una de las áreas de salud, identificadas con una letra,

durante el año 2009.

Tabla 57. Participantes, horas y ediciones 2009 2009

Participantes Horas Ediciones

A 1.941 1469 102

B 1.644 1094 76

C 1.052 639 74

D 226 295 15

E 307 247 18

F 1.841 842 172

G 991 887 77

H 644 355 22

I 525 333 38

J 139 236 7

K 401 285 16 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.


196 | P á g i n a






A 2.654 1.534 147

B 1.557 954 70

C 776 534 50

D 206 281 12

E 400 219 27

F 1.296 838 122

G 1.500 1.124 88

H 321 280 19

I 390 206 38

J 337 216 19






197 | P á g i n a



A 2.654 1.534 147

B 1.557 954 70

C 776 534 50

D 206 281 12

E 400 219 27

F 1.296 838 122

G 1.500 1.124 88

H 321 280 19

I 390 206 38

J 337 216 19







A 2.631 995 134

B 1.159 498 42

C 942 329 61

D 106 136 6

E 325 144 17

F 1.145 585 67

G 868 508 47

H 210 199 10

I 188 121 13

J 301 181 14



198 | P á g i n a






A 2.441 1.000 139

B 1.533 600 64

C 1.205 429 69

D 206 191 12

E 244 139 17

F 1.198 614 93

G 1.044 681 59

H 264 209 11

I 254 180 30

J 213 208 8



199 | P á g i n a




Tabla 62. Participantes, horas y ediciones 2014

2014


A 2.173 969 121

B 976 591 47

C 1.181 400 81

D 323 146 32

E 202 166 14

F 1.160 539 81

G 824 533 13

H 331 222 13

I 290 182 30

J 446 228 17

K 137 237 6 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria,

Farmacia y Atención al Ciudadano.

A continuación, en la tabla nº 63, se detalla el beneficio durante el periodo 2009-14, para

lo que se han utilizado los cálculos anteriores en cuanto al número de participantes,

número de horas y número de ediciones, de todas y cada una de las áreas de salud,

identificadas con una letra.

Este sería uno de los pilares importantes del indicador, el beneficio, en términos de capital

humano, que difiere de otros como el ROI que sólo se expresa en términos económicos.


200 | P á g i n a

Tabla 63. Cálculo del beneficio 2009-2014 Beneficio

2009 2010 2011 2012 2013 2014

A 28.050,11 30.111,59 27.695,48 19.536,16 17.552,37 17.397,47

B 23.646,95 22.915,14 21.219,69 13.746,57 14.371,88 12.272,68

C 9.084,16 10.534,20 8.287,68 5.080,62 7.491,96 5.832,10

D 4.444,67 5.425,22 4.823,83 2.402,67 3.278,83 1.473,69

E 4.212,72 6.158,48 3.244,44 2.752,94 1.995,06 2.395,14

F 8.988,25 13.725,16 8.902,03 9.997,39 7.909,38 7.719,01

G 11.468,76 16.166,45 19.159,09 9.381,79 12.050,24 33.784,00

H 10.418,72 4.293,50 4.730,53 4.179,00 5.016,00 5.652,46

I 4.570,59 2.247,60 2.114,21 1.749,85 1.524,00 1.759,33

J 4.686,29 7.412,84 3.831,16 3.891,50 5.538,00 5.981,65

K 7.142,81 4.973,85 4.081,73 2.456,67 5.654,14 5.411,50

Media 10.610,37 11.269,46 9.826,35 6.834,10 7.489,26 9.061,73

Desviación estandar

8.014,83 8.752,39 8.730,24 5.707,10 5.161,45 9.449,87

NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria,


Tal como se puede apreciar en la tabla nº 63 así como en la figura nº 30 no existe una

tendencia homogénea a lo largo del periodo 2009-2014. Los puntos de inflexión tienen

lugar en el año 2012 y 2014 en relación a los años que le preceden ( 2011 y 2013).

En el año 2012 el área B y G experimentan una drástica bajada, mientras que en el año

2014 el área G experimenta una subida significativa subida.

A continuación, en la figura nº 30, se detalla el beneficio, sin estandarizar, para lo que se

han utilizado los cálculos referidos al número de participantes, número de horas y número

de ediciones, de todas y cada una de las áreas de salud, identificadas con una letra, en el

periodo 2009-14.


201 | P á g i n a

Figura 30. Beneficio 2009-14. NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.

4.3.1.8 Cálculo del beneficio estandarizado:

El test de Shapiro-Wilk arroja un test estadístico de 1,9150 y un p-valor de 0,1790 por lo

que se acepta la hipótesis de normalidad al 95% de confianza.

El beneficio estandarizado se calcula como la diferencia entre el beneficio del curso del

área i en el año t y la media del beneficio del curso para el año t, dividido por la desviación

estándar del beneficio en el año t.

(18)

=


202 | P á g i n a

=

A continuación, en la tabla nº 64, se detalla el beneficio estandarizado, para lo que se han

utilizado los datos referidos al número de participantes, número de horas y número de

ediciones, es decir, el beneficio, de todas y cada una de las áreas de salud, identificadas

con una letra, durante el periodo 2009-14.

Tabla 64. Cálculo del beneficio estandarizado 2009-2014 Beneficio Estandarizado

2009 2010 2011 2012 2013 2014

A 2,18 2,15 2,05 2,23 1,95 0,88

B 1,63 1,33 1,31 1,21 1,33 0,34

C -0,19 -0,08 -0,18 -0,31 0,00 -0,34

D -0,77 -0,67 -0,57 -0,78 -0,82 -0,80

E -0,80 -0,58 -0,75 -0,72 -1,06 -0,71

F -0,20 0,28 -0,11 0,55 0,08 -0,14

G 0,11 0,56 1,07 0,45 0,88 2,62

H -0,02 -0,80 -0,58 -0,47 -0,48 -0,36

I -0,75 -1,03 -0,88 -0,89 -1,16 -0,77

J -0,74 -0,44 -0,69 -0,52 -0,38 -0,33

K -0,43 -0,72 -0,66 -0,77 -0,36 -0,39 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.

Como puede apreciarse existen diferencias significativas entre las diferentes áreas de

salud, pudiendo establecer 2 grandes grupos:

a) Grupo de áreas donde el beneficio estandarizado es positivo: A, B y G

b) Grupo formado por el resto de áreas, en el que el beneficio estandarizado es

negativo.


203 | P á g i n a

Resulta llamativo, cómo el primer grupo coincide con las grandes áreas, donde el número

de empleados es mayor, y en el segundo grupo (a excepción del área F) todas las áreas

tienen un número de empleados menor. En este sentido, es importante considerar que las

áreas con un mayor número de empleados tienen más posibilidades de obtener un beneficio

potencialmente mayor, aunque entran en juego otras variables, tales como la cobertura y la

estrategia metodológica que el área proponga y que posibilite la asistencia a los

profesionales.

Por otro lado, se observa una tendencia decreciente del beneficio (a excepción de las áreas

G y J). Este dato en un primer momento puede ser considerado negativo, pero tiene su

explicación. Si tenemos en cuenta que la formación en la que está centrada el estudio, es

una formación financiada por fondos INAP, y que la asignación presupuestaria ha ido

disminuyendo, especialmente a partir de 2011, es lógico que la planificación abarque a un

número menor de empleados.

Posiblemente, si tuviéramos en cuenta otro tipo de formación, como la financiada por los

laboratorios o empresas externas (la denominada formación con código “O”) y la

formación denominada “a coste 0”o con código “E”, estos resultados diferirían muchos de

los presentados, no sólo en cuanto a la cobertura o el beneficio, sino también en cuanto al

coste. La formación “O” incrementaría excesivamente el coste, ya que este tipo de

formación financiada por empresas externas suele caracterizarse por su elevado coste, y

por otro lado, la formación “a coste 0” lo abarataría “in extremis”

El hecho de haber considerado sólo la formación con financiación INAP, obedece a que es

la información más fiable de la que se dispone, ya que ésta no sólo es aprobada por una

Comisión específica denominada Comisión Paritaria, sino que desde la Consejería de


204 | P á g i n a

Sanidad y Política Social tienen que rendirse cuentas detallada de la ejecución de dicha

formación.

4.3.1.9 Cálculo del indicador de eficiencia:

Este indicador es el objetivo principal de la tesis. El indicador de eficiencia propuesto lo

denominaremos eficiencia ponderada y la calcularemos a partir de del indicador de

eficiencia que acabamos de obtener en combinación con un indicador de calidad

denominado “indicador cualitativo.

En primer lugar calcularemos el indicador de eficiencia. El indicador de eficiencia va a

estar compuesto de 4 elementos:

1. Tasa de cobertura estandarizada

2. Coste estandarizado de curso de formación

3. Beneficio en capital humano de los cursos de formación

4. Aforo estandarizado de los grupos que han recibido formación

(19)


205 | P á g i n a

Explicación de la fórmula:

lleva un signo más porque cuanto mayor sea la tasa de cobertura de los

cursos de formación impartidos en el área i durante el año t, mayor debe ser la

eficiencia.

o Si la se encuentra por encima de 0 quiere decir que la tasa de

cobertura está por encima de la media, luego al sumar

multiplicaremos por un número mayor que 1, y por consiguiente

aumentará la eficiencia.

o Si la se encuentra por debajo de 0 quiere decir que la tasa de

cobertura es inferior a la media, luego al sumar

multiplicaremos por un número menor que 1, y el indicador de eficiencia

disminuirá.

también lleva un signo positivo porque cuanto mayor sea el aforo de los

cursos de formación impartidos en el área i durante el año t mayor debe ser la

eficiencia.

o Si el se encuentra por encima de 0 quiere decir que el aforo está por

encima de la media, luego al sumar multiplicaremos por un

número mayor que 1, y por consiguiente aumentará la eficiencia.

o Si el se encuentra por debajo de 0 quiere decir que el aforo es

inferior a la media, luego al sumar multiplicaremos por un

número menor que 1, y el indicador de eficiencia disminuirá.


206 | P á g i n a

lleva un signo positivo porque queremos premiar a las áreas en

donde los cursos de formación hayan redundado en una mayor ganancia de capital

humano.

o Si el se encuentra por encima de 0 quiere decir que la ganancia

en capital humano está por encima de la media, luego al calcular

multiplicaremos por un número mayor que 1, y por

consiguiente aumentará la eficiencia.

o Si el se encuentra por debajo de 0 quiere decir que la ganancia en

capital humano es inferior a la media, luego al calcular

multiplicaremos por un número menor que 1, y el indicador de eficiencia

disminuirá

lleva un signo negativo porque queremos penalizar los cursos de

formación cuyo coste por hora sea muy elevado.

o Si el se encuentra por encima de 0 quiere decir que el coste en

euros está por encima de la media, luego al calcular

obtendremos un número menor que 1, y por consiguiente disminuirá la

eficiencia.

o Si el se encuentra por debajo de 0 quiere decir que el coste en

euros es inferior a la media, luego al calcular obtendremos

un número mayor que 1, y el indicador de eficiencia aumentará.


207 | P á g i n a

A continuación, en la tabla nº 65, se detalla el cálculo del indicador de eficiencia, de todas

y cada una de las áreas de salud, identificadas con una letra, durante el periodo 2009-2014.

Para el cálculo de este indicador se ha utilizado el indicador referido a la cobertura, aforo,

beneficio y coste.

Tabla 65. Cálculo de la eficiencia 2009-2014 Eficiencia

2009 2010 2011 2012 2013 2014

A -0,71 -0,32 -1,74 -1,71 -2,02 0,35

B 2,56 0,44 1,75 1,48 5,82 1,02

C 0,13 0,00 0,11 0,09 1,25 0,14

D 0,00 0,03 -0,35 -0,05 0,02 -0,01

E 0,05 0,73 0,10 0,45 0,00 0,14

F -0,33 0,52 -0,42 1,22 -0,02 0,09

G 0,07 1,04 14,92 1,95 4,11 17,76

H 4,05 -0,87 -0,48 -0,98 -0,09 1,14

I 0,35 0,01 -0,27 -0,03 0,22 0,07

J 0,00 -0,23 -0,27 2,09 -0,08 0,32

K 7,21 -0,18 1,25 0,13 6,57 0,19 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.

A continuación, en la figura nº 31, se detalla de forma gráfica el indicador de eficiencia,

durante el periodo 2009-2014, de todas y cada una de las áreas de salud, identificadas con

una letra.

Para el cálculo de dicho indicador han sido tenidos en cuenta los datos referidos a

cobertura, aforo, beneficio y coste.


208 | P á g i n a

-5

0

5

10

15

20


EFICIENCIA 2009-2014

Eficiencia 2009 Eficiencia 2010 Eficiencia 2011

Eficiencia 2012 Eficiencia 2013 Eficiencia 2014

Figura 31. Eficiencia 2009-2014


A tenor de los resultados de eficiencia puede observarse que 2014 es el año donde menos

áreas obtienen indicador de eficiencia con valor negativo.

Pueden identificarse áreas en las que existe un indicador positivo, tales como el área B, C,

E y G, así como áreas donde se alternan valores positivos y negativos. En este sentido

pueden identificarse 2 grupos:

a) Grupo de áreas con menos de 4 indicadores negativos: D, F, I, J y K, siendo

interesante la alternancia de signos en algunas áreas. Por ejemplo, el área F pasa

de un valor negativo en 2009 a uno positivo en 2010, a uno negativo en 2011 y a

uno positivo en 2012, por ejemplo.


209 | P á g i n a

b) Áreas con 4 o más indicadores negativos: H(4), A(5)

En relación al resto, se observa cómo existen picos de mayor y menor eficiencia. En áreas

“grandes” como el área A, B y F la tendencia es dispar. Mientras que en el área A la

eficiencia desde 2009 hasta 2013 es negativa, en el área B es positiva, aunque con subidas

y bajadas.

La mayor subida de eficiencia la experimenta el área G en 2011 y 2014 en relación al año

anterior 2010 y 2013.

4.3.1.10 Indicador Cualitativo

El siguiente paso a la hora de elaborar el indicador de eficiencia ponderado es tener en

cuenta la calidad de la formación, para lo que hemos considerado la media del denominado

Indicador o Componente Cualitativo para cada una de las áreas de salud y año.

Este componente cualitativo se calcula a partir de la valoración obtenida por parte de 3

evaluadores del sistema acreditador de la Región de Murcia para cada una de las acciones

formativas. Los aspectos sobre los que otorgan una puntuación que va desde 0.0 a 0.4 son:

- Objetivos

- Organización y logística

- Pertinencia

- Metodología docente

- Evaluación


210 | P á g i n a

Dichos evaluadores cuentan además con una formación específica para evaluar y las

directrices aprobadas por la Comisión Nacional de Formación Continuada.

El resultado final se obtiene multiplicando la media de las 3 puntuaciones por un factor de

corrección, que en el caso de los objetivos y organización y logística es igual a 1, en el

caso de pertinencia es 2, y en el caso de la metodología docente y evaluación es 1,5.

El ejemplo que se muestra a continuación, es una captura de pantalla de la base de datos

del sistema acreditador. En él aparecen los ítems que los evaluadores puntúan (objetivos,

organización y logística, pertinencia, metodología docente y evaluación) y las

puntuaciones otorgadas por cada uno de los evaluadores. De esta puntuación se extrae la

media que es ponderada en función del factor de corrección que proceda. En este sentido,

la mayor puntuación en base al factor de corrección recae sobre pertinencia, metodología

docente y evaluación.

A continuación, en la tabla nº 66 aparece un ejemplo de cómo sería calculado el

componente cualitativo de las acciones formativas susceptibles de acreditación.

Aparecen las puntuaciones de 3 evaluadores. Estas puntuaciones están comprendidas entre

el intervalo 0.0 y 0.4.

Los ítems a valorar son: objetivos, organización y logística, pertinencia, metodología y

evaluación. Una vez es calculada la media, posteriormente se aplica a cada una de estas

puntuaciones, un factor de corrección, que como puede apreciarse varía, siendo de 2 en el

caso de la pertinencia, 1,5 en el caso de metodología y evaluación y 1 en objetivos y

organización y logística.

Por último, el total del componente cualitativo se obtendría sumando las medias

corregidas, esto es, medias a las que se les ha aplicado el factor de corrección.


211 | P á g i n a

Se ha de destacar que la aplicación de este sistema de puntuación no es exclusivo de la

Región de Murcia, ya que todos los Sistemas Acreditadores de Formación Continuada de

las diferentes Comunidades Autónomas cuentan con los mismos criterios.

Tabla 66. Ejemplo componente cualitativo (CCL)

Fuente: Sistema de Información de Acreditación de formación continuada de las Profesiones Sanitarias de la Región de Murcia. Consejería de Sanidad y Política Social.

A continuación, en la tabla nº 67, se detalla el indicador cualitativo, en base a los cálculos

anteriormente comentados, de todas y cada una de las áreas de salud, identificadas con una

letra, durante el periodo 2009-2014.


212 | P á g i n a

Tabla 67. Indicador cualitativo 2009-2014 Indicador Componente Cualitativo

2009 2010 2011 2012 2013 2014

A 1,67 1,67 1,49 1,55 1,51 1,67

B 1,66 1,72 1,64 1,60 1,55 1,63

C 1,38 1,40 1,35 1,45 1,44 1,48

D 1,60 1,56 1,70 1,64 1,60 1,63

E 1,65 1,56 1,41 1,40 1,66 1,50

F 1,38 1,52 1,48 1,47 1,50 1,66

G 1,57 1,60 1,56 1,52 1,56 1,64

H 1,52 1,39 1,34 1,54 1,53 1,68

I 1,47 1,49 1,30 1,42 1,40 1,67

J 1,98 1,71 1,73 1,74 1,61 1,72

K 2,15 1,83 1,23 1,76 1,87 1,86

Media 1,64 1,59 1,48 1,55 1,57 1,65

Desviación estandar

0,24 0,14 0,17 0,12 0,13 0,10

NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano. A continuación, en la figura nº 32, se detalla de forma gráfica, el indicador cualitativo, en

base a los cálculos anteriormente comentados, de todas y cada una de las áreas de salud,

identificadas con una letra, durante el periodo 2009-2014.

Para el cálculo se han tenido en cuenta la media corregida de los diferentes evaluadores,

esto es, la puntuación obtenida en los apartados de objetivos, organización y logística,

pertinencia, metodología docente y evaluación, a la que se le ha aplicado el factor de

corrección correspondiente.


213 | P á g i n a

0

1

2

3


COMPONENTE CUALITATIVO 2009-2014

Indicador Cualitativo 2009 Indicador Cualitativo 2010



Figura 32. Componente cualitativo 2009-2014 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.

4.3.1.11 Cálculo del indicador cualitativo estandarizado

El test de Shapiro-Wilk arroja un estadístico de 1,970 y un p-valor de 0,1774 por lo que se

acepta la hipótesis de normalidad al 95% de confianza.

A continuación, procedemos a estandarizar el indicador cualitativo, al igual que ya se hizo

con los otros componentes que van a intervenir en el indicador de eficiencia

(20)

=


214 | P á g i n a

=

A continuación, en la tabla nº 68, se detalla el indicador cualitativo estandarizado, de todas

y cada una de las áreas de salud, identificadas con una letra, durante el periodo 2009-2014.

Tabla 68. Cálculo del Indicador Componente cualitativo estandarizado 2009-2014 2010 2011 2012 2013 2014

A 0,61 0,09 -0,03 -0,45 0,21

B 0,97 0,98 0,38 -0,13 -0,19

C -1,36 -0,75 -0,85 -1,01 -1,67

D -0,19 1,34 0,71 0,27 -0,19

E -0,19 -0,39 -1,27 0,75 -1,47

F -0,48 0,03 -0,69 -0,53 0,11

G 0,10 0,51 -0,28 -0,05 -0,09

H -1,43 -0,81 -0,11 -0,29 0,30

I -0,70 -1,05 -1,10 -1,33 0,21

J 0,90 1,52 1,53 0,35 0,70

K 1,78 -1,47 1,70 2,42 2,08 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.

Ahora sí estamos en condiciones de elaborar el indicador de eficiencia ponderado.

Calculamos el indicador de eficiencia ponderado ( ) como el producto del indicador

de eficiencia multiplicado por . De esta forma introducimos una

bonificación para las áreas cuyo indicador cualitativo se encuentre por encima de la media


215 | P á g i n a

(21)

A continuación, en la tabla nº 69, se detalla el indicador de eficiencia ponderado

( ), de todas y cada una de las áreas de salud, identificadas con una letra, durante el

periodo 2009-2014.

Para el cálculo de este indicador se ha tenido en cuenta el indicador de eficiencia (que

incluye datos referidos a cobertura estandarizada, aforo estandarizado, beneficio

estandarizado y coste estandarizado) y el indicador cualitativo estandarizado.

Tabla 69. Cálculo de la eficiencia ponderada 2009-2014 Eficiencia Ponderada

2009 2010 2011 2012 2013 2014

A -0,80 -0,52 -1,89 -1,66 -1,11 0,42

B 2,79 0,86 3,48 2,05 5,06 0,83

C -0,01 0,00 0,03 0,01 -0,01 -0,10

D 0,00 0,03 -0,83 -0,08 0,03 0,00

E 0,05 0,59 0,06 -0,12 0,01 -0,06

F 0,03 0,27 -0,43 0,38 -0,01 0,09

G 0,05 1,14 22,48 1,41 3,90 16,17

H 2,02 0,38 -0,09 -0,87 -0,06 1,48

I 0,10 0,00 0,01 0,00 -0,07 0,08

J 0,00 -0,43 -0,67 5,30 -0,11 0,55

K 22,76 -0,50 -0,58 0,36 22,50 0,58

Promedio 2,45 0,17 1,96 0,62 2,74 1,82 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria,


Como puede observarse existe una tendencia diferente en las áreas. Las áreas que cuentan

con una mayor eficiencia ponderada son el área G (años 2011 y 2014), área J (año 2012) y


216 | P á g i n a

área K (2009 y 2013). Puede concluirse que la variable empleados no es determinante, ya

que estos aumentos afectan tanto a áreas con un mayor número como el área G, así como a

otras más pequeñas, tales como el área J y K. Por el contrario, el beneficio de capital

humano en estas dos últimas áreas es negativo, pero al introducir el indicador cualitativo

los resultados cambian. Por lo tanto, cuando la calidad es alta, la eficiencia mejora.


217 | P á g i n a

4.3.2 Segunda parte: análisis econométrico.

4.3.2.1 Modelo econométrico

Para realizar los cálculos de esta sección se ha utilizado el programa Stata (Statistical

Analysis), que es uno de los más utilizados en el ámbito de la econometría.

Una vez construido el indicador de eficiencia de los cursos de formación continuada, nos

proponemos analizar cuáles son las variables que ejercen una mayor influencia sobre la

evolución del mismo, con el objetivo de poder extraer recomendaciones que ayuden a

incrementar la eficiencia de los cursos de formación.

Para ello, vamos a aprovechar la dimensión espacio-temporal de la base de datos

construida. Se dispone de una muestra de datos de panel, puesto que para cada área de

salud (N=11) hay información para el periodo comprendido entre 2009 y 2014 (T=6). Un

modelo de datos de panel difiere de uno de series temporales o de datos de sección cruzada

en que cada variable tiene un doble subíndice:

donde i es el subíndice correspondiente a las áreas de salud y t es el subíndice

correspondiente a los años. Por consiguiente, el subíndice i recoge la dimensión de sección

cruzada y el subíndice t recoge la dimensión temporal.

o se refiere al indicador de eficiencia ponderado del área i en el año t

o itX es una matriz de variables explicativas (se detallará más adelante)

o es un término de error.


218 | P á g i n a

4.3.2.2 Idoneidad de la utilización de datos de panel

La cuestión de si juntar (pool3) o no juntar los datos surge siempre que se trabaja con los

datos de panel. Esta decisión supone enfrentar dos modelos:

a) Modelo restringido: considera que los parámetros no difieren entre áreas de salud o

de un año a otro.

b) Modelo no restringido: considera que los parámetros pueden diferir entre áreas de

salud y de un año a otro.

La mayoría de las aplicaciones empíricas que utilizan bases de datos de panel disponen de

observaciones para un gran número de consumidores, empresas, regiones, países, pero con

un menor número de periodos temporales.

Contraste por áreas de salud

Si queremos contrastar la hipótesis de que los parámetros se mantienen constantes entre

áreas de salud:

(25)

3 En inglés, “to pool” significa juntar.


219 | P á g i n a

Debemos proceder de la siguiente manera:

1) Estimar el modelo considerando que los parámetros no varían entre áreas de

salud y obtener la suma del cuadrado de los residuos .

2) Estimar el modelo considerando que los parámetros pueden variar de un área

de salud a otra, es decir, se estiman 11 regresiones diferentes, una para cada

área de salud y se obtiene la suma del cuadrado de los residuos de cada una

de ellas .

3) Se calcula el estadístico F propuesto por Chow (1960)

)26( )()...(

)1()...(

2211

2211

KTNeeeeeeKNeeeeeeeeF

NN

NN

En nuestro caso:

)27( )6(11)...(

)111()...(

11112211

11112211

KeeeeeeKeeeeeeeeF

donde K es el número de variables explicativas de modelo.

Si se acepta la hipótesis nula entonces podemos suponer que los parámetros se mantienen

constantes entre áreas de salud.

Contraste por dimensión temporal

De la misma forma, si queremos contrastar que los parámetros se mantienen constantes a

lo largo del tiempo:

(28)


220 | P á g i n a

Procederíamos de la siguiente manera:

1) Estimar el modelo restringido y obtener la suma del cuadrado de los residuos

2) Estimar el modelo considerando variabilidad a lo largo del tiempo, es decir, se

estimarían 6 regresiones diferentes una para cada año, y se obtendrían las sumas

de los cuadrados de los residuos de cada una de esas regresiones

3) Planteamiento del test de Chow

)29( )11(6)...(

)16()...(

662211

662211

KeeeeeeKeeeeeeee

F

4.3.2.3 Estimación con datos de panel

Una vez contrastada la idoneidad de la estimación con datos de panel (véase sección de

resultados en el subapartado 4.3.2.4), pasamos a detallar los principales métodos de

estimación propuesto y los métodos de contraste para determinar cuál es el mejor modelo

que se ajusta a los datos.

La mayoría de los modelos de datos de panel consideran que el término de error se puede

descomponer en la suma de dos términos:

(30)

o i se refiere a un efecto específico inobservable de cada área de salud. En nuestro

caso, este efecto podría recoger la habilidad del gestor de los cursos de formación

de cada área de salud.


221 | P á g i n a

o it recoge el resto de la perturbación que varía tanto entre áreas de salud como a lo

largo del tiempo.

Estimación de efectos fijos

El modelo de efectos fijos se basa en los siguientes supuestos:

1) Se supone que el efecto específico inobservable de cada área de salud i , i =

1,…,11, viene recogido por una serie parámetros fijos (uno por cada área de salud)

que se van a estimar con el resto de parámetros del modelo (α y β)

2) Se supone que las perturbaciones estocásticas ( it ) son independientes e

idénticamente distribuidas de acuerdo con una distribución normal de media cero y

varianza σ 2v ; it IID N (0, σ 2

v )

3) Se supone que las variables explicativas ( itX ) son independientes de las

perturbaciones estocásticas ( it ) para todo i y t.

La estimación por efectos fijos consistiría en estimar por mínimos cuadrados ordinarios

(MCO) la ecuación (3) para obtener estimaciones de α, β y µ:

Hay que tener en cuenta que si aumentase la dimensión de sección cruzada (en nuestro

caso, el número de áreas de salud), el número de efectos fijos que habría que estimar en el

modelo también aumentaría, y por consiguiente, la dimensión de la matriz que hay que

invertir al estimar por MCO. Una solución para eludir este potencial problema es realizar

una transformación del modelo (31).

En primer lugar, calculamos la media de cada variable para cada área a lo largo del tiempo.


222 | P á g i n a

o : representa media del indicador de eficiencia para cada área de salud a lo

largo del periodo 2009-2014.

o : representa la media de cada variable explicativa para cada área de salud a lo

largo del periodo 2009-2014.

A continuación se resta (32) de (31):

= +

De esta forma hemos conseguido eliminar los efectos fijos ( i ).

Adicionalmente, partiendo de (32) se puede calcular la media de todas las observaciones.

o : representa la media del indicador de eficiencia de todas las áreas de salud y

de todos los años.

o : representa la media de las variables explicativas de todas las áreas de salud y

de todos los años.

En este caso hemos utilizado la restricción . Se trata de una restricción

arbitraria sobre los coeficientes para evitar un problema de multicolinealidad perfecta. De

hecho, solamente, se puede estimar β y (α + i ) en la ecuación (32), y no α y por

separado a menos que se imponga la restricción .


223 | P á g i n a

Haciendo esto se obtiene un estimador ~ de la ecuación (33), y adicionalmente puede

recuperarse de la ecuación (34), y por último, de

la ecuación (32).

Cuando se trabaja con paneles muy grandes el estimador de efectos fijos puede no ser

factible puesto que hay que introducir un elevado número variables ficticias 4 en la

regresión, lo que provoca una gran pérdida de grados de libertad.

Adicionalmente, el estimador de efectos fijos no permite estimar el efecto de cualquier

variable que se mantenga invariable en el tiempo. Por ejemplo, en nuestro modelo de

efectos fijos no podríamos analizar el efecto de la superficie geográfica sobre el indicador

de eficiencia, porque la extensión en km2 de cada área de salud se mantiene constante en el

tiempo.

Si el modelo de efectos fijos es el verdadero modelo, entonces el estimador obtenido es el

mejor estimador lineal insesgado, siempre que el término de perturbación cumpla con los

supuestos clásicos de IID N(0, ).

Hay que hacer notar que a medida que la dimensión temporal aumenta (T∞), el

estimador de efectos fijos es consistente. Sin embargo, si T es fijo y la dimensión de

sección cruzada aumenta (N∞) sólo el estimador de efectos fijos de β es consistente. El

estimador de efectos fijos de (α+ i ) no es consistente, ya que el número de parámetros

aumenta a medida que N crece. Éste es el problema de parámetros incidentales discutido

por Neymar y Scout (1948) y revisado más recientemente por Lancaster (2000).

4 Si hay N áreas de salud, hay que introducir N-1 variables ficticias.


224 | P á g i n a

Cuando el modelo verdadero es el modelo de efectos fijos, expresado en (31), la

estimación de (22) por MCO conduce a estimaciones sesgadas e inconsistentes de los

parámetros. Este problema se debe a que se produce una omisión de variables relevantes.

Un primer test para contrastar la idoneidad del modelo de efectos fijos consiste en

contrastar la significatividad conjunta de los mismos.

iH :0 = 2 =….= 1N = 0 (35)

Para ello se utiliza un test de Chow:

(36)

o SCRS: suma del cuadrado de los residuos del modelo restringido, siendo el modelo

restringido la estimación por MCO del pool de todos los datos.

o SCRNR: suma del cuadrado de los residuos del modelo no restringido, siendo el

modelo la estimación con datos de panel y efectos fijos.

o T es la dimensión temporal

o N es la dimensión de sección cruzada

o K es el número de variables explicativas del modelo.

Si se rechaza la hipótesis nula, los efectos fijos son relevantes y la estimación por MCO es

insesgada e inconsistente.

Modelo con efectos aleatorios:

El problema de la pérdida de grados de libertad que se plantea en el modelo con efectos

fijos puede soslayarse si se supone que los términos i son aleatorios. En este caso se

supone:


225 | P á g i n a

1) i IID N (0, 2 )

2) it IID N(0, 2 )

3) i independientes de it

Normalmente, se considera que la especificación de efectos aleatorios es apropiada cuando

se trabaja con datos de consumidores, hogares o empresas porque se está trabajando con

una muestra de tamaño N procedente de una población mucho mayor. En ese caso, lo

fundamental es que el diseño del panel sea representativo de la población que se propone

estudiar. El efecto individual se considera como aleatorio, puesto que cada unidad

muestral ha sido extraída aleatoriamente de la población a la que pertenece.

En nuestro caso, no se ha realizado un muestreo entre las áreas de salud, sino que se

dispone de información de todas las áreas. ¿Qué sentido tiene en este caso plantearnos una

estimación por efectos aleatorios?.

Nerlove y Balestra (1996) remarcan el comentario de Haavelmo (1944) acerca de que la

población no debe considerarse como un conjunto de hogares/empresas/individuos, sino

como un infinito de decisiones. Tomando en consideración esa perspectiva, cada gestor de

área de salud ha tomado una serie de decisiones sobre la implantación de los programas de

formación continuada en cada año. Fruto de la combinación de esas decisiones se ha

alcanzado un determinado valor de indicador de eficiencia.

A partir de podemos obtener la expresión de la varianza homoscedástica.

(37)


226 | P á g i n a

Y de la matriz de varianzas covarianzas, con correlación serial solamente entre las

perturbaciones de un mismo individuo, y cero en otro caso:

Las verdaderas perturbaciones son desconocidas y por lo tanto no es posible estimar 2 y

2 . Wallace y Husain (1969) sugieren utilizar los residuos de la estimación por MCO

( )

Si el modelo de efectos aleatorios es el verdadero modelo, la estimación por MCO de (31)

conduce a estimaciones de los coeficientes insesgadas y consistentes (aunque no

eficientes). Se plantea entonces la cuestión de cómo elegir entre efectos fijos o aleatorios.

¿Estimación con efectos fijos o efectos aleatorios?

La elección entre efectos fijos y efectos aleatorios ha generado un gran debate en la

literatura econométrica. Wallace y Hussain (1969) fueron de los primeros postuladores del

modelo de efectos fijos, mientras que Balestra y Nerlove (1966) fueron partidarios del

modelo de efectos aleatorios.

Normalmente, se utiliza el test propuesto por Hausman (1978) para decidir entre efectos

fijos y efectos aleatorios. Desafortunadamente, se suele interpretar un rechazo de dicho test

como una prueba a favor de la adopción del modelo de efectos fijos, mientras que la

aceptación del test se interpreta a favor de la utilización del modelo de efectos aleatorios.

Chamberlain (1984) demostró que el modelo de efectos fijos impone una serie de

restricciones contrastables sobre el modelo en forma reducida, y dichas restricciones deben

ser validadas antes de aceptar la utilización del modelo de efectos fijos.


227 | P á g i n a

Mundlak (1978) argumentó que el modelo de efectos aleatorios presupone la exogeneidad

de todos los regresores respecto a los efectos aleatorios individuales. Por el contrario, el

modelo de efectos fijos permite la endogeneidad de todos los regresores respecto a estos

efectos individuales.

Por consiguiente, se trata de una decisión de “todo” o “nada” respecto a la exogeneidad de

los regresores y los efectos individuales. Hausman y Taylor (1981) permitieron que

algunos regresores estuviesen correlacionados con los efectos individuales frente a la

postura anterior de o “todo o nada”.

Por consiguiente, nuestro enfoque será lo más completo posible.

1) Estimar el modelo de efectos fijos y aleatorios.

2) Realizar el test de Hausman (1978)

3) Contrastar si la especificación de Hausman y Taylor (1981) puede ser una

alternativa viable.

Test de Hausman

Un supuesto crítico en la estimación del modelo es que . Se trata de un

supuesto muy importante, ya que el término de perturbación ( ) contiene al efecto

individual ( i ) que es inobservable y que puede estar correlacionado con los X it

Por ejemplo, si la capacidad de gestión de los cursos de formación está correlacionada con

el diseño de cursos que sean interesantes para los participantes y compatibles con sus

horarios, entonces el número de participantes (variable explicativa) estaría correlacionada

con el efecto individual ( i ) y por consiguiente .


228 | P á g i n a

Hausman (1978) sugiere una comparación entre el estimador de efectos fijos y de efectos

aleatorios. Ambos estimadores son consistentes bajo la hipótesis nula , pero

tienen diferentes límites probabilísticos cuando la hipótesis nula no es cierta.

Como la transformación que plantea el estimador de efectos fijos elimina el efecto

individual ( i ), el estimador de efectos fijos es consistente tanto si la hipótesis nula es

cierta como si no lo es. En cambio, el estimador de efectos aleatorios es el mejor estimador

lineal insesgado, consistente y asintóticamente eficiente bajo la hipótesis nulas, pero es

inconsistente si dicha hipótesis es falsa.

El test de Hausman se basa en la construcción del siguiente estadístico:

(39)

EA = estimador de efectos aleatorios

EF = estimador de efectos fijos

Bajo H0: se cumple que y Y finalmente se

obtiene que:

(40)


229 | P á g i n a

Test de Hausman y Taylor

Continuamos profundizando en el análisis de la posible correlación entre las variables

explicativas ( itX ) y los efectos individuales ( i ). Mundlak (1978) considera el modelo

básico de datos de panel, pero con una ecuación adicional:

;

Es decir, Mundlak (1978) supone que los efectos individuales son una combinación de los

promedios de las variables explicativas a lo largo del tiempo. Por consiguiente, los efectos

individuales estarán incorrelacionados con las variables explicativas si y solo si =0.

Mundlak (1978) supone, sin pérdida de generalidad que las X son desviaciones respecto a

la media.

Mundlak (1978) demostró que el mejor estimador lineal insesgado (22) es el estimador de

efectos fijos una vez que los efectos individuales se modelizan como función de todos los

regresores. Por el contrario, el estimador de efectos es sesgado, precisamente, porque

ignora que .

Es preciso remarcar que el test de Hausman comentado en la sección anterior es

básicamente un test cuya hipótesis nula se puede expresar también como

Mundlak (1976) supone que todas las variables explicativas están correlacionadas con los

efectos individuales. Por el contrario, el estimador de efectos aleatorios supone que no

exista correlación entre ninguna de las variables explicativas y los efectos individuales.


230 | P á g i n a

En lugar de este planteamiento de “o todo” “o nada” Hausman y Taylor (1981) consideran

un modelo en donde algunas de las variables explicativas están correlacionadas con los

efectos individuales.

donde son variables constantes en el tiempo, pero que difieren por área de salud.

Los vectores de variables explicativas se particionan en dos tipos de variables:

o y no están correlacionados con los efectos individuales ni con it son

exógenos.

o y están correlacionados con los efectos individuales son endógenos (pero

no están correlacionados con it )

Si aplicáramos la transformación de efectos fijos, conseguiríamos eliminar y con ello

desaparecería el sesgo, pero en el proceso también eliminaríamos los , y por

consiguiente, tampoco podríamos estimar .

Hausman y Taylor (1981) proponen seguir los siguientes pasos:

1) Estimar el modelo por efectos fijos.

2) Obtener los residuos del modelo.

3) Calcular el promedio de los residuos del modelo de efectos fijos a lo largo del

tiempo.


231 | P á g i n a

(43)

4) Estimar sobre utilizando como instrumentos y

(44)

Por consiguiente, lo que plantean Hausman y Taylor es estimar siguiendo un

procedimiento en dos etapas. Para que se pueda aplicar ese procedimiento se exige que el

número de variables de sea mayor o igual que el número de variables .

A diferencia de la mayor parte de los trabajos empíricos que plantean la elección entre

efectos fijos o efectos aleatorios a partir de la realización de un test de Hausman (1978),

Baltagi et al (2003) proponen un estimador “pretest” alternativo basado en el modelo de

Hausman y Taylor (1981). Este estimador “pretest” revierte al de efectos aleatorios si el

test de Hausman estándar de efectos fijos versus efectos aleatorios no resulta rechazado.

En cambio, revierte al estimador de Hausman y Taylor si la elección de regresores

estrictamente exógenos no resulta rechazada por la realización de un segundo test de

Hausman basado en el estimador de efectos fijos y el de Hausman y Taylor. Por último, el

estimador pretest revierte al de efectos fijos si la hipótesis anterior sobre la elección de

regresores estrictamente exógenos resulta rechazada.

En otras palabras, la alternativa de Hausman y Taylor propone que el investigador

considere que algunas de las variables explicativas (pero no todas) estén correlacionadas

con los efectos individuales cuando existe endogeneidad entre los regresores. Baltagi et al.


232 | P á g i n a

(2003) demuestran que la simple estimación por MCO o por efectos aleatorios conduce a

estimaciones sesgadas e inferencias erróneas. Incluso cuando no existe correlación entre

los regresores y los efectos individuales, es decir, en un mundo de efectos aleatorios, la

inferencia realizada a partir de MCO puede conducir a resultados distorsionados.

4.3.2.4 Resultados

En primer lugar, se procede a contrastar la hipótesis de “poolabilidad” de los datos, es

decir, si es adecuado realizar un análisis con datos de panel. En relación, a la

“poolabilidad” por áreas de salud se estima un modelo para el indicador de eficiencia

ponderado en cada una de las 11 áreas de salud. Se introducen como variables explicativas

la tasa de cobertura estandarizada, el coste estandarizado, el beneficio estandarizado y el

aforo estandarizado. No se introducen más variables debido al reducido número de grados

de libertad. Por otra parte, se estima el mismo modelo para el conjunto de los datos. Para

cada uno de estos modelos, se recoge el cuadrado de la suma de los residuos y se construye

el estadístico F:

F=

Este estadístico se distribuye según una F(N-1)k,N(T-k) que en nuestro caso es una

F40,22=1,67138. Como el valor obtenido (1,493) es menor que el valor crítico (1,67138)

aceptamos la hipótesis nula de “poolabilidad” de los datos por áreas de salud.


233 | P á g i n a

En relación a la poolabilidad por año, se estima un modelo para el indicador de eficiencia

ponderado para cada uno de los años por separado utilizando las mismas variables

explicativas que en el caso anterior.

F=

Este estadístico se distribuye F42,20=1,70833. Como el valor obtenido (1,464) es menor que

el valor crítico (1,70883) aceptamos la hipótesis nula de “poolabilidad” de los datos por

dimensión temporal.

A continuación, se procede a estimar el modelo para el indicador de eficiencia ponderado

mediante efectos fijos y efectos aleatorios, para posteriormente contrastar qué método es el

más adecuado. En el proceso de estimación se ha seguido un procedimiento ordenado de

adición de variables explicativas. La finalidad es contrastar si a medida que se introducen

nuevas variables, cambian de forma sustancial los coeficientes y el grado de

significatividad de las variables consideradas inicialmente. Para el estimador de efectos

fijos y de efectos aleatorios se han considerado 6 posibles especificaciones que han sido

referenciadas como F1, F2,…,F6 para la estimación con efecto fijos y A1,A2,…,A6 para la

estimación con efectos aleatorios.

Las variables explicativas introducidas en ambos modelos son:

A1 y F1: se incluyen las variables que se han utilizado para calcular el indicador de

eficiencia ponderado (tasa de cobertura estandarizado, coste estandarizado,

beneficio estandarizado, aforo estandarizado e indicador cualitativo).


234 | P á g i n a

A2 y F2: se incluyen las anteriores y además, el coste indirecto, entendiendo que

este coste es una aproximación del coste de oportunidad en términos de

sustituciones que hay que sufragar mientras los participantes están asistiendo a los

cursos de formación. (Véase Anexo 1 para consultar los detalles de la estimación de

este coste indirecto de la formación).

A3 y F3: se incluyen las anteriores variables explicativas, y además el coste

indirecto del periodo anterior, por considerar que el montante soportado en

concepto de sustituciones el año anterior, puede afectar a que la gestión del área de

salud sea más o menos proclive a organizar más o menos cursos de formación, o a

ofertar un número mayor o menor de plazas.

A4 y F4: se incluyen las mismas variables explicativas que en A1 y F1, y además,

la tasa de frecuentación en Medicina de familia, Pediatría y Enfermería, por

entender que la carga de trabajo puede ser un factor significativo a la hora de

decidir participar en cursos de formación. La tasa de frecuentación del área i en el

año t se define como:

(52)

A5 y F5: se incluyen las mismas variables que en A4 y F4, y adicionalmente, las

tasas de frecuentación de Medicina de familia, Pediatría y Enfermería del año

anterior, para considerar que una carga de trabajo elevada en el año anterior, pueda

tener algún efecto sobre la participación en cursos de formación.

A6 y F6: se incluyen todas las variables explicativas consideradas, es decir, las

incluidas en A5 y F5, y además, el coste indirecto del año corriente y el del año

anterior.


235 | P á g i n a

Una limitación del estudio es que no se dispone de información desagregada de los

participantes en cursos de formación, de acuerdo con su categoría profesional, y por

consiguiente, no se puede realizar un análisis de la eficiencia según la categoría

profesional. En cambio, para la variable tasa de frecuentación sí que se dispone de una

clasificación en Medicina de familia, Pediatría y Enfermería.

En relación a la estimación con efectos fijos observamos los siguientes resultados:

Respecto a los componentes del indicador de eficiencia ponderado, sólo son

significativos la tasa de cobertura estandarizada, el coste estandarizado y el

indicador cualitativo estandarizado. Un aumento de un punto en el coste

estandarizado tiene un impacto negativo sobre el indicador de eficiencia (entre -2,5

y -2,2 puntos), mientras que un incremento de un punto en la tasa de cobertura

estandarizada o en el indicador cualitativo estandarizado tiene un impacto positivo

sobre el indicador de eficiencia ponderado (entre 2,1 y 2 puntos).

Un incremento en la tasa de frecuentación de Pediatría tanto del año actual como

del año anterior tiene un impacto negativo sobre la eficiencia ponderada. No se

aprecia significatividad para la tasa de frecuentación de Medicina generadle

Familia ni de Enfermería.

Para los seis modelos de efectos fijos estimados (F1,…F6), el test de

significatividad conjunta de las variables explicativas introducidas rechaza la

hipótesis nula de que todos los coeficientes son conjuntamente iguales a cero.

Para los seis modelos de efectos fijos estimados (F1,…,F6), el test de efectos fijos

rechaza la hipótesis nula de que los efectos fijos introducidos para cada área de

salud son conjuntamente iguales a cero. Por consiguiente, la estimación por


236 | P á g i n a

mínimos cuadrados ordinarios habría dado lugar a estimaciones sesgadas e

inconsistentes debido a un problema de omisión de variables relevantes.

A continuación, en la tabla nº 70, se detallan los resultados obtenidos con el modelo de

datos de panel utilizando los efectos fijos.

Las especificaciones que aparecen como F1, F2, F3,F4,F5 y F6 son:

F1: tasa de cobertura estandarizado, coste estandarizado, beneficio estandarizado,

aforo estandarizado e indicador cualitativo.

F2: se incluyen las anteriores y además, el coste indirecto, entendiendo que este

coste es una aproximación del coste de oportunidad en términos de sustituciones

que hay que sufragar mientras los participantes están asistiendo a los cursos de

formación. En el campo de la formación especializada, muchas de estas

sustituciones pueden ser llevadas a cabo por residentes, pero no ocurre así en el

campo de la formación continuada.

F3: se incluyen las anteriores variables explicativas, y además el coste indirecto del

periodo anterior.

F4: se incluyen las mismas variables explicativas que en F1, y además, la tasa de

frecuentación en Medicina de familia, Pediatría y Enfermería

F5: se incluyen las mismas variables que en F4, y adicionalmente, las tasas de

frecuentación de Medicina de familia, Pediatría y Enfermería del año anterior.

F6: se incluyen todas las variables explicativas consideradas, es decir, las incluidas

en F5 y además, el coste indirecto del año corriente y el del año anterior.


237 | P á g i n a

Tabla 70. Estimación del modelo de datos de panel con efectos fijos F1 F2 F3 F4 F5 F6

Tasa de cobertura estandarizada 2,101** 2,038** 2,046** 2,061** 2,050** 2,052***

(0,64) (0,64) (0,67) (0,66) (0,66) (0,68)

Coste estandarizado -2,541** -2,628** -2,511** -2,460** -2,215** -2,259**

(0,88) (0,87) (0,87) (0,98) (0,74) (0,75)

Aforo estandarizado 1,580 1,322 1,373 0,728 1,023 0,622

(0,97) (0,98) (1,11) (0,95) (0,70) (0,85)

Beneficio estandarizado 1,699 2,084 2,190 1,920 2,398* 3,163*

(1,72) (1,74) (1,96) (1,53) (1,10) (1,33)

Indicador cualitativo 2,111** 2,200** 2,018** 2,047** 2,031** 2,071**

(0,72) (0,72) (0,66) (0,78) (0,71) (0,79)

Costes indirectos (millones €) -0,172 -0,147 -0,115

(0,14) (0,15) (0,10)

Costes indirectos (año anterior) 0,026 -0,098

(0,14) (0,09) Frecuentación: Medicina de familia 0,153 0,478 0,528

(0,36) (0,53) (0,54)

Frecuentación: Pediatría -0,702*** -1,316*** -1,494***

(0,18) (0,28) (0,13)

Frecuentación: Enfermería 0,319 1,406 1,431

(1,22) (1,22) (1,24) Frecuentación: Med. familia (año anterior) 0,360 0,440

(0,44) (0,46) Frecuentación: Pediatría (año anterior) -0,480*** -0,572***

(0,12) (0,13) Frecuentación: Enfermería (año anterior) 0,215 -0,106

(1,38) (1,44)

Constante 1,627*** 1,859*** 1,651** 3,368** 2,443** 2,348**

(0,43) (0,47) (0,60) (1,45) (0,90) (0,65) Test de significatividad conjunta del modelo

F(5,50) = 9,07 Prob > F = 0,0000

F(6,49) = 7,91 Prob > F = 0,0000

F(7,37) = 4,29 Prob > F = 0,0015

F(8,31) = 3,87 Prob > F = 0,0029

F(11,19) = 3,01 Prob > F = 0,0170

F(13,17) = 3,37 Prob > F = 0,0186

Test de efectos fijos

F(10, 49) = 2,55 Prob > F = 0,0144

F(10, 37) = 2,50 Prob > F = 0,0211

F(8, 31) = 2,89 Prob > F = 0,0157

F(8, 19) = 3,30 Prob > F = 0,0156

F(8, 17) = 3,18 Prob > F = 0,0214

F(8, 17) = 3,18 Prob > F = 0,0214

N 66 66 55 48 39 39

R2 0,476 0,492 0,448 0,277 0,593 0,633 Nota: ***significativo al 1%, **significativo al 5%, * significativo al 10% Fuente: Elaboración propia con la utilización del programa Stata versión 11.0


238 | P á g i n a

Las estimaciones del modelo con efectos aleatorios permiten obtener las siguientes

conclusiones:

Todos los componentes del indicador de eficiencia resultan significativos en las

estimaciones A5 y A6 con el signo esperado. La tasa de cobertura estandarizada y

el coste estandarizado con los elementos que generan un mayor impacto. Un

incremento de un punto porcentual en la tasa de cobertura estandarizada aumenta

en dos puntos el indicador de eficiencia, mientras que un incremento del coste

estandarizado tiene un impacto de magnitud similar, pero de signo contrario. El

indicador cualitativo tiene un impacto superior (entre 1,8 y 1,9 puntos) respecto al

aforo estandarizado y el beneficio estandarizado. Este aspecto pone de manifiesto

que el componente de calidad tiene una gran repercusión en el indicador de

eficiencia, y con ello se valora la coherencia de la formación con los objetivos

estratégicos así como su pertinencia. La obtención de este componente de calidad

supone haber pasado varios filtros dentro del sistema acreditador regional.

El coste indirecto del año en curso no resulta significativo, pero sí el coste indirecto

del año anterior. Un aumento de un millón de euros en el coste indirecto implica

una disminución del indicador de eficiencia ponderado (-0,12 puntos). De todas

formas, el impacto del coste indirecto del año anterior es unas dieciséis veces

inferior al impacto del coste estandarizado. En cuanto al coste indirecto una mejora

que enriquecería el estudio, sería considerar la facilidad para cambiar guardias

/turnos, para lo que habría que contar con una clasificación por categorías

profesionales y especialidad de los profesionales que asisten a las acciones

formativas.


239 | P á g i n a

Respecto a las tasas de frecuentación, resultan significativas tanto la tasa de

Medicina de Familia como la de Pediatría, y esto sucede, tanto para el año corriente

como para el año anterior. Sin embargo, el impacto negativo de la tasa de

frecuentación de Pediatría es muy superior respecto a la tasa de frecuentación de

Medicina de familia. En el año corriente, el impacto de la tasa de frecuentación de

Pediatría triplica al impacto de Medicina de familia. Respecto al efecto de la

variable retardada, el impacto de la tasa de frecuentación de Pediatría del año

anterior es cinco veces superior al impacto de la tasa de frecuentación de Medicina

de familia del año anterior. Este hecho que llama la atención podría deberse a dos

factores:

1) Acreditación de la Unidad Multiprofesional de Pediatría en 2011, que

aunque afecta al campo de la formación especializada, sobre todo, supone la

implicación de profesionales cuya formación pertenece al ámbito de la

formación continuada, siendo uno de los requisitos para mantener la

acreditación su reciclaje como profesionales.

2) Cambios surgidos en cuanto a la designación de la jefatura de estudios,

con las repercusiones a nivel de organización que conllevan siempre los

cambios en las estructuras asistenciales.

El test de Wald de significatividad conjunta del modelo constata que todos los

modelos planteados son significativos.

El test de Breush-Pagan contrasta la hipótesis nula de que la varianza del término

inobservable es igual a cero. En todos los casos, A1..,A6, se rechaza la hipótesis

nula, lo cual implica que la estimación por MCO no es apropiada.


240 | P á g i n a

A continuación, en la tabla nº 71, se detallan los resultados obtenidos con el modelo de

datos de panel utilizando los efectos aleatorios.

Las especificaciones que aparecen como A1, A2,A3,A4,A5 y A6 son:

A1: tasa de cobertura estandarizado, coste estandarizado, beneficio estandarizado,

aforo estandarizado e indicador cualitativo.

A2: se incluyen las anteriores y además, el coste indirecto, entendiendo que este

coste es una aproximación del coste de oportunidad en términos de sustituciones

que hay que sufragar mientras los participantes están asistiendo a los cursos de

formación. En el campo de la formación especializada muchas de estas

sustituciones pueden ser llevadas a cabo por residentes, pero no ocurre así en el

campo de la formación continuada.

A3: se incluyen las anteriores variables explicativas, y además el coste indirecto del

periodo anterior.

F4: se incluyen las mismas variables explicativas que en A1, y además, la tasa de

frecuentación en Medicina de familia, Pediatría y Enfermería

A5: se incluyen las mismas variables que en A4, y adicionalmente, las tasas de

frecuentación de Medicina de familia, Pediatría y Enfermería del año anterior.

A6: se incluyen todas las variables explicativas consideradas, es decir, las incluidas

en A5 y además, el coste indirecto del año corriente y el del año anterior.


241 | P á g i n a

Tabla 71. Estimación del modelo de efectos aleatorios A1 A2 A3 A4 A5 A6 Tasa de cobertura estandarizada 2,154*** 2,095*** 2,172*** 2,534** 2,265** 2,031**

(0,52) (0,52) (0,55) (0,92) (0,87) (0,71)

Coste estandarizado -2,568*** -2,622*** -2,715*** -2,147*** -2,105*** -2,063***

(0,59) (0,59) (0,57) (0,58) (0,51) (0,43)

Aforo estandarizado 1,177 1,022 0,758 1,503*** 1,722** 1,478**

(0,64) (0,64) (0,63) (0,43) (0,58) (0,55)

Beneficio estandarizado 1,178 1,419*** 1,539*** 1,556*** 1,521*** 1,578***

(0,70) (0,51) (0,65) (0,67) (0,60) (0,74)

Indicador cualitativo 1,813** 1,920*** 1,971*** 1,928** 1,689** 1,827**

(0,59) (0,59) (0,59) (0,71) (0,79) (0,73)

Costes indirectos (millones €) -0,188 -0,197 -0,101

(0,13) (0,14) (0,12)

Costes indirectos (año anterior) -0,105** -0,122**

(0,04) (0,01)

Frecuentación: Medicina de familia -0,203*** -0,218*** -0,212***

(0,06) (0,01) (0,01)

Frecuentación: Pediatría -0,716*** -0,607*** -0,737***

(0,15) (0,12) (0,15)

Frecuentación: Enfermería 0,373 0,187 0,320

(0,81) (1,21) (1,24)

Frecuentación: Med. Familia (año anterior) -0,270** -0,226**

(0,08) (0,09)

Frecuentación: Pediatría (año anterior) -1,241*** -1,164***

(0,29) (0,23)

Frecuentación: Enfermería (año anterior) -0,250 -0,210

(1,13) (1,15)

Constante 1,627* 1,881** 1,778** 0,442 0,678 2,282

(0,65) (0,67) (0,63) (3,34) (3,31) (3,63)

Test de Wald significatividad conjunta

2 (5) =59.74 Prob > 2 = 0.0000

2 (6) =62.80 Prob > 2 = 0.0000

2 (7) =48.67 Prob > 2 = 0.0000

2 (8) = 42.02 Prob > 2 = 0.0000

2 (11) = 32.60 Prob > 2 = 0.0006

2 (13) = 33.50 Prob > 2 = 0.0014

N 66 66 55 48 39 39

R2 0,476 0,492 0,448 0,277 0,593 0,633

Test de Breush-Pagan

2 (1) = 6.65 Prob > 2 = 0.0099

2 (1) = 7.43 Prob > 2 = 0.0064

2 (1) = 6.85 Prob > 2 = 0.0088

2 (1) = 6.54 Prob > 2 = 0.0107

2 (1) = 7.20 Prob > 2 = 0.0079

2 (1) = 7.46 Prob > 2 = 0.0063

Nota: ***significativo al 1%, **significativo al 5%, * significativo al 10% Fuente: Elaboración propia con la utilización del programa Stata vesión 11.0


242 | P á g i n a

A continuación, se procede a comparar las estimaciones de efectos fijos y aleatorios

mediante el test de Hausman (1978). Este test sirve para comparar un estimador que

sabemos que es consistente (efectos fijos) con otro estimador que es eficiente bajo (efectos

aleatorios). La hipótesis nula especifica que el estimador de efectos aleatorios es, de hecho,

un estimador eficiente y consistente de los verdaderos parámetros. Si este es el caso, no

deberían existir diferencias sistemáticas entre los dos estimadores. El estadístico obtenido

se distribuye como una chi-cuadrado en donde el número de grados de libertad es el rango

de la diferencia entre las matrices de varianzas de ambos estimadores. En todos los

contrastes, se obtiene la misma conclusión: el modelo de efectos aleatorios es preferido

respecto al modelo con efectos fijos.

A continuación, en la tabla nº 72, se detallan los resultados obtenidos en el test de

Hausmann, al comparar los efectos fijos(F) con los aleatorios (A)

Tabla 72. Test de Hausman Comparación Estadístico p-value Resultado

F1 vs. A1 2(5) = 2,41

Prob>2 = 0,7900

Aceptamos H0 Estimación por efectos aleatorios

F2 vs. A2 2 (6) = 3,18

Prob>2= 0,7861


F3 vs. A3 2 (7) = 5,48

Prob>2 =0,6016


F4 vs. A4 2 (8) = 7,75

Prob >2 = 0,4552


F5 vs. A5 2 (11) = 8,07

Prob>2 =0,7071


F6 vs. A6 2 (13) = 8,05

Prob>2= 0,8403


Fuente: Elaboración propia con la utilización del programa Stata versión 11.0 Una vez que hemos llegado a la conclusión de que es mejor estimar por efectos aleatorios,

partimos de la última estimación realizada (A6) y procedemos a introducir algunas


243 | P á g i n a

variables que se mantienen constantes en el tiempo, y que por consiguiente, no podíamos

utilizar cuando planteábamos la comparación entre efectos fijos y efectos aleatorios.

A7: introduce el número de hospitales, centros de salud y ambulatorios para cada

área de salud.

A8: introduce las mismas variables que A7, y además, la superficie en kilómetros

cuadrados de cada área de salud.

A9: introduce las mismas variables que A8 y además, el área promedio que abarca

cada Centro de salud y cada consultorio, que se obtiene al dividir el número de

kilómetros cuadrados correspondientes a cada área de salud entre el número de

centros de salud o el número de consultorios, respectivamente. La finalidad de

introducir estos indicadores de superficie en las regresiones A8 y A9 es constatar si

existe algún efecto diferencial de las áreas más grandes respecto a las más

pequeñas, en términos de costes de desplazamiento (a mayor distancia, mayor

tiempo) para poder asistir a un curso de formación.

Los resultados de estas nuevas estimaciones se muestran en la Tabla 73. En relación a la

tasa de cobertura, coste, aforo, beneficio e indicador cualitativo se mantienen las mismas

conclusiones extraídas en la tabla anterior. También se mantienen los mismos resultados

para el coste indirecto del año anterior, y las tasas de frecuentación en Medicina de familia

y Pediatría. Respecto a las nuevas variables:

Se aprecia un fuerte efecto positivo sobre la eficiencia derivado de la existencia de

un Hospital en el área de salud. Las áreas de salud están conformadas por un

Hospital, y diversos Centros de Atención Primaria y Consultorios. El Hospital

supone un centro neurálgico de formación en general, y de formación continuada

en particular. La mayoría de los profesionales que asisten a cursos de formación


244 | P á g i n a

continuada desempeñan sus labores asistenciales en los Hospitales del área de

Salud, representando un alto porcentaje en relación a los que trabajan en Centros de

Salud/Consultorios. De hecho, la gran mayoría de la formación continuada que se

imparte se lleva a cabo en las instalaciones de los Hospitales.

Posiblemente, la distribución geográfica y la configuración de la red de Centros de

Primaria/Consultorios, alejada de la “city” dificulten la asistencia a estos cursos.

Siendo consciente de esta problemática, en los últimos años se han venido

impartiendo acciones formativas que intentan aglutinar varios Centros de Salud

para intentar integrarlos en la red formativa.

Por el contrario, un mayor número de consultorios conlleva una disminución de la

eficiencia, mientras que el número de Centros de salud no resulta significativo.

También se observa que el ratio superficie entre consultorios es significativo y

negativo. En este sentido, se ha de destacar que el hecho de que un consultorio

tenga que abarcar un mayor radio geográfico tiene un impacto negativo sobre la

eficiencia en la formación continuada. Hay que tener en cuenta que las acciones

formativas que han sido consideradas en el estudio son acciones que han de contar

con unos requisitos mínimos para su impartición de cara a la acreditación, entre

otros, por ejemplo, contar con un número mínimo de participantes, que es 10. Sin

esta ratio no podrían impartirse, a excepción de talleres y sesiones cuyo ratio es 5.

Llegar como mínimo a 10 participantes, considerando la dispersión geográfica no

siempre es fácil. Una de las alternativas a esta situación es impartir “in situ” la

formación, algo que está ocurriendo con algunas iniciativas enmarcadas dentro del

Plan de Salud 2010-15, en la que se está llevando a cabo un desplegable de


245 | P á g i n a

acciones formativas, centradas por ejemplo, en la mejora de salud con iniciativas

centradas en el ejercicio físico o acciones formativas enmarcadas dentro del

programa Perséfone5, en el que se imparten acciones formativas sobre Reanimación

Cardiopulmonar en varios Centros de Salud.

A continuación, en la tabla nº 73, se detallan los resultados obtenidos utilizando modelo de

efectos aleatorios que incluyen variables constantes en el tiempo, que no podían

compararse al utilizar la comparación entre efectos fijos y efectos aleatorios.

A7: introduce el número de hospitales, centros de salud y ambulatorios para cada

área de salud.

A8: introduce las mismas variables que A7, y además, la superficie en kilómetros

cuadrados de cada área de salud.

A9: además, de incluir las variables que aparecen en A8, tiene en cuenta el área

promedio que abarca cada centro de salud y cada consultorio, que se obtiene al

dividir el número de kilómetros cuadrados correspondientes a cada área de salud

entre el número de centros de salud o el número de consultorios, respectivamente.

Tabla 73. Estimaciones adicionales por efectos aleatorios (incluyendo variables constantes en el tiempo) A6 A7 A8 A9 Tasa de cobertura estandarizada 2,031** 2,024*** 2,093*** 2,035*** (0,71) (0,65) (0,63) (0,62) Coste estandarizado -2,063*** -2,067*** -2,076*** -2,056*** (0,43) (0,54) (0,66) (0,65) Aforo estandarizado 1,478** 1,466** 1,477** 1,432** (0,55) (0,60) (0,58) (0,57) Beneficio estandarizado 1,578*** 1,580** 1,456** 1,559*** (0,74) (0,66) (0,64) (0,60) Indicador cualitativo 1,827** 1,857** 1,883** 1,875** (0,73) (0,77) (0,78) (0,70)

5 http://www.murciasalud.es/pagina.php?id=272201&idsec=5514


246 | P á g i n a

Costes indirectos (millones €) -0,101 -0,007 -0,033 -0,056 (0,12) (0,10) (0,10) (0,11) Costes indirectos (año anterior) -0,122** -0,128** -0,130** -0,132** (0,01) (0,02) (0,02) (0,02) Frecuentación: Medicina de familia -0,212*** -0,217*** -0,215*** -0,214*** (0,01) (0,02) (0,02) (0,02) Frecuentación: Pediatría -0,737*** -0,761*** -0,783*** -0,770*** (0,15) (0,12) (0,11) (0,14) Frecuentación: Enfermería 0,320 0,138 0,410 0,849 (1,24) (1,15) (1,13) (1,35) Frecuentación: Med. Familia (año anterior) -0,226** -0,296** -0,260** -0,257** (0,09) (0,09) (0,09) (0,09) Frecuentación: Pediatría (año anterior) -1,164*** -1,177*** -1,125*** -1,139*** (0,23) (0,25) (0,24) (0,24) Frecuentación: Enfermería (año anterior) -0,210 1,991 2,036 1,246 (1,15) (1,27) (1,23) (1,59) Hospitales 4,556* 4,429** 4,431** (2,16) (2,18) (2,15) Centros de salud 0,305 0,469 0,567 (0,25) (0,26) (0,70) Consultorios -0,343** -0,460** -0,421* (0,12) (0,14) (0,25) Superficie 0,002 0,002 (0,00) (0,01) Ratio superficie/centros de salud 0,013 (0,00) Ratio superficie/consultorios -0,019** (0,00) Constante 2,282 -5,340 -11,635 -9,221 (3,63) (4,69) (6,11) (7,01)


2 (13) = 33,50 Prob > 2 = 0,0014

2 (15) = 49,72 Prob > 2 = 0,0000

2 (16) = 55,10 Prob > 2 = 0,0000

2 (18) = 52,76 Prob > 2 = 0,0000

N 39 39 39 39

Test de Breush-Pagan

2 (1) =7,40 Prob > 2 = 0,0065

2 (1) = 7,38 Prob >2 = 0,0054

2 (1) = 7,01 Prob > 2 = 0,0081

2 (1) = 8,33 Prob > 2 = 0,0039

Nota: ***significativo al 1%, **significativo al 5%, * significativo al 10% Fuente: Elaboración propia con la utilización del programa Stata versión 11.0


247 | P á g i n a

A continuación, y siguiendo el desarrollo de la parte teórica se propone utilizar el método

propuesto por Hausman y Taylor (1981), es decir, que algunas de las variables explicativas

están correlacionadas con los efectos individuales. De todas las variables explicativas

utilizadas, consideramos que el coste estandarizado y el aforo estandarizado pueden estar

influenciados por características específicas del área de salud. Por ejemplo, la fijación de

pautas internas sobre el tamaño máximo de los grupos admitidos en cada una de las

ediciones de los cursos de formación podría afectar a la variable aforo.

Hay que considerar, además, que desde que se consolidó el proceso de acreditación en

2009 hasta la actualidad, la tendencia en la planificación de los cursos ha ido variando en

cuanto al número de horas, pasando de cursos con una duración que en algunos casos

llegaba a 20 horas a acciones formativas cuya media no suele superar las 8 horas, de ahí

que esta variable explicativa sea una de las que más significatividad aportan. En un

contexto como el sanitario este cambio de estrategia formativa tiene un alto impacto,

porque posibilita no sólo un mayor número de inscritos en los cursos, sino una menor tasa

de abandono, y en consecuencia unos mejores resultados en cuanto a ejecución y

evaluación.

Asimismo, el cambio en la tendencia podría explicarse por el efecto de una variable

inobservable, fruto de las directrices que reciben los responsables de formación continuada

en las reuniones previas a la aprobación en Comisión Paritaria. En este sentido, por parte

de la Dirección General de Planificación ha venido recomendándose la planificación de

acciones formativas con menor número de horas.


248 | P á g i n a

El hecho de que el responsable de formación de cada área sea más o menos cuidadoso a la

hora de reutilizar material de un curso para otro o no ajustar exactamente el material al

número de participante repercutiría sobre el coste estandarizado. Además, otro efecto

inobservable que podría repercutir en esta variable explicativa estaría referida a los

indicadores del Contrato Gestión, que todos los años tienen que presentar las diferentes

áreas de salud. Este documento, en resumen, recopila una serie de indicadores referidos a

formación especializada y a formación continuada donde se miden resultados, estando uno

de ellos relacionado con el coste por hora, que en su conjunto repercute en el resultado

global de la eficiencia de dicha área de salud.

La Tabla 74 muestra los resultados de la estimación utilizando el método de Hausman y

Taylor. Se han realizado cuatro estimaciones (HT6, HT7, HT8 y HT9) para establecer un

paralelismo con las estimaciones de efectos aleatorios (A6, A7, A8 y A9). La comparación

de la estimación por efectos aleatorios y por Hausman y Taylor (HT) pone de manifiesto

que, en esta última, los coeficientes estimados para algunas variables son

significativamente inferiores:

El efecto del aforo estandarizado es 0,2 puntos porcentuales inferior en el modelo

de HT (1,428 frente a 1,678).

El efecto del coste indirecto del año anterior es 0,02 puntos porcentuales inferior en

el modelo de HT (-0,132 frente a -0,152).

El efecto de la tasa de frecuentación de pediatría del año pasado es 0,1 puntos

porcentuales inferior en el modelo de HT.

El efecto del número del número de consultorios es 0,2 puntos inferior en el modelo

de HT respecto al de efectos aleatorios (-0,622 frente a -0,421).


249 | P á g i n a

El efecto de la variable “ratio de la extensión geográfica del área de salud entre

número de consultorios” es -0,027 en el modelo de efectos aleatorios frente a -

0,019 en el de HT.

A continuación, en la tabla nº 74, se detalla los resultados de la estimación tras utilizar el

método de Hausman y Taylor.

Las cuatro estimaciones realizadas (HT6, HT7, HT8 y HT9) tenían como finalidad

establecer un paralelismo con las estimaciones de efectos aleatorios (A6, A7, A8 y A9).

Tabla 74. Estimación mediante el método de Hausman y Taylor HT6 HT7 HT8 HT9

Tasa de cobertura estandarizada 2,052** 2,026*** 2,075*** 2,055***

(0,82) (0,85) (0,85) (0,82)

Coste estandarizado -2,065** -2,067** -2,076** -2,056**

(0,95) (0,96) (0,96) (0,95)

Aforo estandarizado 1,678** 1,666** 1,677** 1,678**

(0,55) (0,60) (0,58) (0,57)

Beneficio estandarizado 1,578 1,580 1,656 1,557

(0,86) (0,86) (0,86) (0,80)

Indicador cualitativo 1,827** 1,857** 1,885** 1,875**

(0,75) (0,77) (0,78) (0,70)

Costes indirectos (millones €) -0,102 -0,007 -0,055 -0,056

(0,12) (0,10) (0,10) (0,12)

Costes indirectos (año anterior) -0,122** -0,128** -0,150** -0,152**

(0,01) (0,02) (0,02) (0,02)

Frecuentación: Medicina de familia -0,222*** -0,227*** -0,225*** -0,226***

(0,02) (0,02) (0,02) (0,02)

Frecuentación: Pediatría -0,757*** -0,762*** -0,785*** -0,770***

(0,15) (0,12) (0,11) (0,16)

Frecuentación: Enfermería 0,520 0,258 0,620 0,867

(1,26) (1,25) (1,25) (1,55)

Frecuentación: Med. Familia (año anterior) -0,226** -0,276** -0,260** -0,257**

(0,07) (0,07) (0,07) (0,07)

Frecuentación: Pediatría (año anterior) -1,266** 1,277*** 1,225** 1,257**

(0,55) (0,55) (0,56) (0,56)

Frecuentación: Enfermería (año anterior) -0,220 1,772 2,056 1,266

(1,15) (1,27) (1,25) (1,57)

Hospitales 4,556* 4,427** 4,452**


250 | P á g i n a

(2,26) (2,28) (2,25)

Centros de salud 0,505 0,667 0,567

(0,25) (0,26) (0,70)

Consultorios -0,565** -0,666** -0,622*

(0,22) (0,26) (0,25)

Superficie 0,002 0,002

(0,00) (0,02)

Ratio superficie/centros de salud 0,025

(0,00)

Ratio superficie/consultorios -0,027**

(0,00)

Constante 2,282 -5,560 -11,655 -7,221

(3,63) (4,67) (6,11) (7,01)


2 (13) = 33,85 Prob > 2 = 0,0010

2 (15) = 50,72 Prob > 2 = 0,0000

2 (16) = 55,62 Prob > 2 = 0,0000

2 (18) = 54,78 Prob > 2 = 0,0000

N 39 39 39 39 Nota: ***significativo al 1%, **significativo al 5%, * significativo al 10% Fuente: Elaboración propia con la utilización del programa Stata versión 11.0 Para elegir entre efectos aleatorios y Hausman y Taylor se realiza un test de Hausman al

igual que se hizo antes para elegir entre efectos fijos y efectos aleatorios. En todos los

casos, se acepta la hipótesis nula, lo que confirma que el modelo de efectos aleatorios es el

que mejor explica el indicador de eficiencia ponderado.

Tabla 75. Test de Hausman para comparar modelo de efectos aleatorios y modelo Hausman y Taylor Comparación Estadístico p-value Resultado A6 vs. HTT6 2(13) = 3,41

Prob>2 =

0,9990 Aceptamos H0 Estimación por efectos aleatorios

A7 vs. HTT7 2 (16) = 3,78

Prob>2= 0,9992


A8 vs. HTT8 2 (17) = 4,89

Prob>2 =0,9980


A9 vs. HTT9 2 (19) = 10,55

Prob >2 = 0,9680


Fuente: Elaboración propia con la utilización del programa Stata versión 11.0

Si comparamos los resultados obtenidos en el Test de Hausman y el de Hausman Taylor

observamos que la introducción de las nuevas variables que aluden al tema de superficie en


251 | P á g i n a

kilómetros cuadrados, y al promedio que abarca a cada consultorio y Centros de salud

repercuten en la pérdida de significatividad en algunas variables, tales como el coste, aforo,

coste indirecto y frecuentación. En el fondo, este es una aproximación más real de los

datos, ya que aunque el mayor peso de la formación continuada pivota en torno a los

Hospitales, en cuanto a ubicación física, lo cierto es que el mapa sanitario lo conforman,

además, los Centros de Salud y consultorios. Se pone de manifiesto que la gran dispersión,

la distribución geográfica y dificultad de acceso a la formación por parte de los

profesionales que forman parte de estos últimos dispositivos, influyen en los datos

obtenidos.

Por último, ya que se ha introducido en el análisis la variable referente al coste indirecto

del año anterior, también se consideró la posibilidad de que la eficiencia ponderada del año

pasado influyese sobre la eficiencia del año en curso, de manera que las áreas de salud

obtuviesen una especie de “retroalimentación” de su experiencia pasada. Para ello se

propuso utilizar la metodología de Arellano y Bond (1991). Los resultados evidenciaron

que la variable retardada no era significativa. Aunque este resultado pueda parecer un poco

decepcionante, es coherente con el hecho de que el indicador de eficiencia ponderado

constituye todavía una propuesta, y la información sobre el mismo aún no ha sido

difundida a las áreas de salud. Por consiguiente, en un futuro próximo, cuando las áreas de

salud tengan disponible la información completa sobre el indicador de eficiencia

ponderado de los últimos años, sí que sería recomendable volver a plantear un análisis con

variables retardadas.


252 | P á g i n a

4.4. DISCUSIÓN Y CONCLUSIONES

Esta tesis surgió como un proyecto, cuya finalidad no era otra sino la de generar un

indicador de eficiencia con el que se pudiera valorar el alcance de la formación continuada

en cuanto a las variables “pedagógicas” más relevantes, tales como participantes, número

de ediciones o calidad, integrando también otras que están más relacionadas con el

concepto “in sensu estricto” de eficiencia, tales como el coste monetario.

El tema de valorar el impacto de la formación no es un tema baladí. La formación en

cualquier organización es una de las más importantes estrategias de desarrollo de recursos

humanos de las que se dispone. Adicionalmente, en nuestro caso particular, la calidad de la

formación de los recursos humanos tiene un alto impacto en la actividad asistencial y por

ende en la población diana, esto es, en los pacientes. La formación, permite fomentar la

capacitación y el desarrollo personal que han de ser parte de los objetivos estratégicos de la

organización. En este sentido, la formación ha de ser considerada como una herramienta

estratégica y el hecho de no medir sus resultados es síntoma de una praxis ineficiente.

Además, la formación continuada, al margen de incidir en la viabilidad para poner en

funcionamiento un sistema de carrera profesional, es considerada como un mérito

profesional, por lo que contar con un indicador que dé cuenta de la eficiencia de los

recursos invertidos y de los resultados obtenidos es de gran utilidad para determinar qué

dirección seguir en la planificación de la formación y decidir qué mejoras llevar a cabo.


253 | P á g i n a

El impacto de la formación apunta a ser uno de los indicadores a tener muy en cuenta de

cara a la planificación de la formación. En este sentido, el último borrador del Boletín de

las Cortes Generales que aún está en el Senado, con fecha 10 de agosto de 2015, señala que

sólo se financiarán acciones formativas en las que se mida el impacto de las mismas, y ya

se apunta a la valoración de los módulos en términos económicos, es decir, tomando como

referencia el coste por participante y hora de formación. Por lo tanto, resulta gratificante

comprobar cómo el objetivo de esta tesis tendrá su utilidad también en un futuro de cara a

la gestión de la formación continuada.

Aún siendo consciente de la complejidad y dificultad de medir los resultados de la

formación continuada, con este proyecto se intenta dar un pequeño paso para poner los

cimientos y profundizar en un concepto poco trabajado, a tenor de los resultados obtenidos

en la revisión bibliográfica: eficiencia, que sobre todo, fomente la función pedagógica de la

formación, sin descuidar la función social y la función económica (con sus limitaciones),

las cuales forman parte del carácter inherente de la formación en el sentido amplio del

concepto.

Si bien es cierto que la formación continuada cuenta con unas características específicas y

especiales que la definen, el indicador que se presenta es extrapolable a cualquier ámbito

educativo, adaptándolo al contexto particular que sea objeto de evaluación. En este sentido,

por ejemplo, la tasa de cobertura en un contexto de grado universitario no estará

determinada tanto por el cociente obtenido entre número de participantes y empleados,

sino se computará a partir del número de alumnos matriculados y el que finalmente supere

la asignatura o curso.


254 | P á g i n a

Es conveniente destacar que en la actualidad existe un amplio abanico de modelos relativos

a planificación, desarrollo y evaluación de la formación, en sentido general, y que cada vez

se hace más hincapié en los procesos previos de detección de necesidades y en la

formulación precisa de objetivos en coherencia con los sistemas de evaluación. Además,

gran parte de la atención se ha focalizado en el diseño de instrumentos de evaluación no

sólo centrados en valorar el grado de alcance de conocimientos, sino en la transferencia al

puesto de trabajo, a ser posible a medio/largo plazo. Sin embargo, todo este amplio

desarrollo contrasta con la evaluación de la eficiencia de un programa o plan de formación

una vez que éste ha finalizado, siendo ésta un área mucho menos trabajada en la

investigación teórica y empírica.

El indicador que se plantea en este proyecto es un indicador de “microeficiencia”,

entendiendo por “micro” un contexto pedagógico que tiene en cuenta el coste económico,

traducido en coste directo. No obstante, en el proyecto hemos analizado otras dimensiones

del coste: el coste indirecto (estimado a partir del coste de sustitución) y la tasa de

frecuentación (número total de consultas atendidas en relación a la población asignada)

para validar el indicador mediante un modelo de datos de panel.

Si habláramos de un indicador de “macroeficiencia” aludiríamos a modelos de análisis de

coste/beneficio que podemos encontrar en Horton (2001), Phillips (2001) o Rodríguez y

Mosteira (2001). En estos modelos, los autores se han centrado más en el análisis de

costes/beneficios, desde un punto de vista mucho más global, más centrado en los

resultados para la organización.


255 | P á g i n a

Uno de los aspectos más sorprendentes es que las fórmulas planteadas en estos indicadores

de “macroeficiencia” están sustentadas en indicadores de naturaleza cualitativa, y por lo

tanto, muy difíciles de analizar. Por ejemplo, en la revisión de la clasificación de

beneficios de Horton, (2001), clasificación que con pequeñas variaciones podemos

encontrar también en Pineda (2000), se incluyen: la innovación y la creatividad, la

satisfacción y la felicidad, la iniciativa y el liderazgo, que, sin duda, son elementos que

influyen en la eficiencia, pero la pregunta es ¿cómo medirlos?.

Posiblemente, llevar a cabo un modelo de eficiencia, basado en la productividad

(Mushroom, 2014), como por ejemplo el sigma 6 de Jack Welch (1998) en un contexto de

empresa es relativamente fácil, porque la premisa es tangible y se traduce en llegar a un

máximo de 3,4 defectos de unidades producidas por millón, pero en el contexto de la

formación hay que determinar muy bien el ámbito concreto de actuación. Por esta razón, se

ha definido y diferenciado un contexto “micro”, de índole pedagógica y un contexto

“macro” de índole organizativa.

En nuestro caso, las variables consideradas son tangibles (empleados, participantes, coste,

horas de formación, coste), aunque haya latentes otras variables que influyan, tales como la

motivación de los responsables de formación continuada encargados de planificar e

implementar la formación, así como la de los propios profesionales en actualizar sus

conocimientos o las facilidades de acceso a la formación, teniendo en cuenta la carga

asistencial de los profesionales, entre otras.

En nuestro contexto, el de la formación continuada sanitaria, el concepto de

“macroeficiencia” estaría vinculado al impacto de la formación en la organización, la


256 | P á g i n a

transferencia al puesto de trabajo, el mantenimiento de las competencias, la repercusión en

la organización, y el “beneficio” sobre la población a la que se dirige, traducido éste en

mejoras de salud. Podríamos considerar que ésta es la parte que complementaría al

proyecto que se presenta.

En nuestro caso, y en sentido metafórico, se ha preferido empezar la casa por los

cimientos, siendo conscientes de que no podemos conformarnos con llevar a cabo los

planos diseñados, sino que también hay que comprobar que las instalaciones funcionen

adecuadamente y que contribuyan a una mejora en la calidad de vida de quienes habitan en

ella.

A continuación se van a resumir algunas de las conclusiones más importantes en relación a

tres aspectos concretos:

1. Revisión bibliográfica.

2. Tratamiento de datos.

3. Análisis econométrico.

En primer lugar, en cuanto a la parte de revisión bibliográfica, son muchos los modelos

que han surgido desde que el “padre de la evaluación”, Ralph Tyler (1969) propusiera su

primer modelo basado en objetivos. Resulta apasionante ver la evolución de los primeros

modelos conductistas hasta los actuales, centrados, sobre todo, en parámetros de calidad.

No se pueden establecer un punto y aparte, sino más bien un punto y seguido, ya que las

diferentes corrientes se van complementando entre sí, siendo las más interesantes las

corrientes de evaluación centradas en paradigmas mixtos, que integran parte de modelos

conductistas y parte de los humanistas.


257 | P á g i n a

Una de las dificultades encontradas ha sido precisamente la de “encuadrar” cada una de las

teorías en un paradigma concreto, ya que dependiendo de la fuente consultada los

resultados podían ser diferentes.

Los modelos de evaluación en los que se sustenta el indicador de eficiencia planteado son

de naturaleza tanto conductista como holística. Desde un punto de vista conductista, la

teoría de objetivos de Tyler representa el mayor aporte, ya que a la hora de determinar el

indicador de eficiencia, se han trabajado con anterioridad objetivos concretos en la

planificación, y posteriormente se han analizado los objetivos alcanzados en reuniones

específicas. Posiblemente, no se llega al grado de exhaustividad en los detalles que plantea

Tyler, pero sí a la esencia de su teoría. La única diferencia es que, además de ver el alcance

de los objetivos, se analiza también cómo se ha llevado a cabo el proceso durante el año

formativo.

La determinación de los objetivos es un punto clave, puesto que sin ellos, los indicadores

se resienten. Así, se ha constatado en algunas de las experiencias citadas en la presente

tesis, tal como la llevada a cabo por la Organización Internacional del Trabajo en 2011, en

el ámbito de la formación profesional en el acceso al empleo en trabajos relacionados con

la soldadura. Esta experiencia ejemplifica cómo la inexistencia de objetivos específicos

anula la valoración del impacto.

La determinación de objetivos también es un elemento clave no sólo en el ámbito de la

formación presencial, sino en el de formación a distancia. Así lo ponen de manifiesto las

experiencias encontradas en el proyecto “Networking Learning” (Bacsich, 1993), en el que

se hace hincapié en la necesidad de adaptar los objetivos y los valores de medida de cada


258 | P á g i n a

uno de los programas de formación a los diferentes niveles de gestión de la empresa, para

poder de esta manera justificar la rentabilidad.

Por lo tanto, la planificación adecuada y pertinente de los objetivos de la planificación es

de vital importancia, debiendo identificar y diferenciar cuáles son los objetivos de la

formación que llevamos a cabo, y que respondan a necesidades de la organización.

Otros modelos que han servido de base para el indicador que se presenta han sido el

modelo de evaluación estratégica de David (2008) así como el modelo de calidad EFQM

adaptado a nuestro contexto. En este sentido, podría establecerse un paralelismo con el

“Contrato de Gestión”, un documento del Servicio Murciano de Salud, en el que se marcan

objetivos y sirve para medir el porcentaje de logro de los mismos, siendo la eficiencia en

los planes de formación continuada uno de los indicadores a tener en cuenta.

Siguiendo con la revisión bibliográfica, y centrándonos en los modelos de evaluación del

impacto, el modelo de Kirkpatrick (1999) y el modelo de Phillips (2003), son los modelos

que más se ajustan a nuestro indicador de eficiencia. Como se comentó anteriormente, en

este proyecto no hemos trabajado el impacto a nivel organizativo, ni la “macroeficiencia”,

pero para la construcción del mismo se han tenido en cuenta los elementos de mayor

impacto en la formación continuada y en el contexto de partida. El modelo de Kirkpatrick,

en general, es un modelo con una exhaustiva secuenciación de todas las etapas del proceso

formativo de principio a fin, en el que a diferencia de otros modelos, sí que se especifica

qué elementos conforman cada una de las etapas descritas. En este sentido, cuando se habla

de participantes, señala la importancia de elegir un perfil adecuado. En nuestro caso, por

ejemplo, es el coordinador/a quien, antes de que cada una de las acciones formativas se


259 | P á g i n a

lleven a cabo, selecciona en base a una serie de criterios bien definidos, entre los que

figura, especialidad, grado de responsabilidad y servicio en el que se encuentra trabajando,

entre otros.

Además, es el único modelo que tiene en cuenta la figura de la coordinación, elemento que

encaja perfectamente con las premisas del departamento de formación de la Dirección

General de Planificación, Formación, Investigación y Atención al Ciudadano. En este

sentido, no existe ninguna acción formativa que pueda acreditarse sin que exista esta

figura.

Además de la coordinación, se identifica un proceso de detección de necesidades, etapa

que podría mejorarse teniendo en cuenta las necesidades del usuario, fundamentales,

también para ser tenidas en cuenta en la planificación, sobre todo de ámbito sanitario. Esta

etapa va seguida de objetivos, contenidos, participantes, cronograma, infraestructura,

personal docente, medios audiovisuales y evaluación.

En este último apartado, se han de comentar 2 aspectos:

a) Kirkpatrick diferencia cuatro niveles en su modelo: reacción, aprendizaje,

comportamientos y conductas y resultados, si bien es cierto que este último

nivel es el que está más relacionado con el impacto, propiamente dicho. Este

hecho lo diferencia de otros autores como Wade (1998) o Pineda (2001).

Realmente, la satisfacción tras la realización de una acción formativa por

parte del profesional, nos ayuda a determinar el impacto a un nivel “micro”

con ciertos sesgos de subjetividad por parte del participante, por supuesto.

Algo parecido a lo que ocurre cuando el profesional ha de enfrentarse a una

prueba de evaluación, bien sea teórica o práctica. Estas pruebas determinan el

grado de alcance de los objetivos planteados, y por lo tanto, también miden el


260 | P á g i n a

impacto, en otro nivel “micro”, siendo importante analizar la validez de las

pruebas planteadas y la coherencia con los objetivos de partida.

El concepto de impacto de evaluación de la formación alude en palabras de

Pilar Pineda (2001) a las “repercusiones que la realización de unas acciones

formativas conllevan para la organización, en términos de respuestas a las

necesidades de formación, de resolución de problemas y de contribución al

alcance de los objetivos estratégicos que la organización tiene planteados”.

Con este proyecto se da respuesta al alcance de los objetivos estratégicos, ya

que las acciones formativas cuya eficiencia se valora han sido filtradas por los

responsables de formación continuada y han contado con el visto bueno de los

responsables en materia de acreditación y formación a nivel de Consejería de

Sanidad y Servicio Murciano de Salud. Además, el resultado final del

indicador se traduce en coste en términos económicos (coste monetario que

incluye gastos de hora por formación, coordinación, colaboración, material y

medios didácticos así como dietas y desplazamiento) y beneficio, en “capital

humano”, traducido en profesionales formados.

b) En el fondo, nuestro concepto de impacto comprende diferentes niveles, ya

que ¿en qué se traduce el grado de satisfacción de los profesionales o los

resultados de aprendizaje tras las pruebas de evaluación?. Lógicamente, estos

resultados también se engloban dentro del concepto de impacto, aunque la

información aportada sea de una utilidad relativa. Es necesaria más

información para poder determinar el verdadero impacto de la formación, y es

aquí, cuando entra en juego la transferencia al puesto de trabajo y la

repercusión organizativa y social de la formación llevada a cabo. Por


261 | P á g i n a

consiguiente, se corresponde con los niveles 3 y 4 de Kirkpatrick, que a su

vez requieren de la existencia de un 5 nivel, aportado por Phillips para

cuantificar y concretar la fórmula coste/beneficio mencionada por

Kirkpatrick.

Aunque no entramos a valorar la transferencia en el puesto de trabajo o la

repercusión traducida a nivel de organización o la repercusión en la salud de

los pacientes, sí valoramos la relación coste/beneficio en cuanto a beneficio

en “capital humano”, un beneficio que calculamos con la cobertura, que nos

da una valiosa información en relación al alcance de la formación

(participantes que asisten a las acciones formativas respecto al número de

empleados total) y el número de horas de formación recibidas.

Son varias las experiencias para determinar el impacto de la formación en diferentes

niveles, siendo uno de los más recurrentes el de la formación profesional, pero todos

apuntan a valorar el impacto a gran escala, centrando sobre todo las miras en la función

económica de la formación. En este sentido, en el mercado encontramos herramientas

concretas, como el “Metrics that matters” 6 , que permiten automatizar un sistema de

evaluación del aprendizaje, pero centrándose sobre todo en el la evaluación de los

aprendizajes y comentarios de los estudiantes.

Un punto de reflexión sería pues, determinar qué tipo de impacto queremos medir, en

consonancia con las tres funciones principales de la formación: pedagógica, social y

económica.

6 https://www.cebglobal.com/exbd/human-resources/metrics-that-matter/index.page?


262 | P á g i n a

En relación al tratamiento de datos, se ha de destacar que éstos han sido obtenidos en una

serie temporal que abarca desde 2009 hasta 2014 en todas y cada una de las áreas de salud,

Subdirección General de Salud Mental y Gerencia de Urgencias Emergencias de la Región

de Murcia, que conforman el actual mapa de recursos sanitarios.

Las acciones formativas sobre las que se han recogido los datos, son actividades con

financiación INAP, es decir, acciones formativas para las que existe una subvención

estatal. La asignación se otorga en función del número de empleados con los que cuentan

las diferentes áreas de salud. Además, de estas acciones formativas INAP, las diferentes

áreas imparten formación denominada a “coste 0” y formación financiada por

patrocinadores externos. En relación a la formación a “coste 0”, esta denominación es

relativa, ya que siempre existen costes indirectos, tales como la luz consumida o la

utilización de instalaciones, entre otros, que suponen un coste, por mínimo que sea. En

relación a la formación externa, no se dispone de toda la información de todas las áreas.

La imposibilidad de contar con todos los datos de ejecución de ambos tipos de acciones

formativas (las de “coste cero” y “financiación externa”) es lo que ha llevado a considerar

sólo las acciones formativas INAP, de las que sí se disponía de toda la información precisa

para su análisis.

Las variables cuantitativas que se han tenido en cuenta son:

- Número de acciones formativas.

- Número de participantes.

- Número empleados en cada una de las áreas de salud.

- Coste de hora de formación.

- Calidad de las acciones formativas (componente cualitativo).


263 | P á g i n a

Estas variables han servido para determinar:

- Tasa de cobertura.

- Coste.

- Aforo.

- Beneficio en capital humano.

Con la finalidad de poder establecer comparaciones entre las diferentes áreas, se

estandarizaron los valores obtenidos por cada uno de los indicadores, una vez que se hubo

aceptado la normalidad de su distribución. Una vez estandarizadas todas las variables se

obtuvo finalmente el indicador de eficiencia estandarizado:

Si hubiera que hacer una valoración global de los resultados obtenidos tendrían que

mencionarse algunos factores extrínsecos, cuya influencia ha repercutido en los mismos.

Dentro de estas variables cabe destacar, el efecto de la crisis económica, que ha afectado

sobre todo a un descenso en la cobertura en 2012, ya que al ser menor la asignación

presupuestaria, el número de acciones formativas ha sido también menor, y por ende el de

profesionales formados.

Otra variable que podría haber influido en los resultados obtenidos en 2012 es la referida a

las exigentes condiciones para poder asistir a los cursos de formación, algo que se traduce

en la dificultad para que los puestos de profesionales que asistieron a los cursos fueran

sustituidos. Al observar la tabla de frecuentación general (tabla 65) puede apreciarse cómo

en 2012 en la mayoría de las áreas de las que se dispone de información tienen una

frecuentación más elevada en comparación con los años anteriores. En el caso de las áreas

con menor número de empleados (áreas C, E e I) esta diferencia no es tan acusada.


264 | P á g i n a

Se ha de destacar que al analizar el gasto total de Sanidad desde 2009 hasta 2013 en la

Región de Murcia y compararlo con el de la formación, el año 2012 es el año en que

menos se invierte en formación tanto en términos absolutos como relativos. Además, al

comparar los ratios de gasto en formación respecto a PIB regional y de gasto en Sanidad

respecto a PIB regional, se constata cómo la formación queda en un segundo plano. Éste es

uno de los motivos por los que hay que seleccionar muy bien la formación que se imparte,

con la finalidad de que sea lo más pertinente posible a la hora de planificarla, para lo que

será vital un adecuado proceso de detección de necesidades.

Una vez implementada, se habrá de constatar la eficiencia de la misma. Por ello, la medida

de la eficiencia de la formación adquiere más sentido, si cabe, en un contexto donde la

tendencia a la inversión en formación va a la baja.

Un dato que podría complementar el indicador de eficiencia propuesto es la satisfacción

por parte del profesional. Este dato, al igual que el indicador cualitativo podría añadir más

información en lo que, siguiendo a la nomenclatura utilizada por Kirkpatrick, se ubicaría

en el nivel de reacción. En el Apéndice 2 (tablas 77.A2 y 78.A3) se recoge información

sobre diferentes aspectos relacionados con la satisfacción de los pacientes. Como esta

información no se encuentra disponible por áreas de salud, no se ha podido introducir en el

análisis econométrico. No obstante, se ha calculado la correlación entre el indicador de

eficiencia ponderada promedio (Tabla 69) para la Región de Murcia y la satisfacción con el

trato recibido, para Atención Primaria y Atención Especializada, constatándose la

existencia de una relación positiva entre ambas variables. Adicionalmente, si comparamos

los resultados obtenidos en la Región de Murcia con los obtenidos a nivel nacional, tanto

en Atención Primaria como en Atención Especializada, observamos que la media regional

es mayor a la nacional, excepto en el trato de Atención Especializada. Esta variable podría


265 | P á g i n a

estar relacionada con la orientación que estos últimos años han tenido los planes de

formación continuada hacia el fomento de materias transversales como la comunicación.

El comportamiento de todas las áreas no es idéntico, pudiendo diferenciar 3 grandes grupos

en función del número de empleados. En áreas pequeñas, como el área J, la tasa de

cobertura consigue unos porcentajes que exceden el 100%, lo que se traduce en la

participación en varias acciones formativas a lo largo de todo el año por parte del mismo

participante.

Una importante reflexión que surge cuando se analizan los datos es que los momentos de

crisis suponen la mejor oportunidad de cambio y, concretamente, de cambio en la gestión.

Cuando se reducen los presupuestos las actuaciones están abocadas a agudizar el sentido

de la selección y fomentar la pertinencia de lo seleccionado. En el contexto que se

presenta, la reducción presupuestaria en acciones formativas INAP ha coadyuvado al

incremento de otras (“coste cero”).

En relación al análisis econométrico, se ha intentado validar el indicador de eficiencia

obtenido, para verificar su validez en términos de insesgadez y consistencia. Para ello, se

utilizó un modelo de datos de panel, utilizando, en primer lugar, un modelo de efectos fijos

y posteriormente, un modelo de efectos aleatorios así como un modelo intermedio

(Hausman-Taylor). Una vez se llegó a la conclusión de la idoneidad de estimar por efectos

aleatorios, se realizó una estimación en la que se introdujeron variables constantes en el

tiempo, que no podían introducirse en un modelo de comparación entre efectos fijos y

aleatorios. Estas variables fueron introducidas para compararlas con los efectos aleatorios

del test de Hausman-Taylor.


266 | P á g i n a

Este trabajo de investigación representa una propuesta para trabajar la eficiencia en el

campo de la formación continuada sanitaria, extrapolable a cualquier ámbito relacionado

con la formación. En principio, está pensado ser utilizado para la evaluación de un

programa /plan, permitiéndonos comparar Gerencias con mayor/menor número de

profesionales. Podría plantearse como futura línea de investigación la validez del

indicador en la evaluación de la eficiencia de unidades menores, tales como acciones

formativas. Quizá, una de las características que lo definen, es precisamente, su gran

aplicabilidad. El análisis de datos, mediante la utilización de diversos test econométricos

aporta un plus a la validez del mismo. La presentación del que podríamos denominar

“micro-e” , es decir, un indicador de eficiencia pedagógico basado en un contexto micro,

entre los que se encuentra como valor fundamental el cálculo del beneficio en capital

humano y que tiene en cuenta no sólo variables cuantificables, sino también algunas

intangibles, pero que influyen en el proceso (indicador cualitativo) es el punto de salida en

la carrera de fondo hacia el “macro-e”, un indicador de eficiencia que tenga en cuenta el

impacto en la organización, impacto que puede traducirse en satisfacción y mejora en la

calidad de la atención que recibe el paciente y ahorro en costes económicos, entre otros.

Como se ha puesto de manifiesto, a lo largo de todo el proyecto, aún existen áreas que

podrían analizarse con más detalles, hasta incluso añadirse, como por ejemplo, el área de la

satisfacción, tanto por parte de los profesionales que reciben la formación desglosada por

categorías, como por parte de los pacientes que son la población diana de la intervención

de los profesionales formados. Los cimientos están puestos, queda seguir construyendo y

diseñar nuevos planos.

Bibliografía

267 | P á g i n a

5. BIBLIOGRAFÍA

Adams,G. S. (1970). Medición y evaluación en educación, psicología y “guidance”.

Barcelona: Herder.

Agencia Andaluza de Evaluación Educativa. (2014). Guía de indicadores homologados:

autoevaluación de centros docentes de Andalucía. Recuperado de

http://www.juntadeandalucia.es/educacion/agaeve/docs/Guia_Indicadores_Homologados_I

nfantil_Primaria_y_Educacion_Especial.pdf

Agencia de Evaluación y Calidad. (2013). Interpretación del modelo EFQM de excelencia

para las administraciones públicas. Madrid.

Aguado-Orea J. y García D. (2006). Proyecto PRODELE 60/05. Madrid: Universidad de

Nebrija.

Aish, A. M. y Jöreskog, K. G. (1990). A panel model for political efficacy and

responsiveness: An application of LISREL 7 with weighted least squares. Quality and

Quantity, 24, 405-426.

Amat, J. O., Pineda, P. (2003). Aprendre a ensenyar: una visió pràctica de la formació de

formadors. Barcelona : Gestión 2000.

http://www.juntadeandalucia.es/educacion/agaeve/docs/Guia_Indicadores_Homologados_Infantil_Primaria_y_Educacion_Especial.pdf

http://www.juntadeandalucia.es/educacion/agaeve/docs/Guia_Indicadores_Homologados_Infantil_Primaria_y_Educacion_Especial.pdf

Bibliografía

268 | P á g i n a

Anderson, L.W. y Krathwohl, D. (2001). A Taxonomy for Learning, Teaching and

Assessing: a Revision of Bloom's Taxonomy of Educational Objectives. New York:

Longman.

Anderson, T. W. y Hsiao, C. (1981). Estimation of dynamic models with error

components. Journal of the American Statistical Association, 76, 598-606.

Arellano, M. y Bond, S. (1991). Some test of specification of panel data: Monte Carlo

evidence and an application to employment equations. Review of Economics Studies, 58,

277-297.

Bacsich, C. (Ed.). (1999).The costs of networked learning. Sheffield:Hallam University

Balestra, P. y Nerlove, M. (1966). Pooling cross-sections and time-series data in the

estimation of a dynamic model: the demand for natural gas. Econometrica, 34, 585-612.

Barbier J. M. (1993). Evaluación de los procesos de formación. Barcelona: Paidos Ibérica.

Biencinto, C. y Carballo, R. (2006). Determinación del impacto de la formación continua

en el sector sanitario: diseño de un modelo de relaciones entre dimensiones. Revista

Complutense de Educación. 17(1), 77-88.

Bloom, B. (1981). Evaluación del aprendizaje. Buenos Aires: Troquel.

Bibliografía

269 | P á g i n a

Bloom, B. (1987). Taxonomía de los Objetivos (Clasificación de las Metas

Educativas). Buenos Aires: El Ateneo.

Bluestone J., Johnson P., Fullerton J., Carr C., Alderman J. y BonTempo J. (2013).

Effective in-service training design and delivery: evidence from an integrative literature

review. Human Resources for Health, 11(1-26). doi:10.1186/1478-4491-11-51.

Brinkerhoff, R. O. (2005). The Success Case Method: A strategic evaluation approach to

increasing the value and effect of training. Advances in Developing Human Resources,

7(1), 86-101. Recuperado de

http://aetcnec.ucsf.edu/evaluation/Brinkerhoff.impactassess1.pdf

Cervero, R. M. y Rottet, S. (1984). Analyzing the effectiveness of continuing professional

education: an exploratory study. Adult Education Quarterly, 34(3), 135-146.

Cervero, R. M., Rottet, S. y Dimmock, K. H. (1986). Analyzing the effectiveness of

continuing professional education at the workplace. Adult Education Quarterly, 36, 78-85.

Chamberlain, G. (1984). Panel data. En Z. Griliches y M. Intrilligator (Eds.), Handbook of

Econometrics (pp.1247-1318). Amsterdam: North-Holland.

Chang, E. C. (2000). Perfectionism as a predictor of positive and negative psychological

outcomes: examining a mediation model in younger and older adults. Journal of

Counseling Psychology, 47(1), 18-26.

http://aetcnec.ucsf.edu/evaluation/Brinkerhoff.impactassess1.pdf

Bibliografía

270 | P á g i n a

Chow, G. C. (1960). Test of equality between sets of coefficients in two linear regressions.

Econometrica, 28, 591-605.

Churches, A. (2009). Taxonomía de Bloom para la Era Digital. Recuperado de

http://www.eduteka.org/taxonomiabloomdigital.php

Churches, A. (2007). Educational Origami, Bloom's and ICT Tools. Recuperado de

http://edorigami.wikispaces.com/Bloom's+and+ICT+tools

Cronbach, L. J. (1963). Course improvement through evaluation. Teachers College Record

64, may, pp. 672-86

Cronbach, L.J. (1982). Designing evaluations of educational and social programs. San

Francisco: Jossey-Bass

Cummings, L. E. (1993). Hospitality`s solid waste policy patchwork: A study of states´s

regulatory environments. Journal of International Academy of Hospitality Research, 16, 1-

24.

David, F. (2008). Conceptos de administración estratégica. South Carolina: Pearson.

De la Orden, A. H. (1982). La evaluación educativa. Buenos Aires: Docencia.

De la Orden, A. H. (1988). La calidad de los centros educativos, asunto para un

congreso. Bordón, 40(2), 149-161.

http://www.eduteka.org/taxonomiabloomdigital.php

http://edorigami.wikispaces.com/Bloom's+and+ICT+tools

Bibliografía

271 | P á g i n a

De la Orden, A. H. (1990). Evaluación de los efectos de los programas de

intervención. Revista de Investigación Educativa, 8(16), 61-76.

Deming W. E. (1989). Calidad, Productividad y Competitividad: la salida de la crisis.

Madrid: Díaz de Santos.

Donaldson, S. I. (2013). The future of evaluation in society: a tribute to Michael

Scriven. Greenwich, CT: Information Age.

Dye, T. y MacManus, S. (2015). Politics in states and communities. South Carolina:

Pearson.

Eisner, E. (1985). The art of educational evaluation: a personal view. East Sussex: The

Falmer Press, Lewess.

Eisner, E. (1987). Procesos cognitivos y curriculum. Barcelona: Martínez-Roca.

Feigenbaum, A. V. (1991). Total quality control. New York: McGraw-Hill

Fernández M.A. (2005). Propuesta de indicadores del proceso de enseñanza/aprendizaje en

la formación profesional en un contexto de gestión de calidad total. Investigación y

Evaluación Educativa, 11(1). Recuperado de

http://www.uv.es/relieve/v10n2/relievev11n1_4.htm

Ferrándiz J. (2014). Modelo EFQM: autoevaluación. Madrid: Servicio Madrileño de

Salud.

http://www.uv.es/relieve/v10n2/relievev11n1_4.htm

Bibliografía

272 | P á g i n a

Fitz-enz, J. (2000). The ROI of human capital: measuring the economic value of employee

performance. Nueva York: Amacom.

Fornell, C. G., Johnson M. D., Anderson E.W., Cha J. y Bryant B.E. (1996). The American

Customer Satisfaction Index: nature, purpose and findings. Journal of Marketing, 60(4), 7-

18.

Friberg, N. (1995). The role of technical and vocational education in the swedish

education system. Berlin: United Nations Educational, Scientific, and Cultural

Organization.

Gagné, R. M. y Briggs, L. J. (1987). La planificación de la enseñanza: sus principios.

Mexico: Trillas.

Gilbert, A., Churchill, Jr. y Surprenant, C. (1982). An investigation into the determinants

of customer satisfaction. Journal of Marketing Research, 19 (4), 491-504.

Gitlow, H., Oppenheim, A., Oppenheim, R. y Levine, D. (2004). Quality Management:

Tools and Methods for Improvement. New York: McGraw-Hill.

Gobierno de Colombia (2015). Experiencia en la unidad administrativa de Personeria de

Manizales. Recuperado de

http://www.personeriamanizales.gov.co/es/nuestra-gestion/indicadores/1687-indicadores

http://www.personeriamanizales.gov.co/es/nuestra-gestion/indicadores/1687-indicadores

Bibliografía

273 | P á g i n a

Goodstein, L., Nolan, T. y J. Pfeiffer, J.W. (1993). Applied strategic planning: How to

develop a plan that really works. New York: McGraw-Hill Professional.

Grotelueschen, A. D. (1986). Quality assurance in continuing professional education.

Georgia: University of Georgia. Dept. of Adult Education Occassional Paper.

Gutiérrez, H. P. y De la Vara, S. R. (2004). Control estadístico de calidad y seis sigma.

Madrid: McGraw-Hill.

Haavelmo, T. (1944). The probability approach in econometrics. Supplement to


Hamodi C., López Pastor V. M. y López Pastor A. P. (2015), Medios, técnicas e

instrumentos de evaluación formativa y compartida del aprendizaje en educación superior.

Perfiles educativos, 37(147). ISSN 0185-2698

Hausman, J. A. (1978). Specification tests in econometrics. Econometrica, 46, 1251-1271.

Hausman, J. A. y Taylor, W. E. (1981). Panel data and unobservable individual effects.


Horton W. (2001). Evaluating E-learning. Treasure Valley: The Association for Talent

Development.

Bibliografía

274 | P á g i n a

Huerta E., Llinàs M. y Parellada F. J., (2012). The GDOR model. A new methodology for

the analysis of training needs: the case of Andorra. Intangible capital, 8(2), 406-424.

Jackson, C. (1984). Evaluation studies: review annual. Londres: Beverly Hills.

Jiménez, M. L. y Barchino, R. (2011). Evaluación e implantación de un modelo de

evaluación de acciones formativas. Madrid: Universidad de Alcalá de Henares.

Jiménez R. E. (2004). Indicadores de calidad y eficiencia de los servicios hospitalarios.

Una mirada actual. Revista Cubana de Salud Pública, 30(1),17-36. Recuperado de

http://www.redalyc.org/articulo.oa?id=21430104

Jöreskog K. G. (2000). Award for Distinguished Scientific Applications of Psychology.

American Psychologist, 62, 768-769.

Kaplan, R.y Norton, D. (1992). Cuadro de Mando Integral. Madrid: Gestión 2000.

Kenney, J., Donnelly, E. y Reid M. (1979), Manpower training and development: an

introduction. Londres: Institute of Personnel Management.

Kirkpatrick, D. L. (1994). Evaluating training programs: the four level. San Francisco:

Berrett-Koehler Publishers.

Kirkpatrick, D. L. (1999). Evaluación de acciones formativas: los cuatro niveles.

Barcelona: Gestión 2000.

Bibliografía

275 | P á g i n a

Lancaster, T. (2000). The incidental parameter problem since 1948. Journal of

Econometrics, 95, 391-413.

Le Boterf, G., Barzucchetti, S. y Vincent, F. (1993). Cómo gestionar la calidad de la

formación. Barcelona: Gestión 2000.

López, A., Ruiz, J. y López, R.C. (2008). Cuestionario de autoevaluación adaptado a un

servicio universitario siguiendo el modelo EFQM de excelencia. Universidad de

Murcia. Recuperado de

http://www.ua.es/en/servicios/ayr/autoevaluacion/pdf/cuestionario_autoevaluacion.pdf

López, J., Martínez-Tur, V., Tordera, N. y Peiró, J. M. (2000). Contribuciones de la

psicología social al estudio de la satisfacción de los usuarios y consumidores. Revista de

Psicología Social, 15(2), 5-24.

Lozano J. (2003). El retorno de la inversión del e-learning. AprendeRH.

Macdonald, B (1979). Democracy and Evaluation. Norwich: CMI Occasional Paper Series

University of East Anglia.

Macdonald, B. (1995). La evaluación como Profesión de servicio público: perspectivas

de Futuro. En M. J. Sáez (Eds.), Conceptualizando la Evaluación en España. Alcalá de

Henares: Universidad Alcalá de Henares.

http://www.ua.es/en/servicios/ayr/autoevaluacion/pdf/cuestionario_autoevaluacion.pdf

Bibliografía

276 | P á g i n a

Mamolar, P. (2000). El problema de la rentabilidad de las inversiones formativas: nuevos

enfoques de evaluación. Capital Humano Revista para la integración y desarrollo de los

recursos humanos, 132, 24-30.

Mamolar, P., Bustillo C., Arribas D. y Minguijón J. (2006). Evaluación 360º de las

competencias de mandos y directivos. Mejico: Tea-Ediciones.

Martínez-Tur, V., Tordera, N., Peiró, J.M. y Potocnik, K. (2011). Linking service climate

and disconfirmation of expectations to customer satisfaction: a cross-level study. Journal

of Applied Social Psychology, 41, 1189-1213.

Ministerio de Sanidad Chile. (2015). Manual del Informe de Referencia de Terceros,

Sistema de Evaluación del Desempeño Profesional Docente. Recuperado de

www.docentemas.cl/docs/Manual%20IRT%202015.pdf

Mundlak, Y. (1978). On the pooling of time series and cross-sections data. Econometrica,

46, 69-85.

Mushroom, E. (2014). Relación entre calidad, productividad y competitividad. Recuperado

de

https://www.clubensayos.com/psicología/relacion-entre-calidad-productividad-y-

competitividad/1407686.html

Neyman J. y Scott, E. L. (1948). Consistent estimation from partially consistent

observation. Econometrica, 16, 1-32.

http://www.docentemas.cl/docs/Manual%20IRT%202015.pdf

https://www.clubensayos.com/Psicología/RELACION-ENTRE-CALIDAD-PRODUCTIVIDAD-Y-COMPETITIVIDAD/1407686.html

https://www.clubensayos.com/Psicología/RELACION-ENTRE-CALIDAD-PRODUCTIVIDAD-Y-COMPETITIVIDAD/1407686.html

Bibliografía

277 | P á g i n a

Olaz, A. J. (2009). Definición de un modelo de clima laboral basado en la gestión por

competencias. Papers, 91, 193-201

Organización Internacional del Trabajo (2011). Guía para la evaluación de impacto de la

formación. Recuperado de

http://guia.oitcinterfor.org/sites/default/files/guia/guia-evaluacion-impacto.pdf

Ortiz, E. A. (2015). La evaluación del impacto científico en las investigaciones educativas

a través de un estudio de caso. Revista Electrónica de Investigación Educativa, 17(2), 89-

100. Recuperado de

http://redie.uabc.mx/vol17no2/contenido-ortizt.html

Paez, D., Echeburúa, E. y Borda, M. (1993). Evaluación de la eficacia de los tratamientos

psicológicos: una propuesta metodológica. Revista de Psicología General y Aplicada,

46(2), 187-198.

Páez, D., Ubillos, S. y León, M. (1996). Evaluación del cambio de actitudes y conductas

ante el SIDA. En N. Basabe, D. Páez, R. Usieto, H. Paicheler y J. Deschamps (Eds.), El

Desafío Social del sida (pp.113-134). Madrid: Fundamentos.

Parlett, M. y Hamilton, D. (1982). Evaluation in illumination: A new approach to the study

of innovative programmes. Melbourne: Borchardt Library, La Trobe University.

Pérez-Quintero, A. L. (2013). Eficiencia, eficacia y efectividad en la calidad empresarial.

Recuperado de

http://www.gestiopolis.com/eficiencia-eficacia-y-efectividad-en-la-calidad-empresarial/

http://guia.oitcinterfor.org/sites/default/files/guia/guia-evaluacion-impacto.pdf

http://redie.uabc.mx/vol17no2/contenido-ortizt.html

http://www.gestiopolis.com/eficiencia-eficacia-y-efectividad-en-la-calidad-empresarial/

Bibliografía

278 | P á g i n a

Phillips, J. (2003). Return on investment in training and performance improvement.

Massachusetts: Butterworth-Heinemann.

Pineda, P. (2000). La evaluación de la formación en las organizaciones: situación y

perspectiva. Revista Española de Pedagogía, 216, 291-312.

Pineda, P. (2000). Evaluación del impacto de la formación en las organizaciones. Educar,

27, 119-133

Pineda, P. (2001). Economía de la educación: una disciplina pedagógica en pleno

desarrollo. Teoría de la educación, 12, 143-158.

Polesky, G. (2006). Curso de preparación para Green Belt en la metodología Seis Sigma.

Puebla: Universidad de las Américas.

Restrepo Ramírez, P. (1990). Evaluación del trabajo y resultados: aproximación a

los servicios sociales. Madrid: Consejería de Integración Social, D.L.

Robinson, D. y Robinson, J. (1989). Training for Impact. Training and Development

Journal, 43(8), 34-42.

Robles, N. (2008). Metodología para la evaluación de la eficacia y la eficiencia en la

capacitación del recurso humano. Tecnología en Marcha, 21(4), 51-59.

Bibliografía

279 | P á g i n a

Rodríguez L. y Mosteiro A. (2001). Medición del retorno de la inversión en formación,

dentro del marco de la nueva economía. Capital humano, 14(150), 30-34

Rosales, M. (2015). Proceso evaluativo: evaluación sumativa, evaluación formativa y

assesment: su impacto en la educación actual. Congreso Iberoamericano de Ciencia,

Tecnología, Innovación y Educación. ISBN: 978-84-7666-210-6 – Artículo 662

Saba Software Inc. (2002). Saba human capital development and management solutions.

Recuperado de: http://www.e-learningguru.com/wpapers/saba_analytics.pdf

Schultz T. (1981). Investing in people: The economics of population quality. San

Francisco: University of California Press.

Scriven, M. (2000). Evaluation models: viewpoints on educational and human services

evaluation. Boston: Kluwer Academic Press, cop.

Shapiro, S. S., and M. B. Wilk.(1965). An analysis of variance test for normality (complete

samples). Biometrika, 52, 591-611.

Stake, R. (1967). The countenance of educational evaluation, Teachers College Record 68,

abril, pp. 523-540.

Stake, R. (1975). Evaluating the arts in education: A responsive approach. Columbus:

Merril.

http://www.e-learningguru.com/wpapers/saba_analytics.pdf

Bibliografía

280 | P á g i n a

Stake, R.E. (1975). Program evaluation, particularly responsive evaluation. University of

Western Michigan: Ocasional Paper Series nº 5.

Stake, R.E. (2006), Evaluación comprensiva y evaluación basada en estándares,

Barcelona: Graó.`

Stata (versión 11.0) (computer software). Software: StataCorp

Stenhouse, L. La investigación y desarrollo del currículo. Ed. Morata. Madrid, 1984

Stufflebeam, D. L. y Shinkfield, A. J. (2007). Evaluation theory, models, and applications.

San Francisco: Jossey-Bass.

Stufflebeam, D.L. (2000). The CIPP model for evaluation. In D.L. Stufflebeam, G.F.

Madaus & T. Kellaghan, (Eds.), Evaluation models. (2ª ed) (Chapter 16). Boston: Kluwer

Academic Publishiers.

Stufflebeam, D.L. y Shinkfield, A.J. (1987). Evaluación sistemática: guía teórica y

práctica. Madrid: Paidós-MEC.

Tejada J. y Ferrández-Lafuente E. (2011). Problemáticas del impacto de la Formación.

Departamento de Pedagogía Aplicada. Universitat Autònoma de Barcelona. Recuperado de

http://formacionxxi.com/porqualMagazine/do/get/magazineArticle/2011/10/text/xml/Probl

ematicas_del_impacto_de_la_Formacion_Continua.xml.html

http://formacionxxi.com/porqualMagazine/do/get/magazineArticle/2011/10/text/xml/Problematicas_del_impacto_de_la_Formacion_Continua.xml.html

http://formacionxxi.com/porqualMagazine/do/get/magazineArticle/2011/10/text/xml/Problematicas_del_impacto_de_la_Formacion_Continua.xml.html

Bibliografía

281 | P á g i n a

Tejada, J. y Ferrández, E. (2007). La evaluación del impacto de la formación como

estrategia de mejora en las organizaciones. Revista Electrónica de Investigación

Educativa, consultado el día 15 de noviembre de 2014 en

http://redie.uabc.mx/vol9no2/contenido-tejada2.html

Tyler, R. (1969). Educational evaluation: new roles and new means. Chicago: The

National Society for the Study of Education.

Tyler, R. (1982). Principios básicos del currículo. Buenos Aires: Troquel.

Ubillos, S. (1994). Problemas de la evaluación de los programas preventivos ante el SIDA.

En L. Valenciano y R. Usieto (Eds.), Avances en el tratamiento médico y psicosocial del

SIDA. Madrid: CESA.

Universitat Oberta de Catalunya. Duart J. (2002). ROI y e-learning: más allá de beneficios

y costes. Recuperado de

http://www.uoc.edu/web/esp/art/uoc/duart0902/duart0902.html

Wade, P. (1998). Cómo medir el impacto de la formación. Madrid: Centro de

Estudios Ramón Areces S.A.

Wallace, T. D. y Hussain, A. (1969). The use of error component model in combining

cross-section and time-series data. Econometrica, 37, 55-72.

http://redie.uabc.mx/vol9no2/contenido-tejada2.html

http://www.uoc.edu/web/esp/art/uoc/duart0902/duart0902.html

Bibliografía

282 | P á g i n a

REFERENCIAS LEGALES:

Ámbito europeo:

Comunidad Económica Europea (1990). Decisión del Consejo de las Comunidades

Europeas, de 29 de Mayo, del programa de acción para el desarrollo de la formación

profesional continuada en la Comunidad Europea (FORCE). Recuperado de

https://www.boe.es/doue/1993/181/L00037-00040.pdf

Comunidad Económica Europea (2001). Recomendación 2001/166/CE, de 12 de febrero,

del Parlamento Europeo y del Consejo relativa a la cooperación europea en materia de

evaluación de la calidad de la educación escolar. Recuperado de

http://eur-lex.europa.eu/legal-content/ES/TXT/HTML/?uri=URISERV:c11038b&from=ES

Ámbito nacional:

España (1999). Resolución de la Subsecretaría del Ministerio de Sanidad y Consumo, de

30 de Julio, del Sistema Acreditador de Actividades de Formación Continuada.

Recuperado de

https://www.boe.es/boe/dias/1999/08/26/pdfs/A31755-31756.pdf

España (2003). Ley 44/2003, de 21 de noviembre, de ordenación de las profesiones

sanitarias. Recuperado de

http://www.boe.es/buscar/pdf/2003/BOE-A-2003-21340-consolidado.pdf

https://www.boe.es/doue/1993/181/L00037-00040.pdf

http://eur-lex.europa.eu/legal-content/ES/TXT/HTML/?uri=URISERV:c11038b&from=ES


http://www.boe.es/buscar/pdf/2003/BOE-A-2003-21340-consolidado.pdf

Bibliografía

283 | P á g i n a

España (2015). Proyecto de Ley por la que se regula el Sistema de Formación Profesional

para el empleo en el ámbito laboral . Texto remitido por el Congreso de los Diputados

621/000153 (Congreso de los Diputados, Serie A, Núm.exp.121/000148).

Región de Murcia (2004). Orden, de 30 de julio, de la Consejería de Hacienda por la que se

actualizan las cuantías de las indemnizaciones y retribuciones por realización de

actividades de formación. Recuperado de

http://www.borm.es/borm/documento?obj=anu&id=33145

Región de Murcia (2006). Decreto 223/2006, de 27 de octubre, por el que se dictan normas

para la aplicación del sistema de acreditación de formación continuada de las profesiones

sanitarias. Recuperado de

http://borm.carm.es/borm/documento?obj=anu&id=307429

España (2007). Real Decreto 1142/2007, de 31 de agosto, por el que se determina la

composición y funciones de la Comisión de Formación Continuada de las Profesiones

Sanitarias y se regula el sistema de acreditación de la formación continuada. Recuperado

de



http://borm.carm.es/borm/documento?obj=anu&id=307429


Bibliografía

284 | P á g i n a

Región de Murcia (2014). Orden, de 10 de abril, de la Consejería de Sanidad y Política

Social de la Región de Murcia por la que se regula la selección del personal estatutario

temporal del Servicio Murciano de Salud. Recuperado de



Anexos

285 | P á g i n a

6. ANEXOS

Anexo 1. Estimación del coste indirecto de formación

En el cálculo del indicador de eficiencia se ha tenido en cuenta el coste de la hora de

formación, tal y como se recoge en el B.O.R.M. publicado el 16 de septiembre de 2004.

Podemos considerar que es el coste directo, pero a dicho coste cabría añadirle el coste

indirecto, ya que cuando un profesional sanitario asiste a un curso de formación

continuada, su plaza ha de ser sustituida por otro profesional.

En el caso de los especialistas en Medicina Familiar y Comunitaria, los residentes suelen

ser quienes sustituyan, aunque no siempre es así. Por lo tanto, para el sistema se generan

unos costes derivados de la sustitución por otros profesionales, que hemos denominado

“costes indirectos “.

Para estimar dicho coste se parte del coste laboral por hora en actividades sanitarias. A

continuación se muestran los datos correspondientes al coste laboral por hora desde el año

2008 hasta 2014.

Tabla 76. A1. Promedio coste laboral por hora en actividades sanitarias (€/hora) 2008 2009 2010 2011 2012 2013 2014 24,64

26,12

26,08

26,01

24,84

24,6

25,08

Fuente: Encuesta Anual de Coste Salarial (INE)

http://www.acreditacion.murciasalud.es/docs/borm.pdf

Anexos

286 | P á g i n a

Figura 33. Coste laboral hora efectiva sanidad 2008-2014 Fuente: Elaboración propia a partir de Encuesta Anual de Coste Salarial (INE)

Se aprecia que en el año 2009 se produce un aumento en el coste, que se mantiene hasta el

año 2011 con un ligero descenso, para descender en el año 2012, subiendo ligeramente

durante el 2013 y 2014. Por lo tanto, los años 2009 y 2012 son los años que suponen el

punto de inflexión, tanto en lo relativo al aumento como al descenso del coste por hora.

A continuación se ha calculado el número de horas promedio de formación recibidas por

cada participante, para lo que se ha dividido el número total de horas entre el número de

ediciones.

Por último, se ha multiplicado el resultado anterior por el número de participantes y por el

coste laboral por hora en actividades sanitarias ( ).

Por tanto, el coste indirecto soportado por el área i en el año t se puede expresar como:

(A1)

Anexos

287 | P á g i n a

Tabla 77. A1. Costes indirectos hora formación 2009-14 COSTES INDIRECTOS 2009-2014

2009 2010 2011 2012 2013 2014

A 730.251,57 € 19.070.519,81 € 39.899,34 € 485.180,45 € 431.788,31 € 436.328,52 €

B 618.089,15 € 16.141.398,26 € 24.813,54 € 341.396,01 € 353.548,13 € 307.798,84 €

C 237.232,89 € 6.195.337,05 € 13.889,34 € 126.177,27 € 184.302,13 € 146.269,04 €

D 116.072,47 € 3.031.232,55 € 7.308,81 € 59.670,23 € 80.659,30 € 36.960,08 €

E 110.015,24 € 2.873.048,01 € 5.696,19 € 68.369,29 € 49.078,45 € 60.070,18 €

F 235.327,17 € 6.145.568,93 € 21.796,38 € 248.285,13 € 194.570,66 € 193.592,83 €

G 298.083,62 € 7.784.453,78 € 29.235,24 € 232.996,69 € 296.435,84 € 847.302,72 €

H 271.249,23 € 7.083.673,68 € 7.282,80 € 103.785,47 € 123.393,60 € 141.763,74 €

I 120.127,18 € 3.137.121,25 € 5.358,06 € 43.457,43 € 37.490,40 € 44.124,08 €

J 122.382,35 € 3.196.015,11 € 5.618,16 € 96.645,40 € 136.234,80 € 150.019,71 €

K 186.534,55 € 4.871.349,73 € 6.294,42 € 61.011,32 € 139.091,91 € 135.720,42 € Fuente: Ministerio de Sanidad Política Social e Igualdad

Anexos

288 | P á g i n a

Anexo 2. Satisfacción de los pacientes con la atención recibida

Aunque lo óptimo sería poder constatar el efecto de los cursos de formación sobre la

atención recibida por los pacientes, por el momento no es posible relacionar directamente

el indicador de eficiencia con la calidad de la atención recibida por los mismos.

No obstante, sí que se dispone de encuestas sobre la valoración de las consultas tanto de

medicina familiar como de consultas de especialistas. A continuación, se presentan los

resultados desde 2009 hasta 2013 comparando la valoración para el conjunto de la Región

de Murcia con la media a nivel nacional.

Los aspectos analizados son:

- Facilidad de citación.

- Trato del personal sanitario.

- Información recibida sobre su problema de salud.

- Consejos del médico (ejercicio, tabaco, alcohol…).

- Facilidad para acudir al especialista, es decir, derivación. Este aspecto en el caso de

los médicos especialistas no procedía ser analizado.

Anexos

289 | P á g i n a

Tabla 78. A2. Valoración de pacientes en relación con los médicos de Atención Primaria 2009 2010 2011 2012 2013

Facilidad de citación

Murcia (Región de) 6,64 6,72 7,15 7,32 7,37

Total nacional 6,51 6,89 7,06 7,13 7,41

Trato del personal sanitario Murcia (Región de) 6,89 7,01 7,24 7,35 7,38

Total nacional 7,42 7,50 7,75 7,74 7,82

Información recibida Murcia (Región de) 7,15 7,26 7,51 7,80 7,77

Total nacional 7,20 7,34 7,50 7,53 7,56

Consejos del médico Murcia (Región de) 7,33 7,52 7,42 7,49 7,48

Total nacional 7,12 7,25 7,38 7,37 7,50

Facilidad para acudir al especialista Murcia (Región de) 7,35 7,36 7,56 7,86 --

Total nacional 7,19 7,26 7,39 7,41 --

Nota: Calificación en una escala de 1 a 10, en la que 1 significa que se valora como 'totalmente insatisfactorio' y 10 que se valora como 'totalmente satisfactorio'. (Esta pregunta se hace a todas las personas que participan en la encuesta, con independencia de que hayan acudido o no a consulta del médico de familia) Fuente: Barómetro sanitario. Ministerio de Sanidad, Servicios Sociales e Igualdad.

- Facilidad de citación: Como puede apreciarse el incremento de la satisfacción se

correlaciona con el paso de los años.

- Trato del personal sanitario Como puede observarse, al igual que ocurría con la

facilidad para obtener cita a lo largo de los años, la satisfacción va en aumento, si

bien es cierto que la media está por debajo de la media nacional, por lo que hay un

margen de mejora en este sentido.

- Información recibida: Puede apreciarse como desde 2009 ha ido aumentando

progresivamente y a partir de 2011 la media en la Región de Murcia es superior a la

media nacional.

Anexos

290 | P á g i n a

- Consejos del médico: En esta valoración se observan pequeños altibajos en relación

a la satisfacción. En cuanto a la valoración de la Región de Murcia el año 2010

representa el valor más alto por encima de la media nacional.

- Facilidad para acudir al especialista: Sorprende que la puntuación de la valoración

tanto a nivel regional como nacional vaya incrementándose, destacando que es

especialmente muy elevada en 2012.

Tabla 79. A3. Valoración de pacientes en relación con la Atención Especializada 2009 2010 2011 2012 2013

Facilidad de citación Murcia (Región de) 5,87 5,50 6,09 6,19 6,17

Total nacional 5,41 5,60 5,66 5,72 5,92

Trato del personal sanitario Murcia (Región de) 6,89 6,91 7,23 7,44 7,41

Total nacional 7,21 7,20 7,36 7,42 7,47

Información recibida sobre su problema Murcia (Región de) 7,61 7,49 7,60 7,95 8,04

Total nacional 7,03 7,13 7,24 7,30 7,34

Consejos del médico Murcia (Región de) 7,76 7,55 7,46 7,60 7,85

Total nacional 6,90 6,98 7,08 7,13 7,25

Nota: Calificación en una escala de 1 a 10, en la que 1 significa que se valora como 'totalmente insatisfactorio' y 10 que se valora como 'totalmente satisfactorio'. (Esta pregunta se hace a todas las personas que participan en la encuesta, con independencia de que hayan acudido o no a consulta del médico de familia) Fuente: Barómetro sanitario. Ministerio de Sanidad, Servicios Sociales e Igualdad.

- Facilidad de citación: Los resultados obtenidos son inferiores a los que aparecen en

los especialistas de Atención Primaria. No hay una tendencia fija a nivel regional y

nacional.

- Trato del personal sanitario: Se observa una tendencia creciente tanto a nivel

regional como a nivel nacional. Es en 2012 cuando la media conseguida en Murcia

está ligeramente por encima de la media nacional.

Anexos

291 | P á g i n a

- Información recibida sobre su problema: Éste es uno de los aspectos mejor

valorados, hasta incluso si se compara con la misma pregunta en especialistas de

Atención Primaria, llegando a alcanzar en la Región de Murcia una puntuación por

encima de 8 y por encima de la media nacional que se encuentra en 7,34 en 2013.

- Consejos del médico: La puntuación en este apartado relativo a la Región de

Murcia está por encima de la media. Al igual que ocurría con las valoraciones

anteriores, puede observarse que va progresivamente aumentando a lo largo de los

años.

Existen algunas temáticas transversales en los planes de formación continuada tales como

la comunicación, tarjeta sanitaria, que seguro tendrán su repercusión en la valoración de la

facilidad para conseguir cita, trato personal ó información recibida. En este sentido, se ha

de tener en cuenta la existencia de factores que exceden el campo formativo y que son los

derivados de la gestión asistencial que desde cada área se lleva a cabo.

Anexos

292 | P á g i n a

Anexo 3. Descripción de la base de datos de panel

Tabla 80. A1. Descripción de la base de datos de panel

Año Área

Tasa de cobertura

estandarizada Coste

estandarizado Aforo

estandarizado Beneficio

estandarizado Indicador cualitativo

Indicador de eficiencia

ponderado 2009 1 -0,72 1,68 0,18 2,18 0,13 -0,80 2009 2 -0,52 -0,24 0,63 1,63 0,08 2,79 2009 3 0,21 0,58 -0,68 -0,19 -1,08 -0,01 2009 4 -0,95 0,50 -0,53 -0,77 -0,17 0,00 2009 5 -0,38 0,51 -0,18 -0,80 0,04 0,05 2009 6 0,53 0,13 -1,31 -0,20 -1,08 0,03 2009 7 -0,36 -0,13 -0,91 0,11 -0,29 0,05 2009 8 -0,13 -0,59 2,01 -0,02 -0,50 2,02 2009 9 0,90 -2,28 -0,77 -0,75 -0,71 0,10 2009 10 -1,01 0,49 0,32 -0,74 1,42 0,00 2009 11 2,42 -0,66 1,24 -0,43 2,13 22,76 2010 1 -0,42 1,22 -0,19 2,15 0,61 -0,52 2010 2 -0,90 -0,35 0,37 1,33 0,97 0,86 2010 3 0,26 -0,07 -1,00 -0,08 -1,36 0,00 2010 4 -0,86 0,13 -0,15 -0,67 -0,19 0,03 2010 5 0,50 0,41 0,95 -0,58 -0,19 0,59 2010 6 0,67 0,05 -0,75 0,28 -0,48 0,27 2010 7 0,33 -1,09 -0,76 0,56 0,10 1,14 2010 8 -1,67 -2,05 1,09 -0,80 -1,43 0,38 2010 9 -0,72 -0,50 -1,66 -1,03 -0,70 0,00 2010 10 1,66 1,06 1,61 -0,44 0,90 -0,43 2010 11 1,15 1,20 0,49 -0,72 1,78 -0,50 2011 1 -0,21 1,46 0,58 2,05 0,09 -1,89 2011 2 -0,75 -0,08 1,82 1,31 0,98 3,48 2011 3 -0,34 0,75 -0,18 -0,18 -0,75 0,03 2011 4 -1,49 -0,28 0,31 -0,57 1,34 -0,83 2011 5 0,41 0,53 -0,38 -0,75 -0,39 0,06 2011 6 -0,09 0,17 -1,63 -0,11 0,03 -0,43 2011 7 1,02 -1,80 0,28 1,07 0,51 22,48 2011 8 -1,50 -0,86 0,23 -0,58 -0,81 -0,09 2011 9 0,54 -1,08 -1,74 -0,88 -1,05 0,01 2011 10 0,81 1,32 0,48 -0,69 1,52 -0,67 2011 11 1,62 -0,14 0,22 -0,66 -1,47 -0,58

Anexos

293 | P á g i n a

Año Área

Tasa de cobertura

estandarizada Coste

estandarizado Aforo

estandarizado Beneficio

estandarizado Indicador cualitativo

Indicador de eficiencia

ponderado 2012 1 0,61 1,32 0,04 2,23 -0,03 -1,66 2012 2 -0,65 0,40 2,23 1,21 0,38 2,05 2012 3 1,15 1,53 -1,11 -0,31 -0,85 0,01 2012 4 -1,70 0,39 -0,50 -0,78 0,71 -0,08 2012 5 0,62 -0,08 -0,10 -0,72 -1,27 -0,12 2012 6 0,39 -0,65 -0,66 0,55 -0,69 0,38 2012 7 0,09 -0,71 -0,28 0,45 -0,28 1,41 2012 8 -1,46 -1,78 0,42 -0,47 -0,11 -0,87 2012 9 -0,63 -0,97 -1,38 -0,89 -1,10 0,00 2012 10 1,35 -0,18 0,56 -0,52 1,53 5,30 2012 11 0,23 0,74 0,78 -0,77 1,70 0,36 2013 1 0,02 1,81 -0,18 1,95 -0,45 -1,11 2013 2 -0,21 -0,59 0,97 1,33 -0,13 5,06 2013 3 1,38 0,35 -0,20 0,00 -1,01 -0,01 2013 4 -0,86 -0,09 -0,25 -0,82 0,27 0,03 2013 5 -0,43 1,43 -0,76 -1,06 0,75 0,01 2013 6 0,08 0,31 -1,02 0,08 -0,53 -0,01 2013 7 0,22 -1,12 -0,15 0,88 -0,05 3,90 2013 8 -1,05 -0,85 0,98 -0,48 -0,29 -0,06 2013 9 -0,19 -1,17 -1,82 -1,16 -1,33 -0,07 2013 10 -1,12 0,57 1,45 -0,38 0,35 -0,11 2013 11 2,16 -0,65 0,96 -0,36 2,42 22,50 2014 1 0,10 0,77 -0,26 0,88 0,21 0,42 2014 2 -0,42 -0,41 -0,07 0,34 -0,19 0,83 2014 3 -0,36 0,34 -0,48 -0,34 -1,67 -0,10 2014 4 -0,74 1,47 -0,78 -0,80 -0,19 0,00 2014 5 0,54 0,40 -0,49 -0,71 -1,47 -0,06 2014 6 -0,05 0,79 -0,50 -0,14 0,11 0,09 2014 7 -0,27 -0,79 2,79 2,62 -0,09 16,17 2014 8 -0,36 -1,24 0,25 -0,36 0,30 1,48 2014 9 -0,41 -1,71 -0,81 -0,77 0,21 0,08 2014 10 2,79 0,90 0,30 -0,33 0,70 0,55 2014 11 -0,81 -0,51 0,07 -0,39 2,08 0,58

Anexos

294 | P á g i n a

Año Área

Coste indirecto (miles €)

Frecuentación general

Hospitales Centros de Salud

Consultorios

Medicina de familia Pediatría Enfermería

2009 1 730,25 5,42 5,33 2,62 1 14 33 2009 2 618,09 5,94 5,74 3,34 2 16 45 2009 3 237,23 6,62 5,57 4,14 1 9 29 2009 4 116,07 7,47 6,88 4,03 1 6 21 2009 5 110,02 5,97 3,81 1,72 1 3 3 2009 6 235,33 5,77 5,7 2,76 1 15 23 2009 7 298,08 - - - 1 11 18 2009 8 271,25 - - - 1 5 10 2009 9 120,13 - - - 1 4 3 2009 10 122,38 - - - 1 19 - 2009 11 186,53 - - - 0 27 17 2010 1 19070,52 5,71 5,25 2,79 1 14 33 2010 2 16141,40 6 5,55 3,22 2 16 45 2010 3 6195,34 6,7 5,39 3,9 1 9 29 2010 4 3031,23 7,25 6,01 3,78 1 6 21 2010 5 2873,05 5,58 3,66 1,71 1 3 3 2010 6 6145,57 6,17 5,72 3,18 1 15 23 2010 7 7784,45 - - - 1 11 18 2010 8 7083,67 - - - 1 5 10 2010 9 3137,12 - - - 1 4 3 2010 10 3196,02 - - - 1 19 - 2010 11 4871,35 - - - 0 27 17 2011 1 39,90 5,83 5,63 2,77 1 14 33 2011 2 24,81 5,88 5,67 3,15 2 16 45 2011 3 13,89 6,28 5,61 5,15 1 9 29 2011 4 7,31 6,9 6,56 3,72 1 6 21 2011 5 5,70 5,61 3,8 1,72 1 3 3 2011 6 21,80 5,33 5,33 2,61 1 15 23 2011 7 29,24 5,68 6,09 2,73 1 11 18 2011 8 7,28 5,9 5,68 2,99 1 5 10 2011 9 5,36 7,18 6,77 3,21 1 4 3 2011 10 5,62 - - - 1 19 - 2011 11 6,29 - - - 0 27 17

Anexos

295 | P á g i n a

Año Área

Coste indirecto (miles €)

Frecuentación general

Hospitales Centros de Salud Consultorios

Medicina de familia Pediatría Enfermería

2012 1 485,18 6,68 6,48 3,19 1 14 33 2012 2 341,40 6,31 5,9 3,27 2 16 45 2012 3 126,18 6,38 5,9 5,03 1 9 29 2012 4 59,67 8,52 8,07 4,66 1 6 21 2012 5 68,37 6,72 5,17 3,15 1 3 3 2012 6 248,29 5,88 6,01 2,79 1 15 23 2012 7 233,00 6,21 6,7 2,88 1 11 18 2012 8 103,79 12,59 6,19 3,37 1 5 10 2012 9 43,46 15,35 6,93 3,44 1 4 3 2012 10 96,65 - - - 1 19 - 2012 11 61,01 - - - 0 27 17 2013 1 431,79 6,4 5,76 3,1 1 14 33 2013 2 353,55 6,31 5,5 3,13 2 16 45 2013 3 184,30 5,17 4,61 4,4 1 9 29 2013 4 80,66 7,76 6,35 4,5 1 6 21 2013 5 49,08 5,8 3,98 3,14 1 3 3 2013 6 194,57 5,57 5,11 2,75 1 15 23 2013 7 296,44 5,91 5,72 2,79 1 11 18 2013 8 123,39 6,57 5,71 3,19 1 5 10 2013 9 37,49 7,63 4,83 3,09 1 4 3 2013 10 136,23 - - - 1 19 - 2013 11 139,09 - - - 0 27 17 2014 1 436,33 6,29 5,67 3,03 1 14 33 2014 2 307,80 6,25 5,61 3,12 2 16 45 2014 3 146,27 7,29 3,64 3,58 1 9 29 2014 4 36,96 7,59 6,08 3,9 1 6 21 2014 5 60,07 5,55 3,73 3,39 1 3 3 2014 6 193,59 5,45 4,97 2,81 1 15 23 2014 7 847,30 5,8 5,49 2,87 1 11 18 2014 8 141,76 6,78 5,26 3,71 1 5 10 2014 9 44,12 7,35 4,93 2,98 1 4 3 2014 10 150,02 - - - 1 19 - 2014 11 135,72 - - - 0 27 17

Anexos

296 | P á g i n a

Año Área Superficie

(Km2) Ratio superficie/centros

de salud Ratio

superficie/consultorio 2009 1 1996 143 60 2009 2 1174 73 26 2009 3 2406 267 83 2009 4 2382 397 113 2009 5 1580 527 527 2009 6 1785 119 78 2009 7 940 85 52 2009 8 306 61 31 2009 9 568 142 189 2009 10 1231 65 - 2009 11 11287 418 664 2010 1 1996 143 60 2010 2 1174 73 26 2010 3 2406 267 83 2010 4 2382 397 113 2010 5 1580 527 527 2010 6 1785 119 78 2010 7 940 85 52 2010 8 306 61 31 2010 9 568 142 189 2010 10 1231 65 - 2010 11 11287 418 664 2011 1 1996 143 60 2011 2 1174 73 26 2011 3 2406 267 83 2011 4 2382 397 113 2011 5 1580 527 527 2011 6 1785 119 78 2011 7 940 85 52 2011 8 306 61 31 2011 9 568 142 189 2011 10 1231 65 - 2011 11 11287 418 664

Anexos

297 | P á g i n a

Año Área Superficie

(Km2) Ratio superficie/centros

de salud Ratio

superficie/consultorio 2012 1 1996,01 143 60 2012 2 1174,4 73 26 2012 3 2406,14 267 83 2012 4 2381,72 397 113 2012 5 1579,7 527 527 2012 6 1784,88 119 78 2012 7 940,2 85 52 2012 8 305,68 61 31 2012 9 567,8 142 189 2012 10 1230,92 65 - 2012 11 11287 418 664 2013 1 1996,01 143 60 2013 2 1174,4 73 26 2013 3 2406,14 267 83 2013 4 2381,72 397 113 2013 5 1579,7 527 527 2013 6 1784,88 119 78 2013 7 940,2 85 52 2013 8 305,68 61 31 2013 9 567,8 142 189 2013 10 1230,92 65 - 2013 11 11287 418 664 2014 1 1996,01 143 60 2014 2 1174,4 73 26 2014 3 2406,14 267 83 2014 4 2381,72 397 113 2014 5 1579,7 527 527 2014 6 1784,88 119 78 2014 7 940,2 85 52 2014 8 305,68 61 31 2014 9 567,8 142 189 2014 10 1230,92 65 - 2014 11 11287 418 664

Fuente: Elaboración propia con la utilización del programa Stata versión 11.0

mª pilar serrano casarrubio - rua.ua.es · universitat dÁlacant universidad de alicante...

Documents