labor intermediation and training programs of the stps/méxico maximo torero (ifpri/ grade) y miguel...
TRANSCRIPT
Labor Intermediation and Training Programs of the
STPS/México
Maximo Torero (IFPRI/ GRADE) y
Miguel Robles (UCLA)
Temas a analizar
Programas y documentos analizados Objetivos y descripción de los programas Evaluaciones de impacto Evaluaciones de impacto teoría De la Teoría a la práctica el caso de los progr
amas analizados Aspectos positivos Aspectos por mejorar
Recomendaciones finales
Programas y documentos analizados
Programas y documentos analizados
Programas Documentos
PROBECATEvaluación del Programa de Becas de Capacitación para Desempleados (Agosto 1995)
SICATEvaluación del Impacto del Sistema de Capacitación para el Trabajo- 2003
SAEMLIEstudio para Evaluar el Impacto del Sistema de Apoyos Económicos a la Movilidad Laboral Interna - 2003
SAEMLEEvaluación del Impacto del Sistema de Apoyos Económicos a la Movilidad Laboral al Exterior -2003
SAEBEEstudio para Evaluar el Impacto del Sitema de Apoyos Económicos a Buscadores de Empleo - 2003
PACPrograma de Apoyo a la Capacitación (Evaliación PAC Dic. 2002, 2003)
CIMO Programa de Calidad Integral y Modernización (Evaluación 1995)
PIPEstudio para Evaluar el Impacto de Proyectos de Inversión Productiva - 2002
Objetivos y Descripción de los Programas
Objetivos y Descripción de Programas
PROBECAT SICAT
(Programa de Becas de Capacitación para Desempleados) (Sistema de Capacitación para el Trabajo)
Desempleados y subempleados
► Cursos de capacitación
► Becas monetarias equivalentes al salario mínimo
► Ayuda para el transporte
► 651,180 beneficiarios entre 1984 y 1994
► Capacitación mixta (en la empresa): 1.8 meses, costo unitario $274.2
► Duración del desempleo ► Probabilidad de conseguir empleo
► Salario por hora ► Ingresos ► Horas por semana
Efectos Mensurables
Programa
► Formación laboral en la práctica: capacitación en micro y pequeñas empresas a desempleados o subempleados entre 16 y 30 años
► Capacitación para el autoempleo: capacitación para formulación de proyectos de inversión► Formación productiva: capacitación en habilidades técnicas y administrativas a auto-empleados
Población Objetivo
Tratamiento
Escala
► 216,163 becas otorgadas en el 2002
► 16,825 cursos impartidos en el 2002► Presupuesto Ejercido 2002: $898.6 millones
► Incorporar a la población desempleada y subempleada a cursos de capacitación de corto plazo para que obtenga calificación y/o certificación; asi mejorar el acceso al empleo
► Formación laboral en competencias: capacitación en empresas con miras a otorgar certificación al beneficiario… las empresas se obligan a contratar al 70% de los beneficiarios
Objetivo General► Capacitación, recalificación y elementos de instrucción básica a la población desempleada con el fin de elevar sus competencias y facilitar su inserción o reincorporación al empleo
Individuos desempleados y en búsqueda activa de empleo (registrados en el SEE) entre 18 y 55 años con primaria completa
► Capacitación escolariza: duración media 3.1 meses, costo unitario $380.6
Objetivos y Descripción de Programas
SAEMLI SAEMLE SAEBE
(Sistema de Apoyos Económicos a la Movilidad Laboral Interna) (Sistema de Apoyos Económicos a la Movilidad Laboral Externa)(Sistema de Apoyos Económicos a Buscadores de Empleo)
► Acceso a información y orientación sobre vacantes
► $3,000 por beneficiario
► 24,604 beneficiarios entre enero y julio 2003
► $ 41.7 millones en el 2003 ► Inversión de $44.4 millones entre enero y julio 2003
► Probabilidad de conseguir empleo ► Dispersión (concentración) geográfica de beneficiarios ► Probabilidad de conseguir empleo
► Intensidad en el empleo ► Tasas de repatriación prematura (duración laboral) ► Ingresos Efectos
Mensurables
Trabajadores que participan por 1era vez en el PTAT; entre 23 y 40 años; casados, unión libre o madre solteras; con al menos tercero de primaria
Programa
Población Objetivo
Tratamiento
Escala
► Ayuda económica, $1800/ beneficiario. Principalmente destinada a costos de traslado, llamadas telefónicas, sostenimiento
► 1,974 trabajadores asignados (20% del PTAT) en el 2003
► $6 millones en el 2003
► 9,700 beneficiarios en el 2003
► Ayuda económica para que los candidatos al PTAT cubran los gastos de alimentación y hospedaje en que incurren cuando efectúan sus trámites en la Ciudad de México (o en el Servicio Estatal de Empleo SEE correspondiente)
► Facilitar la inserción en el mercado laboral de la población desempleada del sector formal
Desempleados del sector formal y que se encuentran en proceso de búsqueda de empleo
► Facilitar el proceso de incorporación al PTAT de trabajadores que no tenían acceso debido a los costos de la tramitación ► Antecedente: Programa de Trabajadores Agrícolas Temporales México Canadá (PTAT)
Objetivo General
► Apoyar a jornaleros agrícolas mediante la vinculación entre oferentes y demandantes de mano de obra ubicados en
Jornaleros agrícolas desempleados (con dependientes)
► Capacitación y/o apoyos económicos para traslado de zona de origen hacia zonas receptoras y viceversa
► Capacitación (1 mes) en zona de origen y zona receptora + beca igual a 1 salario mínimo
► Traslado de salida (hasta $1,200) ► Traslado de regreso (hasta $600)
Objetivos y Descripción de Programas
PAC CIMO PIP
(Programa de Apoyo a la Capacitación) (Proyectos de Inversión Productiva)
► Impulsar la agrupación e integración de empresas ► Favorecer la flexibilización de la oferta de capacitación
Micro, pequeña y mediana empresa
► Cursos de capacitación ► Co-financiamiento de capacitación a trabajadores y empleados
► Asignaciones por número de socios
1 socio à máximo $25,000 2 socios à máximo $50,000 3 socios à máximo $75,000 4 socios à máximo $100,000 5 o más à máximo $125,000
NO HAY INFORMACION ► 23,279 empresas beneficiadas para 1994
► 79,445 trabajadores capacitados para 1994► 15,930 beneficiadas con otros servicios para 1994 ► 5,409 personas beneficiadas entre Julio y Diciembre 2002► Aportaciones financieras gobierno en 1994: $ 26.3 millones ► Presupuesto asignado (Jul-Dic 2002): $69.7 millones
► Aportaciones financieras empresas en 1994: $ 28.2 millones ► Presupuesto ejercido (Jul-Dic 2002): $63.3 millones
► Al nivel del trabajado: Ingresos ► Productividad de la empresa ► Ingreso personal
► Horas trabajadas de la empresaEfectos
Mensurables
Programa
► 1,073 proyectos beneficiados (543 fortalecidos, 530 nuevos) entre Julio y Diciembre 2002
Población Objetivo
Tratamiento
Escala
► El Servicio Estatal de Empleo (SEE) entrega en comodato maquinaria, equipo, herramientas y otros bienes para que los beneficiarios puedan desarrollar o fortalecer su proyecto productivo
Trabajadores y empleadores de las micro, pequeñas y medianas empresas
► Impulsar las iniciativas de la población que buscan crear o consolidar proyectos de inversión productiva
Desempleados o subempleados uqe quieran crear o consolidar un proyecto productivo; sin acceso a crédito; ingreso menor a 2 salarios mínimos; mínimo de 16 años e edad; con 2 años de residencia en su localidad; y experiencia en el ramo de actividad
(Capacitación y Asistencia Técnica en la Micro, Pequeña y Mediana Empresa)
► Realizar acciones en materia de capacitación y mejora continua, que contribuyan al desarrollo de los trabajadores en activo y empleadores de las micro, pequeñas y medianas
► Al nivel de la empresa: Productividad, Formalidad, Accidentes de trabajo, Horas de trabajao y Capacitación en la empresa.
Objetivo General
► Fomentar y formar la cultura de la capacitación en las micro, pequeñas y medianas empresas
► Inicialmente el gobierno aportó el 70%, en 1994 sólo el 35% (excepto en microempresas, aporta el 70%)
► Servicios de consultoría y acceso a bancos de datos especializados (gobierno cubre el 70% de los costos)
Evaluaciones de Impacto
Evaluaciones de Impacto
La evaluación de impacto típica incluye: Evaluación Operativa Efectos “Tratamiento” Análisis Económico Costo-Beneficio
Problemas potenciales en cómo estimar los efectos “tratamiento”
Establecidos los efectos “tratamiento” no hay mayor controversia en cómo realizar el análisis costo-beneficio
Efectos “tratamiento”
Revisión de metodologías empleadas para determinar estos efectos: Línea de Base (Inexistente en todos los casos) Determinación Grupo Beneficiarios Determinación Grupo Control “Matching” de “support” en X “Outcome” analizados Análisis estadístico/econométrico Efectos (en tratados) econtrados
Evaluaciones de ImpactoPrograma PROBECAT SICAT
Beneficiarios
Egresados Mayo-Agosto 1993; Encuesta de Seguimiento de Egresados (ESEP) Agosto; 2,787 encuestados
Encuesta sobre el Nivel de Colocación de los ex-becarios del SICAT a los 3 meses de egreso (ENCOPE) - 2002
Capta información antes y después del tratamiento y situación actual
3 modalidades: Mixta, Mypes y Autoempleo
34,097 observaciones disponibles
Controles Fuente: Encuesta Nacional de Empleo Urbano (ENEU) – Panel 80 mil hogares, trimestralmente sustituye al 20%.Fuente: Encuesta Nacional de Empleo (ENE) 2002 Criterios: Sólo contiene información actual
Criterios: Estar desempleado actualmente o haber conseguido empleo recientemente
671 individuos 1,187,172 individuos (no queda claro si son cifras expandidas)
Matching Probit para participación en PROBECAT NoSe hace “matching” empezando por la variable más significativa Quedan 1914 beneficiarios, 581 controles
Outcomes Evaluados Tiempo promedio para encontrar 1er empleo Probabilidad de empleo, ingreso Probabilidad de empleo a los 3,6,9 y 12 meses Ingreso medio mensual, horas, ingreso por hora
Modelo Modelo de riesgos proporcionales de Cox (MLE) Modelo Probit con sesgo de selección “Heckman” Modelo de sesgo de selección de “Heckman” Modelo de sesgo de selección de “Heckman”
Efectos Estimados Tiempo para 1er empleo (significancia) Ingresos Mensuales: Δ log(ingresos)
Hombre x Modalidad Mixta: -37.9% (11%) Hombre x Modalidad Mixta: 187% (0.001%)Hombre x Modalidad Escolarizada: -10.2% (0.001%) Hombre x Modalidad Escolarizada: 192% (0.001%)Ingresos: + $1,594 (+$1,608 hombres, +1,546 mujeres) Mujer x Modalidad Mixta: -30.3% (0.2%) Mujer x Modalidad Mixta: -48% (8%) Mujer x Modalidad Escolarizada: -54.0% (0.001%) Mujer x Modalidad Escolarizada: -38% (14.1%)
Desempleados e Inactivos en el 1er trimestre de 1993: se tiene información para 4 trimestres
Probabilidad de empleo: + 0.2420 (.2420 en mujeres, 0.0 en hombres)
Evaluaciones de ImpactoPrograma SAEMLI SAEMLE
Muestra : 600 entrevistas a jornaleros beneficiados
1,289 en el 2002998 antes del 15 de Nov 2003
Fuente: Módulo Agropecuario de la Encuesta Nacional de Empleo Criterios: Se seleccionan 1,811 controles (no es clara la selección final) Beneficiarios del PTAT sin SAEMLE
Criterios: Con múltiples salidas 2002: 6,7661era salida sin SAEMLE 2002: 1,096 Con múltiples salidas 2003: 4,261
Matching No No► Probabilidad de empleo ► Retorno prematuro► Intensidad en el empleo (proxy para horas)
► Una regresión por mes (nov, dic,…,mar) ► Se incluyen regresiones equivocadas:
► Modelo Probit con sesgo de selección “Heckman” (Heckprob) Log(ingreso) = F( pagoxhora, duración real del período laboral,…)
► Modelo de sesgo de selección de “Heckman” (Treatreg) Período real = F(período planeado,…=
Mes de salida = F(…. )
► Modelo Probit para retorno prematuro► Probabilidad de empleo: + 0.366 (Nov) ► Probit sólo con beneficiaros de 1era vez (significancia): ► Intensidad en el empleo: -0.688 (Nov) Dummy SAEMLE 2002: - 0.9% (0.29)
Dummy SAEMLE 2003: + 2.0% (0.08))
► Conceptualmente no es claro qué evaluar
Fuente: Base de Datos del Sistema de Información de Migrantes a Canadá (SIMICA) - Aquellos con reporte de retorno al 15 de Muestra: trabajadores PTAT con reporte de retorno y apoyo del SAEMLE:
Trabajadores agropecuarios que laboran en actividades agrícolas como jornaleros y empleados y cuyo lugar de residencia pertencece a estados expulsores
Beneficiarios
Controles
Propietarios de tierra cuya segunda opción laboral fue haberse empleado como jornalero o empleado agrícola
Outcomes Evaluados
Modelo
Efectos Estimados
Evaluaciones de ImpactoPrograma SAEBE CIMO PIP’s
Fuente: Registro de Beneficiarios del SAEBE
Fuente: Directorios Actualizados de los Censos Económicos Encuesta sobre Desempeño Empresarial (EDE) a 326 empresas
Criterio: 66 observacionesSub-sector Criterio: Tamaño 3 o menos años de actividad
Región Mismas localidades que muestra beneficiariosMismas actividades económicas
Criterios:
Matching No No No► Probabilidad de empleo (y duración del desempleo) ► Productividad ► Ingreso mensual neto de socio entrevistado► Ingresos ► Horas-hombre
► Modelo Probit con sesgo de selección “Heckman” (Heckprob) ► Modelo de sesgo de selección de “Heckman” (Treatreg)
► Modelo de sesgo de selección de “Heckman” (Treatreg)
► Probabilidad de empleo (regresiones separadas) ► Reportes de efectos son poco transparentes ► Ingreso mensual neto: + $ 441 SAEBE vs. SISNE: +0.14 Productividad: + 8.08% SAEBE vs. DPA: +0.32 Horas-hombre: +10%
► Ingresos SAEBE vs. SISNE: + $ 362.8SAEBE vs. DPA: + $528.4
Muestra: Selección de 600 beneficiarios de un universo de 27,813
Fuente: Bases de Datos de la Secretaría del Trabajo y Previsión Social (STPS)
Selección de 600 beneficiarios apoyados por Bolsa de Trabajo en los Sistema de Vinculación de Empleo (SISNE) Universo de 139,627
Selección de 400 personas en situación de desempleo abierto (universo de 1,147,500)
Fuente: Empresas que recibieron apoyos de forma integral (trabajo continuo por el promotor UPC) Muestra: 248 empresas beneficiadas en 1991/1992 (universo 442 empresas 92/93)
► Pruebas de Homogeneidad y Test de Medias para asegurar compatibilidad de muestras beneficiarios y controles
► Dada compatibilidad de muestras se estiman Diferencias en Diferencias:
Muestra: 107 beneficiarios, tomando en cuenta regiones, proyectos nuevos y fortalecidos y actividad económica
Fuente: Listado de Empresas del Servicio Estatal de Empleo sin apoyo del PIP
Beneficiarios
Controles
Similar lugar de residencia a beneficiario
Están o estuvieron desempleadas al menos una semana entre enero y julio del 2003.
Outcomes Evaluados
Modelo
Efectos Estimados
Evaluación de Impacto (Treatment Effects)
TEORIA
Treatment Effects: teoría
Objetivo general Comparar la situación de los miembros de una población “con” el programa
versus su situación “sin” el programa No nos interesa “per se” la situación “antes” y “después” del programa
¿Qué población? Típicamente nos enfocamos en los beneficiarios del programa
¿Qué es la “situación”? Definir la o las variables que miden los logros esperados del programa:
Ingreso por hora Horas trabajadas Duración del desempleo Productividad laboral, etc.
Treatment Effects: teoría
Formalmente… Efecto tratamiento para el participante i…
)1|( 01 iiii PYYG
)1|()1|()1|( 0101 iiiiiii PYEPYEPYYEG
Esta es una variable aleatoria… en principio nos interesa el primer momento o valor esperado…
El potencial dolor de cabeza….missing data !!! ¿Cuál es el “outcome” esperado del participante i de no haber
recibido “tratamiento”? Imposible observarlo… pero no necesariamente imposible estimarlo…
)1|( 0 ii PYE
Treatment Effects: teoría
Se hace necesario contar con un grupo de control que no recibe el “tratamiento” del cual poder inferir “missing data”
Queremos minimizar potencial “SESGO de selección”…
Lo que podemos estimar es…
)0|()1|( 01 iiii PYEPYED
Lo que queremos estimar es
)1|()1|( 01 iiii PYEPYEG
El sesgo potencial es
)0|()1|( 00 iiii PYEPYEGD
Treatment Effects: teoría
Métodos para identificar “treatment effects” 1) Métodos experimentales
“Randomization”: la gran ventaja es que para el grupo de control:
)1|()0|( 00 iiii PYEPYE
2) Métodos Cuasi - Experimentales: “Matching”: Buscar un grupo de control con características tales
que Hubieran participado en el programa Determinan el “outcome” de manera similar a los participantes Permite corregir “selección” en variables observables
Treatment Effects: teoría
“Reflexive Comparison” (Antes y después) El grupo de control se forma con “línea de base” de los
participantes
Doble Diferencias ( “Difference in Difference”) Se tiene información antes y después para el grupo de participantes y para
el grupo de control Se compara al grupo de participantes y de control (primera diferencia), antes
y después del programa (segunda diferencia) Permite corregir el componente invariante en el tiempo del sesgo de
selección en no observables
Método de variables instrumentales Se requiere de una variable (instrumento) que este correlacionada con la
decisión de participar pero que no influya en el “outcome” Potencialmente permite corregir sesgo en observables y no observables
La experiencia internacional y la teoría nos dicen… Combinar “Matching” con Doble Diferencias…
¿Qué se necesita? Grupo de control
Por lo menos asegurar que cumplan los requisitos del programa Idealmente usar mismos cuestionarios y encuestadores para
recoger esta información
Grupo de beneficiarios Muestra representativa
La experiencia internacional y la teoría nos dicen… ¿Qué se necesita?
Información antes y después del programa para ambos grupos Características que determinan la participación Características que determinan el “outcome” EL IDEAL: tener historias completas del antes y del después…
Hacer el “matching” en características y asegurar “common support”
Se recomienda usar “propensity scores” para el “matching” usando la información antes del programa
De la teoría a la práctica
El caso de los programas analizados
Las evaluaciones estudiadas nos dicen que…(aspectos positivos)
1. Existe conciencia de que lo importante es comparar el “con” y el “sin” programa…
2. Los evaluadores son ahora agentes externos (no queremos casos de juez y parte)…
En PROBECAT 1995 y CIMO 1995 las evaluaciones fueron hechas por la propia STPS
En todas las otras evaluaciones (2002 y 2003) se contratan agentes externos
Las evaluaciones estudiadas nos dicen que…(aspectos positivos)
3. Dada la información disponible los evaluadores externos apuntan a atenuar los sesgos de selección…
En 5 casos se utilizan métodos de variables instrumentales (Heckprob, Treatreg)
En 2 casos se intenta “matching”
4. En algunos casos se utiliza mismo cuestionario para recolectar información de beneficiarios y controles… CIMO y PIPs
5. Evaluaciones operativas y análisis costo-beneficio conceptualmente bien diseñados
Las evaluaciones estudiadas nos dicen que…(aspectos por mejorar)
1. La evaluación de impacto no forma parte del diseño de los programas…
En ningún caso se cuenta con línea de base Los grupos de control se buscan ex-post En los casos de contar con información del “antes”
corresponde a información retrospectiva (introduce sesgo)
2. A veces es necesario precisar mejor el “outcome” a estudiar…
Casos en que se estudia el Ingreso Mensual… se recomineda separar el Ingreso x Hora y el Número de Horas
Las evaluaciones estudiadas nos dicen que…(aspectos por mejorar)
Separar “efecto empleo” del “efecto ingreso” Si la variable dependiente es “Cambio en log
Ingreso”… habran muchas observaciones con valores extremos… que pasan de cero ingresos (desempleado) a ingreso positivo… (Ejemplo: esto sucede en PROBECAT)
CIMO lo hace correctamente…
¿Cuál es el “outcome” relevante para un programa como el SAEMLE (movilidad externa)? Recordar que el programa ayuda a trabajadores que
por primera vez salen a Canadá de zonas alejadas… Pero es claro que alguien se perjudica… porque el
número de vacantes es fija…
Las evaluaciones estudiadas nos dicen que…(aspectos por mejorar)
3. Hay que ser cuidadosos con el “matching” en variables observables…
Ejemplo, CIMO sólo verifica “common support” en tres variables: sector(manufactura vs. otro), tamaño, ubicación…
PERO… sin duda otras variables pueden explicar la participación en el programa y sobre la productividad laboral… ejemplo: antiguedad de la empresa, rama…
SAEBE hace “matching” para “estar desempleado” y “lugar de residencia”… Y además usa regresión con variable instrumental… (esto va en la dirección correcta…)
Las evaluaciones estudiadas nos dicen que…(aspectos por mejorar)
4. Controlar por el mayor número de variables observables relevantes Ej. PIPs… regresión para explicar ingreso neto del
entrepreneur… pero no controla por tamaño de empresa !!!
5. Procurar información del “antes”… ejemplo cuando ésta no existe… En SICAT… se usa la ENE 2002 para armar grupo control
bajo el siguiente criterio: Haber conseguido empleo recientemente… Estar actualmente desempleado PROBLEMA: incluye a
gente que estuvo empleada “antes”… no hubiera sido elegible para el programa !!!
Las evaluaciones estudiadas nos dicen que…(aspectos por mejorar)
6. Hay que ser consistentes con la metodología de evaluación… En PROBECAT se utiliza un Probit para hacer “matching”
entre grupos de beneficiarios y de control… supone querer controlar por observables en participación…
PERO luego se usa variables instrumentales… para instrumentar participación !!!... NO sería necesario…
7. Hacer uso correcto de la econometría Por ejemplo correr…
Ingreso Bruto contra Ingreso por Hora, Número de Horas, y Gratificación… NO INFORMA NADA
Período trabajado contra período planeado, dummy para regreso prematuro, mes de salida… NO INFORMA NADA
Usar OLS cuando la variable dependiente es “mes de salida” (incorrecto !!!)
Recomendaciones Finales
Algunas recomendaciones
La evaluación de impacto debe formar parte del diseño de los programa Importante identificar como incorporarla en los programas que
ya existen Una adecuada inversión en el diseño de nuevos programas
Desde el inicio del programa es necesario precisar el “outcome” a estudiar y el grupo control
La metodología de impacto a utilizar debe ser homogénea
Sería ideal contar con un laboratorio de evaluación, con autonomía y evaluación externa.
Importancia de un sistema de evaluación de impacto
Project Implementation
Stakeholders
ReplicabilidadImplementación de proyecto
Sistemas de información y diseminación
Línea de Base
Indicadores intermedios
Encuesta final
Indicadores de Output
Inicio de Proyecto Acciones correctivas Fin de cada fase y del
proyecto
Flujo de información
Fuente: Nopo, Hugo, Miguel Robles y Jaime Saavedra (2002)