Estudio de caso: ¿El acceso a transporte público tiene una mejora en la tasa de empleo?1

Introducción

La República de Atlantis está considerando ampliar el acceso al transporte público en todo el país con la esperanza de que ésta política conduzca al desarrollo económico y a la mejora del bienestar de sus ciudadanos, especialmente en el mercado laboral. Actualmente, en muchas ciudades de Atlantis, las oportunidades de empleo se encuentran principalmente en una parte de la ciudad y la mayoría de los desempleados viven lejos, en una zona diferente de la ciudad. La República de Atlantis predice que un mayor acceso al transporte público permitiría que la gente viaje fácilmente de una parte de la ciudad a la otra, posibilitando a que las personas que viven en un lado aseguren y puedan mantener el empleo en el otro lado de la misma y, de esta manera, se aumente el empleo en toda la Atlántida. Sin embargo, antes de promulgar esta nueva política, se requieren pruebas de que el acceso al transporte público tendrá un impacto directo y significativo en el empleo.

En el 2014, el Ministerio de Transporte decidió trabajar con una ONG llamada “Jubilee Jobs” para para poner a prueba un nuevo enfoque que busca aumentar el acceso al transporte público, invitando a los hogares en ciertas partes del país a recibir acceso subsidiado a través de una tarjeta con tarifa de precio reducido. Usando la tarjeta con precio reducido, un viaje de ida en el bus es solo 75% del precio estándar. Uno de los indicadores que el programa está midiendo es la tasa de empleo. A la republica de Atlantis le gustaría examinar los resultados de éste programa para ayudar a determinar si el programa se debería expandir a otras áreas del país.

1 Los números fueron inventados para el propósito del estudio de caso, pero el diseño se basa en el siguiente documento:Phillips, David. Getting to Work: Experimental Evidence on Job Search and Transportation Costs, Labour Economics, Agosto 2014.

1

Antecedentes

El personal de la ONG invitó a 1.000 representantes de los hogares (generalmente a el jefe de cabeza de familia) a asambleas en zonas de ciertas ciudades. El personal de la ONG describió el uso de las tarjetas de tarifa con precio reducido en las asambleas a los representantes de los hogares y especificó que los hogares que optaran por utilizar las tarjetas de tarifas serían responsables del 75% del costo de la tarifa estándar y el programa cubriría el resto. 

A la Republica de Atlantis le gustaría usar la información obtenida sobre éste programa para responder a las siguientes preguntas: ¿Tiene un mejor acceso al transporte público incremento del empleo? ¿Cómo podemos descubrirlo?

Éste estudio de caso aborda estas preguntas mediante el examen de los diferentes métodos que se pueden utilizar para evaluar el impacto de un programa o intervención. Si bien, éste estudio se realiza en el contexto de transporte público en la República de Atlantis, las preguntas planteadas aquí son válidas también para la evaluación del impacto de otros programas en cualquier país en desarrollo.

Imagine que usted ha sido contratado como consultor para trabajar con la ONG Jubilee Jobs. Con el fin de desarrollar un conjunto de pruebas que se puedan utilizar como justificación para aplicar ésta política en programas de acceso a transporte público, se ha decidido realizar una evaluación de impacto dentro del programa Jubilee Jobs y usted ha sido contratado para ejecutar dicha evaluación.

Por favor, complete la pregunta 1 antes de seguir leyendo.******************************

2

Pregunta 1 para discusión - ¿Cuál es esa pregunta básica que su evaluación de impacto debe ser capaz de responder?

¿Tiene un mejor acceso al transporte público incremento del empleo?

En Diciembre del 2013, Jubilee Jobs obtuvo una lista de 1000 hogares con información útil sobre cada hogar en la cual se incluía: el tamaño del hogar, los niveles de educación, el ingreso promedio mensual y otras características observables.

En Enero de 2014, se enviaron invitaciones a los 1000 hogares para asistir a una asamblea que estaba programada a llevarse a cabo en el próximo mes o próximos dos meses. Jubilee Jobs dejo en claro que si el jefe de cabeza de familia no estaba disponible, un miembro alternativo del hogar podría atender la reunión. Jubilee Jobs ofreció pagar transporte y acomodación para todos los asistentes.

Entre Enero y Marzo del 2014 se llevó a cabo una asamblea en cada comunidad. Al final del año, 403 hogares habían usado la tarjetas con tarifa de precio reducido y 597 hogares nunca usaron las tarjetas con tarifa de precio reducido.

Jubilee Jobs ha aceptado a compartir con usted los datos pertinentes a los 1000 hogares que participan en el programa de tarjetas con tarifas de precio reducido. Nosotros le estamos pidiendo usar estos datos para medir el impacto de las tarjetas sobre el empleo.

Método 1 – Modelo de diferencia simple en el empleo entre hogares que usaron las tarjetas con tarifa de precio reducido y aquellos que no.

Suponga que los 403 hogares que utilizaron la tarjeta de tarifa constituyen el grupo de "tratamiento" y los 597 hogares restantes (es decir, aquellos hogares que asistieron a la reunión pero no eligieron recibir los nuevos ordenadores) representan el grupo de “comparación” o contrafactual. Si desea determinar el impacto de usar las tarjetas de tarifa sobre el empleo, debe revisar si los hogares que utilizaron las tarjetas tienen tasas más altas de empleo que aquellos que no lo hicieron. La Tabla 1 a continuación compara la tasa promedio de empleo de aquellos hogares que usaron las tarjetas de tarifa con aquellos que no usaron las tarjetas de tarifa.

Tabla 1: Porcentaje promedio de hogares empleados por mes.

…en hogares que usaron las tarjetas de tarifa

…en hogares que no usaron las tarjetas de tarifa

Impacto estimado

Método 1:Diferencia Simple 64% 55% 9%*

*: Significancia estadística = 5%

3

Pregunta 2 para discusión - ¿Cree que éste método puede dar una idea precisa del impacto de la utilización de las tarjetas de tarifa con precio reducido sobre el empleo? ¿Por qué sí o por qué no? ¿Es posible que los hogares que optaron por usar las tarjetas de tarifa de precio reducido sean diferentes de las que no lo hicieron?

Por favor complete la pregunta 2 antes de continuar.******************************

4

Pregunta 2 para discusión - ¿Cree que éste método puede dar una idea precisa del impacto de la utilización de las tarjetas de tarifa con precio reducido sobre el empleo? ¿Por qué sí o por qué no? ¿Es posible que los hogares que optaron por usar las tarjetas de tarifa de precio reducido sean diferentes de las que no lo hicieron?

Método 2 – Método de emparejamiento por probabilidad de participación (Propensity Score Matching, PSM) para medir la diferencia en empleo entre los hogares emparejados.

En la Tabla 2 a continuación, se puede ver que cuando usamos el método 1, las hogares que usaron las tarjetas de tarifa con precio reducido son intrínsecamente diferentes a los hogares de comparación - es decir, las medias de las variables que capturan las características observables son diferentes entre el grupo de tratamiento y el grupo de comparación. Para resolver esto, usted podría tratar de emparejar los hogares basándose en las características observables y así estimar el impacto usando la diferencia en el indicador clave entre los hogares emparejados.

Esto requiere el uso de análisis estadístico para asignar una probabilidad de participación a cada uno de los hogares. La probabilidad de participación es similar a clasificar los hogares basándose en cuán similares o diferentes son a través de un conjunto de variables. Las variables utilizadas son: tamaño del hogar, años de educación del jefe del hogar e ingreso mensual. A continuación, usted debe utilizar esta probabilidad de participación para emparejar hogares con puntajes similares entre el grupo de "tratamiento" y el grupo de “control”. De esa manera, usted podrá responder a las preguntas acerca de las diferencias en las características de los hogares. Observe en la Tabla 2 que cuando se utiliza el método de emparejamiento (PSM), el tamaño de la muestra disminuye porque no todos los hogares se utilizan. Esto sucede debido a que el método de emparejamiento por probabilidad de participación no hará uso de esos hogares a los que no se les pueda encontrar un buen “clon”.

Tabla 2: Características del grupo de tratamiento y control usando los métodos de Diferencia Simple y el método de emparejamiento por probabilidad (PSM)

Método 1: Diferencia Simple Método 2: PSMGrupo de

tratamientoGrupo

de control

Diferencia Grupo de tratamiento

Grupo de

Control

Diferencia

Promedio mensual del ingreso

1460 630 830* 1030 920 110

Tamaño del hogar

4.2 6.7 -2.5* 4.5 4.7 -0.2

Años de educación del jefe del hogar

10.5 5.3 5.2* 8.7 8.2 0.5

Tamaño de la muestra

403 597 362 537

*: Significancia estadística = 5%

Tabla 3: Porcentaje promedio de hogares empleados por mes en 2014 usando PSM

5

…en hogares que usaron las tarjetas de tarifa

…en hogares que no usaron las tarjetas de

Impacto estimado

Método 2:PSM 62% 57% 5%*

*: Significancia estadística= 5%

Por favor complete la pregunta 3 antes de seguir leyendo******************************

6

Pregunta 3 para discusión – Observando la Tabla 2, ¿qué es lo que nota sobre las características observables cuando se cambia del Método 1, Diferencia Simple, al Método 2, Método de emparejamiento (PSM)? ¿Por qué cree que es así?

Método 3 - Doble diferencia o "Diferencias en diferencias". Comparación en la media mensual de empleo, a través del tiempo, entre hogares que usaron la tarifa de precio reducido y aquellos que no las usaron.

Si aún está preocupado por las diferencias existentes en las características de los hogares que usaron las tarjetas con tarifa de precio reducido y aquellos que no, usted puede intentar estimar el impacto mediante el uso del método de diferencias en diferencias. Para esto se requiere de mediciones de los indicadores clave a través del tiempo o de datos panel, de esta manera se pueden eliminar las características no observadas que no cambian a lo largo del tiempo. Este método estima el impacto promedio de programa entre el tratamiento (T) y control (C) de la siguiente manera:

DD=(T 2014−T2013 )−(C2014−C2013).

Por fortuna, la base de datos incluye datos mensuales de empleo mensual en el hogar para los años 2012 y 2013 antes de que el programa de Jubilee Jobs entrara en funcionamiento. Note: Empleo de un hogar en el pasado puede ser un buen predictor para el mismo en el futuro.

En otras palabras, el empleo promedio mensual en un hogar en el pasado puede ser usado para ayudar a determinar cuál va a ser este en el futuro. La tabla 4 muestra este uso en los dos años anteriores a la implementación del programa de Jubilee Jobs (2012 y 2013) y en el año en que el programa Jubilee Jobs se llevó a cabo (2014) entre aquellos hogares que usaron la tarjeta de tarifa (“Tratamiento”) y aquellos que no (“Grupo de comparación”).

Tabla 4: Porcentaje promedio de hogares empleados por mes desde 2012 al 2014

… entre los hogares que

utilizan la tarjeta de tarifa

… entre los hogares que no usan la tarjeta de

tarifa

Diferencia

en 2014 64% 55% 9%

en 2013 61% 54% 7%

en 2012 60% 53% 7%

Diferencia entre la media mensual de empleo entre 2014 y 2013

3%(64-61)

1%(55-54)

2%*(3-1)

=(64-61) - (55-54)=(Diferencia doble)

*: Significancia estadística= 5%

7

Por favor complete las preguntas 4 y 5 antes de continuar leyendo************************************************************

8

Pregunta 4 para discusión: ¿Cómo puede utilizar estos datos sobre empleo en años anteriores para mejorar su análisis? Con base en la información de la Tabla 4, ¿cuál sería su nueva estimación del impacto de la tarjeta de tarifa con precio reducido sobre el empleo?

Pregunta 5 para discusión: – ¿Usted cree que el impacto estimado usando los Métodos 1 a 3 representa un efecto causal verdadero de las tarjetas de tarifa de precio reducido sobre el empleo? ¿Por qué sí y por qué no?

Método 4 - Experimento aleatorio

Como resultado, los 1.000 hogares fueron seleccionados al azar de una lista completa de todos los hogares de la zona. Esto es similar al sorteo aleatorio realizado en un ensayo clínico, donde se administra el tratamiento / fármaco al azar con el fin de ser recibido por un grupo de pacientes, pero no el otro. La lista completa incluye 7000 hogares. Podemos explorar este sorteo aleatorio de 1000 hogares para estimar el impacto de las tarjetas de tarifa sobre las variables resultado de empleo.

La idea es que 1000 hogares que fueron centro para recibir las tarjetas de tarifa de Jubilee Jobs (ahora llamados grupo de tratamiento) deben ser idénticas a los otros 6000 hogares (ahora llamados grupo de control) en términos de características observables y no observables. La única diferencia entre el grupo de tratamiento y control es que el primer grupo fue invitado por Jubilee Jobs para recibir la tarjeta de tarifa de precio reducido y el segundo no.

La Tabla 5 compara el grupo de tratamiento y el grupo de control basándose en características observables. La tabla 6 muestra el impacto estimado de las tarjetas de tarifa al comparar las tablas promedio de empleo en el grupo de tratamiento y la tasa promedio de empleo en el grupo de control.

Tabla 5: Características del grupo de tratamiento y del grupo de control Grupo de

tratamiento (Invitados)

Grupo de Control (No invitados)

Diferencia

Empleo promedio mensual en 2013 58% 57% 1%Empleo promedio mensual en 2012 57% 57% 0%

Empleo promedio mensual 1020 990 30Años de educación del jefe de 7.9 7.2 0.7

tamaño del hogar 5.3 5.4 -0.1tamaño de la muestra 1,000 6,000

*: Significancia estadística = 5%

Tabla 6: Promedio de hogares empleados por mes en 2014Grupo de tratamiento

Grupo de control Impacto estimado

Método 4: Diferencia aleatoria simple 60.7% 60.1% 0.6%*: Significancia estadística = 5%

9

Please complete questions 10 through 12 before reading further.******************************

10

Pregunta 6 para discusión – Tenga en cuenta que los dos grupos parecen muy similares en la Tabla 5. ¿Es esto lo que esperaba? ¿Por qué sí o por qué no? ¿Cómo se compara esto con las características de los dos grupos que se utilizaron en los métodos 1 y 2?

Pregunta 7 para discusión – Con base en los resultados anteriores, ¿se debería recomendar la implementación de la política para programas de transporte público?

Conclusión

La Tabla 7 muestra los impactos estimados de las tarjetas de taifa sobre el empleo usando los diferentes métodos discutidos en este caso de estudio.

Tabla 7 – Resumen de impactos estimados de las tarjetas de tarifa de precio reducido.Método Impacto estimadoMétodo 1: Diferencia simple 9.0%*Método 2: PSM Probabilidad de emparejamiento 5.0%*Método 3: Doble diferencia basado en datos panel 2.0%*Método 4: Experimento aleatorio 0.6%*: Significancia estadística = 5%

Como se puede observar no todos los métodos conllevan los mismos resultados. Por tanto, es fundamental elegir el método apropiado. El propósito de este estudio de caso no fue evaluar un programa específico que proporciona acceso a tarjetas de tarifa de precio reducido, sino probar varios métodos de evaluación en este contexto particular.

En el análisis del programa, nos dimos cuenta que los hogares que usan las tarjetas de tarifa tienden a presentar una tasa de empleo más alta pero también, estos hogares presentaban la probabilidad a tener una tasa de empleo más alta relativamente al grupo “no usuario” en años anteriores. También notamos que cuando usamos PSM para emparejas los hogares, las característica de los dos grupos no era siempre las mismas. Por tanto, cuando nuestros métodos no aleatorios demostraron un impacto positivo y significativo, este resultado se debió a un "sesgo de selección" (en este caso, la selección de hogares que escogió usar las tarjetas de tarifa de precio reducido) en vez de un exitoso programa de acceso a transporte público.

11

Aplicación al desarrolloEl sesgo de selección es un problema que ocurre en muchas evaluaciones de programas. Piensen en algunos de los programas de desarrollo no aleatorios que han evaluado o han visto evaluar. Discutan cómo el grupo participante fue elegido y cómo la "selección" puede haber afectado a la capacidad de los evaluadores para medir el verdadero impacto del programa.

Apéndice

Nota técnica: Ajuste por tasa de utilización

La Tabla 5 muestra la simple comparación del grupo de tratamiento y del grupo de control, en donde consiste en todos aquellos hogares que fueron invitados a asistir a las asambleas con Jubilee Jobs y el grupo de control está formado por todos aquellos hogares que no fueron invitados. Este impacto estimado no toma en cuenta el hecho de que 597 hogares en el grupo de "tratamiento" fueron invitados pero decidieron no participar en el programa, al no usar las tarjetas de tarifa.

Si se desea estimar el verdadero impacto de usar las tarjetas de tarifa de precio reducido, en lugar de estimar el impacto de invitar a esos hogares a usar las tarjetas, entonces tendríamos que ajustar la estimación utilizando la metodología de variables instrumentales. Una fórmula posible para realizar el ajuste es la siguiente

Estimacion del Método 4 (Table 6)Diferncia en latasa deusar lastarjetasde tarifa entre tratamiento ycontrol

Así: 0.006

4031000

− 06000

= .0149

Si usted está interesado en los detalles técnicos de este apéndice, por favor hable con su jefe de equipo.

12