1Impact Evaluation 4 Peace24-27 March 2014, Lisbon, Portugal

Mejorando políticas públicas a través

de la evaluacion de impacto

experimental

Latin America and the Caribbean’s Citizen SecurityTeam

Marcus HolmlundBanco Mundial

24 de marzo de 2014

Basado sobre materiales de David Evans, Senior Economista, Banco Mundial y Laura Ralston, Economista Banco Mundial

Nuestro objetivo:

Llegar a un diseño de evaluación que nos permite saber

Si nuestro programa ha logrado los resultados esperados?

Como mejorar los resultados de nuestro programa?

gráfico número 1

-6 -5 -4 -3 -2 -1 0 1 2 3 4 5 60

1

2

3

4

5

6

7

8

9

10

meses antes / después de la intervención

resu

ltado

/ o

utco

me

Intervención

Impacto?

-6 -5 -4 -3 -2 -1 0 1 2 3 4 5 60

1

2

3

4

5

6

7

8

9

10

meses antes / después de la intervención

resu

ltado

/ o

utco

me

gráfico número 2

Intervención

Impacto?

-6 -5 -4 -3 -2 -1 0 1 2 3 4 5 60

1

2

3

4

5

6

7

8

9

10

meses antes / después de la intervención

resu

ltado

/ o

utco

me

gráfico número 3

Intervención

Impacto?

Ejemplo

Nuestra intervencion: clases particulares para alumnos de alto riesgo de cometer un crimen

Queremos saber si:

CLASES

PARTICULARES

+ − ?

Como medir este impacto?

(cantidad de

crímenes CON

nuestra intervenció

n)

(cantidad de

crímenes SIN

nuestra intervenció

n)

IMPACTO

−=

*** TODO LO DEMAS IGUAL ***

El café y el cáncer del pulmón

?

DefinicionesCorrelación. Relación entre variables

Inferencia causal. Proceso de aislar el efecto causado por una accion bien determinada

Contrafactual. Lo que hubiera ocurrido, si otra acción bien determinada no se hubiera realizado

IDEA PRINCIPAL #1

El

CONTRAFACTUAL

nos dice lo que hubiera occurrido sin nuestra intervención. Este forma parte

fondamental de

LA INFERENCIA CAUSAL

y de la

EVALUACION DE IMPACTO

Caracteristicas de un buen contrafactual

Responde a la siguiente pregunta: Como hubiera sido el resultado si no hubieramos aplicado la intervencion, dejando todo lo demas igual?

Tiene caracteristicas identicas a la situation factualIncluso caracteristicas observables y no observables

La unica diferencia entre el contrafactual y el factual es la intervencion (o el “tratamiento”)

Entonces, cualquier diferencia de resultado (outcome) debe ser producto solo del tratamiento

Dolly

Como medir el contrafactual – el experimento ideal

Los originales y los clones son: Identicos externamente (todos son títeres)Identicos internamente (todos tienen la misma voluntad de aprender y cometer crimenes)

Alumnos “originales” Alumnos “clones”

El experimento ideal - diseño

Abelardo “el original”

Paco “el clon”

CLASES

PARTICULARES

[currículo estándar]

El experimento ideal - resultado

CLASES

PARTICULARES

Abelardo “el original”

Paco “el clon”

[currículo estándar]

Volvemos a la realidad

Que le pasaria a todos los Abelardos sin las clases particulares?

Como construir el contrafactual?

3 opciones:Comparación antes vs. después

Comparacion participantes vs. no-participantes

Ensayo aleatorio controlado

Comparación antes vs. después

Después de la intervención

Antes de la intervención

CLASES

PARTICULARES

Comparación antes vs. después

Antes de la intervención

Después de la intervención

Otros factores que contribuyeron al resultado:Aumentos en el desempleo?

Periodo del año?

Conclusion:Demasiados factores que pueden influir el resultado

Imposible saber cual es el impacto causado por nuestra intervencion

CLASES

PARTICULARES

[currículo estándar]

Comparación participantes vs. no

participantes

Comparación participantes vs. no

participantes

Diferencias observables entre los dos grupos:Rendimiento escolar

Bienes familiares

Diferencias no observables entre los dos grupos:Autoestima

Presión o influencia de colegas (peer-pressure)

Conclusion:Existen diferencias entre los dos grupos que podrian contribuir al resultado final

Los que participan son diferentes a los que no lo hacen (sesgo de selección)

Impossible saber cual es el impacto causado por nuestra intervencion

IDEA PRINCIPAL #2

Si nuestro objetivo es saber el impacto directamente causado por nuestra

intervención, una comparación

ANTES-DESPUES

o

PARTICIPANTES-NO PARTICIPANTES

nos dará una

ESTIMACION SESGADA

Ensayo aleatorio controlado

Identificar los eligibles

Asignar cada uno o al grupo de tratamiento o al grupo de control al azar / de manera aleatoria (randomization)

Los dos grupos tendrán, en promedio, las mismas características

Características observables y no observables

Porque funciona la aleatorización?

La aleatorización con dos no funciona

TRATAMIENTO

CONTROLTRATAMIENT

O

CONTROL

Con una muestra más grande, las diferencias se promedian

En promedio, las características observables y no observables son idénticas entre los grupos

Cualquier diferencia en el resultado debe venir directamente del tratamiento

Se puede aleatorizar?

Absolutamente si!

Asignación aleatoria ≠ negar beneficios

Normalmente, empezar un programa con cobertura universal es imposible por motivos operacionales

Oportunidad para usar la asignación aleatoria

La asignación aleatoria resulta la manera más justa de elegir los primeros recipientes o beneficiarios

Implementación por etapas

Asignar alumnos a los grupos 1, 2, 3 de manera aleatoria

Comparar los resultados entre grupos:Grupo 1 vs. Grupo 2: el impacto de un año del programa

Grupo 1 vs. Grupo 3: el impacto de dos años del programa

Grupo 1: Enero 2015: 1,000 alumnos

Grupo 3: Enero 2017: +3,000 alumnos

Variación del tratamiento

Variar la intensidad

Clases particulares•500 alumnos

Clases particulares + incentivos•500 alumnos

Variar la forma del tratamiento

Clases particulares en el colegio•500 alumnos

Programa de prácticas profesionales•500 alumnos

26

1

2

3

4

Es realmente posible hacer una asignación

aleatoria?Si!

Empezar siempre con el diseño de evaluación de impacto ideal

Normalmente es posible hacer una asignación aleatoria en algún nivel

Y nos permite medir el impacto verdadero de la intervención!

Intervención de policía comunitaria?Posible!

Programa nacional?Posible!

Los ensayos aleatorios controlados

No requieren que los beneficios sean negadas a algunas personas

Pueden cuantificar beneficios de un programa antes de su ampliación

Mas ético que usar fondos públicos escasos para un programa universal con beneficios inciertos

Pueden tomar ventaja de una implementación por etapa

Pueden comparar varias intervenciones o varias versiones de la misma intervención

Construir programas con mejores resultados

IDEA PRINCIPAL #3

La

MEJOR MANERA

de

EVALUAR EL IMPACTO

promedio directamente causado por una intervención es mediante un

ENSAYO ALEATORIO CONTROLADO

Diapositivas adicionales

Gracias a Laura Ralston, Economista, Banco Mundial y Chris Blattman, Assistant Professor, Columbia University

Diapositivas AdicionalesLa intervención ofrece a los jóvenes de alto riesgo en “hotspots” conflicto:

4 meses de programa de capacitación residencial en técnicas agrícolas"Habilidades para la vida" y asesoramiento

Manejo de conflictos, de trauma, y de trastorno de estrés postraumático; orientación profesional

Orientación por ex-combatientes

Asistencia de regresar a la comunidadPermiso del líder, acceso a la tierra, el transporte

Paquete de insumos agrícolas$ 125 en herramientas y materiales

Elección entre vegetales y animales

$ 50 en efectivo (Sinoe sitio solamente)

Un ejemplo real: “Las espadas se pueden convertir en rejas de arado? Efectos experimentales de un programa agrícola en el empleo, la anarquía, y el reclutamiento armado”

Objetivos

Aumentar los ingresos agrícolas

Cambiar los incentivos laborales desde la extracción ilícita de recursos

Socializar para tiempos de paz / la vida no violenta

Reducir el riesgo de reclutamiento mercenario

Impacto del programa

Método Taza de crimen

Numero de horas de trabajo

1. Antes-despues -6% +6*

2. participantes-no participantes

-10%* +9

3. Ensayo aleatorio controlado

-5%* +5.5*

* Estadísticamente significativo al nivel del 5%