la evaluación de impacto de programas y políticas sanitarias lima, 27 de mayo de 2015 jorge...
TRANSCRIPT
La evaluación de impacto de programas y políticas sanitarias
Lima, 27 de mayo de 2015
Jorge Bacallao Gallestey
In God we trust… the rest must bring evidence
Anonimous
Las decisiones en cuanto a producción y distribución de alimentos no puede dejarse sólo en manos de intereses económicos… Los gobiernos deben tomar medidas regulatorias sobre la operación de los mercados:
• Restricciones a la propaganda dirigida a los niños
• Mensajes de salud
• Establecimiento de límites en las grasas saturadas, el azúcar añadida y el contenido de sodio de los alimentos.
• Interpretación del etiquetado
El marco de referencia para el cumplimiento de las responsabilidades debe incluir información acerca del logro de las metas así como del progreso en la implementación de los programas y políticas.
Implementar un marco de referencia dentro del cual los progresos en el alcance de las metas y en la implementación de los compromisos pueda ser monitoreada y que sea un instrumento para el ejercicio de la responsabilidad.
¿Qué es la evaluación de impacto?
Es una evaluación CENTRADA EN LOS RESULTADOS Y CON CLAROS CRITERIOS DE ATRIBUCIÓN…
… que responde a preguntas relevantes, que descansa en un nuevo paradigma de causalidad y que emplea técnicas modernas en la búsqueda de las atribuciones causales.
Glosario mínimo
Centrada en los resultados: Que responde a preguntas relevantes y concretas, con variables de respuesta explícitamente enunciadas y susceptibles de ser medidas.
• ¿La instalación de cocinas mejoradas en las regiones altoandinas reduce la frecuencia de la sintomatología respiratoria?
• ¿Los “cash transfers” incrementan los controles prenatales y el parto institucional?
• ¿El etiquetado responsable de los alimentos revierte o detiene la epidemia de obesidad en los niños?
Atribución: ¿A qué se deben exactamente los cambios observados o los resultados alcanzados? ¿En qué medida los efectos traen causa de la intervención (el programa, la política) que se evalúa y no de factores externos, factores de “confusión” o circunstancias aleatorias.
El enfoque contrafactual: base conceptual de la evaluación de impacto.
¿ Qué es el enfoque contrafactual?
Enfoque contrafactual: Es una definición de “causa” que implica comparar algo que ocurrió (lo factual, el resultado del programa o política) con algo que no ocurrió (contrafactual, lo que habría ocurrido sin el programa o política). (with vs without)
Comparar algo que se observó con algo que no se observó el impacto (el efecto causal) NO SE PUEDE MEDIR, SÓLO SE PUEDE ESTIMAR
ObjetivoEstimar el efecto causal (el impacto) de la intervención (el programa, la política) P sobre la variable de respuesta Y
P: programa, política o intervención
Y: medida de éxito Ejemplos:
• ¿Cuál es el impacto de los “cash transfer programs” sobre el acceso de las mujeres a programas de atención prenatal a la embarazada?
• ¿Cuál es el impacto del etiquetado normado y responsable sobre las tasas de obesidad infantil?
¿Qué hacer entonces?
Estimar lo que le habría ocurrido a Y en ausencia de P.
Ya que a un sujeto se le observa sólo bajo la circunstancia de recibir la intervención, hay que conjeturar qué le habría ocurrido de no haberla recibido.
A esto llamamos: “ESTIMACIÓN DEL CONTRAFACTUAL”La clave de una buena
evaluación de impacto
es un contrafactual
apropiado
Objetivo: Determinar el efecto de la intervención (P=1, la puesta en vigor e implementación de la legislación sobre alimentación saludable) sobre ɤ, que es un parámetro de interés (Ej: la prevalencia de sobrepeso u obesidad infantil) del resultado Y en una población, en relación con la no intervención (P=0): ɤ1 - ɤ0, o ɤ1/ ɤ0.
Problema: ɤ1 es observable, pero ɤ0 no es observable.
Solución: Buscar un sucedáneo de ɤ0. Asumiremos que ɤ0 = ɤB (B es otra población a la que no se aplicó la intervención). Habrá sesgo en la estimación si ɤ0 ≠ ɤB
Descomponiendo el efecto…
Efecto observado = ɤ1 - ɤB = (ɤ1 - ɤ0) + (ɤ0 - ɤB)
Efecto observado = IMPACTO + SESGO
En términos relativos:
1
01
0
IMPACTO
SESGOBB
Ejemplo: ¿Cuál es el impacto de…
Darle a Juan
(P)
(Y)?
Dinero adicional
Sobre su consumo de caramelos
El perfecto clon de JuanJuan El clon de Juan
IMPACTO=6-4=2 CaramelosIMPACTO=6-4=2 Caramelos
6 caramelos 4 caramelos
X
A escala poblacional… estadísticas
Tratamiento Controles
Media Y=6 caramelos Media Y=4 Caramelos
IMPACTO=6-4=2 CaramelosIMPACTO=6-4=2 Caramelos
X
La búsqueda de buenos “clones”Deseamos encontrar buenos clones (buenos controles)
para los Juanes del estudio
Los dos grupos deben comportarse del mismo modo respecto de características relevantes, salvo por el hecho de ser o no beneficiarios del programa o política. .
En la práctica, se trata de aplicar reglas válidas de elegibilidad y asignación para identificar adecuados “contrafactuales”
Si se identifican controles adecuados, la única razón del hallazgo de un efecto sería la intervención
Recapitulando…
La evaluación de impacto...
“es la medición de los efectos CAUSALES de una intervención programa o política sobre sus beneficiarios. El fundamento de la evaluación de impacto es el paradigma contrafactual de la causalidad y se lleva a cabo con el fin de…
Estimar la diferencia (en relación con “end-points” o variables de respuesta clave) entre lo ocurrido con la intervención, programa o política y lo que habría ocurrido sin ella
Identificar resultados o efectos intermedios o finales atribuibles a la intervención
EJEMPLOS
• La construcción e instalación de cocinas mejoradas en la región altoandina para reducir las IRA´S.
• La implementación de la estrategia “CRECER”: una estrategia focalizada a áreas pobres del Perú para la reducción de la desnutrición crónica.
• El empleo de los “cash transfers” en varios países del mundo para estimular la asistencia de las familias a unidades de atención primaria o secundaria y promover diferentes metas de salud (eg. crecimiento y desarrollo y atención perinatal).
• La promulgación e implementación de la ley de alimentación saludable.
¿En qué circunstancias se realiza la evaluación de impacto? En proyectos
Innovadores
Replicables y escalables
Estratégicamente relevantes para alcanzar metas de salud importantes
Cuando la evaluación podría llenar vacíos importantes de conocimiento
Cuando es posible anticipar que el proyecto o programa tendrán un impacto político sustancial.
Tres preguntas clave
¿Qué resultados se espera obtener con el programa?
¿De qué modo se proyecta alcanzar dichos resultados?
¿Cómo se sabrá si se han alcanzado los resultados proyectados?
Estas preguntas clave obligan a prever…
Los insumos
Las actividades
Las salidas
Los resultados
Un ejemplo en el ámbito de la desnutriciónNuevos fondos disponibles para implementar un proyecto para la reducción de la
desnutrición crónica (insumo)
Diseño de campañas informativas acerca de la importancia de la lactancia materna
y de las buenas prácticas de alimentación y nutrición (actividad)
Información disponible y accesible a los padres acerca de la importancia de la
lactancia materna y las buenas prácticas de alimentación y nutrición (salida)
Mayor número de mujeres en lactancia materna exclusiva (resultado)
Menor incidencia de enfermedades diarreicas en los niños (resultado)
Menor prevalencia de retardo en talla para la edad en los niños (resultado)
Otro ejemplo: instalación de cocinas mejoradas
Fondos provenientes del programa de la cooperación española para países de América Latina y el Caribe (insumo)
Una campaña de la primera dama con la participación de ONG´s y gobiernos locales para mejorar condiciones de familias altoandinas (insumo)
Instalación de cocinas mejoradas que reducen los niveles de contaminación intradomiciliares (actividad)
Charlas educativas a las familias para promover el uso de las cocinas y capacitarlas en su mantenimiento (actividad)
Alto porcentaje de aceptación de las cocinas y altos niveles de participación en los cursos (salida)
Reducción de los niveles de CO2 y otros contaminantes dentro del hogar (salida)
Disminución de la frecuencia de enfermedades respiratorias crónicas (resultado)
Mejoría de las variables espirométricas (resultado)
Un contrafactual inapropiado
Y
TiempoT=0 T=1
A-B = 4
A-C = 2
¿IMPACTO?
B
A
C (contrafactual)
Antes - Después
Caso 1: Antes - Después
¿Cuál es el efecto de P sobre Y bajo el diseño antes – después?
Y
TiempoT=0 T=1
α = 35
IMPACTO=A-B= 35 IMPACTO=A-B= 35
B
A
233
268(1) Sólo se observa a los beneficiarios (P=1)
(2) Dos observaciones en el tiempo: Y en T=0 y Y en T=1.
¿Cuál es el problema del diseño antes – después?
Y
TiempoT=0 T=1
α = 35
B
A
233
268
Mejora la economía:o Impacto=A-Co A-B sobrestima el impacto
C ?
D ?
¿Impacto?
¿Impacto?
Empeora la economíao Impacto=A-Do A-B subestima el impacto
Antes – después no
controla las
covariantes que
cambian en el tiempo
Antes – después no
controla las
covariantes que
cambian en el tiempo
Otro contrafactual inapropiado
Hay datos post-intervención en:o Los incluidos: grupo beneficiarioo Los no incluidos: grupo control (contrafactual)
Fueron elegidos como beneficiarios sobre bases arbitrarias.
Resolvieron no participar (no recibir la intervención)Sesgo de seleccióno La razón para no incluirse puede estar
correlacionada con el resultado (Y)Puede haber confusores no observados
o La estimación del impacto está sesgada (confundida por otros factores)
Incluidos vs no incluidos
Elegibilidad y reclutamiento
No elegibles
Elegibles
Incluidos
No incluidos
Resultados medidos después de la intervención (T=1)Incluidos y no incluidos
IncluidosY=268
No incluidosY=290
No elegibles
Elegibles
¿En qué aspectos relevantes pueden diferir los elegibles incluidos y los no incluidos? ¿En qué aspectos relevantes pueden diferir los elegibles incluidos y los no incluidos?
A-DComparar los mismos sujetos antes y después de recibir P
Problema: Otras influencias pueden haber ocurrido en el tiempo
I vs NIComparar un grupo de sujetos enrolados en el programa con otros no enrolados.
Problema: Sesgo de selección. No sabemos por qué no se enrolaron o no fueron enrolados
Recordar
Ambos contrafactuales pueden sesgar la estimación del impacto.
DISEÑOS Y RECURSOS ANALÍTICOS PARA LA EVALUACIÓN DE IMPACTO
Asignación aleatorizada
Uso de variables instrumentales (promoción u ofrecimiento aleatorizados)
Apareamiento basado en puntajes de susceptibilidad (“propensity scores”)
Método de la doble diferencia
Mejor diseño
Control de fuentes extrañas de variación
¿En qué contextos serían aplicables los resultados?
o Mejor grupo control + menor riesgo operacional
o Validez externao Efecto local vs efecto globalo La evaluación puede
extrapolarse a la población que nos interesa
o Validez internao Buen grupo control
Elegir el mejor diseño y el mejor método posibles dado el contexto operacional
= no elegible
Tratamientos aleatorizados y comparaciones
= Elegible
1. Población
Validez externa
2. Muestra para evaluación
3. Asignación aleatoria
Validez interna
Controles
Tratados
X
Dos casos posibles
o Aleatorizar la condición de beneficiario o controlo Modo justo, equitativo y ético de asignar posibles beneficios a
poblaciones con las mismas necesidades.
I. No. de elegibles > No. de posibles beneficiarios
II. No. de posibles beneficiarios > No. de elegibles
o Que cada unidad tenga la misma probabilidad de ingresar primera, segunda, tercera…
o Comparar los grupos según orden de ingreso al programa
Aleatorización del momento de ingreso al programa
Aleatorización de la asignación al programa
Unidad de aleatorizaciónElija según el tipo de programa
o Individuo / viviendao Escuela / centro de salud o Lotes/Municipios/
Comunidadeso Distrito/Área/Región
Tenga en cuentao Necesita un número mínimo de unidades para
detectar un efecto relevante: POTENCIAo Derrames y contaminacióno Costos operacionales
Aleatorice al mínimo nivel de desagregación posible
Aleatorice al mínimo nivel de desagregación posible
Ejemplo ficticio: aleatorización del ingreso
Comunidades beneficiarias
320
Comunidades controles
186
Tiempo
T=1T=0
Tiempo de comparación
Asignación aleatoria
¿Cómo sabemos que tenemos buenos clones?
En ausencia de la intervención los grupos deberían ser idénticos
Comparamos sus características basales (T=0)
¿Qué características basales?1.Las que provoquen un desbalance entre beneficiarios y
controles.2.Las que puedan influir sobre el resultado (Y) en la
población de no beneficiarios. 3.Las que no sean, ni una variable mediadora de la
asociación entre P y Y, ni una consecuencia del resultado Y.
¡¡ La identificación de las características basales relevantes se hace sobre la base de criterios teóricos (“grounded theory”) y no mediante artificios estadísticos u otros recursos empíricos
INTERVENCIÓN
POSIBLES VARIABLES A CONTROLAR
Y
INTERVENCIÓN
POSIBLES VARIABLES A CONTROLAR
Y
NO CONTROLAR NO CONTROLAR
? ?
INTERVENCIÓN
POSIBLES VARIABLES A CONTROLAR
Y
INTERVENCIÓN
POSIBLES VARIABLES A CONTROLAR
Y
NO CONTROLAR NO CONTROLAR
? ?
INTERVENCIÓN
POSIBLES VARIABLES A CONTROLAR
Y
CONTROLAR
?
Balance basal
Tratamiento Control
X1 233.4 233.47X2 41.6 42.3X3 36.8 36.8
X4 2.9 2.2X5 2.7 2.6
Balance basal (continuación)
Tratamiento Control
X6 0.07 0.07X7 0.42 0.42X8 5.7 5.7X9 0.57 0.56X10 1.67 1.71X11 109 106
Recuerde
En la asignación aleatoria, las muestras suficiente grandes producen grupos intercambiables.
Hemos identificado el clon ideal.
Beneficiario aleatorizado
Control aleatorizado
Es factible en estudio prospectivos
Muchos estudios piloto y nuevos programas caen en esta categoría
EL PRINCIPIO DE LAS VARIABLES INSTRUMENTALES
OFRECIMIENTO Y PROMOCIÓN ALEATORIOS
Una variable instrumental es una variable generada por un mecanismo tal:
que no está afectada por variables de control relevantes,
que se asocia con la intervención
cuyo efecto sobre Y está totalmente mediado por la intervención
INTERVENCIÓN
POSIBLES VARIABLES A CONTROLAR
Y
Variable instrumental (VI)
A
B
C = EFECTO TOTAL DE LA VI SOBRE Y = A * B
B (IMPACTO) = C / A
Bajo estas circunstancias:
ASOCVI-Y = ASOCVI-P * ASOCP-Y
ASOCP-Y = ASOCVI-Y / ASOCVI-P
¿Qué hacer si no podemos elegir?
No siempre es posible elegir un grupo control. Por ejemplo:
o Programas nacionales para los que todos son elegibles
o Programas de participación voluntariao Programas de los que no se puede excluir a
nadie¿Se puede comparar los
incluidos con los no incluidos?
¡Sesgo de selección!
Ofrecimiento o promoción aleatorias
Si es posible excluir a algunas unidades pero no obligar a nadie:o Ofrezca el programa a una submuestra
aleatoria o Muchos aceptaráno Otros no aceptaránSi no se puede excluir a nadie, ni obligar a nadie:
o Haga el programa accesible para todoso Pero proporcione una promoción adicional
o incentivos a una submuestra aleatoria. Información adicionalEstúmulos para participarPequeños incentivos materialesPor ejemplo, transporte si se requiriera
Ofrecimiento aleatorio
Promoción aleatoria
Programas con ofrecimiento o promoción aleatorias
1. Los grupos (con o sin ofrecimieto; con o sin promoción) son intercambiables:
• El ofrecimiento o la promoción no se asocia a características relevantes de la población conectadas con el resultado
• Normalmente esto lo garantiza la aleatorización
2. El grupo con ofrecimiento o promoción tiene mayor partipación en la intervención.
3. Ni el ofrecimiento ni la promoción afectan directamente el resultado
Condiciones necesarias:
Con oferta o promoción
Sin oferta ni promoción
Nunca se enrolan
Sólo se enrolan con oferta o promoción
Siempre se enrolan
XX
X
Programas con promoción y ofrecimiento aleatorios
3 grupos de unidades o individuos
0
Oferta o promoción aleatorias
ElegiblesAleatorice
promoción/oferta del programa
Participación
Con oferta o promoción
Sin oferta o promociòn
X
X
Sólo con oferta o promoción
SiempreNunca
Oferta y promoción aleatorizadas
La oferta/promoción aleatorizada es una “variable instrumental” (VI)o La VI se asocia al tratamiento pero no se asocia a ninguna variable
controlable.. o Su efecto se ejerce sólo a través del tratamiento o intervención.
(Promover u ofrecer per se no tienen ningún impacto)
UUsando este método estimamos el efecto del tratamiento sobre los tratados
o Es un efecto de tratamiento local, válido sólo para )
o En el ofrecimiento aleatorio: tratados=los que recibieron el ofrecimiento y aceptaron
o En la promoción aleatorizada: tratados=los que recibieron la promoción y aceptaron
Con oferta o promoción. P=80%; Y=100
Sin oferta ni promoción. P=30%; Y=80
Nunca se enrolan
Sólo se enrolan con oferta o promoción
Siempre se enrolan
Impacto∆P=50%∆Y=20
IMPACTO =
20 / 50 = 40
Ejemplo de ofrecimiento aleatorio
Grupo al que se ofreció
Grupo al que no se le ofreció
Impacto
Aceptaron = 92%Y media = 268
Aceptaron: 0%Y media = 239
∆=0.92∆Y=29
Impacto= 29/0.92 =31
Nunca aceptan -Aceptan si se les ofrece
Siempre aceptan - - -
Para recordarOfrecimiento o promoción aleatorias
La promoción aleatoria debe ser una estrategia de promoción efectiva. (Se recomienda prueba piloto previa)
La estrategia de promoción contribuirá a la comprensión de cómo incrementar la aceptación además del impacto del programa
La estrategia depende del éxito o la validez del ofrecimiento o la promociónLa estrategia estima un efecto promedio local. La estimación del impacto es válida sólo para beneficiarios con sombreros triangulares. (reducida validez externa)
No se excluye a nadie, pero…
Pareamiento (Matching)
Para cada sujeto (familia) beneficiada utilice el mejor “match” posible.
Idea
Los “matches” se seleccionan sobre la base de similitudes en características observadas.
¿Cómo?
Si hay atributos no observados que influyen en la participación, esto entraña sesgo de selección
¡Problema!
Apareamiento por puntajes de susceptibilidad (propensity
score matching)Grupo de comparación: controles con las mismas características observables que los beneficiarios.o El apareamiento de este tipo es impracticableo Puede haber muchas características relevantes.
Apareamiento sobre la base de un “propensity score”. Un valor que condensa la información de todas las variables relevantes conocidas.
Distribución de los puntajes de susceptibilidad
Densidad
Puntajes de susceptibilidad0 1
BeneficiariosNo beneficiarios
Área de selección
Pasos en el apareamiento según puntajes de susceptibilidad
1. Suele usarse en datos obtenidos a partir de encuestas probabilísticas y de gran tamaño
2. Se utiliza un modelo estadístico para construir el puntaje.
3. Restringir la comparación a los casos con similar puntaje de susceptibilidad.
4. Hay dos opciones: aparear según calibres de susceptibilidad o incluir el puntaje de susceptibilidad como variable de control en el análisis
5. Comparar los grupos en relación con las variables de respuesta.
Métodos para la medición de impacto
El método de la doble diferencia
Diferencias en diferencias
Y=Variable de respuesta (proporción) P : Intervención
Dif en Dif: Impacto=(Yt1-Yt0)-(Yc1-Yc0)Dif en Dif: Impacto=(Yt1-Yt0)-(Yc1-Yc0)
Con intervenciónSin intervención
Antes 0.74 0.81
Después 0.60 0.78
Diferencia +0.14 +0.03 0.11
- -
- =
Diferencias en diferencias
Dif-in-Dif: Impacto=(Yt1-Yc1)-(Yt0-Yc0)Dif-in-Dif: Impacto=(Yt1-Yc1)-(Yt0-Yc0)
Y=Variable de respuesta (proporción) P : Intervención
Con intervención
Sin intervención
Antes 0.74 0.81
Después 0.60 0.78
Diferencia
-0.07
-0.18
0.11
--
-
=
Impacto =(A-B)-(C-D)=(A-C)-(B-D)Y
B=0.60
C=0.81
D=0.78
T=0Antes
T=1Después
Tiempo
Con intervención
Sin intervención
Impacto=0.11
A=0.74
Impact =(A-B)-(C-D)=(A-C)-(B-D)Y
Impacto<0.11
B=0.60
A=0.74
C=0.81
D=0.78
T=0Antes
T=1Después
Tiempo
Con intervención
Sin intervención
Tomar en cuenta
Doble diferenciaDoble diferencia combina Con & Sin with Antes & Después
Pendiente:: Generar un contrafactual para el cambio en Y
Las tendencias son iguales en beneficiarios y no beneficiarios(Premisa fundamental)
Se necesitan al menos tres observaciones en el tiempo o2 observaciones antes o1 observación después