Indicadores de Impacto PDF
Indicadores de Impacto PDF
Indicadores de Impacto PDF
Marco Lógico, Indicadores y
Medición del Impacto
Francisco Gallego
Instituto de Economía ‐ PUC
Abdul Latif Jameel Poverty Action Lab
povertyactionlab.org
Agenda del curso
1. Evaluaciones de impacto: ¿Qué son? ¿Por
qué hacerlas? ¿Cuándo hacerlas?
2. Marco lógico, indicadores y medición del
impacto
3. ¿Por qué aleatorizar?
4. ¿Cómo aleatorizar?
5. El tamaño muestral
6. Implementar una evaluación
7. Análisis e inferencia
Agenda del curso
1. ¿Evaluaciones de impacto: ¿Qué son? ¿Por
qué hacerlas? ¿Cuándo hacerlas?
2. Marco lógico, indicadores y medición del
impacto
3. ¿Por qué aleatorizar?
4. ¿Cómo aleatorizar?
5. El tamaño muestral
6. Implementar una evaluación
7. Análisis e inferencia
Objetivos de aprendizaje
1. Evaluación de impacto requiere PROFUNDO
conocimiento de funcionamiento y objetivos del
programa
2. MARCO LOGICO facilita evaluación y medición de
cómo funciona un programa y cual es su impacto
– Articula objetivos insumos, productos, resultados e
impactos
– Simplifica definición de hipótesis de investigación
– Facilita construcción indicadores para distintas metas del
programa
4
Resumen de la exposición
1. Marco lógico
2. Resultados e indicadores
3. Nociones iniciales de medición de impacto
5
Resumen de la exposición
1. Marco lógico
– ¿ Qué es?
– ¿ Cómo se desarrolla?
– Ejemplo: Cuotas en consejos de aldeas en India
2. Resultados e indicadores
3. Nociones iniciales de medición del impacto
6
Resumen de la exposición
1. Marco lógico
– ¿ Qué es?
– ¿ Cómo se desarrolla?
– Ejemplo: Cuotas en consejos de aldeas en India
2. Resultados e indicadores
3. Nociones iniciales de medición del impacto
7
Marco Lógico
• Representa visualmente cadena CAUSAL
entre:
– Necesidades/Objetivos
– Insumos
– Productos
– Resultados intermedios
– Impactos (esperados y no deseados)
• Facilita definición de hipótesis a verificar
Resumen de la exposición
1. Marco lógico
– ¿ Qué es?
– ¿ Cómo se desarrolla?
– Ejemplo: Cuotas en consejos de aldeas en India
2. Resultados e indicadores
3. Nociones iniciales de medición del impacto
9
Cadena de causalidad
Objetivos Resultados
Insumos Productos Impactos
Intermedios
Cadena de causalidad
Objetivos Resultados
Insumos Productos Impactos
Intermedios
Enriquecen comprensión del
programa
Refuerzan conclusiones
Facilitan extracción de
lecciones
Cadena de causalidad
OBJETIVOS
1. Responden a una
necesidad
2. Especifican población
objetivo
3. Son medibles
Cadena de causalidad
INSUMOS
1. ¿Qué puedo hacer para
lograr objetivo?
2. Factibles
3. Son medibles
Cadena de causalidad
PRODUCTOS
1. Consecuencia directa de
mi acción/ intervención
2. Son medibles
3. Representan el primer
“resultado” observable de
mi acción
Cadena de causalidad
RESULTADOS
INTERMEDIOS
1. Son los factores de
transición que conectan
los productos con los
impactos
2. Son medibles
Cadena de causalidad
IMPACTOS
1. Lo que quiero cambiar con
programa
2. Directamente
relacionados con
objetivos
3. Son medibles
Resumen de la exposición
1. Marco lógico
– ¿ Qué es?
– ¿ Cómo se desarrolla?
– Ejemplo: Cuotas en consejos de aldeas en India
2. Resultados e indicadores
3. Nociones iniciales de medición del impacto
17
El entorno: Cuotas en los consejos
de la aldea
18
El entorno: Cuotas en los consejos
de la aldea
• ¿Cuáles son los objetivos principales del
Consejo de la aldea?
• ¿Cuáles son las principales características de la
política de cuotas?
Fuente: “Women as Policy Makers: Evidence from a Randomized Policy Experiment in India”, de
Raghabendra Chattopadhyay y Esther Duflo (2004a), Econometrica 72(5), 1409‐1443.
19
La controversia de las cuotas
• ¿Por qué se consideraron deseables las cuotas
en este contexto?
• ¿Por qué algunas personas dudaron de que las
cuotas serían efectivas?
20
Marco lógico de las cuotas
• ¿Cuáles son posibles cadenas de causalidad en
el caso de las cuotas?
• ¿Cuáles son etapas necesarias para obtener
impactos finales?
• ¿Cuáles son posibles impactos finales?
21
Marco lógico de las cuotas
? ? ? ? ? ?
22
Marco lógico de las cuotas
Disparidad de
genero en salud Equidad de
y educación. El
gobierno local
no representa
? género en
salud,
necesidades de educación.
mujeres.
Lo que
hago para
lograr mi 23
objetivo
Marco lógico de las cuotas
Disparidad de
genero en salud Escaños
y educación. El reservados
gobierno local
no representa
para
mujeres ?
necesidades de líderes
mujeres.
Consecuencia directa
de mi acción
24
Marco lógico de las cuotas
Disparidad de
genero en salud Escaños
y educación. El reservados Más mujeres
gobierno local
no representa
para
mujeres
líderes a
nivel local
?
necesidades de líderes
mujeres.
Factores que conectan
producto con impacto
25
Marco lógico de las cuotas
Mujeres más
Disparidad de comprometidas y
genero en salud Escaños más involucradas
y educación. El reservados Más mujeres
gobierno local
no representa
para
mujeres
líderes a
nivel local
directamente en
la toma de
decisiones
?
necesidades de líderes políticas
mujeres.
?
Lo que quiero afectar
directamente relacionado con
objetivo => HIPOTESIS CLAVES 26
¿Posibles impactos?
• Enumeremos todos los posibles impactos de
las cuotas
27
Múltiples posibles impactos
• Suponga que recolecta datos de 20 diferentes
indicadores de impacto
– Encuentra uno que es muy positivo
– Encuentra uno que es muy negativo
– Encuentra que para 18, los resultados son muy
similares y no son significativamente diferentes
• ¿Qué puede concluir?
Defina las hipótesis clave antes del inicio del experimento
28
Definir hipótesis clave
• ¿Cuáles podrían ser ejemplos de algunas
hipótesis clave a probar?
29
Marco lógico de las cuotas
Diferentes
Disparidad de Mujeres más Equidad de
bienes
genero en salud Escaños comprometidas y género en
públicos.
y educación. El reservados Más mujeres más involucradas salud,
Mejores
gobierno local para líderes a nivel directamente en educación. ¿Ya
resultados
no representa mujeres local la toma de no son
en
necesidades de líderes decisiones necesarios las
educación y
mujeres. políticas cuotas?
salud
30
Resumen de la exposición
1. Modelos lógicos
– ¿ Qué son?
– ¿ Cómo se desarrollan?
– Ejemplo: Cuotas en consejos de aldeas en India
2. Resultados e indicadores
3. Nociones iniciales de medición del impacto
31
Medición…
• Describe el entorno en cual se realiza la
intervención/el experimento
• Cuantifica insumos en la intervención
• Permite evaluar la implementación de la intervención
• Cuantifica los resultados e impactos
• Registra las percepciones de la intervención
32
Medición…
• Describe el entorno en cual se realiza la
intervención/el experimento
• Cuantifica insumos en la intervención
• Permite evaluar la implementación de la intervención
• Cuantifica los resultados e impactos
• Registra las percepciones de la intervención
SE HACE POR MEDIO DE INDICADORES
33
¿Qué es un indicador?
• ???
Indicadores son…
• Variables cuantitativas o cualitativas que nos
permiten de forma sencilla y confiable:
– Describir entorno de necesidades
– Medir insumos
– Caracterizar implementación/procesos
– Cuantificar resultados/impactos
– Registrar percepciones
Consejos sobre recolección de
indicadores
• C (laros): precisos y sin ambigüedad
• R (elevantes): apropiados para la medición en
cuestion
• E (conómicos): fáciles de medir y recolectar
• A (decuados): suficientes para detectar
impactos en hipótesis claves
Modelo lógico con indicadores
Necesidades Insumo Producto Resultado Impacto Objetivo a
Intermedio largo plazo
Disparidad de Mujeres más Diferentes
genero en Equidad de
comprometidas bienes
salud y Escaños género en
y más públicos.
reservados Más mujeres salud,
educación. El involucradas Mejores
para líderes a nivel educación.
gobierno local directamente en resultados
mujeres local ¿Ya no son
no representa la toma de en
líderes necesarios
decisiones educación
necesidades las cuotas?
políticas y salud
de mujeres.
INDICADORES:
? ? ?
38
Modelo lógico con indicadores
Necesidades Insumo Producto Resultado Impacto Objetivo a
Intermedio largo plazo
Disparidad de Mujeres más Diferentes
genero en Equidad de
comprometidas bienes
salud y Escaños género en
y más públicos.
reservados Más mujeres salud,
educación. El involucradas Mejores
para líderes a nivel educación.
gobierno local directamente en resultados
mujeres local ¿Ya no son
no representa la toma de en
líderes necesarios
decisiones educación
necesidades las cuotas?
políticas y salud
de mujeres.
INDICADORES:
Asistencia de
las mujeres a
reuniones del Composición del presupuesto.
consejo.
Género del Nivel de alfabetización y
Discusión sobre
líder BMI para niñas, niños.
importancia de
salud y
educación de 39
niñas
Resumen de la exposición
1. Modelos lógicos
– ¿ Qué son?
– ¿ Cómo se desarrollan?
– Ejemplo: Cuotas en consejos de aldeas en India
2. Resultados e indicadores
3. Nociones iniciales de medición del impacto
40
¿Cómo medir el impacto?
• ¿Qué habría ocurrido en ausencia del
programa a quienes participaron en él?
• Diferencia entre
Qué ocurrió (con el programa)
– qué habría ocurrido (sin el programa)
= IMPACTO del programa
41
Impacto: ¿Qué es?
Intervención
Impacto
Impacto
Tiempo
Impacto y el contrafactual
• Contrafactual: ¿Qué habría ocurrido en ausencia
del programa a quienes participaron en él?
• No puedo observar a una persona que participa y
no participa en el programa simultáneamente.
• Objetivo clave de todos los métodos de
evaluación de impacto es construir o “replicar” el
contrafactual.
• Seleccionando un grupo no afectado por el programa,
un grupo de comparación (o “grupo de control”)
Construyendo el contrafactual
• Experimental:
– Utiliza asignación aleatoria del programa para
crear un grupo de control que imite el
contrafactual.
• No experimental:
– Argumenta que un cierto grupo excluido replica el
contrafactual.
44
Observando el contrafactual
Observando el contrafactual
Conclusión
1. Evaluación de impacto requiere PROFUNDO
conocimiento de funcionamiento y objetivos del
programa
2. MARCO LOGICO facilita evaluación y medición de
cómo funciona un programa y cual es su impacto
– Articula objetivos insumos, productos, resultados e
impactos
– Simplifica definición de hipótesis de investigación
– Facilita construcción indicadores para distintas metas del
programa
– Ayuda a pensar escenario contrafactual 47