Modulo Iv Evaluacion Ex Post

UNIVERSIDAD NACIONAL DEL CENTRO DEL PERÚ
FACULTAD DE ECONOMÍA
UNIDAD DE POSGRADO
MAESTRÍA: PLANIFICACIÓN Y PROYECTOS DE INVERSIÓN
Curso
“ Dr.
EVALUACION SOCIAL DE
Econ. Juan ESTELA y NALVARTE
PROYECTOS
Correo DE INVERSION”
electrónico: [email protected]
[email protected]
1
EVALUACIÓN EX POST
Y DE IMPACTO
Evaluación Ex Post: Motivación e Introducción

Evaluación ExPost: Introducción
Definición general
 Expost (después del proyecto) en contraposición
a Ex- ante (antes del proyecto).
Aplicación Ex - post es limitada

 No es sistemática en Sistema Nacional de
Inversión Pública con 30 años de vigencia como
Colombia o Chile
 Sistemática en Departamentos de evaluación y
operaciones del Banco Mundial y el BID, pero es
para gestión interna de estas entidades
 No desarrollado en Sistema de Inversión Pública
Peruano
Evaluación Ex - Post (SNIP): Introducción
Evaluación Ex - Post: Introducción
Evaluación Ex - post
 Sin embargo, la tendencia actual es a un mayor
desarrollo sistemático de Evaluación Ex post en
proyectos en general (Estado, Bancos de
Desarrollo, ONGs, etc.)
 ¿Por qué?: Mayor “demanda” Vinculado a
impulso de “Rendición de cuentas” de eficacia
de proyectos
 Se esta desarrollando “oferta” de instrumentos
de seguimiento (=monitoreo) y evaluación
 Evaluación Ex post es un “instrumento”
específico de la evaluación de proyectos pero
estrechamente vinculado a otros más generales
de evaluación y seguimiento
Complicaciones
 Relación ciclo de proyectos y ciclo de evaluaci ón
 Existencia de proyectos continuos donde operación e
inversión se realizan simultáneamente o no es
necesario que se realice toda la inversi ón para
generar beneficios
 Definiciones no estándares. El uso de estas se refiere
a diferentes contextos:
->Proyectos de inversión pública
->Gestión basada en resultados
->Sistemas de seguimiento sectoriales, etc.
Evaluación Ex - Post: introducción
Preinversión Inversión Post Inversión
Depende de la Factibilidad
envergadura
Estudios y Evaluación
del proyecto expediente técnico Ex post
Prefactibilidad
Operación y
Ejecución
Idea Perfil mantenimiento
Evaluación Ex - Post: Ciclo de Evaluación de
ESTADO
Proyectos
ETAPA TIPO DE EVALUACIÓN AMBITO DE
EVALUACIÓN
Idea
Preinversión Perfil Evaluación ex- Preinversión
ante
Prefactibilidad
Factibilidad
Inversión Ejecución Seguimiento físico Inversión

financiero
Término de la Informe de
Inversión inversión término de Inversión
proyecto (ITP)=
Evaluación de la
Ejecución
Seguimiento de la
Operación Operación operación, Operación
Evaluación
Intermedia
Evaluación Operación /
Operación Término de la ex-post Inversión
operación
Evaluación Ex-Post: Ciclo de Evaluación de
Proyectos
Evaluación ExPost y Ciclo de Evaluación en Proyecto Secuencial
Fin Inversión=
Inicio Operación Fin Operación
C p
i r >>>>>>Inversión>>>>>>> >>>>>>Inversión>>>>>>> >>>>>>Operación>>>>>>> >>>>>>Operación>>>>>>>
c o
l y
o e
c
d t
e o t
0 1 2 3 4 5 6 7 8 9 10
----->>>>Seguimiento---->>>>>----->>>>Seguimiento---->>>>> ---->>>>Seguimiento---->>>> ---->>>>Seguimiento---->>>>
E
C
v Evaluación de la ejecución Evaluación Intermedia
i
a (Evaluación de operación)
c
l (Evaluación de impacto parcial)
l
u
o
a
c
d
i
e
ó
n Línea de base Evaluación ExPost
Evaluación Ejecucicón Final (Evaluación Ejecución Final,
Evaluación Operación Final
Evaluación Impacto Final)
>>>>>>>>>>>>>>>>>Inversión>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>Operación>>>>>>>>>>>>>>>>>>>
Evaluación Ex-Post: Ciclo de Evaluación de
Proyectos
Evaluación ExPost y Ciclo de Evaluación en Proyecto Continuo
Inicio Inversión y Fin Operación=

Operación Fin de Inversión
C p >>>>>>Inversión>>>>>>> >>>>>>Inversión>>>>>>>
i r >>>>>>Operación>>>>>>> >>>>>>Operación>>>>>>>
c o
l y
o e
c
d t
e o t
0 1 2 3 4 5 6 7 8 9 10
---->>>>Seguimiento---->>>> ---->>>>Seguimiento---->>>>
E
C
v
i
c
a Evaluación Intermedia
l (Evaluación de ejecución,
l
u
o Evaluación de operación y
a
Evaluación de impacto parcial)
c
d
i
e
ó
n Línea de base Evaluación ExPost
(Evaluación Ejecución Final,
Evaluación Operación Final y
Evaluación Impacto Final)
>>>>>>>>>>>>>>>>>Operación>>>>>>>>>>>>>>>>>>>
>>>>>>>>>>>>>>>>>Inversión>>>>>>>>>>>>>>>>>>>
Evaluación Ex-Post: Introducción
Semántica básica
 Evaluación: Verificación del cumplimiento de un
objetivo (Ej. Impacto, eficiencia, eficacia,
sostenibilidad, etc.) en un momento del tiempo
 Seguimiento: Verificación continua del
cumplimiento de objetivos (Ej. Eficiencia,
eficacia, etc.)
 Línea de Base: Situación previa a la operación
del proyecto a partir del cual se puede medir su
contribución
Evaluación Ex-Post: Introducción
Enfoque Benchmark
 Benchmark de Evaluación Expost: Diseño de
Evaluación Expost en la etapa de diseño
(preinversión) del proyecto.
 Ello supone la ejecución de: (i) Una línea de
base y (ii) Seguimiento de la ejecución y
operación del proyecto.
 Sin (i) y (ii) la Evaluación Expost no cumple sus
objetivos
INTRODUCCIÓN A LA EVALUACIÓN
EX POST Y DE IMPACTO
Evaluación de Impacto:
Introducción a conceptos y
técnicas para la evaluación de
impacto
Introducción
Evaluación de impacto (EI) como parte

del Ciclo de Evaluación de Proyectos
 Ámbito: Centrada en los resultados u

outcomes de un Proyecto
 Metodológica: Metodologías de recolección

de información primaria y modelos analíticos
más complejos
1. Ámbito de Evaluación de Impacto (EI)
El Propósito y/o Fin de un Proyecto
2. Objetivo a evaluar por EI
Los beneficiarios están mejor “con” Proyecto frente a su situación
“sin” proyecto = “debido a” su participación en Proyecto
 “Mejor” en qué?: En el “outcome” del proyecto
2. Objetivo a evaluar por EI
Objetivo a evaluar por EI
 Ejemplos de “outcomes”
3. Población objetivo y beneficiarios
Población objetivo: Aquella que el proyecto tiene programado
atender en un período dado de tiempo, pudiendo corresponder a la
totalidad de la población potencial o a una parte e ella
 Beneficiarios: son aquellos que están siendo o han sido
atendidos por el proyecto
3. Población objetivo y beneficiarios
Ejemplos de beneficiarios:
 individuos (Ej. Alumnos), hogares y
empresas/unidades de producción
Localidades/regiones= conjunto de individuos
y/o hogares y/o empresas
4. Identificación del Impacto de un Proyecto
Estimador de EI “ingenuo” (naive)
 YB1-YB0
 ¿Porqué no identifica el impacto de un
proyecto?
Estimador de EI “ingenuo” (naive) (YB1-YB0)
Problema de la atribución (causalidad) de un
Proyecto
 Múltiples factores cambian de forma simultanea
durante la ejecución y operación del Proyecto
 Estos factores externos al Proyecto son, por ejemplo,

cambios normales en el entorno o cambios no
normales (“shocks”)
Cambios normales: Evolución de la economía (Ej.
Crecimiento del PBI) y evolución de los individuos (Ej.
Niños crecen)
Cambios no normales: Presencia de otros proyectos
públicos y privados que afectan el “outcome” del
Proyecto, etc.
…Problema de la atribución (causalidad) de un
Proyecto
 Estos cambios en el “outcome” debido a factores
externos hubieran ocurrido de todas maneras sin
proyecto
 Problema: Puedo confundir (subestimar o sobreestimar)
la medición del verdadero impacto del proyecto debido
a estos factores externos
 Solución:
Paso 01: Generar situación de comparación “sin
proyecto” denominado escenario contrafactual
Paso 02: Comparar situación “con proyecto” con
“escenario contrafactual”
5. Escenario contrafactual
Definición
 ¿Qué outcome hubieran presentado los
beneficiarios sin proyecto?
 Situación del beneficiario “sin proyecto”
Problema con escenario contrafactual
 No se puede observar el escenario
contrafactual
 Observo a la unidad de la población objetivo
(individuos, hogares, empresas, etc.) como
beneficiarios (con proyecto) o no beneficiarios
(sin proyecto) pero no ambos en un particular
momento del tiempo
Estados posibles para beneficiarios y controles
Antes del proyecto Después del proyecto
A: Estado de “tratamiento”
E: situación
(YB1, XB1 y UB1)
antes del
Beneficiarios proyecto (YB0,
XB0 y UB0) B: Estado de “no-
tratamiento”
(YB1*, XB1* y UB1)
C: Estado de “tratamiento”
F: situación
Controles antes del
proyecto (YC0,
XC0 y UC0) D: Estado de “no-
tratamiento” (YC1, XC1 y
UC1)
Situaciones Situaciones no
observables observables
Semántica básica y notación
 Impacto: comparación del outcome del beneficiario con
un “correcto” grupo contrafactual
 Tratamiento: Estado que identifica la participación en el
proyecto
 Grupo de tratamiento o beneficiario : Quienes participan
en el proyecto
 Grupo de control: El grupo contrafactual que no
participa en el proyecto
 No observable: Lo que no puedo medir o mido mal
...Semántica básica y notación
 t=0: periodo “0” o antes del proyecto (línea de base)

 t=1: periodo “1” o después del proyecto
 Cualquier variable (Y, X, U) siempre se refiere a la media
del grupo o muestra respectivo
 YB0: Outcome del beneficiario antes del proyecto (=línea
de base)
 YB1: Outcome del beneficiarios después del treatment o
proyecto
 YC0: Outcome de los controles antes del proyecto
 YC1: Outcome de los controles después del proyecto
 XB0: Variables características observables del beneficiario
antes del proyecto (=línea de base)
...Semántica básica y notación
 XB1: Variables características observables del beneficiario
después del proyecto
 UB0: Variables características no observables del
beneficiario antes del proyecto (=línea de base)
 UB1: Variables características no observables del
beneficiario después del proyecto
 XC0, XC1, UC0 y UC1 ídem para los controles
 YB1*: Outcome del beneficiarios en estado de no
tratamiento
 XB1*: Variables características observables del
beneficiario después del proyecto en estado no
tratamiento
Solución: “Construir” un escenario contrafactual
para los beneficiarios
 Paso 01: Seleccionar grupo “control” o de
“comparación” como escenario contrafactual de los
beneficiarios
 Paso 02: Comparar el outcome de los beneficiarios y
controles luego del Proyecto
Problema: Sesgo de selección

 Sesgo de selección: No beneficiarios difieren
sistemáticamente de beneficiarios
Beneficiarios
(YBt, XBt y UBt)
Controles o Grupo
Población Contrafactual
Objetivo (YCt, XCt y UCt)
No Beneficiarios Potenciales
(YNBt, XNBt y Controles
UNBt) (YPCt, XPCt y
UPCt) No Contrafactuales
Población No (YNCt, XNCt y
Objetivo UNCt)
6. Sesgo de selección
 Definición: Existen diferencias sistemáticas entre los
que participan en un proyecto y quienes no, aún siendo
definidos estos como población objetivo no beneficiaria
 Problema: Las muestras de beneficiarios y no

beneficiarios están sesgadas y no podemos usar los
“outcome” promedio de estos grupos para identificar el
impacto del proyecto
Cuál es el origen del sesgo?

 Participación en un proyecto es casi siempre una
opción. Los no beneficiarios van a diferir en
características observables o no observables de los
beneficiarios
 Diferencia en características observables: Ej. Sexo y
situación laboral (Ej. Activo o No activo):
_ En el proyecto “Modalidad flexible de educación de adultos

(culminar secundaria)” las mujeres amas de casa (no
activas laboralmente) tuvieron mayor propensión a
participar que los hombres adultos jefes de hogar (activos
laboralmente)
_ Ambos subgrupos son población objetivo pero la mayor

propensión de mujeres amas de casa a participar tuvo
como consecuencia que beneficiarios y no beneficiarios
difirieran sistemáticamente en características observables
sexo y situación laboral
…Cuál es el origen del sesgo?

 Diferencia en características observables: Ej. Selección de
beneficiarios por los operadores del proyecto
_ Este problema está presente siempre. Se denomina selección
por la “oferta”
_ Se elige:
Ej01: “localidades” más organizadas, en proyectos de alivio de
pobreza rural
Ej02: “colegios” con “mejor” director, en proyectos de
educación
Ej03: “alumnos” con padres más motivados
…Cuál es el origen del sesgo?
 Diferencia en características no observables:
Motivación de los individuos
_ Este problema está presente siempre.
_ Ej01: Padres motivados y proyecto de educación

> Alumnos con padres con alta valoración de la
educación (más información y dedican más esfuerzo a
educación de sus hijos) tienen alta probabilidad de
participar en “mejores” colegios o en “proyectos”
educativos de innovación.
..._ Ej01: Padres motivados y proyecto de educación
>El sesgo proviene de comparar alumnos beneficiarios
con padres altamente motivados frente a alumnos no
beneficiarios con padres no motivados
>Alumnos beneficiarios y no beneficiarios son idénticos

en todas las variables observables pero con variable no
observable “padres motivados” distinta
Corregir el sesgo implica
 Equivalencia estadística en variables observables en el
período 0
>YB0=YC0 y XB0=XC0
 Equivalencia estadística en variables no observables en
el periodo 0
>UB0=UC0
 Equivalencia estadística en variables no observables en
el periodo 0 y 1
>UB1=UB0
7. Estimador de EI
Estimador de Diferencias en Diferencias
 Definición: (YB1-YB0) – (YC1-YC0)
 (YC1-YC0) = ? (Tarea para el control)
 La validez del estimador depende de nuestros supuestos
y data disponible.
 Cuando existen problemas de variables no-observables y
estas son invariantes en el tiempo no cambian con el
tiempo) estas puede ser corregida mediante el estimador
de Diferencia en Diferencia
Ej.
(YB1+UB1)-(YB0+UB0) – (YC1+UC1)-(YC0-UC0)
No observable invariante en t: UB1=UB0 y UC1=UC0
 (YB1-YB0)-(YC1-YC0)= Estimador de Impacto,
A pesar de: UB1=UB0 =~ UC1=UC0
7. Uso de diferentes estimadores de impacto
8. Tipos de diseño o metodología de EI
 El diseño de la EI presenta opciones metodológicas que
son críticas para la calidad de la EI
 La más importante es la disponibilidad de data en t=0 y
t=1
 La EI óptima es aquella que se diseña cuando el proyecto
se está diseñando (Evaluación Ex Ante)
 La mayoría de las EI son diseñadas luego que el
programa ha sido ejecutado y se encuentra en operación
 Esta situación restringe severamente las opciones de la EI
 La EI del presente curso es una donde se hace línea de
base y mediciones posteriores y se construye un grupo
mediante métodos cuasi - experimentales. En esta medida
no es el benchmark de EI (diseño experimental) pero es
el “second best”
 Cuasi Experimental
 Experimental
Experimental
 Grupo contrafactual formado a través de aleatorización
(Sorteo)
 Controles tienen que estar igualmente interesados en
participar en el proyecto
 Requiere de mucha planificación antes del inicio del
proyecto (la línea de base)
 Se tiene que aplicar un registro o censo de beneficiarios
en algunas variables características básicas antes de
hacer la línea de base
 Políticamente controversial cuando la aleatorización es
a nivel de individuos y más aceptada a nivel de
localidades
Experimental
 Ejemplos de experimentos
Ej01: Progresa (México), RPS (Nicaragua), “NN01”
(Honduras) y NN02 (Colombia)
Outcome: Asistencia al colegio, nutrición y salud
Treatment: Cash Transfer
Aleatorización: A nivel de localidad
Ej02: Proyecto STAR (Kentucky-USA)
Outcome: Rendimiento educativo
Treatment: Disminución del ratio alumno por profesor
Aleatorización: A nivel de alumno
Cuasi -Experimental
 Grupo contrafactual se construye con individuos con
similares características (beneficiario no tratado)
 Formalmente se refiere a este grupo contrafactual como de
“comparación” no de “control”
 Estos métodos de selección de controles con base a su
probabilidad de participación se conocen como estimadores
de “matching”.
Cuasi-Experimental
 Estos métodos de selección de controles con base a su
probabilidad de participación se conocen como estimadores
de “matching” o emparejamiento.
 Existe una variedad de estimadores de matching
 El emparejamiento (matching) consiste en asignar para
cada beneficiario un control. Dicha asignación se realiza
sobre la base de emparejar aquel beneficiario con aquel
control que sea “lo más parecido”. Una vez establecida las
parejas de beneficiarios y controles “emparejadas” se podrá
estimar el impacto promedio del programa como el
promedio del impacto para cada pareja.
Cuasi-Experimental (Ejemplo Projoven)
 Las variables que deben de ser incorporadas en este

emparejamiento son aquellas que tienen un efecto
significativo en el impacto en el programa y al no ser
controladas pueden sesgar los resultados.
Etapa de Campo
1.1 A partir de las viviendas de cada beneficiario se ubic ó a los
potenciales controles a través de 5 variables de decisión:
sexo, edad, situación laboral, educación y nivel de pobreza..
En principio se podrían (deberían) seleccionar más de 01
potencial control por beneficiario pero lo que debe de
quedar claro es que por lo menos se debe seleccionar a 01.
1.2 En el proceso de trabajo de campo incorpora en el

emparejamiento variable que pueden ser identificadas en
esta etapa como: Sexo, edad, situación ocupacional,
región, etc.
1.3 Sin embargo, en el trabajo de campo no se puedo

emparejar a los beneficiarios en variables que también
deben de ser controladas como los ingresos, por ejemplo. El
análisis de equivalencia estadística (test t de medias) de la
variable ingresos de la muestra original de beneficiarios y
controles encuentra que diferían significativamente en esta
variable.
1.4 Por ello, se debe completar el proceso de

emparejamiento realizado en el campo por uno
computacional que incorpore variables adicionales de
emparejamiento.
2.1 En primer lugar, tenemos una base de datos

preparada para los cálculos como en la Tabla 01 con la
información disponible para 1018 beneficiarios del
programa y 1561 posibles controles
2.2Procedemos a calcular el propensity score para cada

beneficiario y control. Para ello estimamos un modelo
probit o probabilidad de ser beneficiario donde la
variable dependiente toma valor “1” si el individuo es
un beneficiario y valor “0” si es un control. El modelo
estimado es el siguiente:
P(y  1)  F(π̂1 Hijo  π̂ 2 Labor  π̂ 3 Ing.familiar  π̂ 4 Edu.Padre  π̂ 5 Edu.Madre)  e


 Donde las variables consideradas son:
hijo2: si es mujer con hijo
curso: si llevó algún curso técnico
labora: si laboraba antes
ingreso familiar: logaritmo del ingreso familiar mensual
per capita del resto de individuos del hogar
pedu2: padre con educación superior
medu2: madre con educación superior
 Los modelo probit estimado se presenta en la tabla
siguiente:

2.2 Luego, se reemplaza – para cada beneficiario y
control- sus valores respectivos de las variables
consideradas: hijo2, curso, labora, ingreso familiar,
pedu2 y medu2 en la ecuación del probit y con los
estimadores obtenidos de la regresión probit se calcula
“propensity score” para cada individuo. Este cálculo lo
hace el paquete estadístico en la medida que tiene que
considerar los errores estimados del probit para cada
beneficiario y control. Este cálculo del probit se
presenta en la Tabla 2
2.3 El procedimiento de emparejamiento consistió en aparear
a un beneficiario con un control que cumpliera con las
siguientes características:
a. sea de la misma ciudad y
b. sea del mismo sexo y
c. cuya edad sea, a lo más, dos años distinta y
d. con un nivel educativo que, a lo más, discrepe en un año de
educación y
e. que tenga la misma situación laboral y
f. cuyo índice de pobreza discrepe en no más de 4 puntos y
g. tenga un “propensity score” que sea distinto en a lo más 0.2
puntos

2.4 Dentro de ese grupo posible de controles finalmente se
eligió sólo a uno. Éste era aquel control que tuviera:
h. Mayor similitud en el ingreso por hora percibido y en el total
de horas trabajadas por semana a partir de la menor
distancia euclideana, previa estandarización de las variables.
2.5 Si para un beneficiario no se encontraba un control que

cumpliera con todos los requisitos previamente descritos,
ese beneficiario era eliminado de la muestra para efectos de
la presente evaluación de impacto. Por otro lado, debe
tenerse en cuenta que no todos los controles disponibles
han sido asignados necesariamente a algún beneficiario, por
lo que algunos no han sido utilizados.
2. PROCEDIMIENTO DE CÁLCULO
 2.6 Así, se obtuvo una muestra de 842 beneficiarios
apareados con sus respectivos controles, a partir de los
cuales se cuantifica el impacto de PROJoven como se
muestra en la tabla 4
Cuasi-Experimental (BREVE REVISION DEL MARCO
TEORICO DEL EMPAREJAMIENTO (MATCHING)
1. El ideal para la identificación de los efectos de un programa

sobre un grupo de beneficiarios es que el proceso de
asignación en este sea de manera aleatoria. Es decir, sobre
los que están interesados o pre - inscritos en el Proyecto se
define mediante un sorteo quienes pasan a formar parte del
grupo de beneficiarios y quienes forman parte de un grupo
de control. Sin embargo, este tipo de diseños presenta una
serie de problemas para la gestión del programa al tener
que limitar la participación en este a una fracción de la
población objetivo[1].

1. Por ello se optan por métodos cuasi - experimentales

como el que se desarrolla aquí donde se trata de replicar
mediante procesos de emparejamiento (en campo y
computacionales) el ideal o “benchmark” que constituye el
proceso experimental que permite una equivalencia
estadística inicial entre beneficiarios y controles mediante
una asignación aleatoria.
[1] Ello a pesar que la limitación es temporal en la medida que se

convierten en beneficiarios en etapas posteriores.
Cuasi - Experimental (BREVE REVISION DEL MARCO

2. Son 03 los métodos más usados para llevar a cabo el

emparejamiento. El primero de ellos es el Nearest Neighbor
Matching (NNM) que realiza el emparejamiento con base a
la mínima distancia (nearest neighbor) en valor absoluto
entre la probabilidad de participar de un beneficiario y un
control. De esta forma, el NNM selecciona para cada
beneficiario a un solo control que es el que tiene la
probabilidad de participar más cercana.

2 El NNM presenta el problema que podemos elegir controles

que aunque sean malos candidatos para un beneficiario
-difieren significativamente en la probabilidad de
participación- es la mejor alternativa que disponemos en la
base de datos (mínima distancia) y por ello los elegimos. El
segundo método denominado Radius Matching (RM)
pretende corregir el problema señalado para el NNM
estableciendo un valor arbitrario (Por ejemplo, 0.05) de
diferencias en probabilidad en valor absoluto entre un
beneficiario y un control.
2. De esta forma, se establece un valor único de lo que
consideramos lo mas parecido y lo usamos como regla
general para todos los emparejamientos. RM a diferencia
de NNM suele seleccionar para cada beneficiario más de
un control, en la medida que varios de ellos pueden
cumplir con este valor o distancia arbitrario.
3. Sin embargo, RM al igual que el NNM presentan el problema

que al considerar una diferencia en probabilidad en valor
absoluto no dan cuenta de si estas pueden estar
seleccionando a aquellos controles que sistemáticamente
tienen una mayor probabilidad de participar o una menor.
Cuasi- Experimental (BREVE REVISION DEL MARCO
3. De esta forma, luego del emparejamiento podemos
terminar con una muestra de controles con una media de
probabilidad de participación significativamente diferente,
más alta o más baja, y, no similar como se espera de la
aplicación de estos procedimientos.
4. El tercer método es el de Kernels Uniformes (KU) a

diferencia de NNM y RM no es un emparejamiento uno a
uno sino del tipo uno a varios donde a cada beneficiario se
le asigna una combinación de miembros del grupo de
control ponderados y las distancias no son en valores
absolutos.
4. Este enfoque tiene como ventaja hacer un mejor uso de la
información de los controles, pues genera individuos ficticios
con las características promedio de varios controles
aprovechando de forma más eficiente la información
disponible.
5 En la practica lo que se emplea son técnicas híbridas que
combinan estos enfoques de matching bajo las
propensiones a participar con criterios de emparejamiento
por características de manera directa. Cierta nueva literatura
esta destacando la importancia del emparejamiento directo
(Ej. Ingreso mas parecido) sobre las técnicas de matching
que emplean propensiones a participar.

6. La bondad de un método u otro debe de establecerse sobre
la base de dos aspectos. El primero se refiere a que tan
efectivo es en establecer la equivalencia inicial entre las
variables más importantes como el ingreso o la propensión
de participación. Lo segundo es si es eficiente en
aprovechar la información disponible de los controles. Esto
último es particularmente relevante en la medida que bajo
cualquier enfoque de emparejamiento se pierde un conjunto
de información en la medida que se descartan beneficiarios
para los cuales no se disponen de controles apropiados. De
esta forma se induce salidas de beneficiarios de la muestra.
6. Por otro lado, se descartan controles o no se utilizan en la
medida que no se asignan a ningún beneficiario. En ambos
casos, este proceso puede ser fuente de sesgos adicionales y
debe de ser considerado en el análisis.
7 Los “test” de los métodos cuasi experimentales se hacen a

partir de los estimadores de Diferencia en Diferencia de tipo
experimental. El “test” consiste en contrastar el estimador de
Diferencias en Diferencias experimental con el
cuasiexperimental. Cuando el DD cuasiexperimental se
aproxime (se igual) al experimental entonces se concluye que
el método es el mejor en tanto replica el diseño experimental.
Evaluación de Impacto:
Introducción a conceptos y
técnicas para la evaluación de
impacto
1. ¿Cómo identificar indicadores de impacto?
2. ¿Qué son los outcomes?
2. ¿Qué son los outcomes?
3. Uso de diferentes estimadores de impacto
4.Análisis de equivalencia estadística
4. Análisis de equivalencia estadística
Evaluación Ex Post en Proyectos de Empleo:
Estudio de Caso Projoven-Diseño
1. Objetivos e instrumentos
 Objetivo 01: Mejorar la inserción laboral de los jóvenes

de hogares pobres de zonas urbanas
 Instrumento 01: Capacitación en ocupaciones de

calificación inicial mediante una fase lectiva o teórica de
03 meses en una entidad de capacitación y 03 meses de
fase práctica en una empresa
2. Detalles operacionales relevantes para
la EI
2.1 Descripción del tratamiento

 Projoven opera como entidad de segundo piso donde
convoca a entidades de capacitación (ECAPs) a participar
en concursos públicos de selección de cursos según
criterios de calidad y costos
 La ECAPs son previamente precalificadas según su
experiencia, RR.HH.s, infraestructura, vínculo con las
empresas, etc.
 El costo promedio de capacitación por beneficiario es de
aproximadamente US$ 570
 Se organiza por “convocatoria” o “llamados” (ciclos)
donde se capacitan unos 2,000 beneficiarios
la EI

 Para ello las ECAPs proceden a presentar su oferta de
capacitación en ocupaciones de calificación inicial y el
programa procede a seleccionar los jóvenes beneficiarios
 Luego se realiza un proceso en el que tanto jóvenes
como ECAPS proceden al “matching”. Así, las ECAPs
tienen un margen para seleccionar beneficiarios y por
supuesto la inscripción en las ECAPs es voluntaria. Sin
embargo, en la medida que se agotan los cupos, los
“últimos” beneficiarios proceden a seleccionar los
“cursos” que quedan
la EI

 A cada beneficiario se le proporciona un estipendio
diario para pasajes y alimentación durante la fase de
entrenamiento en ECAPs
 Adicionalmente a los beneficiarios madre se les da un
soporte o subsidio para financiar cuidado de sus hijos
durante entrenamiento en ECAPs
 Durante la fase de entrenamiento en empresas los
beneficiarios reciben la remuneración mínima vital por
jornada de 8 horas.
la EI
2.2 Descripción del proceso de selección de

beneficiarios
 Población objetivo: Jóvenes entre 16 y 24 años urbanos
pobres
 En cada “convocatoria” o “llamado” se procede a realizar
campañas de promoción en zonas urbano marginales
mediante charlas en parroquias, colegios, etc.
 Cuando el joven se acerca a un centro de inscripción
procede a registrarse en una ficha socioeconómica
 En esta ficha de inscripción se consigna información
como educación de los padres, características de la
vivienda que permite construir un puntaje de pobreza.
la EI
2.2 Descripción del proceso de selección de

beneficiarios
 Cuando el puntaje de pobreza lo califica como pobre
entonces el beneficiario es visitado en su casa para
corroborar sus datos y confirmarle que está registrado
en el programa
la EI
2.3 Cobertura y ámbito

 Lima, Arequipa, Trujillo, Chiclayo, Piura, Cusco,
Huancayo, Chimbote e Iquitos
 De 1997 al 2002 (8 convocatorias) : 30,283
 De 2003 al 2005: 51,900
la EI
2.3 Cobertura y ámbito

3. Hipótesis a evaluar en la EI
 H1: Nivel de empleo de beneficiarios es X% mayor que

los no participantes debido al proyecto
 H2:Nivel de ingreso de los beneficiarios es X% mayor
que los no participantes debido al proyecto
 H3: Calidad de empleo (contrato laboral, seguro de
salud, CTS, etc.) es mayor que los no participantes
debido al proyecto
 H4: Segregación ocupacional por género es menor en
los beneficiarios que en los no participantes debido al
proyecto
4. Marco conceptual de la generación de
impacto
Capital humano: ecuaciones de ingreso

Ingreso F ˆ Sexo  ˆ Experienci
1 2
a  ˆ Educacion e
3
 Variables observables (Xs) que debemos considerar para

identificar el verdadero impacto según marco conceptual
son: Sexo, experiencia laboral (edad) y educación entre las
más importantes.
5. Diseño de la metodología de la
evaluación de impacto.
5.1 Estrategia de estimación de resultados o

impacto
Dobles diferencias: (YB1-YB1) - (YC1-YC0). Es decir, 02
mediciones (momento 0 y momento 1) a una muestra de
beneficiarios y controles
Cuasiexperimental: Selección de controles no aleatoria (no
experimental) mediante matching o pareo incial en
observables con grupo de control
Las mediciones han sido en 03 momentos t0, t1, t3, pero el
estimador en DD siempre relaciona la última medición (en
este caso t3) con la inicial o línea de base (t0)
5.2 Indicadores o medidas de resultados o impacto
VI1-Empleo: II1-Tasa de ocupación e II2-Horas trabajadas
VI2-Ingreso: II3-Ingreso mensual e II4-Ingreso por hora
VI3-Calidad de empleo: II5-Situación contractual (Firma de

contrato, cotización para vejez, salud, etc.)
VI4-Segregación: I6-Índice de Duncan
Nota: VI: Variable de Impacto e II: Indicador de Impacto

5.3 Indicadores o medidas de control

 VC1-Experiencia laboral: IC1-Edad
 VC2-Sexo: IC2-Sexo
 VC3-Educación: IC3-Nivel educativo alcanzado
 VC4-Antecedentes familiares: IC4-Nivel educativo

alcanzado por los padres
 VC5-Características del hogar: IC6-Hijos

5. Diseño de la metodología de la evaluación
de impacto.
5.4 Procedimiento de selección de grupo de

comparación o control
Etapa de Campo
1.1 A partir de las viviendas de cada beneficiario se ubic ó a los
potenciales controles a través de 5 variables de decisión:
sexo, edad, situación laboral, educación y nivel de pobreza..
En principio se podrían (deberían) seleccionar más de 01
potencial control por beneficiario pero lo que debe de
quedar claro es que por lo menos se debe seleccionar a 01.
de impacto.

1.2 En el proceso de trabajo de campo incorpora en el

emparejamiento variable que pueden ser identificadas en
esta etapa como: Sexo, edad, situación ocupacional,
región, etc.
1.3 Sin embargo, en el trabajo de campo no se puedo

emparejar a los beneficiarios en variables que también
deben de ser controladas como los ingresos, por ejemplo. El
análisis de equivalencia estadística (test t de medias) de la
variable ingresos de la muestra original de beneficiarios y
controles encuentra que diferían significativamente en esta
variable.
de impacto.
1.4 Por ello, se debe completar el proceso de

emparejamiento realizado en el campo por uno
computacional que incorpore variables
adicionales de emparejamiento.
de impacto.
2.1 En primer lugar, tenemos una base de datos
preparada para los cálculos como en la Tabla 01 con la
la información disponible para 1018 beneficiarios del
programa y 1561 posibles controles
2.2Procedemos a calcular el propensity score para cada

beneficiario y control. Para ello estimamos un modelo
probit o probabilidad de ser beneficiario donde la
variable dependiente toma valor “1” si el individuo es
un beneficiario y valor “0” si es un control. El modelo
estimado es el siguiente:
5.4 Procedimiento de selección de grupo de comparación

o control
P(y  1)  F(π̂1 Hijo  π̂ 2 Labor  π̂ 3 Ing.familiar  π̂ 4 Edu.Padre  π̂ 5 Edu.Madre)  e

de impacto.

 Donde las variables consideradas son:
hijo2: si es mujer con hijo
curso: si llevó algún curso técnico
labora: si laboraba antes
ingreso familiar: logaritmo del ingreso familiar mensual
per capita del resto de individuos del hogar
pedu2: padre con educación superior
medu2: madre con educación superior
 Los modelo probit estimado se presenta en la tabla
siguiente:
de impacto.

2.2 Luego, se reemplaza – para cada beneficiario y
control- sus valores respectivos de las variables
consideradas: hijo2, curso, labora, ingreso familiar,
pedu2 y medu2 en la ecuación del probit y con los
estimadores obtenidos de la regresión probit se calcula
“propensity score” para cada individuo. Este cálculo lo
hace el paquete estadístico en la medida que tiene que
considerar los errores estimados del probit para cada
beneficiario y control. Este cálculo del probit se
presenta en la Tabla 2
de impacto.
2.3 El procedimiento de emparejamiento consistió en aparear
a un beneficiario con un control que cumpliera con las
siguientes características:
a. sea de la misma ciudad y
b. sea del mismo sexo y
c. cuya edad sea, a lo más, dos años distinta y
d. con un nivel educativo que, a lo más, discrepe en un año de
educación y
e. que tenga la misma situación laboral y
f. cuyo índice de pobreza discrepe en no más de 4 puntos y
g. tenga un “propensity score” que sea distinto en a lo más 0.2
puntos
de impacto.
2.4 Dentro de ese grupo posible de controles finalmente se
eligió sólo a uno. Éste era aquel control que tuviera:
h. Mayor similitud en el ingreso por hora percibido y en el total
de horas trabajadas por semana a partir de la menor
distancia euclideana, previa estandarización de las variables.
2.5 Si para un beneficiario no se encontraba un control que

cumpliera con todos los requisitos previamente descritos,
ese beneficiario era eliminado de la muestra para efectos de
la presente evaluación de impacto. Por otro lado, debe
tenerse en cuenta que no todos los controles disponibles
han sido asignados necesariamente a algún beneficiario, por
lo que algunos no han sido utilizados.
2. PROCEDIMIENTO DE CÁLCULO
 2.6 Así, se obtuvo una muestra de 842 beneficiarios
apareados con sus respectivos controles, a partir de los
cuales se cuantifica el impacto de PROJoven como se
muestra en la tabla 4
6. Diseño y selección de muestras de
beneficiarios y control
 Probabilístico sobre el listado de beneficiarios y en base a

pareo para la selección de grupo de control.
 Muestra inicial: 1034 beneficiarios y 1561 controles.
 Estratificación muestral en base a Ciudad, sexo y dos

rangos de edades (16-20 y 21-25)
7. Contenidos y características de los
instrumentos de medición de variables
7.2 Cronograma de aplicación de instrumentos

 t0: Antes de inicio del proyecto
 t1: 06 meses después de egreso del proyecto (12 meses
de inicio del proyecto o tratamiento)
 t2: 12 meses después de egreso del proyecto
 t3: 18 meses después de egreso del proyecto
7. Contenidos y características de los
instrumentos de medición de variables
7.3 Diseño preliminar de los instrumentos (Ej.

Encuestas)
 Modulo de Empleo de la ENAHO
8. Marco Lógico
Objetivos Indicadores Fuentes

Fin Objetivo General Contribuir a Outcomes Evaluación de Impacto
mejorar el nivel de empleabilidad de
VI1:Nivel de empleo de beneficiarios es a lo menos 6% mayor que los
jóvenes de bajos ingresos
no participantes debido al proyecto
VI2:Nivel de ingreso laboral de beneficiarios es a lo menos 18% mayor

que los no participantes debido al proyecto
VI3: La calidad de los empleos (contrato, seguros, etc.) de

beneficiarios es mejor que los no participantes debido al proyecto
VI4: La segregación ocupacional por genero de beneficiarios es

menor que los no participantes debido al proyecto
8. Marco Lógico
Objetivos Indicadores Fuentes
Propósito Objetivo General X% de los beneficiarios mejora sus competencias básicas Evaluación de de la operación
Facilitar el acceso de jovenes de 16
a 24 años de escaos recurso
económicos al mercado laboral X% de los jóvenes mejora su nivel de competencias genericas
formal, a través de acciones
específicas de capacitación técnica
90% de los beneficiarios mejora su conocimiento de la demanda laboral
y experiencia laboral articuladas a
servicios de informac
24% de los beneficiarios son colocados por acciones del SIL-MTPS
OG2: Adicionalmente, impulsar el Mejora promedio de puntaje de desempeño de ECAPs en Registro de Evaluación de de la operación
nivel de competencia y eficiencia del ECAPS entre 1ra y 5ta convocatoria
mercado de las instituciones
proveedoreas de entrenamiento y
capacitación a través de una mayor
interacción entre dichas
instituciones y las empresas, y
generar con esto un efecto demo
8. Marco Lógico
Objetivos Indicadore s Fuentes
Com ponente 01 Evaluación de de la
Entrenamiento laboral en ECAPs y operación/Ejecución y
Output empresas para jóvenes de bajos seguimiento
recursos II1: 97% de los benef iciarios completan la f ase de entrenamiento en
ECAPs
II2: 85% de los benef iciarios que culminan la f ase de entrenamiento en

ECAPs completan la f ase de entrenamiento laboral en empresas
II3: 100% de los benef iciarios que ef ectivamente asisten al
entrenamiento en ECAPs recibe estipendio de alimentación y
transporte y el 100% de las madres recibe subsidios
II4: 97% de los benef iciarios completan la f ase de entrenamiento en
ECAPs
II5: El proceso de f ocalización presenta un error no mayor de 8% en
f iltración y 12% para subcobertura
II4: 97% de los benef iciarios completan la f ase de entrenamiento en
ECAPs
Com ponente 02
ECAPs proveen entrenamiento II5: Entre 130 y 150 ECAPs inscritas en el registro con respectivo
ligado a necesidades de sector puntaje institucional
productivo, que se conecta a un II6: 100% de os cursos seleccionados en base a evaluación
entrenamiento en empresas y que institucional y de desempeño de las ECAPs y evaluación de calidad y
mejora competencias de los jóvenes costos de los cursos
II7: 100% de las ECAPs incorporadas en registro reciben material de
apoyo metodológico
II8: 75% de las ECAPs reciben asistencia en áreas temáticas
específ icas
Com ponente 03
Sistema de inf ormación e II9: 100% de los benef iciarios recibe servicios de inf ormación sobre
intermediación laboral apoya características del proyecto por parte del SIL
ef ectivamente el proceso de II10: 97% de los benef iciarios recibe los servicios de habilitación por
inserción de benef iciarios del parte del SIL
proyecto II11: 60% de los benef iciarios que no ha culminado la practica o no
consigue empleo, recibe los servicios de conexión por parte del SIL
CUASIEXPERIMENTAL: MATCHING
Nearest-neighbour matching (one-to-one matching)
Tratados (D=1) No Tratados (D=0)
P P
0.73 0.22
0.58 0.78
0.85 0.52
0.67 0.31
0.96 0.65
P P Diferencia
0.73 0.22 │0.73 - 0.22 │=0.51
0.58 0.78 │0.73 - 0.78 │=0.05
0.85 0.52 │0.73 - 0.52 │=0.21
0.67 0.31 │0.73 - 0.31 │=0.42
0.96 0.65 │0.73 - 0.65 │=0.08
Min = 0.05
P P Diferencia
0.73 0.22 │0.73 - 0.22 │=0.51
0.58 0.78 │0.73 - 0.78 │=0.05
0.85 0.52 │0.73 - 0.52 │=0.21
0.67 0.31 │0.73 - 0.31 │=0.42
0.96 0.65 │0.73 - 0.65 │=0.08
Min = 0.05
P P Diferencia
0.73 0.22 │0.58 - 0.22 │=0.36
0.58 0.78 │0. 58 - 0.78 │=0.20
0.85 0.52 │0. 58 - 0.52 │=0.06
0.67 0.31 │0. 58 - 0.31 │=0.27
0.96 0.65 │0. 58 - 0.65 │=0.07
Min = 0.06
Número de veces
Tratados (D=1) No Tratados (D=0) en que es
“matcheado”
Y(d=1) P P Y(d=0)
Constituyen los
120 0.73 0.22 96 0
“pesos” a ser
165 0.58 0.78 105 3 utilizados para
calcular el
132 0.85 0.52 111 1
promedio del
99 0.67 0.31 99 0 “outcome” bajo
el escenario
117 0.96 0.65 122 1 contrafactual
Número de veces
“matcheado”
Y(d=1) P P Y(d=0)
Constituyen los
120 0.73 0.22 96 0
“pesos” a ser
calcular el
132 0.85 0.52 111 1
promedio del
99 0.67 0.31 99 0 “outcome” bajo
el escenario
117 0.96 0.65 122 1 contrafactual
Y promedio (D=1) = (120 + 165 + 132 + 99 + 117) / 5 = 126.60

Y promedio (D=0) = (96(0) + 105(3) + 111(1) + 99(0) + 122(1)) / 5 = 109.06
Efecto del tratamiento = 126.6 – 109.06 = 17.54
k-Nearest neighbors matching (one-to-k matching),
Ejemplo con k=2
P P Diferencia
0.73 0.22 │0.73 - 0.22 │=0.51
0.58 0.78 │0.73 - 0.78 │=0.05
0.85 0.52 │0.73 - 0.52 │=0.21
0.67 0.31 │0.73 - 0.31 │=0.42
0.96 0.65 │0.73 - 0.65 │=0.08
2-Min = [0.05 y 0.08]

k-Nearest neighbors matching (one-to-k matching)
Número de veces 1/k

Tratados (D=1) No Tratados (D=0) en que es (=0.5) Pesos
“matcheado”
Y(d=1) P P Y(d=0) (a) (b) (a*b)
120 0.73 0.22 96 0 0.5 0
165 0.58 0.78 105 4 0.5 2
132 0.85 0.52 111 1 0.5 0.5
99 0.67 0.31 99 0 0.5 0
117 0.96 0.65 122 5 0.5 2.5
Y promedio (D=1) = (120 + 165 + 132 + 99 + 117) / 5 = 126.60

Y promedio (D=0) = (96(0) + 105(2) + 111(0.5) + 99(0) + 122(2.5)) / 5 = 114.1
Caliper matching
P P Diferencia
0.73 0.22 │0.73 - 0.22 │=0.51
0.58 0.78 │0.73 - 0.78 │=0.05
0.85 0.52 │0.73 - 0.52 │=0.21
0.67 0.31 │0.73 - 0.31 │=0.42
0.96 0.65 │0.73 - 0.65 │=0.08
Min = 0.05
Una vez se determina cual es el individuo no tratado con el cual se minimiza el

valor absoluto de la diferencia en probabilidades, se evalúa si el mismo es menor
a un parámetro especificado por el investigador (p.e. 0.10).
En este caso, 0.05 < 0.10, se selecciona el control y se pasa al siguiente caso.
Caliper matching
Diferencia P P
│0.73 - 0.78 │=0.05 < 0.10 OK 0.73 0.22
│0.58 - 0..52 │=0.06 < 0.10 OK 0.58 0.78
│0.85 - 0.78 │=0.07 < 0.10 OK 0.85 0.52
│0.67 - 0.65 │=0.02 < 0.10 OK 0.67 0.31
│0.96 - 0.78 │=0.18 > 0.10 0.96 0.65
Al evaluar todos los casos, el valor absoluto de la diferencia en probabilidades

para el último individuo es mayor al valor establecido, por lo que no es
considerado para evaluar el impacto de la intervención , pues se encuentra
fuera de la región de soporte común (common support region)
La Región de Soporte Común
15
10
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
D=1
10 D=0
Fuera de la región de soporte común
15
Caliper matching
Número de veces
“matcheado”
Y(d=1) P P Y(d=0)
Constituyen los
120 0.73 0.22 96 0
“pesos” a ser
calcular el
132 0.85 0.52 111 1
promedio del
99 0.67 0.31 99 0 “outcome” bajo
el escenario
117 0.96 0.65 122 1 contrafactual
Y promedio (D=1) = (120 + 165 + 132 + 99) / 4 = 129

Y promedio (D=0) = (96(0) + 105(2) + 111(1) + 99(0) + 122(1)) / 5 = 110.75
Efecto del tratamiento = 129 – 110.75 = 18.25
Radius matching
P P Diferencia
0.73 0.22 │0.73 - 0.22 │=0.51
0.58 0.78 │0.73 - 0.78 │=0.05
0.85 0.52 │0.73 - 0.52 │=0.21
0.67 0.31 │0.73 - 0.31 │=0.42
0.96 0.65 │0.73 - 0.65 │=0.08
En este caso, a diferencia del método de caliper matching, se seleccionan a

todos aquellos controles que cumplen con el requisito de tener un valor absoluto
en la diferencia en probabilidades menor al valor establecido (i.e. < 0.10).
Radius matching
P P Y(d=0)
0.73 0.22 96
0.58 0.78 105
0.85 0.52 111
0.67 0.31 99
0.96 0.65 122
El número de controles para cada individuo tratado, y el número de veces que un

mismo control es seleccionado son usados para determinar los pesos en cada
caso.
Y promedio (D=0) = [½ (105+122) + …] / (# tratados matcheados)
Radius matching
P P Y(d=0)
0.73 0.22 96
0.58 0.78 105
0.85 0.52 111
0.67 0.31 99
0.96 0.65 122
Y promedio (D=0) = [½ (105+122) + ½ (111+122) + ….] / (# tratados matcheados)

Radius matching
P P Y(d=0) En este caso solo

uno de los controles
0.73 0.22 96
cumple con el
0.58 0.78 105 requisito de que el
valor absoluto de la
0.85 0.52 111
diferencia en
0.67 0.31 99 probabilidades es <
0.10
0.96 0.65 122
Y prom. (D=0) = [½ (105+122) + ½ (105+111) + 1 (105) +….] / (# tratados matcheados)

Radius matching
Siguiendo el mismo procedimiento tendremos:
Y promedio (D=1) = (120 + 165 + 132 + 99) / 4 = 129

Y promedio (D=0) = [½ (105+122) + ½ (111+122) + 1 (105) + 1 (122) ] / 4 = 114.25
Efecto del tratamiento = 129 – 114.25 = 14.75
* Nótese que el último de los individuos tratados no fue matcheado, por caer fuera
de la región de soporte común
Kernel matching
Bajo este método se matchea el outcome yi del individuo tratado i con un

promedio ponderado de los outcomes de todos los individuos no tratados,
El peso dado al individuo no tratado j es proporcional a la cercanía entre i y j
(definida sobre la base de las probabilidades estimadas).
Donde K es una función de distribución Kernel (como una normal o una chi-
cuadrado) de esta forma la diferencia de probabilidad es transformada en el
valor de la función K
La función de distribución K se usa para a partir de los datos generar una
distribución (y no predeterminarla como una normal)
Kernel matching
Kernel matching
Donde h es el parámetro de suavidad (bandwidth) para la distribución K

Un valor alto del parámetro h genera estimaciones más “suaves”, lo cual
reduce la varianza entre los valor estimados y los valores reales de la función
de densidad.
No obstante, una función más suave tiende a recoger de manera imprecisa los
valores subyacentes de la función de densidad.
Epanechn. Kernel, bandwidth = 0.5
Epanechn. Kernel, bandwidth = 2.0

Kernel matching
La función K(.) es la función kernel, que cumple con ciertas propiedades

matemáticas (no negativa, simétrica, continua, unimodal). Entre las más comunes
funciones kernel tenemos:
si
1.Epanechnikov Kernel si
2.Gaussian Kernel
si
3.Biweight Kernel
si
Es posible matchear cada unidad de tratamiento con el promedio ponderado de las

unidades de control más cercanas definiendo combinando el Kernel matching con el
caliper matching.
Kernel matching
Ejemplo, bandwidth = 0.5, Epanechnikov Kernel

Peso
P P Y(d=0)
0.73 0.22 96 1.02 0 0
0.58 0.78 105 -0.10 0.74 0.32
0.85 0.52 111 0.42 0.62 0.27
0.67 0.31 99 0.84 0.22 0.10
0.96 0.65 122 0.16 0.73 0.32
2.31
Y1hat = 96(0) + 105(0.32) + 111(0.27) + 99(0.10) + 122(0.32) = 111.40

Y prom (D=0) =(111.4 + 108.5 + 112.4 + 110.0 + 111.9) / 5 = 110.8
Y promedio (D=1) = (120 + 165 + 132 + 99 + 117) / 5 = 126.60
Algunos otros matching
Mahalanobis
Bajo este método, se minimiza la “Distancia de Mahalanobis” entre cada
individuo tratado y los individuos no tratados. A diferencia de una la distancia
(diferencia en probabilidad) que usan los otros matchin, la “Distancia de
Mahalanobis” incorpora la correlación entre dos variables aleatorias
Local linear regression matching

Hace una regresión bajo un proceso de generación de datos bajo la función
Kernel
Evaluación Ex Post en Proyectos de
Empleo: Estudio de Caso Projoven
1.1
1.1 Análisis
Análisis de
de diferencia
diferencia de
de medias
medias
1.2
1.2 Emparejamiento
Emparejamiento 01:01: Propensity
Propensity score
score yy
variables
variables observables
observables sexo,
sexo, ciudad,
ciudad, educación
educación yy
edad
edad
Ingresos
Ingresos diferentes
diferentes entre
entre muestra
muestra de
de
beneficiarios
beneficiarios yy controles
controles
Posible causa: “pre-program earning dip”

1. Análisis de equivalencia estadística: matching o
emparejamiento
 Inclusión en el emparejamiento las

variables de:
 Ingreso por Hora
 Horas Trabajadas
 El Propensity Score
 A pesar de esto el Problema no se corrige

totalmente
2. Estimación del impacto de projoven
 Inserción
Inserción Laboral
Laboral
Variable
Variable:: Tasa
Tasa de
de Ocupación
Ocupación
 Ingreso
Ingreso
Variable
Variable 11:: Ingreso
Ingreso por
por Hora
Hora
Variable
Variable 22:: Horas
Horas trabajadas
trabajadas
2.1
2.1 En
En la
la Inserción
Inserción Laboral
Laboral
2.1
2.1 En
En la
la Inserción
Inserción Laboral
Laboral
2.1
2.1 En
En la
la Inserción
Inserción Laboral
Laboral
 Resultado
Resultado:: El
El efecto
efecto sobre
sobre lala inserción
inserción laboral
laboral
es
es del
del 6.06%
6.06% del
del total
total de
de beneficiarios.
beneficiarios.
 Valorización
Valorización:: Se
Se cuantifican
cuantifican loslos Ingresos
Ingresos
adicionales
adicionales generados
generados por por la
la inserción
inserción laboral
laboral
considerando
considerando el el ingreso
ingreso medio
medio de de los
los
controles.
controles.
 Valor
Valor Excedente
Excedente = = (Variación
(Variación Ocupados
Ocupados xx
I.Medio
I.Medio controles)
controles)
 Valor
Valor Excedente
Excedente = = US$
US$ 207
207 mil
mil
2.1 En el ingreso por hora

2.1 En el ingreso por hora
Valorización: Ingresos adicionales por la mejora en
los ingresos de los beneficiarios = US$ 452 mil.
2.2 Horas trabajadas


Valorización:
3. Valorización $ del impacto projoven
3. Valorización $ del impacto de projoven
 La
La suma
suma dede los
los 33
efectos
efectos alcanza
alcanza los
los
US$
US$ 789
789 mil.
mil.
 Considerando
Considerando que que
los
los ingresos
ingresos
generado
generado en
en
ausencia
ausencia del
del
programa
programa sonson US$
US$
2.15
2.15 millones,
millones, la la
masa
masa global
global de de
ingresos
ingresos se
se
incrementa
incrementa enen 38%
38%
4. Otros resultados de projoven
4.4 Segregación por género
 Utilizando
Utilizando el
el
Índice
Índice de
de
Duncan
Duncan
 Resultado:
Resultado: El
El
Indice
Indice de
de
Duncan
Duncan
disminuye
disminuye en
en
0.1207
0.1207 puntos
puntos
(disminuye
(disminuye la
la
segregación)
segregación)
4.5 Tipo de empresas donde se ocupan

4.6 Dimensión de empresas donde se ocupan
5. Análisis costo beneficio
5.1
5.1 Estimación
Estimación de
de los
los Costos:
Costos:
 Costos
Costos de
de la
la Capacitación:
Capacitación: US$
US$ 520
520 por
por
beneficiario.
beneficiario. US$
US$ 1.865
1.865 millones.
millones.
 Costo
Costo de
de Oportunidad
Oportunidad de
de los
los Beneficiarios:
Beneficiarios:
US$
US$ 558,885
558,885
 Total
Total de
de Costos:
Costos: US$
US$ 2´423,605
2´423,605
5.2
5.2 Estimación
Estimación de de los
los Beneficios
Beneficios
 Beneficios
Beneficios recibidos
recibidos durante
durante lala capacitación
capacitación
(subsidios
(subsidios yy pagospagos de de las
las empresa
empresa por por
prácticas)
prácticas)
 Beneficios
Beneficios derivados
derivados del
del incremento
incremento dede la
la tasa
tasa
de
de inserción
inserción laboral,
laboral, aumento
aumento de de horas
horas de de
trabajo
trabajo aa la
la semana
semana yy aumento
aumento dede ingreso
ingreso por
por
hora
hora
IMPORTANTE
IMPORTANTE:: DefinirDefinir efectos
efectos permanentes
permanentes yy
transitorios
transitorios (diferentes
(diferentes escenarios)
escenarios)
5.2.1 Estimación de beneficios: Flujo de beneficios
en escenario optimista
 Escenario
Escenario
Optimista
Optimista::
Inserción
Inserción Laboral
Laboral
11 año;
año;
Horas/semana
Horas/semana sese
diluye
diluye en
en el
el
tiempo
tiempo ee
Ingreso/hora
Ingreso/hora es
es
permanente.
permanente.
en escenario conservador
 Escenario
Escenario
Conservador
Conservador::
Inserción
Inserción laboral
laboral 11
año;
año; Horas/semana
Horas/semana
11 año
año ee
Ingreso/hora
Ingreso/hora sese
separa
separa en
en
componente
componente
temporal
temporal (30%)
(30%) yy
permanente
permanente (70%).
(70%).
en escenario pesimista
 Escenario
Escenario
Pesimista:
Pesimista:
Inserción
Inserción
laboral
laboral 11 año;
año;
Horas/semana
Horas/semana
11 año
año ee
Ingreso/hora
Ingreso/hora se se
diluye
diluye en
en el
el
tiempo.
tiempo.
5.3 Estimación de TIR y VAN
 TIR:
TIR: 36%
36% enen
Escenario
Escenario
Optimista,
Optimista,
20%
20% en
en
Conservador
Conservador yy
13%
13% en
en
Pesimista
Pesimista
6. Conclusiones de resultados
 La
La cuantificación
cuantificación deldel proyecto
proyecto tiene
tiene loslos siguientes
siguientes
resultados:
resultados:
 El
El efecto
efecto del
del programa
programa sobresobre la
la inserción
inserción laboral
laboral
es
es del
del orden
orden del
del 6%
6%
 PROJoven
PROJoven contribuye
contribuye aa elevarelevar en en 18%18% el el
ingreso
ingreso por
por hora
hora dede los
los beneficiarios
beneficiarios ocupados
ocupados
 Con
Con relación
relación al al número
número de de horas
horas aa la la semana
semana
que
que trabaja
trabaja un un beneficiario,
beneficiario, sese estima
estima queque el
el
programa
programa tienetiene un un efecto
efecto de de 5.5%
5.5% horashoras
adicionales
adicionales aa lala semana
semana
 La
La suma
suma de de los
los tres
tres efectos
efectos se
se valoriza
valoriza en
en US$
US$
789
789 mil
mil al
al año.
año.
6. Conclusiones de resultados
 Disminuye
Disminuye la
la segregación
segregación de
de genero
genero
 Cambia
Cambia la
la estructura
estructura sectorial
sectorial de
de empleo
empleo
de
de los
los beneficiarios
beneficiarios
 Considerando
Considerando 33 escenarios,
escenarios, se
se obtiene
obtiene una
una
variación
variación ee la
la TIR
TIR de
de 13%
13% aa 36%
36%
6. Limitaciones de resultados
 La
La cuantificación
cuantificación del del impacto
impacto dede PROJoven
PROJoven
sobre
sobre los
los beneficiarios
beneficiarios no no necesariamente
necesariamente es es
válida
válida para
para cualquier
cualquier otro
otro grupo
grupo de
de potenciales
potenciales
participantes.
participantes.
 La
La validez
validez del
del impacto
impacto deldel programa
programa nono eses
lineal
lineal con
con la
la escala
escala del
del mismo
mismo
 Futuras
Futuras evaluaciones
evaluaciones deberían
deberían considerar
considerar la
la
externalidades
externalidades derivadas
derivadas del
del proyecto
proyecto como
como elel
descenso
descenso de de la
la delincuencia
delincuencia
 Se
Se jugó
jugó con
con supuestos
supuestos de de permanencia
permanencia dede los
los
efectos
efectos del
del Programa
Programa
MEDICIÓN DE IMPACTO
DE MEDIANO PLAZO
Caso
Caso:: Programa
Programa de
de Capacitación
Capacitación
Laboral
Laboral Juvenil
Juvenil PROJoven
PROJoven
1. Análisis de equivalencia estadística:
matching o emparejamiento
1.1
1.1 Cambio
Cambio en
en procedimiento
procedimiento de
de matching
matching
 Emparejamiento
Emparejamiento computacional
computacional:: del
del tipo
tipo uno
uno aa
varios,
varios, donde
donde sese generan
generan individuos
individuos ficticios
ficticios
(kernels
(kernels uniformes).
uniformes). Las
Las variables
variables son:
son:

 Mismo
Mismo sexo
sexo
 Difieren
 Difieren en
en no
no mas
mas dede 0.05
0.05 en
en puntaje
puntaje dede propensión
propensión
aa participar
participar estimada
estimada en en muestra
muestra dede cada
cada ciudad
ciudad
 Elección
 Elección dede 03
03 controles
controles cuyo
cuyo logaritmo
logaritmo dede ingresos
ingresos
era
era más
más similar
similar al
al del
del beneficiario
beneficiario siempre
siempre yy cuando
cuando nono
excedan
excedan 0.3
0.3
 Ventaja
Ventaja:: Se
Se obtiene
obtiene estimaciones
estimaciones de de los
los efectos
efectos
diferenciados
diferenciados por
por sexo
sexo yy por
por ciudad
ciudad
1.2 Análisis de diferencia de medias

1.3 Análisis de funciones de densidad
Antes matching Después de matching

2.1
2.1 Tasas
Tasas de
de ocupación
ocupación
 Negativo
Negativo en
en las
las primeras
primeras dos
dos mediciones
mediciones
2.2
2.2 Horas
Horas trabajadas
trabajadas
 Impacto
Impacto positivo
positivo que
que se
se va
va diluyendo.
diluyendo.
2.3
2.3 Ingresos
Ingresos por
por hora
hora
 Impacto
Impacto positivo
positivo
2.4
2.4 Ingresos
Ingresos Mensuales
Mensuales Promedio:
Promedio:
 Las
Las 22 variables
variables (horas
(horas trabajadas
trabajadas ee ingreso
ingreso por
por
hora)
hora) determinan
determinan unun impacto
impacto positivo
positivo
2.5
2.5 Segregación
Segregación Ocupacional
Ocupacional por
por Género
Género
 Reducción
Reducción de
de la
la Segregación.
Segregación.
2.6
2.6 Impacto
Impacto para
para distintos
distintos Grupos
Grupos Poblacionales
Poblacionales
2.6.1
2.6.1 Hombres
Hombres vs
vs Mujeres
Mujeres
 Impacto
Impacto en
en mujeres
mujeres es
es mayor
mayor al
al de
de los
los hombres
hombres
2.6.2
2.6.2 Impacto
Impacto diferenciado
diferenciado por
por Ciudades
Ciudades
2.7
2.7 Otros
Otros Efectos
Efectos
 Induce
Induce cambios
cambios en en las
las ramas
ramas dede actividad
actividad laboral
laboral
de
de los
los Beneficiarios
Beneficiarios
 Induce
Induce aa cambios
cambios en en el
el tamaño
tamaño de de las
las empresas
empresas
donde
donde trabajan
trabajan los
los Beneficiarios
Beneficiarios
 Cambios
Cambios en en la
la modalidad
modalidad de de contrato
contrato de de los
los
Beneficiarios
Beneficiarios (aumenta
(aumenta los
los contratos
contratos
“Permanentes”
“Permanentes” yy “a “a Plazo”)
Plazo”)
 Actividades
Actividades Secundarias:
Secundarias: Aumenta
Aumenta la la dedicación
dedicación
del
del tiempo
tiempo enen la
la Actividad
Actividad principal
principal en
en detrimento
detrimento
de
de la
la actividad
actividad Secundaria
Secundaria
3.1 Costos y beneficios
 Costos:
Costos:
 Costos
Costos de
de funcionamiento:
funcionamiento: US$
US$ 1`877,200
1`877,200
 Costos
Costos de
de Oportunidad:
Oportunidad: US$
US$ 68,209
68,209
 Beneficios:
Beneficios:
 Beneficios
Beneficios mensuales:
mensuales:
Seis
Seis meses:
meses: US$
US$ 53,863
53,863
Doce
Doce meses:
meses: US$
US$ 34,663
34,663
Dieciocho
Dieciocho meses:
meses: US$
US$ 47,669
47,669
3.2 Flujo de beneficios en escenarios y TIR
 Escenarios:
Escenarios:
 Optimista:
Optimista: al
al 82%
82% cada
cada año
año
 Conservador:
Conservador: al
al 76%
76% cada
cada año
año
 Pesimista:
Pesimista: al
al 70%
70% cada
cada año
año
 Resultados
Resultados de
de la
la TIR:
TIR:
 Optimista:
Optimista: 14%
14%
 Conservador:
Conservador: 10%
10%
 Pesimista:
Pesimista: 5.5%
5.5%
GRACIAS, MUCHAS
GRACIAS

Modulo Iv Evaluacion Ex Post

Cargado por

Copyright:

Formatos disponibles

Modulo Iv Evaluacion Ex Post

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Modulo Iv Evaluacion Ex Post

Cargado por

Copyright:

Formatos disponibles

UNIVERSIDAD NACIONAL DEL CENTRO DEL PERÚ

MAESTRÍA: PLANIFICACIÓN Y PROYECTOS DE INVERSIÓN

Evaluación Ex Post: Motivación e Introducción

Aplicación Ex - post es limitada

Preinversión Inversión Post Inversión

Inversión Ejecución Seguimiento físico Inversión

Inicio Inversión y Fin Operación=

Evaluación de impacto (EI) como parte

 Ámbito: Centrada en los resultados u

 Metodológica: Metodologías de recolección

 Estos factores externos al Proyecto son, por ejemplo,

Antes del proyecto Después del proyecto

 t=0: periodo “0” o antes del proyecto (línea de base)

Problema: Sesgo de selección

 Problema: Las muestras de beneficiarios y no

Cuál es el origen del sesgo?

_ En el proyecto “Modalidad flexible de educación de adultos

_ Ambos subgrupos son población objetivo pero la mayor

…Cuál es el origen del sesgo?

_ Ej01: Padres motivados y proyecto de educación

>Alumnos beneficiarios y no beneficiarios son idénticos

Cuasi-Experimental (Ejemplo Projoven)

 Las variables que deben de ser incorporadas en este

Cuasi-Experimental (Ejemplo Projoven)

1.2 En el proceso de trabajo de campo incorpora en el

1.3 Sin embargo, en el trabajo de campo no se puedo

1.4 Por ello, se debe completar el proceso de

2.1 En primer lugar, tenemos una base de datos

2.2Procedemos a calcular el propensity score para cada

Cuasi-Experimental (Ejemplo Projoven)

P(y  1)  F(π̂1 Hijo  π̂ 2 Labor  π̂ 3 Ing.familiar  π̂ 4 Edu.Padre  π̂ 5 Edu.Madre)  e

Cuasi-Experimental (Ejemplo Projoven)

Cuasi-Experimental (Ejemplo Projoven)

Cuasi-Experimental (Ejemplo Projoven)

2.5 Si para un beneficiario no se encontraba un control que

1. El ideal para la identificación de los efectos de un programa

Cuasi-Experimental (BREVE REVISION DEL MARCO

1. Por ello se optan por métodos cuasi - experimentales

[1] Ello a pesar que la limitación es temporal en la medida que se

Cuasi - Experimental (BREVE REVISION DEL MARCO

2. Son 03 los métodos más usados para llevar a cabo el

Cuasi-Experimental (BREVE REVISION DEL MARCO

2 El NNM presenta el problema que podemos elegir controles

3. Sin embargo, RM al igual que el NNM presentan el problema

4. El tercer método es el de Kernels Uniformes (KU) a

Cuasi-Experimental (BREVE REVISION DEL MARCO

7 Los “test” de los métodos cuasi experimentales se hacen a

 Objetivo 01: Mejorar la inserción laboral de los jóvenes

 Instrumento 01: Capacitación en ocupaciones de

2.1 Descripción del tratamiento

2.1 Descripción del tratamiento

2.1 Descripción del tratamiento

2.2 Descripción del proceso de selección de

2.2 Descripción del proceso de selección de

2.3 Cobertura y ámbito

2.3 Cobertura y ámbito

 H1: Nivel de empleo de beneficiarios es X% mayor que

Capital humano: ecuaciones de ingreso

 Variables observables (Xs) que debemos considerar para