Libro Evaluacion Impacto Aristidesvara PDF

La Evaluacin de Impacto de los
Programas Sociales
Fundamentos Tericos y Metodolgicos y
Aplicacin al caso peruano
Dr. Arstides Alfredo Vara Horna

Vara-Horna, Arstides (2007). La evaluacin de impacto de los programas
sociales. Fundamentos tericos y metodolgicos y aplicacin al caso peruano.
Lima: Fondo Editorial de la Universidad de San Martn de Porres.
AGRADECIMIENTOS
Esta obra es consecuencia del Concurso de Investigacin Docente 2005 que

organiz el Instituto de Investigacin de la Facultad de Administracin y Recursos
Humanos de la Universidad de San Martn de Porres. La investigacin titulada
Nuevas estrategias metodolgicas para evaluar el impacto de los programas
sociales en el Per fue una de las ganadoras, obteniendo una subvencin para su
desarrollo durante el ao 2006. Por ello, debo mi especial agradecimiento al
Instituto de Investigacin, por su acogida institucional y por la promocin de la
investigacin cientfica; as como al Dr. Daniel Valera Loza, Decano de la
Facultad, por su constante estmulo y ejemplo profesional.
Arstides A. Vara Horna.

Febrero de 2007
CONTENIDO
LISTA DE TABLAS ................................................................................................7

LISTA DE FIGURAS ............................................................................................11
RESUMEN..............................................................................................................13
ABSTRACT ............................................................................................................14
INTRODUCCIN .................................................................................................15
I. MARCO METODOLGICO ...........................................................................18
1.1. PLANTEAMIENTO DEL PROBLEMA ........................................................ 18
1.1.1. Descripcin del Problema ..................................................................... 18
1.1.2. Formulacin del problema .................................................................... 20
1.2. JUSTIFICACIN E IMPORTANCIA ............................................................ 21
1.2.1. Justificacin terica .............................................................................. 21
1.2.2. Justificacin metodolgica.................................................................... 21
1.2.3. Justificacin prctica ............................................................................. 22
1.3. OBJETIVOS .................................................................................................... 22
1.3.1. Objetivo general .................................................................................... 22
1.3.2. Objetivos especficos ............................................................................ 22
1.4. HIPTESIS Y VARIABLES .......................................................................... 22
1.4.1. Hiptesis ............................................................................................... 22
1.4.2. Variables e indicadores ......................................................................... 23
1.4.3. Matriz de consistencia........................................................................... 25
1.5. DISEO METODOLGICO .......................................................................... 26
1.5.1. Poblacin y muestra .............................................................................. 26
1.5.2. Tipo de investigacin ............................................................................ 26
1.5.3. Diseo de la investigacin .................................................................... 27
1.5.4. Instrumentos, procedimientos de recoleccin y anlisis de datos ......... 27
1.5.4.1. Sobre la simulacin estadstica ...................................................... 28
1.5.4.2. Proceso general de simulacin estadstica ..................................... 30
II. BALANCE TERICO .....................................................................................33
2.1. LOS PROGRAMAS SOCIALES .................................................................... 33
2.1.1. Definicin y caractersticas ................................................................... 35
2.1.2. La evaluacin y la gestin social .......................................................... 39

2.1.3. Los programas sociales en el Per ........................................................ 42
2.2. LA EVALUACIN DE PROGRAMAS ......................................................... 46
2.2.2. Desarrollo histrico y modelos vigentes ............................................... 53
2.2.3. Importancia social de la evaluacin de programas ............................... 56
2.2.3.1. El rol de la Evaluacin de Programas en la Poltica Social ........... 59
2.2.4. La evaluacin de programas sociales en el Per ................................... 62
2.2.4.1. Aspectos diagnsticos de la situacin actual................................. 64
2.2.4.2. Sistemas de evaluacin en la Administracin Pblica .................. 66
2.3. LA EVALUACIN DE IMPACTO ................................................................ 70
2.3.2. Pertinencia de la evaluacin de impacto ............................................... 74
2.3.3. Por qu siendo tan importante la evaluacin de impacto se hace tan
poco? ............................................................................................................... 75
2.3.4. Tcnicas de evaluacin de impacto....................................................... 81
2.3.4.1. Evaluaciones cuantitativas ............................................................ 82
2.3.4.2. Evaluaciones cualitativas .............................................................. 85
2.3.4.3. Evaluaciones mixtas cuali - cuantitativas...................................... 86
2.3.4.4. Otros enfoques de evaluacin ........................................................ 87
2.3.4.5. Cmo elegir el mtodo de evaluacin de impacto? ..................... 89
2.3.5. Principios metodolgicos de la evaluacin de impacto ........................ 94
2.3.6. Los indicadores de evaluacin de impacto ........................................... 98
2.3.7. Procedimiento general de la evaluacin de impacto ........................... 103
2.3.7.1. Determinar la realizacin de la evaluacin ................................ 104
2.3.7.2. Aclarar los objetivos de la evaluacin......................................... 105
2.3.7.3. Examinar la disponibilidad de los datos ..................................... 105
2.3.7.4. Disear la evaluacin .................................................................. 107
2.3.7.5. Formar el equipo de evaluacin .................................................. 109
2.3.7.6. Evaluacin de datos ..................................................................... 110
2.3.7.7. Decisin sobre lo que se medir .................................................. 113
2.3.7.8. Muestreo ...................................................................................... 114
2.3.7.9. Instrumentos de medicin ............................................................ 115
2.3.7.10. Administracin de datos, anlisis de la informacin y publicacin
................................................................................................................... 118
2.4. DEFINICIN DE CONCEPTOS .................................................................. 118
III. DESARROLLO METODOLGICO ACTUAL: UNA REVISIN
SISTEMTICA....................................................................................................121
3.1. DESARROLLOS NACIONALES ................................................................ 122
3.2. DESARROLLOS INTERNACIONALES..................................................... 136
3.2.1. Experiencias institucionales ................................................................ 137
3.2.2. Desarrollo acadmico-institucional .................................................... 140
3.2.2.1. Revisin sistemtica de las tendencias de evaluacin de impacto246
3.2.2.1.1. Evaluacin de impacto: Perspectiva global .......................... 246
3.2.2.1.2. Evaluacin de impacto: Per vs el mundo ............................ 253
3.2.2.2. Desarrollo metodolgico: Nuevas estrategias .............................. 260

IV. ESTRATEGIAS METODOLGICAS DE EVALUACIN DE
IMPACTO: MODELO ARYSIS ........................................................................263
4.1. PRINCIPIOS .................................................................................................. 264
4.1.1. Principios del evaluador ...................................................................... 265
4.1.1.1. Principio de sistematicidad en la evaluacin ............................... 266
4.1.1.2. Principio de las competencias para desempearse como evaluador
................................................................................................................... 267
4.1.1.3. Principio de la integridad y honestidad frente a los estudios ....... 267
4.1.1.4. Principio de respeto a las personas .............................................. 267
4.1.1.5. Principio de responsabilidad ante el bienestar general y pblico 268
4.1.2. Principios para el proceso de evaluacin ............................................ 268
4.1.2.1. Utilidad ........................................................................................ 268
4.1.2.2. Factibilidad .................................................................................. 269
4.1.2.3. Rectitud ........................................................................................ 270
4.1.2.4. Precisin ....................................................................................... 270
4.2. PARMETROS TERICOS ........................................................................ 272
4.2.1. La inferencia causal ............................................................................ 272
4.2.1.1. El problema de la validez de las evaluaciones ............................. 273
4.2.1.2. Modelos de la validez causal ....................................................... 275
4.2.1.2.1. Modelo original de Campbell y Stanley (1966) .................... 276
4.2.1.2.2. Modelo de Cook y Campbell (1979) .................................... 278
4.2.1.2.3. Modelos alternativos: UTOS de Cronbach ........................... 286
4.2.1.2.4. Evolucin posterior de las tipologas de validez................... 288
4.2.1.3. La validez causal en ARYSIS ...................................................... 291
4.2.1.3.1. Estimacin de los efectos de impacto ................................... 295
4.2.1.3.2. Procedimientos para disminuir el sesgo de seleccin ........... 299
4.3. CRITERIOS METODOLGICOS ............................................................... 304
4.3.1. Definicin de cuasi-experimento ........................................................ 305
4.3.2. Tipologa cuasi-experimental.............................................................. 306
4.3.2.1. Los mdulos bsicos ms empleados en la EvPro tradicionales. 309
4.3.2.1.1. Diseos pretest-postest sin grupo control ............................. 309
4.3.2.1.2. Diseos solamente postest con grupo control ....................... 310
4.3.2.2. Diseos con variable de asignacin no conocida ......................... 311
4.3.2.2.1. Diseo con grupo control no equivalente ............................. 311
4.3.2.2.2. Diseo con doble pretest ....................................................... 315
4.3.2.3. Diseos de cohorte ....................................................................... 316
4.3.2.3.1. Diseo bsico de cohortes ..................................................... 317
4.3.2.3.2. Variaciones del diseo bsico de cohortes............................ 317
4.3.2.3.3. Diseo de cohortes con tratamiento dividido........................ 319
4.3.2.4. Diseos de intercambio de tratamiento ........................................ 320
4.3.2.5. Diseos con tratamiento invertido ............................................... 321
4.3.2.6 Diseos sin grupo control ............................................................. 321
4.3.2.6.1. Diseos de grupo nico ......................................................... 321
4.3.2.6.2. Diseos de lnea-base no causal ............................................ 323
4.3.2.7. Diseos con variables dependientes no equivalentes................... 324

4.3.2.8. Diseos con variable de asignacin conocida .............................. 324
4.3.2.9. Diseos de series temporales interrumpidas ................................ 326
4.3.2.9.1. Diseo simple........................................................................ 328
4.3.2.9.2. Diseo con grupo control no equivalente ............................. 330
4.3.2.9.3. Diseo con variables dependientes no equivalentes ............. 331
4.3.2.9.4. Diseo con replicaciones mltiples ...................................... 331
4.3.2.9.5. Diseo con replicaciones intercambiables ............................ 332
4.4. SIMULACIONES EXPERIMENTALES ..................................................... 333
4.4.1. El modelo ideal ................................................................................... 333
4.4.2. El modelo comn: Grupos no equivalentes ........................................ 338
4.4.3. Discontinuidad de la regresin............................................................ 344
4.4.4. Series temporales interrumpidas ......................................................... 349
4.5. CONTRASTACIN DE HIPTESIS .......................................................... 357
CONCLUSIONES................................................................................................361
RECOMENDACIONES .....................................................................................365
REFERENCIAS ...................................................................................................367
LISTA DE TABLAS
Ttulo
1.1
1.2
1.3
1.4
1.5
Matriz de variables e indicadores

Matriz de consistencia
Variables sistematizadas en el estudio biblio-integrativo
Caractersticas de la funcin de densidad normal
Significado de los comandos de simulacin empleados con
MINITAB 14 para generar variables
Definiciones sobre programas sociales
Tipos de evaluacin y estados del proyecto
El proceso de gestin social, caractersticas y problemas asociados
Principales acontecimientos referidos a las polticas de gestin de los
programas sociales en el Per: 1990-2002
Definiciones sobre evaluacin de programas sociales
Definicin sucinta de la evaluacin de programas sociales
Caractersticas comparativas de la evaluacin tradicional y la
evaluacin en el marco de la gestin integral orientada a resultados.
Modelos metodolgicos en la evaluacin de programas
Definiciones sobre evaluacin de impacto
Resumen de costos estimados de diversas evaluaciones de impacto
del Banco Mundial
Ingreso mensual promedio de las familias que participan en el
proyecto de vivienda de El Salvador y para un grupo control, 19761980.
Enfoques de evaluacin de impacto
Opciones de diseo para reducir los costos de la obtencin de datos
Procedimiento general de la evaluacin de impacto
Puntos clave para identificar las fuentes de datos disponibles para la
evaluacin de impacto.
Repercusiones de las limitaciones de presupuesto, tiempo e
informacin en la calidad de una evaluacin de impacto.
Mtodos de evaluacin y necesidades de datos.
Algunas tcnicas de recoleccin de datos para la evaluacin de
2.1
2.2
2.3
2.4
2.5
2.6
2.7
2.8
2.9
2.10
2.11
2.12
2.13
2.14
2.15
2.16
2.17
2.18
Pg.
24
25
28
31
31
35
38
40
44
49
52
52
55
71
77
80
82
92
104
106
108
110
115
3.1
3.2
3.3
3.4
3.5
3.6
3.7
3.8
3.9
3.10
3.11
3.12
3.13
3.14
3.15
3.16
3.17
3.18
3.19
3.20
3.21
3.22
3.23
3.24
3.25
impacto.
Revistas especializadas sobre evaluacin de programas.
Evaluaciones de impacto ms robustas de los programas sociales en
el Per.
Desarrollo acadmico de la evaluacin de impacto de programas
sociales en el mundo segn investigaciones publicadas en Journals
internacionales o instituciones de desarrollo.
Pases donde se realizan las evaluaciones de impacto
Fuentes de publicacin de los artculos o informes de evaluacin de
impacto
rea donde se realiz la evaluacin de impacto
Poblacin beneficiaria de los programas considerados en los artculos
o informes de evaluacin de impacto
Unidad de anlisis considerada por los artculos de informes de
evaluacin de impacto
Origen de los datos utilizados para el anlisis de la evaluacin de
impacto
Instrumento utilizado para la recoleccin de datos en los artculos o
informes de evaluacin de impacto
Metodologa de investigacin empleada en los artculos o informes
de evaluacin de impacto
Metodologa de investigacin empleada segn el uso de grupo
control en los artculos o informes de evaluacin de impacto
Frecuencia de artculos o informes de evaluacin de impacto segn la
metodologa de investigacin y el tipo de muestreo empleado
Tamao de muestras reportadas en los informes de evaluacin de
impacto
Diseos de evaluacin reportados en los informes de evaluacin de
impacto
Uso de variables instrumentales en los informes de evaluacin de
impacto
Uso de emparejamiento de grupos en los informes de evaluacin de
impacto
Anlisis estadsticos empleados en los informes de evaluacin de
impacto
Impacto alcanzado por el programa o proyecto social evaluado
Pas donde fueron realizados los programas sociales contenidos en
los informes de evaluacin de impacto
Fuente de publicacin de los artculos o informes de evaluacin de
impacto en el Per y otros pases
reas de evaluacin de impacto en el Per y otros pases
Poblacin beneficiaria de los programas evaluados en el Per y otros
pases
Unidad de anlisis considerada en los informes de evaluacin de
Origen de los datos utilizados para el anlisis segn se indica en los
121
126
141
247
247
248
249
249
250
250
250
251
251
251
252
252
252
253
253
254
254
254
256
256
257
3.26
3.27
3.28
3.29
3.30
3.31
3.32
4.1
4.2
4.3
4.4
4.5
4.6
4.7
4.8
4.9
4.10
4.11
4.12
4.13
4.14
4.15
4.16
4.17
4.18
4.19
4.20
4.21
4.22
4.23
4.24
4.25
4.26
4.27
informes de evaluacin de impacto en el Per y otros pases

Instrumentos utilizados para la recoleccin de datos segn los
informes de evaluacin de impacto en el Per y otros pases
Metodologa de investigacin empleada en la evaluacin de impacto
en el Per y otros pases
Diseos de evaluacin utilizados en la evaluacin de impacto en Per
y otros pases
Tipo de muestreo empleado en la evaluacin de impacto en Per y
otros pases
Tcnicas de control de variables extraas utilizadas en la evaluacin
del impacto de los programas sociales del Per y otros pases.
Anlisis estadsticos empleados en la evaluacin de impacto en Per
y otros pases
Impacto alcanzado por el programa social evaluados en Per y otros
pases
Tipos de validez y sus amenazas segn Campbell y Stanley (1966).
Amenazas a la validez en Cook y Campbell, 1979.
Amenazas a la validez de la conclusin estadstica segn Cook &
Campbell, 1979.
Amenazas a la validez interna segn Cook & Campbell, 1979.
Amenazas a la validez de constructo segn Cook & Campbell, 1979.
Amenazas a la validez externa segn Cook & Campbell, 1979.
Evolucin de las clasificaciones de amenazas a la validez en los
diversos modelos de Campbell & Cols.
Amenazas a la validez y tratamiento en ARYSIS.
Ventajas y desventajas del Propensity Store Matching.
Diseo pretest-postest sin grupo control
Representacin de resultados del diseo pretest-postest sin grupo
control
Diseo solamente postest
Representacin de resultados en diseo solamente postest
Diseo con grupo de control no equivalente.
Presentacin de resultados del diseo con grupo de control no
equivalente.
Diseo con doble pretest.
Presentacin de resultados del diseo con doble pretest.
Diseo de cohortes bsico.
Diseo de cohortes con pretest.
Presentacin de resultados del diseo de cohortes con pretest.
Diseo con tres cohortes.
Extensin del diseo de tres cohortes.
Diseo de cohortes con tratamiento dividido.
Diseo de intercambio de tratamiento.
Diseo con tratamiento invertido
Diseo de grupo con tratamiento y control ms tpico.
Diseo de tratamiento repetido.
257
257
258
258
259
259
259
277
279
280
281
283
284
290
292
302
309
309
310
311
312
312
315
315
317
318
318
319
319
320
320
321
322
322
4.28
4.29
4.30
4.31
4.32
4.33
Diseo con grupo control no equivalente.

Diseo con variable de asignacin conocida.
Presentacin de resultados del diseo de discontinuidad de regresin.
Serie de tiempo interrumpida de diseo simple
Serie de tiempo interrumpida con grupo control
Serie de tiempo interrumpida con variables dependientes no
equivalentes
4.34 Serie de tiempo interrumpida con replicaciones mltiples
4.35 Serie de tiempo interrumpida con replicaciones intercambiables
324
325
326
329
330
331
331
332
10
LISTA DE FIGURAS
Ttulo
1.1
2.1
2.2
2.3
2.4
3.1
Relacin entre variables e indicadores

Distribucin legal entre polticas, programas y proyectos sociales.
Ciclo del proyecto de inversin segn el SNIP.
La conversin de insumos en resultados.
Relacin entre principios metodolgicos de EI.
Distribucin porcentual de la evaluacin de impacto de los
programas sociales segn continente
Ao de publicacin de los artculos o informes de evaluacin de
impacto
Ao de publicacin de los artculos o informes de evaluacin de
Modelo de Evaluacin de Impacto ARYSIS.
Principios de Evaluacin de Impacto ARYSIS.
Principios bsicos del evaluador de impacto en ARYSIS.
Evolucin desde Campbell & Stanley (1966) a Cook & Campbell
(1979).
Estados posibles para beneficiarios y controles.
Tipologa del diseo cuasi-experimental.
Relacin entre postest y pretest cuando no existe impacto alguno
del programa
Relacin entre postest y pretest cuando existe impacto del
programa en 10 puntos.
programa en 10 puntos y con una reduccin del error de medida.
programa en 10 puntos y cuando los grupos no son equivalentes.
programa en 10 puntos y cuando los grupos no son equivalentes en
perjuicio del GE.
programa en 10 puntos y cuando los grupos no tienen asignacin
3.2
3.3
4.1
4.2
4.3
4.4
4.5
4.6
4.7
4.8
4.9
4.10
4.11
4.12
Pg.
23
37
68
95
97
246
248
255
264
265
266
278
296
308
334
335
338
340
343
346
11
4.13
4.14
4.15
4.16
4.17
conocida.
Relacin entre postest y pretest cuando no existe impacto del
programa y cuando los grupos son de asignacin conocida.
Serie simple con cambio de nivel posprograma, en supuesto
significativo y no significativo.
Serie simple sin cambio de nivel y con cambio de tendencia del
posprograma, en supuesto significativo y no significativo.
Serie simple con cambio de nivel y con cambio de tendencia del
posprograma, en supuesto significativo.
Serie temporal con con cambio de nivel y con cambio de tendencia
del posprograma en GE, y sin cambio de nivel y con tendencia en
GC.
347
350
352
354
356
12
RESUMEN
La evaluacin de impacto (EI) es especialmente importante en los pases en

desarrollo, donde los recursos son escasos y cada dlar gastado debe maximizar su
efecto en la reduccin de la pobreza. Sin embargo, a pesar de los miles de millones
de dlares que se emplean en inversin social cada ao, an se conoce muy poco
sobre el efecto real de tales proyectos en el Per. La razn de ello es que los
diseadores de programas desconocen las metodologas modernas de evaluacin de
impacto, y los estudios adolecen de deficiencias y limitaciones en su aplicacin.
Mediante un diseo bibliointegrativo se revisa sistemticamente a) 408
investigaciones de impacto (1976-2006) publicadas en revistas especializadas o por
organismos internacionales, as como b) 29 investigaciones de impacto de
programas sociales con la mayor rigurosidad metodolgica realizados en el Per.
Entre los principales resultados se encuentra: a) la principal fuente de
difusin y produccin de EI en el mundo son los Organismos Internacionales,
quienes han aportado ms del 75% de la produccin de informes, centrndose en
los pases en desarrollo y evaluando aspectos educativos, de salud, pobreza y
empleo; b) Las EI han aumentado geomtricamente durante los ltimos 30 aos,
concentrndose ms del 77% en el periodo 2000-2006; c) Un importante porcentaje
de EI (37.5%) utiliza datos secundarios, y en el caso de los primarios, el
instrumento ms usado es el cuestionario, d) El diseo ms usado es el cuasiexperimental (41%), principalmente diferencias en diferencias; e) El tamao de
la muestra es muy variable (33.4% supera las mil unidades) y se centra
principalmente en personas y familias; f) En cuanto al uso de tcnicas de control
especiales, su uso es muy limitado para el caso de las variables instrumentales
(7.6%) y limitado para el matching (19.7%); g) La tcnica estadstica ms
empleada es la regresin (38%); h) Por lo menos 2 de cada 10 programas evaluados
no muestran impacto positivo alguno.
Sobre la base de lo anterior, se determina los fundamentos tericometodolgicos del Sistema de Evaluacin de Impacto ARYSIS de los programas
sociales en el Per. Mediante un diseo de simulacin computarizada se
ejemplifica la aplicacin del modelo ARYSIS, demostrando la importancia de sus
supuestos tericos.
Se concluye que los principios internacionales de evaluacin, la teora de la
causacin, el diseo cuasi-experimental avanzado y la estadstica de simulacin va
Montecarlo son los fundamentos bsicos para la constitucin del Modelo ARYSIS.
Palabras clave: Evaluacin, Impacto, Programas, Gestin, Sociales, Per, Cuasiexperimental, Causacin.
13
ABSTRACT
The impact evaluation (IE) is especially important in developing countries,

where resources are scare and each expended dollar must increase its effectt in
poverty reduction. Neverthless, in spite of thousands of millon dollars employed in
social investment each year, not much is knowed about the real effects of social
programmes in Per. The reason is that programmes disigners unknow modern
methodologies of impact evaluation, and studies have shortcomings and limitations
in their application.
By means a bibliointegrative desing it was done a sistematic review of a)
408 papers of impact evaluation (1976-2006) published both in specialized journals
and by international organizations, as well as b) 29 papers of social programmes
impact evaluation with the greatest methodological regurosity developed in Per.
Between the main results it was found that: a) The main source of IE
spreading and production around the world are International Organizations, wich
have contributed with 75% of papers production and are concentrated in
developing countries, taking account of issues such as education, health, poverty
and emplorment; b) The IEs have had a geometric increased during the last 30
years, more than 77% is settled in 2000-2006 period; c) A significant percent of IE
(37.5%) use secondary dates; and in case of primary information, the questionnaire
was the tool most used, d) The researh desing most frequently used is the quasiexperimental (41%), specially difference in the difference; e) sample size is
varied (33.4% exceed the thousand units) and are specially focused to people and
families; f) Respect the use of special control techniques, its limited to intrumental
variablees (7.6%) and are limited to he matching (19.7%); g) Regression is the
statistical technique most employed (38%); h) At least two of each ten evaluated
programmes dont show some positive impact.
Based on the previus desciption, theoretical-methodological basis are
determined for Sistema de Evaluacin de Impacto ARYSIS of social programmes
in Per. By means of a computer simulation desing the ARYSIS model application
is ilustrated, showing the importance of its theoretical assumptions.
Its concluded that international principles of evaluation, causal theory,
advance cuasi-experimental desing, and Via Montecarlo simulation statistics are
esencial basis to the Modelo ARYSIS constitution.
Key words: Evaluation, Impact, Programmes, Management, Socials, Per, Cuasiesperimental, causal theory.
14
INTRODUCCIN
El expresidente de los Estados Unidos, Bill Clinton, al firmar el

Government Performance and Results Act (agosto de 1993) afirm: Puede
parecer asombroso, pero como otras grandes entidades, la nuestra est dominada
por consideraciones de input: Cunto gastamos, cunta gente tenemos, qu
reglas nos gobiernan? y muchsimo menos por consideraciones de output:
funciona esto, y est cambiando y mejorando la vida de la gente? Esta
afirmacin, tan sencilla y aparentemente inofensiva, resume el concepto de un
quiebre paradigmtico que la administracin pblica y la gerencia social han
venido experimentando en las ltimas dcadas.
En efecto, las tendencias tericas recientes sobre la Gerencia Social y la
Administracin Pblica enfatizan en las ventajas de promover una gestin
orientada a resultados, en contraste con una orientacin tradicional que haga
hincapi en procedimientos y procesos de gestin (Barzelay, 2001; Caiden, 1998;
Cunill & Ospina, 2003; CLAD, 1999; Moctezuma & Roemer, 1999; Olas de Lima,
2001; Osborne & Gaebler, 1994; Ramio, 2001). Estas nuevas tendencias (iniciadas
en el Reino Unido, Australia, Nueva Zelanda, y luego en los Estados Unidos)
enfatizan en la necesidad de evaluar las polticas pblicas, proponiendo un cambio
de paradigma en la administracin pblica, conocido como neo-gerencialismo.
En este nuevo contexto, la evaluacin de la gestin pblica pasa de ser un
ejercicio tcnico a ser una herramienta poltica, en la medida que: i) abarca los tres
niveles de la accin social, el macro, meso y micro y ii) genera capacidad gerencial
para establecer conexiones entre ellos, crendose as coherencia en los distintos
niveles de la administracin. De lo dicho, hoy se entiende a la evaluacin de la
gestin pblica como una herramienta de modernizacin del Estado, ms que una
simple tcnica administrativa.
Este nuevo paradigma tiene algunos aspectos caractersticos que son
importantes resaltar. En primer lugar, otorga mayor nfasis a los resultados
producidos por las organizaciones ms que a los insumos o al proceso para
conseguirlos (nfasis en la efectividad e impacto de la gestin). En segundo lugar,
otorga mayor atencin al punto de vista de los clientes/consumidores de los
15
servicios producidos, ms que a los empleados o productores del servicio (nfasis

en la calidad de los servicios). En tercer lugar, enfatiza en el desempeo de las
organizaciones. En cuarto lugar, da mayor flexibilidad al gerente social, pero
tambin pide ms responsabilidad y un claro rendimiento de cuentas frente al
desempeo de su organizacin (accountability). Y en quinto lugar, reduce la
participacin directa del Estado Central en la produccin de servicios, buscando la
descentralizacin y la coordinacin inter-institucional.
En este contexto, la evaluacin de los programas sociales, entendidos como
manifestaciones materiales de las polticas pblicas, se ha constituido en una
necesidad obligatoria para el gerente social; entendindola asociada con el inters
pblico, el mejoramiento de la sociedad y la contribucin a la democracia.
Dentro de las modalidades de evaluacin (exante, procesos, expost, etc.), la
evaluacin de impacto es una de las ms importantes y, paradjicamente, una de
las menos conocidas. Si bien es cierto que todas las modalidades de evaluacin son
significativamente importantes, slo la evaluacin de impacto puede identificar los
efectos provocados por un conjunto de acciones programadas y emitir un juicio de
valor que califique, en conjunto, si las actividades realizadas o los servicios
brindados, han producido los resultados esperados. Adicionalmente, la evaluacin
de impacto es la nica modalidad de evaluacin que permite sugerir las
modificaciones necesarias para enfrentar los problemas detectados y aprovechar las
fortalezas del programa, contribuyendo con un mayor logro de sus objetivos.
En trminos generales, la evaluacin de impacto contribuye a un empleo
eficiente de los recursos y a una alta efectividad, al ofrecer informacin para
mejorar los procesos de toma de decisiones. As, evaluar el impacto de los
programas sociales constituye un elemento fundamental para tomar decisiones y
para optimizar las polticas, estrategias y asignacin de recursos sociales. Alcanzar
dicho objetivo implica realizar una evaluacin de impacto integral, vlida y
confiable, acorde al desarrollo cientfico y tecnolgico moderno; pues tal como
afirman Cook, Leviton & Shadish (1985, 1991), Rossi & Freeman (1985) o Glass
& Ellett (1980), la evaluacin de programas es la aplicacin sistemtica de los
procedimientos de la investigacin social para probar nuevas ideas de intervencin,
evaluar la concepcin, diseo, instauracin y utilidad de los programas de
intervencin social, proporcionando, por tanto, una retroalimentacin eficaz.
La evaluacin de impacto es, pues, una herramienta tcnica y poltica
necesaria e indispensable para la gerencia social moderna, sin embargo, su
complejidad y escaso acervo bibliogrfico en habla hispana impide su
posicionamiento en el imaginario acadmico e institucional. A estas limitaciones se
suman muchas creencias errneas sobre este mtodo, desvirtuando su naturaleza y
ahondando ms la carencia comprensiva del tema y su escasa utilizacin.
En efecto, el gerente social moderno entiende la necesidad de evaluar sus
procesos de gestin, sin embargo, an carece de herramientas metodolgicas y
tericas que le permitan valorar la calidad y rigurosidad de las evaluaciones de
impacto. Por ello, la presente investigacin busca integrar la hemerografa moderna
sobre la metodologa de evaluacin de impacto para proporcionar los fundamentos
tericos y metodolgicos necesarios que permitan entender esta compleja
metodologa y, adems, aporta algunos lineamientos base para la constitucin de
16
un nuevo modelo de evaluacin de impacto de los programas sociales en el Per y

ejemplificar su aplicacin con el uso de los diseos de simulacin experimental
computarizada.
As, por tanto, la presente investigacin se estructura en cuatro captulos. El
primer captulo se refiere al marco metodolgico de la pesquisa, el cual contiene el
planteamiento del problema, la justificacin e importancia de la investigacin, los
objetivos e hiptesis del estudio, las variables e indicadores as como el diseo
metodolgico propiamente dicho.
El captulo II est dedicado a la elaboracin del Balance Terico. En una
primera parte, se revisan los aspectos histricos, definicin y caractersticas y ciclo
de vida de los programas sociales y el contexto de la evaluacin dentro del proceso
de gestin social. Seguidamente, se hace una revisin bibliogrfica sobre la
definicin y caractersticas de la evaluacin de programas, su desarrollo histrico,
importancia social, su papel en la poltica y la sociedad, as como la situacin de la
evaluacin de programas sociales en el Per y un anlisis crtico de los sistemas de
evaluacin existentes en la administracin pblica hasta la fecha. Finalmente, se
realiza un anlisis terico de la evaluacin de impacto, realizndose un anlisis
minucioso de sus conceptos, su importancia, sus principios fundamentales, y las
principales tcnicas empleadas en su ejecucin.
En el captulo III se revisa el estado actual del desarrollo metodolgico de
la evaluacin de impacto de los programas sociales. En una primera parte, se
analizan los antecedentes nacionales inmediatos a la presente investigacin.
Posteriormente, en una segunda parte, se revisan, utilizando el mtodo
bibliointegrativo, los avances tericos-metodolgicos de la evaluacin de impacto
en el mbito internacional, los cuales servirn de fundamento para el diseo del
Sistema de Evaluacin de Impacto ARYSIS. Se hace tambin una revisin
sistemtica con una sntesis estadstica de las principales tendencias en la
aplicacin del mtodo. Se realiza tambin un balance comparativo entre las
evaluaciones realizadas en el Per y en el resto del mundo.
En el captulo IV se presenta y analiza los aspectos terico-metodolgicos
fundamentales del Modelo de Evaluacin de Impacto ARYSIS. En este captulo se
presentan los principios, parmetros tericos, principios metodolgicos y
procedimientos estandarizados que fundamentan el modelo propuesto. Asimismo,
se desarrollan algunos casos de simulacin mediante el Mtodo de Montecarlo para
ejemplificar la aplicacin del Modelo ARYSIS.
Finalmente, las conclusiones y recomendaciones son presentadas. Se espera
que con la presente investigacin aumente el nivel de comprensin de una
herramienta metodolgica necesaria en una realidad tan urgente de evaluacin. Y,
adems, que la presente investigacin contribuya con el desarrollo acadmico de
los gerentes sociales, quienes, hoy ms que nunca, tienen un papel protagnico en
el desarrollo del pas.
17
I. MARCO METODOLGICO
1.1. PLANTEAMIENTO DEL PROBLEMA

1.1.1. Descripcin del Problema
La planificacin es un requisito fundamental e imprescindible en el xito de
cualquier empresa o actividad social. En trminos macro, el desarrollo de una
nacin depende, en gran medida, de la rigurosidad y compromiso en la elaboracin
de los planes de desarrollo. Pero planificar no es un proceso unvoco; se requiere,
inevitablemente, contar con estrategias para evaluar la ejecucin de los planes. As,
planificar y evaluar son dos aspectos del mismo proceso, recprocos y mutuamente
influyentes (BID, 1997; Tilley, 2000). En efecto, una planificacin excelente
considera, dentro de cada etapa, diversos mecanismos de evaluacin. Es
inconcebible planificar sin considerar las estrategias para evaluar, pues cmo
saber si los planes ejecutados estn resultando o produciendo los efectos
esperados?, cmo seguir planificando, mejorando o cambiando su estructura si no
se conocen los efectos iniciales de los planes originales? Slo la evaluacin puede
responder tales preguntas.
Conocer los procesos, resultados e impactos de las polticas de desarrollo
social constituye un elemento fundamental para mejorar la toma de decisiones y
obtener mayor eficacia en las polticas diseadas; sirve tambin para mejorar la
implantacin de sus estrategias y aumentar la eficiencia en la asignacin de
recursos (Abdala, 2004; Vedung, 1997). Sin embargo, todos estos beneficios se
lograrn solamente si se realiza una evaluacin integral, vlida y confiable de las
polticas aplicadas y, si disponen de recursos financieros suficientes y de recursos
humanos capacitados para realizarla.
Debido a que la evaluacin es un proceso amplio y continuo, existen
diversos tipos de evaluacin; sin embargo, la evaluacin de impacto es quiz la
ms importante, pues nos informa sobre el efecto real de los programas sociales
(Waissbluth, 2002). Si no se evala el impacto, no se sabr si la intervencin social
est produciendo los beneficios previstos en la poblacin; no se sabr si se podra
mejorar el diseo del programa para lograr los resultados; no se sabr si se estn
18
empleando los recursos en forma eficaz. Por eso, su desuso es negligencia, pues
slo el gerente social bien preparado entiende que estos son los tipos de preguntas
que solamente se responden mediante una evaluacin de impacto.
En efecto, la evaluacin de impacto es una necesidad gubernamental, pues
es especialmente importante en los pases en desarrollo, donde los recursos son
escasos y cada dlar gastado debe maximizar su efecto (Banco Mundial, 2000). Si
los programas estn mal diseados, no llegan a los beneficiarios previstos y
despilfarran los recursos, solo con la evaluacin de impacto es posible redisearlos, mejorarlos o eliminarlos si se estima necesario (Blomquist, 2003;
CONPES, 2002). El conocimiento obtenido de estos estudios tambin proporciona
informacin decisiva para el diseo adecuado de programas y proyectos futuros
(Cook, Leviton & Shadish, 1985, 1991; Rossi & Freeman, 1985; Glass & Ellett,
1980).
Sin embargo, a pesar de la irrefutabilidad de lo dicho, an muchos
gobiernos e instituciones, as como gerentes de proyectos, rechazan las
evaluaciones de impacto por diversas razones (Medina Giopp, 2002). Son pocos
los casos en Amrica Latina (y especialmente en nuestro pas) en los que se puede
hablar de una evaluacin sistemtica del impacto de los programas sociales. De la
revisin pormenorizada de sus estrategias se puede encontrar que los modelos de
evaluacin utilizados son en su mayora- demasiado simples, inadecuados,
incompletos, inseguros y en muchos casos, invlidos. Adems, de acuerdo a las
revisiones de Sulbrandt (1993), la mayora de las polticas y los programas
pblicos de Amrica Latina no se evalan y, salvo excepciones, las pocas
evaluaciones que se han hecho no han provocado ningn cambio en el manejo de
los programas ni en el aprendizaje de los ciudadanos.
Diversas son las causas de estas deficiencias, pero la gran mayora se
circunscribe al factor humano (Mokate, 2001; Baker, 2000). En efecto, existen
muchas creencias errneas y actitudes negativas hacia la evaluacin de impacto. La
gran mayora de administradores de programas la consideran costosa, prolongada,
tcnicamente compleja y polticamente delicada (cuando sus resultados demuestran
ineficiencia e ineficacia de la gestin realizada). Se critica tambin que los
resultados se obtienen demasiado tarde, que no responden las preguntas adecuadas
o que no se realizaron con suficiente rigor analtico (Medina Giopp, 2002). En fin,
la evaluacin de impacto recibe muchas crticas y descrditos, pero lo cierto es que
ningn mtodo de evaluacin alternativo se ha mostrado superior para
reemplazarla.
Segn m entender, todas estas creencias y actitudes negativas son producto
de tres factores: a) la ignorancia generalizada sobre el tema, b) el desconocimiento
de los modelos modernos de evaluacin de impacto de los programas sociales y c)
la escasez de especialistas.
Es verdad que la parte ms dificultosa de la evaluacin de impacto es su
dimensin metodolgica, pues evaluar el impacto de un programa requiere conocer
mucho de metodologa y estadstica avanzada; es un terreno para especialistas. Sin
embargo, el nivel de especializacin de la evaluacin de impacto no puede ser
excusa para desdear sus aportes o para desentenderse de su importancia. Todo lo
contrario, su especializacin debe exigir una aproximacin comprehensiva para los
19
gerentes sociales y autoridades de la administracin pblica, pues slo

comprendiendo su real alcance y limitaciones puntuales se podr demandar su
ejecucin y valorar la calidad de sus resultados.
Al respecto, existe una limitacin seria: la bibliografa especializada de
habla hispana es casi inexistente y las fuentes bibliogrficas estn dispersas en
diversas revistas o informes institucionales, principalmente, de habla inglesa. En
efecto, desde hace cuatro dcadas diversos autores y organismos internacionales
han propuesto una serie de modelos para planificar y realizar evaluaciones de
impacto (Ej. el Modelo cuasi-experimental, el Modelo UTOS, el del Banco
Mundial, el de la Evaluation Research Society, entre otros), sin embargo, en las
estrategias y bibliografa de evaluacin utilizadas en Amrica Latina y en el Per,
se encuentran muy pocas aplicaciones de las mencionadas.
Urge as, pues, un material bibliogrfico comprehensivo y didctico que,
basndose en las investigaciones modernas, condense las nociones tericas y
metodolgicas relacionadas a la evaluacin de impacto de los programas sociales
en el Per. Adems, sobre la base de lo anterior, se requiere la propuesta de un
modelo ajustado a la realidad nacional.
De lo dicho, tal material proporcionara a los gerentes de proyectos y a los
analistas de polticas nacionales, las herramientas tericas-metodolgicas
necesarias para evaluar el impacto de sus proyectos. Por ello, esta investigacin,
enfocada desde una perspectiva estrictamente metodolgica, pretende llenar el
vaco terico-metodolgico nacional con interesantes aportes en el ejercicio de la
investigacin evaluativa. Pretende, adems, proponer un modelo integral de
evaluacin de impacto, acorde a los avances mundiales en el tema y a luz de la
realidad nacional.
Por tanto, con la presente investigacin se propone los fundamentos de un
nuevo modelo de evaluacin de impacto (cuyo nombre es ARYSIS),
comprehensivo y didctico, acorde a los modernos avances cientficos y
metodolgicos de la evaluacin de programas y de la estadstica experimental. Para
ello, en primer lugar, se revisa biblio-integrativamente el estado de la cuestin
sobre la evaluacin de programas y la evaluacin de impacto, para luego, en
segundo lugar, sistematizar sus bases primarias, fundamentos tericos y
metodolgicos, los cuales provienen del desarrollo de la estadstica multivariada y
del diseo cuasi-experimental, asociado a los criterios y conceptos de validez e
inferencia causal.
1.1.2. Formulacin del problema

As, ante lo anteriormente expuesto, se busca respuesta al siguiente
problema general: Cules son los fundamentos terico-metodolgicos del Sistema
de Evaluacin de Impacto ARYSIS de los programas sociales en el Per?, el cual,
para efectos de la investigacin, se sistematiza mediante las siguientes preguntas
especficas:
1. Cul es el estado actual del desarrollo terico de los programas sociales, la
evaluacin de programas y la evaluacin de impacto de los programas?
20
2. Cul es el estado actual del desarrollo acadmico-metodolgico de la

evaluacin de impacto en los mbitos internacional y nacional?
3. Cules son los fundamentos principistas, tericos y metodolgicos del
sistema de Evaluacin de Impacto ARYSIS?
1.2. JUSTIFICACIN E IMPORTANCIA

En un contexto donde los recursos son escasos, las entidades que financian
y ejecutan los programas sociales requieren cada vez ms precisin en los
resultados de la evaluacin. En este sentido, la evaluacin de impacto juega un
papel fundamental porque mide los cambios en las condiciones de vida de los
beneficiarios y explica en qu medida estos cambios pueden ser atribuidos al
programa (Cook, Leviton & Shadish, 1985, 1991; Rossi & Freeman, 1985; Glass &
Ellett, 1980). Sin embargo, a pesar de la importancia que tiene la evaluacin de
impacto en el desarrollo de los programas y de su falta de utilizacin, ao tras ao
se invierten grandes sumas de dinero para el financiamiento de programas sociales
que nunca llegan a determinar su impacto en la calidad de vida de las personas a las
que van dirigidos. La escasez de evaluaciones de impacto obedece en gran medida,
a la falta de capacitacin idnea del personal encargado de disear, ejecutar y
evaluar los programas. Para adquirir capacitacin y aprender tcnicas cuantitativas
en evaluacin de impacto de programas de salud, poblacin, educacin, entre otras,
la presente investigacin pretende compilar, analizar y proponer nuevos aportes
tericos y metodolgicos de la evaluacin de impacto aplicado a programas
sociales en el Per. Por tanto, la realizacin de la presente investigacin se justifica
por tres razones complementarias: terica, metodolgica y prctica.
1.2.1. Justificacin terica

Se recorren de manera exhaustiva las posibilidades metodolgicas y
tcnicas que resultan aplicables a los programas sociales en una realidad como la
nuestra. Esta exploracin de alternativas planteadas en la bibliografa internacional
permitir poner al alcance de ejecutores y evaluadores locales, sofisticadas tcnicas
mtricas y estadsticas, adems de identificarse las bondades y limitaciones de cada
una de ellas para la medicin del impacto. Adems, se identifican los parmetros
tericos de un modelo integral de evaluacin de impacto, lo cual es parte de una
aproximacin biblio-integrativa.
1.2.2. Justificacin metodolgica

Se propone elaborar un documento de referencia que sirva a los
diseadores, gerentes sociales y evaluadores de programas sociales, como base
para la construccin de estrategias propias de operaciones en evaluacin de
impacto de los programas sociales. Esta herramienta intenta ser de significativa
importancia para la evaluacin de programas sociales y, debido a la escasa
21
bibliografa de habla hispana, pretende convertirse en un manual de consulta,

dentro de la bibliografa local especializada sobre la materia. De esta manera, para
los diseadores de programas y gerentes sociales, existir una clara descripcin de
cmo incorporar la evaluacin de impacto de los programas como un elemento
paralelo al programa en s mismo y cmo evaluar la calidad de los mismos.
1.2.3. Justificacin prctica

Los gerentes sociales encontrarn las herramientas necesarias para
implementar algunos procesos de la evaluacin y poder dialogar y exigir calidad al
evaluador externo, cuando este sea el caso. Adems, los evaluadores encontrarn
una discusin sobre las ventajas y limitaciones de las distintas metodologas de
evaluacin de impacto, la manera cmo se deben computar los diversos
estimadores del mismo y algunas estrategias para controlar las amenazas contra la
validez de los resultados.
1.3. OBJETIVOS
1.3.1. Objetivo general
Determinar los fundamentos terico-metodolgicos del Sistema de
Evaluacin de Impacto ARYSIS de los programas sociales en el Per.
1.3.2. Objetivos especficos

1. Determinar el estado actual del desarrollo terico de los programas sociales, la
evaluacin de programas y la evaluacin de impacto de los programas.
2. Determinar el estado actual del desarrollo acadmico-metodolgico de la
evaluacin de impacto en los mbitos internacional y nacional.
3. Identificar y analizar los fundamentos principistas, tericos y metodolgicos
del sistema de Evaluacin de Impacto ARYSIS.
1.4. HIPTESIS Y VARIABLES

1.4.1. Hiptesis
Como la presente es una investigacin biblio-integrativa y aplicada,
entonces la hiptesis se centra en la identificacin y sistematizacin de los
fundamentos terico-metodolgicos del Modelo de Evaluacin de Impacto
ARYSIS. Por la naturaleza del estudio, esta hiptesis no se puede someter
propiamente a una contrastacin o verificacin, sino que slo representa una gua
de cumplimentacin de objetivos, basada en la revisin bibliogrfica y experiencia
previa. Hecho la salvedad, la formulacin de la hiptesis general es como sigue:
22
Los fundamentos del Sistema de Evaluacin de Impacto ARYSIS de los

programas sociales en el Per son: los principios internacionales de
evaluacin, la teora de la causacin, el diseo cuasi-experimental
avanzado y la estadstica de simulacin va montecarlo.
Las hiptesis especficas, tambin con las caractersticas de la hiptesis
general, son las siguientes:
1. Aunque existe un desarrollo terico amplio sobre los programas
sociales y la evaluacin de programas; no existe un nivel terico
comprehensivo de la evaluacin de impacto de los programas
sociales.
2. Existe un desfase significativo entre el estado actual del desarrollo
acadmico-metodolgico de la evaluacin de impacto en el mbito
internacional y el desarrollo metodolgico nacional.
3. Los fundamentos del Sistema de Evaluacin de Impacto ARYSIS de los
programas sociales en el Per son: los principios internacionales de
evaluacin, la teora de la causacin, el diseo cuasi-experimental
avanzado y la estadstica de simulacin va montecarlo.
1.4.2. Variables e indicadores

De la hiptesis general formulada se pueden derivar las variables de
investigacin. Tal como se mencion previamente, ste es un estudio bibliointegrativo, por tanto, se centra en la identificacin y sistematizacin de
fundamentos para un nuevo modelo de evaluacin de impacto. En este caso, la
variable dependiente es el modelo de evaluacin de programas ARYSIS, mientras
que las variables independientes son los fundamentos terico-metodolgicos: a)
principios internacionales, b) la teora de la causacin, c) el diseo cuasiexperimental y, d) la simulacin estadstica de montecarlo.
La relacin es causal por cuanto la identificacin y desarrollo de cada uno
de los fundamentos terico-metodolgicos (variables independientes) contribuyen
a la generacin y sustentacin del modelo de evaluacin de impacto ARYSIS
(variable dependiente). La relacin causal entre estas variables se esquematiza en la
siguiente figura:
Vs. independientes
a)
b)
c)
d)
Principios internacionales
Teora de la causacin
Diseo cuasi-experimental
Simulacin
estadstica
montecarlo
V. Dependiente
Modelo ARYSIS de evaluacin

de impacto de programas
de
Figura N 1.1. Relacin entre variables e indicadores (Fuente: Elaboracin propia).
23
En cuanto a los indicadores de cada una de las variables mencionadas, estas

se simplifican en la siguiente tabla:
Tabla N 1.1. Matriz de variables e indicadores (Fuente: Elaboracin propia).
Variables
Fundamentos
metodolgicos
tericos
Definicin operacional o
constitutiva
Principios internacionales
Indicadores
Teora de la causacin
Simulacin
montecarlo
Modelo de Evaluacin de Impacto

ARYSIS
estadstica
de
Sistema dinmico de principios,

parmetros tericos, criterios
metodolgicos y procedimientos
estandarizados, organizados y
regulados en subsistemas, que se
dirigen hacia la identificacin y
obtencin de datos pertinentes y
vlidos para evaluar el impacto de
los programas sociales.
Principios del evaluador

Principios procesales
Modelos de validez causal
Diseos de asignacin no
conocida
Diseos
de
asignacin
conocida
Generacin de datos
Contraste de parmetros
Estimacin de sesgos
Correccin de sesgos
Idnticos a los indicadores de la
variable independiente.
24
1.4.3. Matriz de consistencia

En la siguiente tabla se resume la relacin de coherencia entre el problema de investigacin, los objetivos, hiptesis y variables. La
relacin se presenta tanto para el aspecto general como especfico.
Tabla N 1.2. Matriz de consistencia (Fuente: Elaboracin propia).
Ttulo
Fundamentos
para
modelo
integral
evaluacin de impacto
los programas sociales
el Per
un
de
de
en
Problema
GENERAL: Cules son los
fundamentos
tericometodolgicos del Sistema de
Evaluacin
de
Impacto
ARYSIS de los programas
sociales en el Per?
Objetivo
Determinar los fundamentos
terico-metodolgicos
del
Sistema de Evaluacin de
Impacto ARYSIS de los
programas sociales en el Per.
Hiptesis
Los fundamentos del Sistema de Evaluacin de
Impacto ARYSIS de los programas sociales en
el Per son: los principios internacionales de
evaluacin, la teora de la causacin, el diseo
cuasi-experimental avanzado y la estadstica de
simulacin va montecarlo.
ESPECFICOS: Cul es el
estado actual del desarrollo
terico de los programas
sociales, la evaluacin de
programas y la evaluacin de
impacto de los programas?
Cul es el estado actual del
desarrollo metodolgico de la
evaluacin de impacto en los
mbitos
internacional
y
nacional?
Cules son los fundamentos
principistas,
tericos
y
metodolgicos del sistema de
Evaluacin
de
Impacto
ARYSIS?
Determinar el estado actual del

desarrollo terico de los
programas
sociales,
la
evaluacin de programas y la
evaluacin de impacto de los
programas.
Determinar el estado actual del
desarrollo metodolgico de la
evaluacin de impacto en los
mbitos
internacional
y
nacional.
Identificar y analizar los
fundamentos
principistas,
tericos y metodolgicos del
sistema de Evaluacin de
Impacto ARYSIS.
Aunque existe un desarrollo terico amplio

sobre los programas sociales y la evaluacin de
programas; no existe un nivel terico
comprehensivo de la evaluacin de impacto de
Existe un desfase significativo entre el estado
actual del desarrollo metodolgico de la
evaluacin de impacto en el mbito
internacional y el desarrollo metodolgico
nacional.
Los fundamentos del Sistema de Evaluacin de
Impacto ARYSIS de los programas sociales en
el Per son: los principios internacionales de
evaluacin, la teora de la causacin, el diseo
cuasi-experimental avanzado y la estadstica de
simulacin va montecarlo.
Variables
Variable dependiente: Modelo
de evaluacin de programas
ARYSIS
Variables independientes:
Fundamentos tericometodolgicos:
a) Principios internacionales.
b) Teora de la causacin.
c) Diseo cuasi-experimental.
d) Simulacin estadstica de
montecarlo.
1.5. DISEO METODOLGICO

1.5.1. Poblacin y muestra
En la presente investigacin, la poblacin corresponde a tres tipos distintos:
1. Al ser un estudio biblio-integrativo, el primer tipo de poblacin consiste
en la bibliografa y hemerografa internacional especializada en temas
de evaluacin de programas, evaluacin de impacto y diseo cuasiexperimental. En este caso la muestra est definida por la bsqueda a
travs de diversas bibliotecas especializadas, adquisicin de textos y el
uso de bases de datos internacionales como EBSCO HOST,
PROQUEST, ABI INFORM, ERIC, SSRN, las cuales contienen
artculos completos de ms de 20,000 revistas a nivel mundial. Se ha
utilizado tambin las bases de datos institucionales del Banco Mundial,
el Banco Interamericano de Desarrollo, la Agencia Norteamericana de
Desarrollo Internacional, entre otras. Para ser incluido en la muestra, el
informe o reporte de investigacin debi referirse exclusivamente a
evaluaciones de impacto.
2. En segundo lugar, al ser una investigacin aplicada a la realidad
peruana, se identifica y revisa los informes de evaluacin de impacto de
los programas sociales evaluados en el Per. La poblacin incluye los
diferentes tipos de programas considerados sociales, como son los
programas educativos, de salud, laborales, asistenciales, alimentarios y
de infraestructura. En este caso, la muestra es seleccionada bajo un
criterio intencional no probabilstico, considerando los programas
sociales con las evaluaciones ms robustas y significativas. La ausencia
de muestreo probabilstico se justifica en la medida que se pretende
analizar las evaluaciones de impacto consideradas ms robustas y
completas en el mbito local, considerando, adems, que el nmero de
evaluaciones de impacto en el Per es muy pequeo.
3. Adicionalmente, se elabora una muestra significativa de datos de
programas simulados o ficticios, utilizando los mtodos de simulacin
de Montecarlo, esto con el fin de demostrar las posibilidades aplicativas
del Sistema de Evaluacin ARYSIS y una ejemplificacin didctica de
su uso.
1.5.2. Tipo de investigacin

La presente es una investigacin de tipo aplicada, en la medida que
pretende proponer y difundir, una vez sistematizada, un referente bibliogrfico y
un modelo terico-metodolgico de evaluacin de impacto de programas sociales
dentro del contexto nacional.
1.5.3. Diseo de la investigacin

La presente investigacin utiliza un diseo biblio-integrativo y de
simulacin experimental mediante casos ficticios.
Se utiliza un diseo biblio-integrativo (conocido por algunos autores
como revisin sistemtica) porque se busca identificar y sistematizar los
fundamentos de un modelo comprehensivo, didctico, sencillo para evaluar el
impacto de los programas sociales en el Per. Los diseos biblio-integrativos son
revisiones sistemticas de la literatura cientfica, pormenorizados, selectivos y
crticos que tratan de analizar e integrar la informacin esencial de los estudios
primarios de investigacin sobre un problema especfico, en una perspectiva de
sntesis unitaria de conjunto (Delgado-Rodrguez, 2002; Shea, Dube & Moher,
2001; Cook, Mulrow & Haynes, 1997; Morales, 1993; Slavin, 1987; Center for
Reviews and Dissemination, 2001). En este caso, el diseo biblio-integrativo
identifica y analiza las mejores fuentes internacionales y locales para, sobre ellas,
proponer un esquema sinttico de la mejor evidencia disponible sobre la
evaluacin de impacto de los programas sociales.
Por otro lado, se utiliza un diseo de simulacin experimental mediante
casos ficticios para ejemplificar la aplicacin del Modelo ARYSIS y para precisar
sus posibilidades de aplicacin. En efecto, debido a que ARYSIS es un modelo
nuevo, an en estado experimental, ste debe probarse para precisar sus alcances y
limitaciones. Sin embargo, debido a que la evaluacin de impacto es costosa y
prolongada, sera inadmisible probarlo en situaciones reales. Por ello, resulta
necesario utilizar simulaciones computarizadas, pues brindan informacin
oportuna sobre los alcances de nuevos modelos propuestos y sirven tambin como
medio didctico (Guetzkow, 1962; Lehamn, 1980; Trochim & Davis, 1986).
1.5.4. Instrumentos, procedimientos de recoleccin y anlisis de datos

Para la recoleccin de los datos se han utilizado las diversas bases de datos
de artculos y disertaciones, entre las ms reconocidas EBSCO HOST,
PROQUEST, ABI INFORM, ERIC, SSRN; as como las bases de datos de
instituciones internacionales como el Banco Mundial (BM) o el Banco
Interamericano de Desarrollo (BID), entre otras; nacionales como el Instituto de
Estadstica e Informtica (INEI), Ministerio de Economa y Finanzas, Consorcio de
Investigaciones y Estudios Sociales (CIES), de APOYO, de GRADE y de las
instituciones gubernamentales como Ministerio de Trabajo, DEVIDA, MIMDES,
entre otros.
Las revisiones sistemticas se han realizado considerando el anlisis
individual de informes de evaluacin de impacto, sea tanto institucional como
artculo publicado en Journal. En esta investigacin se define al informe de
evaluacin de impacto como aqul que utiliza fuentes de datos directos (primarios
o secundarios), instrumentos de recoleccin de datos cualitativos o cuantitativos y
que analiza mediante algn procedimiento estadstico o categrico el impacto de
27
un programa. En este caso, se seleccionaron solamente los artculos e informes

publicados durante los aos 1976-2006. Las variables sistematizas provenientes de
cada informe de evaluacin se presentan en la Tabla N1.3:
Tabla N 1.3. Variables sistematizadas en el estudio biblio-integrativo (Fuente: Elaboracin propia).
Variables sistematizadas
Autores
Ao
Ttulo
Muestra
Metodologa
Presencia de grupo control
Diseo
Instrumento/mtodo de recoleccin de datos

Anlisis de datos
Uso de procedimientos
variables instrumentales
de emparejamiento
Conclusiones
Lugar de ubicacin de la muestra
Fuente de la investigacin
Aspectos estudiados
Definicin
Apellidos e iniciales de los autores
Ao de publicacin del artculo
Ttulo del artculo de investigacin
Nmero y descripcin de la muestra empleada. La
unidad de anlisis tambin es referida.
Si es experimental, cuasi-experimental, preexperimental o cualitativo.
Si el diseo cuenta con al menos un grupo control.
Indicar el sub-diseo: diferencias de diferencias, prepost, slo postest, series de tiempo, discontinuidad de
la regresin, entre otros.
Nombre del instrumento empleado. Modalidad:
encuesta, escala, gua de entrevista, focus group, etc.
Mtodos estadsticas empleados para el anlisis de los
datos: modelos de regresin, ecuaciones estructurales,
ARIMAs, estadsticas descriptivas.
Si uso el matching o el uso de variables
instrumentales para controlar el sesgo de seleccin o
asignacin integrupal.
Principales conclusiones del estudio. Determinar si el
programa tuvo impacto significativo.
Pas en dnde su ubica fsicamente la muestra
beneficiada por el programa evaluado.
Si es un artculo de Journal o es un informe
institucional. Indicar la fuente institucional.
Dimensin de la evaluacin de programas estudiados.
rea de estudio (empleo, salud, educacin,
infraestructura, justicia, entre otros).
Para el anlisis biblio-integrativo se elabor una matriz de tabulacin tipo R

(variables x artculos) utilizando el Paquete Estadstico para Ciencias Sociales
(SPSS versin 11). Se emplearon estadsticas univariadas y bivariadas de
distribucin de frecuencias y de tablas cruzadas para resumir los principales
hallazgos. Previamente se han realizado tablas resumen que describen
individualmente cada uno de los informes analizados.
En otro aspecto, utilizando el paquete estadstico MINITAB 14 se generan
datos simulados para demostrar y ejemplificar las aplicaciones del Modelo
ARYSIS. Estos datos han sido simulados y procesados en una computadora
Pentium IV de 3.8 Ghz y de 1200 MbSDRAM; utilizando el Mtodo de
Montecarlo y las estadsticas de regresin lineal mltiple, anlisis de covarianza y
anlisis de comparacin de medias y de descripcin univariada.
1.5.4.1. Sobre la simulacin estadstica
Los responsables de la toma de decisiones necesitan informacin
cuantificable sobre diferentes hechos que puedan ocurrir. La simulacin constituye
28
una tcnica muy econmica ya que permite ofrecer varios escenarios posibles de
un modelo de evaluacin, permite cometer errores sin provocar efectos sobre el
mundo real y sin gastar dinero. Se puede afirmar, entonces, que la simulacin es
una rama experimental dentro de la investigacin social evaluativa (Gilbert &
Troitzsch, 1999; Trochim & Davis, 1986).
La simulacin es el desarrollo de un modelo lgico-matemtico de un
sistema, de tal forma que se obtiene una imitacin de la operacin de un proceso
real o de un sistema a travs del tiempo (Azarang & Garca, 1996). En efecto, la
simulacin surge para evaluar numricamente un modelo. Un modelo es una
representacin analtica de una realidad, es un cuerpo de informacin relativo a un
sistema. Si las relaciones que integran ese modelo estn definidas, entonces se
puede tener una representacin numrica de las mismas y calcular un solucin
exacta en trminos deductivos. As, entonces, la simulacin es el proceso de
disear y desarrollar un modelo computarizado de un sistema o proceso y conducir
experimentos con este modelo con el propsito de entender el comportamiento del
sistema o evaluar estrategias con las cuales se puede operar el sistema. De lo dicho,
el modelo de simulacin sera el conjunto de hiptesis acerca del funcionamiento
del sistema expresado como relaciones matemticas o lgicas entre los elementos
del sistema.
Entre los diversos procesos de simulacin, el ms popular es el Mtodo de
Simulacin de Montecarlo, el cual viene aplicndose desde 1940 gracias al
desarrollo terico inicial de Von Neumann & Ulam (1949) en su ya clsico The
Montecarlo Method. Este mtodo permite resolver problemas analticos mediante
la simulacin y el muestreo sistemtico de variables aleatorias (Rubinstein, 1981).
El Mtodo de Montecarlo da solucin a una gran variedad de problemas
matemticos haciendo experimentos con muestreos estadsticos en una
computadora. En la presente investigacin, el Mtodo de Montecarlo se utiliza con
fines experimentales, es decir se elabora distintos modelos de tipo estocsticos1 y
se intercambian parmetros para estudiar cules son los posibles resultados. La
eleccin de este diseo se basa, entre otras razones, en las significativas ventajas de
su utilizacin (Azarang & Garca, 1996):
Una vez construido, el modelo simulado puede ser modificado de
manera rpida con el fin de analizar diferentes polticas o escenarios.
Generalmente es ms barato mejorar el sistema va simulacin, que
hacerlo directamente en el sistema real.
Es mucho ms sencillo comprender y visualizar los mtodos de
simulacin que los mtodos puramente analticos.
Los mtodos analticos se desarrollan casi siempre, para sistemas
relativamente sencillos donde suele haber un gran nmero de
suposiciones o simplificaciones, mientras que con los modelos de
simulacin es posible analizar sistemas de mayor complejidad o con
mayor detalle.
En los modelos estocsticos, los valores de las variables dentro un modelo sufren modificaciones
aleatorias con respecto a un valor promedio; dichas variaciones pueden ser manejadas mediante
distribuciones de probabilidad (Azarang & Garca, 1996).
29
En algunos casos la simulacin es el nico medio para lograr una

solucin.
1.5.4.2. Proceso general de simulacin estadstica

La simulacin involucra la generacin de una historia artificial de un
sistema; la observacin de esta historia mediante la manipulacin experimental,
ayuda a inferir las caractersticas operacionales de tal sistema. As, existen dos
pasos bsicos de una simulacin: a) desarrollo del modelo y b) experimentacin. El
desarrollo del modelo2 incluye la construccin de ecuaciones lgicas
representativas del sistema y la preparacin de un programa computacional. Una
vez que se ha validado el modelo del sistema, la segunda fase de un estudio de
simulacin entra en escena, experimentar con el modelo para determinar cmo
responde el sistema a cambios en los niveles de algunas variables de entrada.
Actualmente se puede utilizar cualquier programa de anlisis estadstico
para realizar simulaciones. Debido a que estos programas funcionan con lenguajes
generales de programacin, si se aprenden tales lenguajes y se ingresa al panel de
comandos, entondes se podr obtener tales ventajas. En la presente investigacin se
utiliza el lenguaje de comandos del MINITAB 14, potente software estadstico que
es muy atractivo por su versatilidad y fcil acceso3. La simulacin se realiza en el
programa gratuito de prueba (acceso libre por un mes) y puede ser obtenido de la
pgina web institucional (http://www.minitab.com/products/minitab/14/demo/).
Debido a que existen algunos requisitos matemticos para modelar un
sistema simulado, se debe diferenciar entre dos tipos de datos: los parmetros, los
cuales permanecen sin cambio a travs del tiempo, y las variables, las cuales
presentan cambios a travs del tiempo (Azarang & Garca, 1996). En este caso,
debido a que el modelado de un sistema mediante simulacin es til cuando la
informacin del sistema tiene carcter dinmico y probabilstico (estocstico), la
variabilidad de las variables debe modelarse siguiendo ciertas ecuaciones
matemticas que sean capaces de reproducirla, en este caso, se pueden utilizar las
distribuciones de probabilidad (Ej. Uniforme, normal, Z, exponencial, weibull,
triangular, lognormal, Bernoulli, uniforme discreta, binomial, Poisson, Geomtrica,
Un modelo es una representacin de los objetos de un sistema y refleja de manera sencilla las
actividades en las cuales esos objetos se encuentran involucrados. Un sistema en cambio, es una
coleccin de variables que interactan entre s dentro de ciertos lmites para lograr un objetivo.
3
El programa Minitab permite simular, de forma rpida y sencilla, la obtencin de muestras de
variables aleatorias definidas por una determinada distribucin de probabilidad, as como calcular
valores correspondientes a su funcin densidad de probabilidad o funcin de distribucin. Otra
importante posibilidad que permite este programa es la de crear archivos ejecutables en formato
ASCII, formados por conjuntos de instrucciones que pueden ejecutarse todas seguidas de forma
automtica. Esta opcin est especialmente indicada cuando se debe realizar una accin de forma
repetitiva. Adems, desde Minitab tambin se pueden ejecutar programas compuestos por
instrucciones tpicas de programacin, tales como IF, ELSEIF, ELSE, DO, WHILE, NEXT, GOTO,
adems de los comandos propios de Minitab. Estos programas pueden ser utilizados en diversos
tipos de aplicaciones tales como automatizar procesos de anlisis de datos, resolver problemas por
simulacin, etc.
30
etc.). En la presente investigacin se ha utilizado, principalmente, la distribucin

normal, al ser una de las distribuciones continuas ms comunes en la realidad.
Tabla N 1.4. Caractersticas de la funcin de densidad normal (Basado en Azarang & Garca,
1996).
Caractersticas
Funcin de densidad
Distribucin acumulada
Parmetros
Rango
Media
Varianza
N(,)
( x)
1
2
1 x

(- x )
No existe ecuacin
Parmetro de localizacin:
Parmetro de escala:
(-,)
Cuando se usa el programa Minitab para hacer simulaciones, se requiere el

ingreso previo de una serie de comandos. Para el caso especfico de la
investigacin, se requiere primero elaborar las variables con distribucin normal
aleatoria, asignndole sus respectivos parmetros (media y desviacin estndar),
para una determinada poblacin (nmero de observaciones) y sus respectivos
errores de medida para cada variable. Estos comandos son, generalmente, cmo
siguen:
Tabla N 1.5. Significado de los comandos de simulacin empleados con MINITAB 14 para
generar variables (Fuente: Elaboracin propia).
Comandos en Minitab
MTB > random 1000 c1;
SUBC> normal 50 5.
SUBC> normal 0 5.

SUBC> normal 0 5.
MTB > add c1 c2 c4

MTB > add c1 c3 c5
MTB > name c1='puntaje verdadero'
c2='error pretest' c3='error postest'
c4='pretest' c5='postest'
MTB > set c6
DATA> 1:1000
DATA> end
MTB > code (1:500) 0 c6 c6
MTB > code (501:1000) 1 c6 c6
Significado
Se crea una variable aleatoria de 1000 observaciones, la cual
se ubicar en la columa c1. Esta variable es creada con una
distribucin de probabilidad normal, promedio de 50 y
desviacin estndar de 5.
Se suman las variables c1, c2 y el resultado se ubica en la
columna c4.
Se suman las variables c1, c3 y el resultado se ubica en la
columna c5.
Se asigna nombre a cada una de las variables creadas.
Se crea una variable en la columa c6, con valores de 1 a 1000.
Se codifica las primeras 500 observaciones con el valor 0
(grupo control).
Se codifica las restantes 500 observaciones con el valor 1
(grupo experimental).
Creadas las variables, el siguiente paso consiste en verificar los parmetros

formulados y luego experimentar acorde a los objetivos tericos del sistema,
analizando los datos modificados mediante alguna tcnica estadstica, en este caso,
31
el anlisis de regresin mltiple. El resultado tpico del anlisis de regresin

emitido por el programa Minitab tiene la siguiente estructura:
MTB > regress c5 1 c3
The regression equation is
P. sin cambio de nivel = 48.8 + 4.72 grupos (antes-despus)
Predictor
Coef SE Coef
T
P
Constant
48.783
1.693 28.81 0.000
grupos (antes-despus)
4.720
2.395
1.97 0.064
S = 5.35434
R-Sq = 17.8%
Analysis of Variance
Source
DF
SS
Regression
1 111.39
Residual Error 18 516.04
Total
19 627.43
R-Sq(adj) = 13.2%
MS
111.39
28.67
F
3.89
P
0.064
En primer lugar se encuentra el comando que solicita el anlisis de

regresin, indicando la variable dependiente (c5), la cantidad de variables
independientes (1) y la variable independiente (c3). Posteriormente, el primer
resultado emitido es la ecuacin de regresin, que tiene una frmula lineal (VD
predicha = constante4 + coef.b5 x VI)6. Seguidamente se presenta la tabla de
coeficientes de regresin, errores del coeficiente, sus respectivos valores t y la
probabilidad de significancia para aceptar la hiptesis nula. Luego la desviacin
estndar del error del modelo (S) y el coeficiente de determinacin (R2) que indica
el porcentaje de variacin en la respuesta que es explicado por el modelo.
Finalmente, el resultado culmina con el anlisis de varianza del modelo de
regresin7.
Indica el valor promedio de la variable de respuesta Y cuando X es cero. Si se tiene certeza de que
la variable predictora X no puede asumir el valor 0, entonces la interpretacin no tiene sentido.
5
Indica el cambio promedio en la variable de respuesta Y cuando X se incrementa en una unidad.
6
Para un modelo con multiples predictors, la ecuacin es: [y = b0 + b1x1 + b2x2 + ... + bkxk + e]
donde Y = respuesta, X = predictores, bk = Coeficientes de regresin poblacionales, y e = error con
distribucin normal, media de 0, y desviacin estndar de s. La ecuacin muestral es: [ = b0 +
b1x1 + b2x2 + ... + bkxk] donde = valor predico y bk = coeficiente de regresin estimado. En la
regresin lineal simple, donde se incluye un solo predictor, el modelo es: [y = b0 + b1x1 + e]. Con
los estimadores muestrales b0 por b0, b1 por b1, y s por s; la ecuacin de regresin es entonces: [y
= b0 + b1x1].
7
Donde DF = Grados de libertad; SS = Suma cuadrtica, MS = Media cuadrtica, F = Valores de
distribucin F; P.= Probabilidad de aceptar la hiptesis nula.
32
II. BALANCE TERICO

Este captulo est dedicado al desarrollo del Balance Terico, consecuencia
de la revisin y anlisis de la bibliografa vigente sobre el tema de investigacin.
En una primera parte se revisan los aspectos histricos, definitorios, caractersticas,
el ciclo de vida de los programas sociales y el contexto de la evaluacin dentro del
proceso de gestin social. Seguidamente, se hace una revisin bibliogrfica sobre
la definicin y caractersticas de la evaluacin de programas, su desarrollo
histrico, importancia social, su papel en la poltica y la sociedad, as como la
situacin de la evaluacin de los programas sociales en el Per y un anlisis crtico
de los sistemas de evaluacin existentes en la administracin pblica hasta la
fecha. Finalmente, el punto siguiente est dedicado al anlisis terico de la
evaluacin de impacto, modalidad especializada dentro del contexto de la
evaluacin de programas. Tambien, se realiza un anlisis minucioso de sus
conceptos, su importancia y de las principales tcnicas empleadas en su ejecucin;
ademas de presentar los principios fundamentales de la evaluacin de impacto.
2.1. LOS PROGRAMAS SOCIALES

El origen de los programas sociales guarda relacin directa con el origen de
las polticas pblicas de desarrollo social, las llamadas polticas sociales. Las
polticas sociales, tal como fueron impulsadas por los gobiernos europeos al
finalizar la Segunda Guerra Mundial se orientaron a procurar condiciones de vida
aceptables para el conjunto de la sociedad. Esto implic intentar, mediante su
intervencin, resolver los ms diversos problemas sociales: desempleo, bajos
salarios, analfabetismo, escasa escolaridad, hacinamiento en viviendas, carencia de
servicios bsicos, enfermedades, muertes evitables, entre otros.
En las dcadas de 1970-1980, este modelo entr en crisis por los
insuficientes ingresos para solventar los gastos sociales. Tal situacin llev a los
Estados a introducir las llamadas reformas de primera generacin para
desmantelar el intervencionismo estatal, aplicar polticas de descentralizacin y de
privatizacin de empresas pblicas, reducir el tamao del Estado y emplear el
mecanismo de mercado como nueva centralidad. En este contexto neoliberal, el
33
Estado deba limitarse a garantizar las condiciones para que las empresas privadas
ofrecieran los bienes y servicios pblicos, que antes haban constituido un
componente fundamental de sus funciones (Cardozo, 2003).
En la dcada siguiente (los 90) los problemas sociales de Amrica Latina
continuaron creciendo: haba aumentado el nmero de habitantes en condiciones
de pobreza y de pobreza extrema (253 millones de personas, que constituan 50%
de la poblacin en 1990, frente a 38% que existan en 1980); ste se haba
concentrado en el medio rural y en grupos particularmente vulnerables, como nios
(60%), mujeres, indgenas, ancianos y discapacitados. La pobreza se reforz con
situaciones de desigualdad, marginacin y exclusin (Kliksberg, 1997). Ante esta
situacin, los Estados comenzaron a aplicar las reformas de segunda generacin,
centradas en la eficiencia de la provisin de servicios, la efectividad para mejorar
su cobertura y calidad, as como el reforzamiento de las condiciones para el
desarrollo de la actividad privada (Nickson, 2002).
La preocupacin por la innovacin y la eficiencia en la gestin ha llevado a
los gobiernos, entre otras estrategias, a la focalizacin de sus intervenciones
sociales. Si bien la poltica social sigue plantendose el objetivo de mejorar el nivel
de vida de las personas, el acento se ha puesto actualmente en el combate a la
pobreza extrema, lo que provoca que otros grupos sociales (trabajadores, por
ejemplo) vean disminuir los servicios pblicos que antes satisfacan sus
necesidades (principalmente de salud, educacin y vivienda), tanto en cantidad
como en calidad. Esta nueva poltica social, sea que asuma objetivos de corto plazo
(vinculados a la transferencia de recursos para paliar la situacin actual de los
pobres en relacin con la satisfaccin de sus necesidades elementales ms
inmediatas) o que se plantee objetivos de largo plazo (por medio de la inversin en
capital humano y social, en cuyo caso se habla de polticas de desarrollo social),
exigen la inclusin de medios de evaluacin sistemticos.
En este contexto, la introduccin de la evaluacin de los programas sociales
gubernamentales ha sido muy difcil en todos los pases, especialmente en los
menos desarrollados. Si bien en los pases escandinavos y otros como Suiza,
Estados Unidos o Canad, la idiosincrasia, el nivel de desarrollo y el sistema
poltico han permitido mayores avances (Aucoin, 2005), tambin existen otras
naciones que aun gozando de altos grados de desarrollo como Alemania, Reino
Unido o Francia, han enfrentado importantes resistencias para su aplicacin.
Generalmente las dificultades aumentan en pases menos desarrollados y se
agudizan en casos como el nuestro, cuya historia poltica ha estado signada por un
agudo presidencialismo y, hasta hace poco tiempo, por el predominio de una
dictadura donde no se rindieron cuentas a la ciudadana y se desatenda a la cultura
de la evaluacin.
En el aspecto positivo, Mxico, por ejemplo, ha hecho importantes avances
en la materia a partir del ao 2000, debido principalmente a la contratacin de
evaluaciones externas (Cardozo, 2003). Su mejor evaluacin fue la realizada por
expertos extranjeros al programa Progresa la cual se hizo gracias a una
disposicin de recursos, de la cual carecen las evaluaciones realizadas en nuestro
pas, impidiendo a estas ltimas contar con la fiabilidad y validez deseadas.
34
En todo caso, de lo dicho, resulta necesario, adems de mayores recursos

financieros, generar mayor desarrollo de las capacidades para evaluar programas,
tanto en lo que se refiere a especialistas tcnicos como a los distintos actores
sociales participantes en los mismos, lo que constituye un desafo para nuestras
universidades en los niveles de postgrado, educacin continua y servicios de
asesora.
2.1.1. Definicin y caractersticas

Existen muchas definiciones de lo que son programas. En el trmino
amplio de la palabra, en general, los diversos autores entienden que un programa es
un plan o sistema bajo el cual una accin est dirigida hacia la consecucin de una
meta. Los autores coinciden en afirmar que los programas sociales son refuerzos
cuidadosamente planificados, comprensivos y sistemticos para lograr objetivos
claramente articulados. En la siguiente tabla se presenta una serie de definiciones
de diversos autores sobre los programas sociales.
Tabla N 2.1. Definiciones sobre programas sociales (Fuente: Elaboracin propia).
Autores
Stame, N.
Ao
2003
Jariot, M.
2001
Development
Assistance Comit DAC
United Status General
Accounting Office
(GAO)
De Miguel
2002
Fernndez
1999
Alfie, E.
2006
Fernndez-Ballesteros
1996
1998
2000b
Definicin
Los programas pueden ser entendidos como las acciones que tienen el
propsito de obtener un cambio, y tienen que ser implementadas con los
medios dados para obtener resultados esperados dentro de un plazo dado.
(Pg. 37) (Traduccin propia).
proceso de intervencin que se inicia con una evaluacin y
priorizacin de necesidades educativas, de modo que a partir de esta
evaluacin inicial se marquen los objetivos educativos del programa
destinado a potenciar aquellos aspectos ms deficitarios o relevantes de un
grupo concreto de personas. Intervencin que se realiza dentro de un
contexto determinado, llevado a cabo mediante el diseo, planificacin e
implantacin de una serie de actividades que conforman el proceso de
implementacin del programa, apoyadas y fundamentadas en un marco
terico de referencia. Este proceso, adems, deber estar sometido a una
evaluacin constante con el fin de mejorar la intervencin y valorar el
logro de objetivos. (Pp. 113-114).
(Programa de desarrollo) es una intervencin de duracin limitada que
comprende mltiples actividades que pueden abarcar varios sectores,
temas y/o zonas geogrficas (Pg. 30).
Un programa debera ser una actividad, proyecto, funcin o poltica que
tiene un propsito determinado o un grupo de objetivos. (Pg. 3)
(Traduccin propia).
Es el plan, proyecto o servicio mediante el cual se disea, organiza y se
pone en prctica un conjunto de acciones y recursos materiales dirigidos a
la consecucin de una meta.
El programa es el conjunto especfico de acciones humanas y recursos
materiales diseados e implementados organizadamente en una
determinada realidad social, con el propsito de resolver algn problema
que atae a un conjunto de personas (Pg. 477).
Fundamentalmente son acciones, en algunos casos desorganizadas,
tendientes a satisfacer las urgencias, resolver demandas y problemticas
presentadas en cada campo especfico social; situacin que impide una
mejor utilizacin de los recursos y una adecuada referencia a los
resultados (Pg. 1).
Un programa se interpreta como una intervencin o tratamiento, es decir,
como un conjunto de manipulaciones que han sido programadas para ser
implantadas en una determinada realidad social (Pg. 28).
35
Autores
Bartolom, M.
Ao
1990
Prez, R.
1992
Fink
1993
Definicin
Un conjunto de estrategias y elementos orientados a la consecucin de
determinadas metas y objetivos (Pg. 39).
Plan sistemtico de intervencin, diseado y elaborado intencionalmente
para la consecucin de unos objetivos de mejora. (Pg. 46).
Los sistemticos esfuerzos realizados para lograr objetivos preplanificados con el fin de mejorar la salud, el conocimiento, las actitudes y
la prctica (Pg. 2).
En concordancia con las definiciones presentadas se dir que un programa

es un conjunto especfico de acciones humanas y recursos materiales, diseados e
implantados organizadamente en una determinada realidad social, con el propsito
de resolver algn problema que atae a un conjunto de personas. Todo programa
social persigue mejorar algunas condiciones de vida que pueden ser de salud,
infraestructura, educacin, asistencia, justicia, entre otras. En la literatura el
trmino programa social se usa indistintamente de forma genrica para
cualquiera de estas reas.
En otro aspecto, algunos autores plantean que existen diferencias entre
proyectos y programas. Aunque en trminos polticos y legales programas y
proyectos sociales tienen una diferencia de jerarqua, sin embargo, en trminos
metodolgicos, no existe una diferencia sustancial entre ellos, son indistintos. En
efecto, no existe en la literatura una diferenciacin entre los elementos
metodolgicos asociados con la evaluacin de polticas, de programas y de
proyectos. En el terreno prctico, las diferencias entre polticas y programas son
inexistentes; pues un programa nacional de gran envergadura puede ser
considerado como la expresin real de una poltica e incluso puede tomar el
nombre de la poltica que lo gener (Ej. programa de lucha contra las drogas) o
tambin puede llamrsele proyecto (Ej. proyecto de desarrollo rural). Al ser
metodolgicamente indistintos, entonces, es importante aceptar que la evaluacin
concierne directamente con cualquiera de estos niveles (polticas, programas y
proyectos), y que las tcnicas de la evaluacin son aplicables a cualquiera de ellos
(Weis, 1998). En cambio, en trminos polticos y legales, los proyectos son
definidos como la mnima unidad de asignacin de recursos para el logro de uno o
ms objetivos especficos (Sann, 1999). Tienen una poblacin objetivo y
localizacin espacial determinadas y un tiempo de inicio y finalizacin previstos
(Naciones Unidas, 1998). Los programas, por su parte, se definen como conjuntos
de proyectos que persiguen los mismos objetivos (Frechtling, Stevens, Lawrenz &
Sharp, 1993), tal como puede apreciarse en el grfico siguiente, donde se
esquematiza esa relacin jerrquica8.
Actualmente la normatividad nacional considera explcitamente esta relacin jerrquica. Por

ejemplo, el Sistema Nacional de Presupuesto Pblico considera una relacin funcional programtica
donde los programas supeditan a los proyectos y actividades. Para mayor detalle vase la estructura
funcional programtica.
36
POLTICA
PROGRAMA 1
Proyecto 1.1
Proyecto 1.2
PROGRAMA 2
PROGRAMA 3
Proyecto 2.1
Proyecto 2.2
Figura N 2.1. Distincin legal entre polticas, programas y proyectos sociales (Basado en Naciones
Unidas, 1998).
Los programas sociales son la materializacin de la poltica social,

elaborados para satisfacer las necesidades de la poblacin. En el caso de los
problemas sociales, se opera pretendiendo satisfacer necesidades productos de
demandas insatisfechas. Las necesidades bsicas insatisfechas de la poblacin
que presenta mayores carencias, pueden, as, ser concebidas como problemas y los
proyectos sociales como soluciones a los mismos. De ah que los extremos polares
de un proyecto social puedan ser definidos como una situacin actual en la que
aparece un problema y una situacin deseada en la que el mismo ha sido
eliminado o ha disminuido como resultado de la intervencin que el programa o
proyecto representa.
Queda claro entonces que indistintamente cmo se le refiera (programa o
proyecto), metodolgicamente hablando el programa social es un conjunto
organizado de acciones y recursos, diseados e implantados sistemticamente en
una determinada realidad social, para resolver algn problema que atae a una
poblacin y mejorar su calidad de vida en algn aspecto.
En otro aspecto, se acepta con unanimidad que los programas o proyectos
sociales tienen un ciclo de vida universal (CTA, 2005; ONU, 1998; Abdala, 2001;
BID, 1997, ILPES & CEPAL, 2003; Sann, 1999). El ciclo de vida describe la
secuencia de estados, etapas y acciones que se deben realizar en un programa o
proyecto para materializarlo. De acuerdo a las Naciones Unidas (1998) es posible
distinguir tres estados generales en el ciclo: Preinversin/Formulacin; Inversin, y
Operacin. Dado que esta nomenclatura tiene su origen en los proyectos
productivos, la etapa de inversin es considerada un elemento central. Sin
embargo, en los proyectos sociales puede que no exista inversin en activos
fsicos, pero s en activos intangibles. Los estados del ciclo de vida son los
siguientes:
1. Preinversin/Formulacin. Abarca la identificacin del problema, el
diagnstico de la situacin, la definicin de reas de intervencin, la
elaboracin de alternativas de solucin y el anlisis comparativo de las
37
mismas para seleccionar la ptima. Este proceso se lleva a cabo con niveles
de profundidad crecientes, reflejado en sus etapas: Idea del proyecto, Perfil,
Prefactibilidad y Factibilidad. Avanzar en las etapas puede ser descrito
como una adquisicin progresiva de certidumbre. Esto es, la incertidumbre,
disminuye, en la medida en que se afrontan los costos adicionales de
profundizar los estudios que suponen el pasar de una a otra etapa.
2. Inversin. Es la instancia de adquisicin de los bienes de capital requeridos
para la operacin del proyecto (compra de terrenos, construccin de
edificios y equipamiento). En el campo de lo social, es necesario diferenciar
dos situaciones tpicas: Proyectos que requieren inversin (postas,
hospitales, escuelas, etc.) y aquellos en los que sta no existe o es de
carcter marginal (proyectos de capacitacin, asistencia tcnica, campaas
de salud, etc.). Cuando la inversin no es requerida, se pasa directamente
del estado de la preinversin a la operacin del proyecto.
3. Operacin. Comienza cuando el proyecto inicia su proceso productivo
(compra de insumos, articulacin de recursos y generacin de productos)
para entregar los productos (bienes o servicios) a la poblacin objetivo.
Se encuentra tambin que a cada estado del ciclo de vida se le asocia un
tipo de evaluacin. En la siguiente tabla se resume la relacin:
Tabla N 2.2. Tipos de evaluacin y estados del proyecto (Fuente: Elaboracin propia).
Estado del
proyecto
Planificacin del
Programa (Preinversin /
Formulacin)
Ejecucin del
Programa
(Operacin)
Tipo de evaluacin
Funciones
Cuando Utilizarla
Evaluacin Ex ante
Evaluar
la
viabilidad
y Se disea y se realiza
sustentabilidad del programa en durante la Planificacin.
trminos financieros, polticos e
institucionales, para priorizar y
seleccionar las alternativas de
componentes y actividad que
maximicen el impacto de la
inversin. Es la herramienta de
evaluacin que permite tomar la
decisin de implementar el programa.
Monitoreo
Indagar y analizar el grado en que las

actividades
realizadas
y
los
resultados obtenidos responden a lo
planificado.
Busca
detectar
oportunamente
eventuales
deficiencias,
obstculos
y/o
necesidades de ajuste en la
planificacin y ejecucin
Evaluar en profundidad aspectos o
problemas del programa relacionados
con la planificacin, ejecucin y
logros de resultado, con la
perspectiva institucional.
Evaluar aspectos o problemas del
programa relacionados con la
planificacin, ejecucin y logro de
resultados, desde la perspectivas de
los beneficiarios, incorporando su
participacin como aspecto central.
Evaluacin
Diagnstica
Evaluacin desde
la Perspectiva de
los beneficiarios
Se disea durante la
Planificacin y se desarrolla
permanentemente, durante
toda su ejecucin.
Cuando existe la necesidad

de
profundizar
el
conocimiento
de
su
desempeo.
Cuando existe la necesidad
de
profundizar
el
conocimiento
de
su
implementacin
y
sus
efectos, segn sus propios
beneficiarios.
38
Estado del
proyecto
Finalizacin del
Programa
Tipo de evaluacin
Evaluacin de
Resultados
Evaluacin de
Impacto
Funciones
Cuando Utilizarla
Evaluacin
del
grado
de
cumplimiento final de los objetivos
especficos del programa, en trminos
de efectividad, eficiencia y eficacia.
Se disea en la planificacin
del programa y se realiza
inmediatamente despus de
finalizada la ejecucin del
mismo.
Identificar y explicar la modificacin Se disea durante
la
del valor inicial de los indicadores planificacin del programa
del problema que dio origen al y se ejecuta un tiempo
programa (lnea de base).
despus de finalizada la
ejecucin del mismo.
As, en la preinversin, los proyectos se formulan para que puedan ser

evaluados ex-ante. Esta evaluacin se utiliza como criterio de decisin,
permitiendo determinar si el proyecto satisface o no los requisitos de rentabilidad o
costo/impacto establecidos y, al mismo tiempo, cul es la alternativa ptima para
su implementacin. En la etapa de inversin, corresponde realizar el seguimiento
(monitoreo) en la misma. sta se lleva a cabo durante la ejecucin midiendo el
avance de las obras y los recursos empleados en funcin del cronograma
establecido. Su funcin es detectar desviaciones con respecto a la programacin
inicial y, en el caso que existan, a qu y a quines son imputables. La evaluacin
ex-post se realiza durante la fase de operacin del proyecto. No supone que ste
haya concluido. Comienza al mismo tiempo que la entrega de los bienes o
servicios a la poblacin beneficiaria. Las principales variables que se tienen en
cuenta en la evaluacin ex-post de un programa se relacionan con el anlisis de la
poblacin objetivo, la produccin del programa y su capacidad de gestin (Sann,
1999). El ltimo eslabn de la evaluacin expost lo constituye la evaluacin de
impacto.
Actualmente, el Sistema Nacional de Inversin Pblica (SNIP) del Per
considera que el ciclo del proyecto de inversin tiene tres etapas: preinversin,
inversin y post-inversin; y tan igual como en el modelo general, se les asocia
diversos tipos de evaluacin. (Para mayor detalle vase el punto 2.2.2.5.1).
2.1.2. La evaluacin y la gestin social

Los programas son la traduccin operacional de las polticas sociales. Las
polticas sociales, o tambin conocidas como polticas pblicas, son decisiones que
se toman en el mbito poltico gubernamental para atender una demanda social, ya
sea de carencia o ya sea de necesidad de desarrollo. En general, la literatura
cientfica (Arce, 2004) resalta algunas caractersticas propias de una poltica
pblica ptima, o propias de un buen gobierno: a) que sean representativas, b)
que tengan demanda social prioritaria, c) que mejoren la eficiencia de procesos y
gestin, d) que estn integradas con el sistema de polticas, e) que consideren en su
diseo a la evaluacin y f) que haya control en los resultados.
Esta visin es coherente con las tendencias tericas recientes sobre la
Gerencia Social y la Administracin Pblica, las cuales enfatizan en las ventajas de
promover una gestin orientada a resultados, en contraste con una orientacin
39
tradicional que hace hincapi en los procedimientos y los procesos de gestin

(Barzelay, 2001; Caiden, 1998; Cunill & Ospina, 2003; CLAD, 1999; Moctezuma
& Roemer, 1999; Olas de Lima, 2001; Osborne & Gaebler, 1994; Ramio, 2001).
Hoy en da se entiende que las polticas pblicas constituyen los focos
sobre los que se debe fijar la atencin para introducir una mayor racionalidad en el
gasto social a travs de acciones que aseguren su impacto y eficiencia (Waissbluth,
2002; Osborne & Gaebler, 1994). Esta mayor racionalidad plantea dos ejes
estratgicos: la evaluacin y la gestin social. La evaluacin se preocupa del
cunto, de contrastar el logro alcanzado o estimado de los objetivos de una poltica,
programa o proyecto, con las metas propuestas y el costo de su implementacin. La
gestin aborda el cmo, la manera en que se estructuran los diversos componentes
del programa y la dinmica de los actores, funciones y procesos que buscan dar
cuenta de las metas planteadas de produccin e impacto.
En el plano especfico de los programas sociales, se afirma que el proceso
de gestin de los programas sociales comprende las funciones de: Organizacin,
Direccin, Programacin, Ejecucin, Monitoreo y Evaluacin de Impacto, a partir
de las que se construye el acrnimo difundido por las Naciones Unidas (1998)
como ODPEME. Se espera que en cada una estas etapas se realice una actuacin
eficiente, sin embargo, se han documentado algunos problemas que limitan la
gestin eficiente de las polticas sociales en cada una de ellas (CEPAL, 1998). A
continuacin, en la siguiente tabla, se presenta una breve descripcin de cada una
de ellas:
Tabla N 2.3. El proceso de gestin social, caractersticas y problemas asociados (Basado en
CEPAL, 1998).
Gestin
Organizacin
Direccin
Caractersticas
Estructura e integra los recursos y

rganos responsables de la gestin,
estableciendo
sus
relaciones
y
atribuciones.
Permite una utilizacin equilibrada de

los recursos.
Relaciona el trabajo (incluyendo sus

instrumentos y localizacin) con el
personal que lo debe ejecutar.
Conforma la estructura social y

material para el proceso de produccin
y distribucin. El mbito de esta
funcin depende del grado de
exhaustividad de la formulacin.
Mientras ms detallada sea la
formulacin, ms adelantada estar la
organizacin de las actividades.
Introduce las modificaciones necesarias

a la organizacin original, a la luz de la
informacin emanada de la operacin
del programa, cualquiera sea el
momento y la periodicidad de dichos
cambios.
Orienta el comportamiento de los
Problemas asociados
Los programas y proyectos no
siempre estn bien definidos, no
responden a enunciados explcitos de
polticas, tienen horizontes de
realizacin irreales, carecen de una
orientacin hacia el logro de
resultados y de criterios para la
medicin de la eficiencia y del
impacto, con escasa focalizacin y la
persistencia de subsidios encubiertos
de los sectores pobres a los de
mayores ingresos.
Competencias del sector social
fragmentadas
entre
diversas
dependencias
u
organismos,
programas e instituciones, con
capacidad insuficiente para dar
solucin integral a los problemas,
exigiendo una continua coordinacin
y colaboracin.
Escasas
experiencias
de
descentralizacin.
Tcnicas de gestin y formas de
organizacin del trabajo inadecuadas
e inconsistentes con la naturaleza de
las tareas de los programas y
proyectos.
Excesiva burocracia, con resistencias
40
Gestin
Caractersticas
operadores del proyecto a la
consecucin de sus objetivos.
Comprende la conduccin, supervisin,

sincronizacin
de
las
acciones
individuales y coordinacin de las
actividades que estn definidas para ser
desarrolladas por las distintas unidades
de la estructura.
Se expresa mediante un particular

estilo de liderazgo. Conduce personas y
equipos (socializacin de valores,
comunicacin
interpersonal
y
participacin).
Se encarga de la conduccin estratgica

del programa, de la prevencin y de la
resolucin de problemas y conflictos
(por reas, grupales y personales).
Realiza un balance de las amenazas,

oportunidades, fortalezas y debilidades.
Gua, supervisa y coordina las

actividades
definidas
en
la
organizacin
bajo
criterios
de
desempeo (eficiencia interna e
impacto externo).
Establece la secuencia cronolgica de

las actividades a realizar, optimizando
los recursos asignados e identificando a
los responsables y las interacciones
requeridas para su ejecucin.
Asigna los recursos presupuestarios y

realiza la gestin financiera. Se basa en
la organizacin y formulacin.
La ejecucin corresponde al desarrollo

de las actividades enmarcadas en los
procesos (sustantivos y de apoyo) para
alcanzar los objetivos de producto e
impacto buscados por el programa.
Programacin
Ejecucin
Monitora
Evaluacin
impacto
de
Es la observacin concomitante de la
ejecucin. Compara lo realizado con lo
programado,
con
estndares
(promedios u ptimos) y con otros
programas.
La informacin resultante de la
monitora se canaliza a travs de
distintos circuitos de informacin
(ejecucin, programacin, direccin y
organizacin) con el objetivo de
producir acciones correctivas en dichas
funciones y procesos.
Su
implementacin
requiere
indicadores,
periodicidad
de
recoleccin de datos, fuentes de
informacin y su sistematizacin.
Tiene por finalidad determinar la
magnitud de los cambios producidos
Problemas asociados
al cambio y a la innovacin, con
fragmentacin de tareas, numerosas
capas
jerrquicas,
funciones
departamentales
aisladas
e
incomunicacin entre los decisores y
los operadores.
Ausencia de incentivos para el
mejoramiento de la gestin, con
asignaciones presupuestarias a las
instituciones que gestionan los
programas y proyectos que no estn
basadas en el desempeo.
Funcionarios poco motivados, que
perciben
bajos
salarios,
con
insuficiente
actualizacin
y
capacitacin.
La programacin no
acciones contingenciales.
Dificultades en la participacin social

de los grupos prioritarios de la
poltica social, los ms pobres, que
carecen de informacin, influencia y
organizacin, estn dispersos y no
cuentan con mecanismos para el
ejercicio de sus derechos o la
movilizacin de redes sociales para
influenciar las decisiones de la
burocracia.
Ausencia de sistemas de informacin
fiables y precisos para monitorear y
evaluar la implementacin e impacto
de las polticas sociales, con limitado
uso de tecnologas de informacin,
producindose
una
baja
calidad/produccin de los servicios
sociales.
considera
Escasez de expertos en polticas

sociales, con capacidad tcnica para
41
Gestin
Caractersticas
por los programas, tanto buscados
como no buscados.
A la luz de los resultados generados, es

posible realizar acciones correctivas en
los
objetivos
y
procesos
implementados.
Dicha informacin es un insumo para

la funcin de organizacin, la
formulacin y evaluacin ex-ante de
otros programas y las polticas del
sector.
Problemas asociados
el anlisis de programas y proyectos.
Escasez de recursos porque no se la
considera importante.
As, analizar la gestin social, etapa por etapa, y garantizar la disminucin

de los problemas asociados permitira un mejor control de resultados y una mayor
eficiencia funcional. De igual forma, al ser un proceso inserto dentro del sistema de
gestin del programa social, la evaluacin no puede ser pensada como una etapa
desconexa o ajena a ella. En efecto, esta estrecha relacin condiciona una gestin
preocupada por la evaluacin desde su planificacin, durante su ejecucin y
despus de su aplicacin. Este proceso coincide con el ciclo de vida de los
programas y se torna una constante obligatoria.
2.1.3. Los programas sociales en el Per

Desde la dcada del noventa la poltica social peruana se ha orientado a
erradicar la pobreza extrema9. Si bien se alcanzaron importantes avances en este
periodo, la poltica social nunca logr transformarse en un estrategia integrada a
largo plazo que permitiera una asignacin ordenada y eficiente de los recursos
hacia las principales prioridades sociales y tuviera un impacto importante y
sostenible sobre los indicadores sociales (Shack, 2000).
Durante los primeros aos del nuevo siglo, la situacin de los programas
sociales tampoco ha mejorado. A pesar de que se han elaborado diversos planes
que buscan mejorar la gestin de los programas, estos simplemente no se han
materializado. Por el contrario, se han introducido nuevos problemas referidos a la
gestin de los programas como resultado de una creciente burocratizacin o
partidarizacin de los mismos. De esta forma, a la ineficiencia de los programas
se le han sumado nuevos problemas, los cuales se han visto incrementados durante
el proceso de regionalizacin (Du Bois, 2004).
Du Bois (2004), al evaluar la situacin de los programas sociales en el
Per, concluye que
estos todava siguen constituyendo una serie de esfuerzos
inconexos que, en la mayora de los casos, no cumplen con los
objetivos para los cuales fueron creados. Ms an, tampoco han
tenido un impacto significativo sobre los niveles de ingreso de la
9
El gasto social per cpita alcanz un crecimiento real de casi 100% entre 1991 y el 2000 (pas de
US$ 90 a US$ 180). Segn CEPAL (2003) el Per fue el tercer pas con mayor crecimiento real del
gasto social per cpita entre 18 pases de Amrica Latina y el Cribe, slo por detrs de Paraguay y
Colombia.
42
poblacin que es beneficiaria de estos programas, con excepcin de

los programas de inversin social y productiva en zonas rurales,
por lo que en realidad stos simplemente no constituyen una
inversin en capital humano. El ejemplo ms dramtico es el caso
de los programas de alimentacin y nutricin. As, mientras entre
1997 y el ao 2000, el Estado invirti aproximadamente US$ 1000
millones en este tipo de programas, la tasa de desnutricin se
mantuvo estable (P.1).
En este escenario de escasa efectividad del gasto en programas sociales, la
inaccin gubernamental del ltimo lustro ha sido la norma. Al respecto, slo se
pueden resaltar dos aspectos positivos:
El reordenamiento a nivel ministerial de los programas de carcter
alimentario y nutricional (aunque sin reformular su gestin).
La creacin de los programas de empleo temporal (aunque con
limitaciones de focalizacin, es decir, no llegar a las personas
efectivamente desempleadas sin otras posibilidades de generar
ingresos).
A pesar de lo dicho, la focalizacin de los programas sociales durante la
dcada pasada mostr severas deficiencias, al no alcanzar efectivamente a los ms
pobres, permitiendo que una gran cantidad de no pobres se vea beneficiada, con un
nivel de filtracin (% de beneficiarios no pobres que accedieron a los programas)
que superaba el 60% para los aos 1996 y 1998 (Chacaltana, 2001). Esta
ineficiencia era mayor en los programas de alimentacin y nutricin (Vsquez et
al, 2000).
Adems, la intervencin del Estado mediante los programas de ayuda
alimentaria gener conductas clientelistas por parte de los grupos de inters ya
formados (clubes de madres, comedores populares), los cuales se vieron
acrecentados a partir de 1998, cuando el PRONAA fue utilizado con fines
proselitistas electoreros (Saavedra y Pasco-Font, 2001).
Otros problemas de gestin importantes fueron la superposicin de
programas (generando duplicidad de gastos10) y la casi absoluta ausencia del
control sobre el impacto de los programas sociales, hecho que impeda la
reformulacin o fortalecimiento, segn el caso (Du Bois, 2004).
A partir del nuevo milenio, el gobierno ha optado por iniciar el proceso de
descentralizacin de los principales programas sociales, sin embargo, lo ha hecho
sin antes reformularlos, reestructurarlos o fusionarlos. Esta situacin ha hecho que
los problemas de gestin se mantengan.
Con fines descriptivos, a continuacin se desarrolla una cronologa breve y
comentada, pero no exhaustiva, de la evolucin de los principales programas
sociales en el Per, durante las ltimas dos dcadas.
10
Por ejemplo, las polticas de nutricin y alimentacin fueron implementadas por el Ministerio de
Agricultura, del Ministerio de Educacin, Ministerio de Pesquera, Ministerio de Salud, Ministerio
de Promocin de la Mujer y Desarrollo Humano, del PRES a travs de FONCODES y del
Ministerio de Economa y Finanzas a travs de los municipios. Vsquez y Mendizbal (2002)
sealan que la duplicidad de gasto en el ao 2000 ascendi a US$ 100 millones, un 40.6% del gasto
total de programas alimentarios y 11.5% del total de programas de lucha contra la pobreza.
43
Tabla N 2.4. Principales acontecimientos referidos a las polticas de gestin de los programas
sociales en el Per: 1990-2002. (Fuente: Elaboracin propia).
Ao
1990
Programa o
lineamiento
Programa
de
Emergencia
Social
(PES)
1991
Fondo
Compensacin
Desarrollo
(FONCODES)
de
y
Social
1992
Programa Nacional de
Asistencia Alimentaria
(PRONAA)
1992
Ministerio
de
la
Presidencia (PRES)
Objetivo
Comentarios
Proteger a la poblacin ms
vulnerable. Se centr en
temas alimentarios y de salud.
El PES fracas por importantes

restricciones fiscales y por el reducido
equipo de trabajo. Este fue reemplazado
por el Sistema Nacional de Desarrollo y
Compensacin Social (SNDCS).
Ha funcionado muy bien, logrando
cobertura y generando participacin
activa de la poblacin (Alczar y
Wachtenheim, 2001; Francke y Espino,
2001).
Reemplazar al SNDCS y
constituir un fondo de
inversin basada en la
demanda,
para
financiar
proyectos de infraestructura,
apoyo social y desarrollo
productivo.
Otorgar apoyo alimentario en
zonas rurales y urbano
marginales.
Centralizar el manejo de
distintos
programas
destinados a atender a la
poblacin ms pobre.
Se centraliz la gestin de los
programas
como
FONCODES,
PRONAA,
FONAVI, INFES, entre otros.
1993
1994
1994
1994
Se
elaboraron
los
Lineamientos de la
Poltica
Social,
centrndose
en
la
focalizacin
y
la
participacin activa de
la poblacin.
Programa
de
Focalizacin del gasto
social bsico.
Intentar
corregir
desarticulacin
superposicin
de
programas.
Programa de Salud
Bsica para Todos
Asegurar la provisin de un
conjunto de intervenciones
bsicas
en
los
establecimientos de primer
nivel de atencin.
Programa
de
Administracin
Compartida (PAC) y
los Comits Locales de
Administracin
Compartida (CLAS).
la
y
los
Mejorar la calidad del gasto

social en cuatro sectores:
nutricin, salud, educacin y
justicia.
Permiti al MINSA fomentar

las redes de administracin y
gestin de los centros y
puestos de salud bsicos.
Se ha mostrado ineficaz, por su escasa

focalizacin y gestin con las bases
(Vsquez, et al, 2000) as como la
generacin de clientelismo (Saavedra y
Pasco-Font, 2001).
Aunque esta integracin permiti mayor
discrecionalidad
gubernamental,
la
desarticulacin y superposicin de los
programas sociales nunca fueron
superadas (Vsquez et al, 2000).
Adems, la Comisin Intersectorial de
Asuntos Sociales (CIAS) del PRES
nunca logr funcionar de manera
adecuada (Du Bois, 2004). Lo mismo
ocurri a nivel regional con las CTAR.
Sirvieron de lineamientos de accin
durante toda la dcada.
Fue un paso importante, dando origen a

estrategias certeras como el Mapa de
Pobreza Distrital, beneficiando al rea
rural (Francke y Espino, 2000;
Chacaltana, 2001; Valdivia y Dammert,
2001).
De la misma forma se implant otros
programas destinados a atender aspectos
especficos como la salud maternoinfantil y la planificacin familiar.
La poltica del sector tambin dio
importancia a la infraestructura y
equipamiento bsico. Se aument as la
cobertura en un 100% (Ricse, 2000).
La introduccin del CLAS produjo
mejoras en trminos de calidad y equidad
(Du Bois, 2004).
44
Ao
1994
1996
Programa o
lineamiento
Programa
de
Mejoramiento de la
Calidad
de
la
Educacin
Peruana
(MECEP) en convenio
con el Banco Mundial
Mapa
de
Pobreza
Distrital
1997
Programa
de
Administracin
de
Acuerdos de Gestin
(PAAG)
1999
Programas
Sociales
Protegidos (PSP)
2001
Mesas de Concertacin
para la Lucha contra la
Pobreza, la cual se
materializ en la Carta
de Poltica Social.
2001
Programa a Trabajar
Rural (FONCODES).
2002
Programa a Trabajar
Urbano (Ministerio de
Trabajo y Promocin
Social).
Bases
para
la
Estrategia
de
Superacin
de
la
Pobreza
y
Oportunidades
Econmicas para los
Pobres
(Elaborado por CIAS)
Objetivo
Comentarios
Hacer frente a los problemas

de calidad e la enseanza,
modernizar la administracin
educativa y sustituir y
rehabilitar la infraestructura
educativa.
Se estableci como un
instrumento de focalizacin
geogrfica para la inversin
en infraestructura.
Tiene como objetivo que los
propios hospitales realicen
una mejor asignacin de sus
recursos,
mejorando
la
calidad de los servicios
debido a la mayor autonoma
recibida.
Lista de programas que no
podan estar sujetos a recortes
presupuestarios y evitar que
su
ejecucin
se
vea
perjudicada.
Sobre ello, el MINEDU desarroll varios

programas, la mayora ineficientes, salvo
el programa de universalizacin de la
educacin primaria.
Convertirse en un medio de
concertacin en torno de la
forma ms idnea de luchar
contra la pobreza en cada
regin, provincia y distrito
del pas.
Creacin
de
trabajos
orientados a la rehabilitacin,
mantenimiento y puesta en
valor de la infraestructura
social de las comunidades.
Establecer una estrategia

integral que defina un nuevo
tipo de gestin social,
sustentada en la transparencia
y la participacin ciudadana,
va descentralizacin.
PRES
y
FONCODES
efectivamente esta herramienta.
usaron
Este plan piloto fracas, ya que no se

logr
cambiar
la
estructura
administrativa de los hospitales (Arroyo,
2001).
No se estableci mecanismo alguno que

pudiera asegurar esta proteccin
presupuestaria. As, finalmente, no se
cumpli con los objetivos y muchos
programas se vieron recortadas, en
especial la inversin de carcter social y
productivo (Saavedra y Pasco-Font,
2001).
Acciones realizadas en el periodo de
transicin, como un medio para ordenar
Este programa ha generado 201,643

empleos temporales hasta el 2003. Sin
embargo, Chacaltana (2001) demuestra
que el impacto de programa ha sido
deficiente.
Para lograrlo se requera una profunda

racionalizacin de los programas, as
como la reestructuracin ministerial y la
implementacin de un sistema de
seguimiento y evaluacin de impacto de
la inversin social. Esto gener la
desaparicin del PRES y la creacin del
MIMDES (FONCODES y PRONAA
pasaron a ser parte del MIMDES), pero
sin mayores cambios en gestin y
evaluacin.
As, tal como se observa en la Tabla 2.4, desde fines de la dcada pasada
existe una tendencia consensual sobre la necesidad de reformular los programas
sociales, sobre todo si se considera la cantidad significativa de gasto sin mayor
impacto en el beneficio de la poblacin (Chacaltana, 2001, Du Bois, 2004). Sin
embargo, este inters por una gestin eficiente y eficaz se ve truncado por el
mismo Estado, quien, lamentablemente, tiene hasta ahora hbitos contrarios a una
administracin moderna. A decir de Du Bois (2004):
45
los programas sociales han sido burocratizados en los ltimos

aos, incrementndose en 126% el gasto en personal y obligaciones
de los programas alimentarios y nutricionales entre el 2001 y el
2003; mientras que, en caso de FONCODES, el aumento del gasto
administrativo entre los mismo aos ha sido de 310%. Sin embargo,
no slo la burocracia est aumentando, sino que los recursos
destinados simplemente no llegan a los hogares beneficiados. En el
caso del Vaso de Leche, casi un 30% de los recursos se pierde entre
los Comits y los hogares (P.144).
Considero que esta situacin mejorara mucho si se incluyesen sistemas de
reforma basada en la administracin moderna y si se utilizasen sistemas continuos
de evaluacin y monitoreo. Tema del que se discutir a continuacin.
2.2. LA EVALUACIN DE PROGRAMAS

Hace cuatro dcadas, el investigador social Donald Campbell sostena que
la sociedad poda reformarse a s misma mediante retroalimentacin proveda por
la experimentacin social. Para Campbell, la evaluacin es un ejercicio
imprescindible para que los polticos y tecncratas decidan sus cursos de accin.
En efecto, existe unanimidad en afirmar que la evaluacin social es una disciplina
que favorece la decisin sobre polticas pblicas, la rendicin de cuentas y el
conocimiento de la ciudadana sobre las acciones de sus gobernantes. Por un lado,
es un efectivo instrumento de aprendizaje para la ciudadana, pues se constituye en
un excelente medio para controlar al gobierno. Pedir cuentas a los gobernantes
requiere conocimiento e informacin y stos se consiguen con procesos
evaluativos que develan ante la opinin pblica y la ciudadana los resultados de
las polticas gubernamentales. Por otro lado, para el gobierno, la evaluacin es un
instrumento til para disear polticas, particularmente aquellas orientadas al
mejoramiento de la condicin de vida de la poblacin, evaluar su gestin, producir
ajustes convenientes y optimizar el aparato institucional (Bovens, Hart & Kuipers,
2005).
Por otro lado, adems de ser un mecanismo instrumental, la evaluacin
representa tambin una cultura de gobierno que no se limita a ser un proceso
meramente tcnico. Aunque es una herramienta prctica para tomar decisiones
gubernamentales y generar control poltico-social por la ciudadana, su utilidad
ms trascendental radica en ser un proceso deliberativo que permite analizar la
accin especfica del Estado, el contexto en el que se desarrolla esta accin, su
relacin con el sistema institucional y poltico vigente, y cuestionar la ideologa
dominante presente en el accionar poltico. De hecho, la aplicacin de programas
evaluativos desde diversos frentes permite cuestionar, de manera til y
constructiva, el marco ideolgico que soporta la accin poltica as como su
adecuacin con el contexto social y poltico (Solarte, 2002).
Aunque la evaluacin puede aplicarse sobre cualquier tipo de organizacin,
su mayor campo de accin es y ser el Estado. Cuando se trata de la accin
gubernamental, la evaluacin integra componentes del sistema poltico, social,
46
econmico, e institucional, convirtindola en una valiosa herramienta de anlisis y

aprendizaje.
Durante las ltimas cuatro dcadas, se han ido conformando diversas
corrientes tericas que, tanto en Europa como en los Estados Unidos, orientan la
evaluacin hacia diversos usos tales como la decisin pblica, el aprendizaje
social, el fomento a la democracia, el mejoramiento de la gestin, entre otros11.
En Amrica Latina, la idea de la evaluacin como una prctica
gubernamental o social an no est posicionada. Durante el perodo de reformas
sociales de carcter populista (en los aos 50 y 60) su aplicacin ha sido mnima.
Hacia los aos 70s se incrementa su uso de manera puntual, orientado
bsicamente hacia la evaluacin de algunos programas de desarrollo y promovida
por organismos multilaterales y ONGs internacionales que desarrollaban
programas asistenciales. En los aos 90s ocurre un debilitamiento del debate sobre
las polticas de desarrollo (Snchez, 2000), al ejecutar procesos de ajuste en la
economa y los gobiernos. Durante este perodo se intent desarrollar sistemas
nacionales de planificacin y evaluacin, algunos con mayor xito y continuidad
que otros en diversos pases como Chile, Colombia (SINERGIA en el gobierno de
Ernesto Samper), Bolivia (SISPLAN), Mxico (modelo de la Secretara de
Desarrollo Social - SEDESOL), con diversas orientaciones, centrados en los
programas sociales, algunos en el desempeo de las agencias estatales y otros en el
presupuesto del gobierno.
La teora y prctica evaluativa posee una particularidad interesante por
cuanto en ella confluyen diversas disciplinas: la ciencia poltica, la ciencia de las
polticas pblicas, la investigacin social, la sociologa, la administracin, entre
otras, hecho que la convierte en un amplio campo de exploracin temtica. Sin
embargo, la bibliografa aborda de manera independiente el tratamiento de la
filosofa poltica, de la gestin pblica, de las polticas pblicas y de la evaluacin
social. En el caso de las polticas pblicas, generalmente la evaluacin se presenta
como un paso ms dentro del ciclo de polticas, con una fuerte orientacin terica
(Bovens, Hart & Kuipers, 2005). Por el contrario, la literatura sobre evaluacin
presenta un fuerte carcter instrumental, desligado del contexto poltico y
filosfico. La gestin pblica por su parte se ocupa de la evaluacin desde una
perspectiva netamente administrativa o de desempeo. A pesar de lo anterior, es
evidente la fuerte relacin terica que existe entre ellas y cmo la teora poltica,
as como lo hace con las polticas pblicas, ofrece implcitamente en algunos casos
y explcitamente en otros, la fundamentacin principal para el desarrollo de la
teora evaluativa12.
11
En efecto, la evolucin de la teora y prctica evaluativa a partir de la post guerra ha ido de la

mano con el avance del Estado de bienestar liberal, en Europa y los Estados Unidos, como
herramienta para el diseo de las reformas sociales. En este perodo, los principales demandantes de
procesos evaluativos fueron los gobiernos, siendo la sociedad el objeto de estudio a reformar. Una
vez que se produce el giro mundial hacia la reduccin del tamao del Estado, la orientacin hacia el
mercado y el auge de las escuelas gerencialistas de la administracin pblica, la evaluacin deja de
concentrarse en la reforma de la sociedad, y se convierte en un mecanismo de reforma del Estado,
buscando aumentar su eficacia.
12
Si bien existen autores como E. House y F. Fisher que trabajan en esta direccin, su intencin es
ms la de demostrar el carcter deliberativo de la evaluacin.
47

Uno de los conceptos claves de esta investigacin es el de evaluacin. Se
trata de un trmino que suscita variados tipos de asociaciones, en su mayora con
connotaciones ms bien negativas, como por ejemplo, examen, fracaso, premio,
corte de financiamiento, comparacin; sin embargo, su connotacin es ms amplia.
El concepto de evaluacin, particularmente en el campo de las
intervenciones pblicas y sociales, ha estado marcado por el debate sobre su
alcance y utilidad (Tilley, 2000). Una primera tendencia define a la evaluacin de
manera instrumental, como un proceso sistemtico que recoge informacin, la
procesa y determina los resultados de una intervencin con el objeto de tomar
decisiones en el mbito poltico o gubernamental, generalmente con un alcance
determinado por los lmites que impone la intervencin evaluada. Una segunda
tendencia plantea a la evaluacin como algo inherente al proceso de construccin
social, que sirve para conocer la realidad, percibir los problemas sociales, construir
colectivamente propuestas y mejorar la sociedad. Esta ltima tendencia le da a la
evaluacin un alcance social ms amplio y deliberativo que traspasa la simple
intervencin e incursiona en el cuestionamiento de la sociedad, el Estado y la
ideologa poltica que lo respalda.
La bibliografa reciente es unnime en afirmar que la evaluacin debe ser
parte integral del diseo y desarrollo de cualquier programa o intervencin que
pretenda aliviar o solucionar problemas asociados a la calidad de vida de las
personas. La OECD u OCDE (1998) indica que es una valoracin tan sistemtica
y objetiva como sea posible de un proyecto, programa o poltica que se est
desarrollando o se ha completado, su diseo, implementacin y resultados. La
evaluacin debera brindar informacin que es creble y til, posibilitando la
incorporacin de las lecciones aprendidas en el proceso de toma de decisiones.
Por su parte, Rossi, Freeman & Lipsey (1999) entienden que la evaluacin es el
uso de procedimientos cientficos para sistemticamente investigar la efectividad
de los programas es un instrumento para estudiar, comprender y ayudar a
mejorar los programas en todos sus aspectos importantes, incluyendo el
diagnstico de los problemas a los que se dirigen, su conceptualizacin y diseo,
su implementacin y administracin, sus resultados y su eficiencia.
Weiss (1998) define la evaluacin como el anlisis sistemtico de la
operacin y/o de los efectos de una poltica o programa, comparndolos con un
grupo de estndares implcitos o explcitos, como medio para contribuir a mejorar
el programa o la poltica. Encontramos aqu una visin sistmica que compara una
intervencin con parmetros determinados para concluir sobre su conveniencia y
producir mejoras. De igual forma, Stufflebeam et al. (1971) definen a la evaluacin
como el proceso de identificar, obtener y proporcionar informacin til para
juzgar alternativas de decisin. (Pg. 40).
Una visin similar ofrece Patton (1982) cuando afirma que la prctica
evaluativa incluye la recoleccin sistemtica de informacin sobre las
actividades, caractersticas y efectos de programas, personal y productos de uso
de determinadas personas para reducir incertidumbre, efectividad y tomar
48
decisiones con respecto a lo que estos programas, personas o productos estn

logrando y afectando (p.15). En el mismo sentido, Rossi & Freeman (1985),
Stufflebeam et al (1987) y Robson (1993), la conciben como la sistemtica
aplicacin de procedimientos de investigacin social en evaluar la
conceptualizacin y el diseo, la implementacin y la utilidad de los programas de
intervencin social.
A partir de estas definiciones resulta claro que la evaluacin es una
herramienta fundamental para iluminar la toma de decisiones en las diferentes
fases de ejecucin de los programas e intervenciones, desde su concepcin y
diseo hasta su posterior valoracin en trminos de logros e impactos. Evaluar
implica establecer un juicio sobre el valor o mrito de algo, una conclusin
valorativa (Stufflebeam & Shinkfield, 1987). Para ello se requiere siempre de la
comparacin con algn estndar o punto de referencia, que ha sido establecido
explcita o implcitamente. Determinar, por ejemplo, que un cierto programa de
inmunizaciones tiene un 82% de cobertura no es una evaluacin, sino solo una
medicin. La evaluacin se realiza cuando se compara este resultado contra el
nivel planeado, digamos 90% y se establece un juicio valorativo con base en esta
comparacin. El establecimiento de significados sustantivos para la interpretacin
a partir de la comparacin entre resultados obtenidos y planeados es, en ocasiones,
un proceso de cierta complejidad que requiere del concurso experto (Mohr, 1995).
Ocurre con cierta frecuencia que ni los mismos ejecutores de programas han
determinado con precisin cules son esos niveles esperados de desempeo del
programa, es entonces tarea de los evaluadores determinar estos valores de manera
ms exacta.
Para garantizar la validez de sus interpretaciones la evaluacin debe regirse
por criterios de rigurosidad cientfica. De esta forma los evaluadores utilizan
teoras, mtodos y tcnicas de las ciencias sociales. En evaluacin, al igual que en
una investigacin cientfica, se recolecta, analiza e interpreta evidencia emprica
para fundamentar las conclusiones. Entre ms slida sea la evidencia y la
inferencia causal, ms credibilidad tendr el juicio evaluativo.
En trminos concretos, en la bibliografa se encuentran mltiples
definiciones sobre la evaluacin de programas sociales (EvPro). A continuacin,
en la siguiente tabla, se mencionan algunas:
Tabla N 2.5. Definiciones sobre evaluacin de programas sociales (Fuente: Elaboracin propia).
Autores
Briones
Ao
1985
Riecken
1972
Perloff, Perloff
Sussana
1976
Definicin
acto de juzgar o apreciar la importancia de un determinado objeto,
situacin o proceso, en relacin con ciertas funciones que deberan
cumplirse o con ciertos criterios o valores, explicitados o no Se trata de
un tipo de investigacin que analiza la estructura, el funcionamiento y los
resultados de un programa con el fin de proporcionar informacin de la cual
se deriven criterios tiles para la toma de decisiones en relacin con su
administracin y desarrollo (p.4).
La evaluacin de programas es la medicin de las consecuencias deseables
o indeseables de una accin psicosocial ejecutada para facilitar la obtencin
de metas perseguidas por el sujeto.
La determinacin de la medida en que un programa logr uno o ms de sus
objetivos, las razones por las cuales no los alcanz y la relacin existente
entre los efectos del programa y una amplia diversidad de variables y
caractersticas del programa.
49
Autores
Spaniol
Ao
1975
Ato,
Quiones,
Romero y Rabadn
1989
FernndezBallesteros
1996
Freeman y Rossi
1993
Rossi, Freeman
Lipsey
Aguilar
Eggs
1999
Ander-
1993
Krger et al.
1998
Markiewicz, A.
2005
Senate
Standing
Comite on Social
Welfare
Lipsey, M
1979a
Abdala, E.
2004
Jacinto, C. & Gallart,

A. M.
1998
Stufflebeam, D.
1971
1996
Definicin
Es un proceso sistemtico y continuo que proporciona informacin acerca
del efecto o impacto de un programa, con el objeto de contribuir a adoptar
una decisin poltica de trascendencia.
La evaluacin de programas es un proceso que consiste en valorar si un
programa consigui o no alcanzar los objetivos para cuya consecucin fue
ideado.
Consiste en la investigacin sistemtica a travs de mtodos cientficos de
los efectos, resultados y objetivos de un programa, con el fin de tomar
decisiones sobre l.
La aplicacin sistemtica de procedimientos de investigacin social para
evaluar la conceptualizacin, diseo, implementacin y utilidad de los
programas de intervencin social.
Es el uso de procedimientos de investigacin social para investigar
sistemticamente la efectividad de programas de intervencin social.
Requiere: a) recoleccin de datos y b) existencia de criterios de valoracin.
una forma de investigacin social aplicada, sistemtica, planificada y
dirigida; encaminada a identificar, obtener y proporcionar de manera vlida
y fiable, datos e informacin suficiente y relevante, en que apoyar un juicio
acerca del mrito y el valor de los diferentes componentes de un programa
(tanto en la fase de diagnstico, programacin o ejecucin), o de un
conjunto de actividades especficas que se realizan, han realizado o
realizarn, con el propsito de producir efectos y resultados concretos;
comprobando la extensin y el grado en que dichos logros se han dado, de
forma tal, que sirva de base o gua para una toma de decisiones racional e
inteligente entre cursos de accin, o para solucionar problemas y promover
el conocimiento y la comprensin de los factores asociados al xito o al
fracaso de sus resultados (Pg. 18).
la evaluacin de una intervencin, un proyecto o un programa supone la
recogida, anlisis e interpretacin sistemticos de la informacin relativa a
su funcionamiento y a sus posibles efectos. Los datos recogidos suelen
utilizarse para decidir cmo mejorar la intervencin y si debe ampliarse o
abandonarse. En esencia, una evaluacin debe responder a las siguientes
preguntas bsicas: cul es la naturaleza y el alcance del problema?; qu
intervenciones pueden incidir sobre el problema?; a qu grupo objetivo
debe dirigirse la intervencin?; afecta realmente la intervencin al grupo
objetivo?; se aplica la intervencin segn lo previsto?; es eficaz la
intervencin? (Pg. 1).
involucra a una gama de beneficiarios quienes representan una variedad
de intereses polticos y organizacionales. Es importante reconocer el valor
de la diversidad como reflejo de las diferentes perspectivas y posiciones
sociales. Sin embargo, esto es un desafio para el evaluador en la gestin de
las diferencias que se generan entre los beneficiarios y el evaluador, y entre
los mismos beneficiarios en relacin al enfoque y resultados de la
evaluacin (Pg. 13). (Traduccin propia)
el proceso de revisin minuciosa y critica de la eficiencia, eficacia y
adecuacin de un programa o grupo de programas (p.5). (Traduccin
propia).
Este es el proceso de determinar la estructura del programa y lgica por la
cual podra ser razonable esperar la obtencin de los resultados buscados
(Pg. 298) (Traduccin propia).
constituye un proceso sistemtico, metdico y neutral que hace posible
en conocimiento de los efectos de un programa, relacionndolos con las
metas propuestas y los recursos movilizados. (Pg. 26)
consiste en el examen riguroso y sistemtico, a partir de criterios
especficos, de los logros obtenidos por una poltica o programa social en
relacin a las metas que se han propuesto y a los efectos esperados en los
grupos sociales beneficiarios (Pg. 17).
Es un proceso que facilita la identificacin, la recoleccin y la
interpretacin de informaciones tiles a los encargados de tomar decisiones
y a los responsables de la ejecucin y gestin de los programas.
50
Autores
Repetto, E.
Ao
1987
DAC
2002
GAO
1998
De Miguel
2000
Levine, H.M.
Garca, J.L.
1975
1996
Stufflebeam, D.L.
1989
Alkin, M C.
1990.
Prez Juste, R.
1992
Northwerst
2002
Definicin
un modo de investigacin en orientacin educativa que se propone
indicar el valor de los programas orientadores de acuerdo con determinados
criterios (Pg. 250).
(evaluacin) Apreciacin sistemtica y objetiva de un proyecto, programa
o poltica en curso o concluido, de su diseo, su puesta en prctica y sus
resultados. El objetivo es determinar la pertinencia y el logro de objetivos,
as como la eficiencia, la eficacia, el impacto y la sostenibilidad para el
desarrollo (Pg. 21).
son los estudios sistemticos individuales conducidos peridicamente o
sobre bases ad hoc para medir cuan bien un programa est trabajando. Estos
son generalmente conducidos por expertos externos al programa, ni dentro
o fuera de la agencias, tambin como por los gerentes del programa (Pg.
3) (Traduccin propia).
Es el conjunto de principios, estrategias y procesos que fundamentan la
evaluacin de toda accin o conjunto de acciones desarrolladas de forma
sistemtica en un determinado contexto con el fin de tomar decisiones
pertinentes que contribuyan a mejorar las estrategias de intervencin social.
El examen de los efectos, resultados y output de un programa.
Proceso de identificacin, recoleccin y tratamiento de datos para obtener
una informacin que justifique una determinada decisin. Debe servir no
slo para analizar un determinado programa, sino tambin para ayudarnos a
comprender el proceso de aprendizaje (Pg. 46).
Es el proceso de identificar, obtener y proporcionar informacin til y
descriptiva acerca del valor y el mrito de las metas, la planificacin, la
realizacin y el impacto de un objeto determinado, con el fin de servir de
gua para la toma de decisiones, solucionar los problemas de
responsabilidad y promover la comprensin de los fenmenos implicados.
Un proceso de determinacin de reas de decisin sobre asuntos de inters
mediante la seleccin de la informacin adecuada y analizada para realizar
un informe con datos tiles para los que toman decisiones.
Proceso sistemtico diseado intencional y tcnicamente, de recogida de
informacin rigurosa valiosa, vlida y fiable- orientado a valorar la calidad
de un programa, como base para la posterior toma de decisiones de mejora
tanto del programa como del personal implicado y, de modo indirecto, del
cuerpo social en el que se encuentra inmerso.
La evaluacin de programas es una herramienta que ayuda al personal a
evaluar objetivamente los efectos del programa a travs de una recoleccin
sistemtica, anlisis y reporte de informacin del programa (Traduccin
propia).
Existen otros conceptos de importantes autores (Tyler, 1942; Beeby, 1977;

Ruthman, 1977; Kaufman y English, 1979; Scriven, 1980; Joint Commite en el
Standards for evaluations of educational programs 1981; Cronbach, 1983;
Alvira, 1985; Stufflebeam et al, 1987; Caride, 1989; Prez Juste, 1991; De la
Orden, 1993; Aguilar y Ander Egg, 1992; Fernndez Ballesteros, 1996; Martnez
Mediano, 1996; De Miguel, 2000), pero todos ellos hacen mencin a algunas
caractersticas comunes:
Se trata de una investigacin y, por tanto, debe estar sometida a
rigor cientfico. Los mtodos, como gua del proceso, pueden
modificarse en el tiempo. Y por ello, es obvio aceptar su
flexibilidad estructural.
El concepto lleva implcito la emisin de un juicio, trmino que
rene en s determinados rasgos proactivos, perfectivos o de mejora,
objetividad, etc. cuyo valor reside en orientar la accin.
51
El significado final del proceso tiene cualidades comprensivas que

deben explicar en gran medida la orientacin de ese juicio. Por
consiguiente, hablamos de modalidades de investigacin cuyos
resultados de estudio no tienen sentido fuera de su situacin.
As, la evaluacin de programas es un proceso permanente y continuo de

indagacin y valoracin de la planificacin, la ejecucin y la finalizacin del
programa social. Su finalidad es generar informacin, conocimiento y aprendizaje
dirigidos a alimentar una toma de decisiones oportuna y pertinente que garantice la
eficiencia, eficacia y calidad de los procesos, los resultados y los impactos de los
programas, todo ello en funcin del mejoramiento de las condiciones de vida de
sus poblaciones beneficiarias. La siguiente tabla resume la definicin sintetizada:
Tabla N 2.6. Definicin sucinta de la evaluacin de programas sociales (Fuente: Elaboracin
propia).
Evaluacin de programas sociales, es un:
Proceso
Permanente
De valoracin
De indagacin
De la gestin del programa
Para generar conocimientos y aprendizajes
Que alimente la toma de decisiones
No es una etapa ni una fase

Durante toda la vida del programa
Investigacin evolutiva y cientfica
Construccin de juicios valorativos y objetivos
Planificacin y ejecucin del programa
No es control ni fiscalizacin
Mejor gestin y mejor resultado
La evaluacin es un proceso permanente que se inicia desde la

identificacin del problema y acompaa toda la vida del programa hasta finalizar
su ejecucin. La evaluacin no es una accin de control y fiscalizacin, sino un
proceso que permite a los distintos actores involucrados aprender y adquirir
experiencias de lo planificado y actuado para tomar decisiones que optimicen la
gestin del programa y garanticen mejores resultados e impactos.
Debe quedar claro que hoy en da ya se ha desterrado la concepcin
tradicional del concepto de evaluacin, por cuanto el paradigma vigente es el de
la Gestin integral orientada a resultados (Barzelay, 2001; Caiden, 1998; Cunill
& Ospina, 2003; CLAD, 1999; Moctezuma & Roemer, 1999; Olas de Lima, 2001;
Osborne & Gaebler, 1994; Ramio, 2001). En la siguiente tabla se compara las
caractersticas de cada modelo de evaluacin.
Tabla N 2.7. Caractersticas comparativas de la evaluacin tradicional y la evaluacin en el marco
de la Gestin Integral orientada a Resultados (Fuente: Elaboracin propia).
Cmo
participa
la
evaluacin
en
los
programas sociales?
Cul es la finalidad
predominante?
Cul es el significado
de la evaluacin?
Cundo se realiza la
evaluacin?
Evaluacin tradicional
No es parte constitutiva
programa.
del
Control y fiscalizacin
Es una fase o etapa del ciclo de los

programas.
Se realiza fundamentalmente al
inicio (evaluacin ex antes) y al
final
del
programa
social
Gestin integral orientada a Resultados

Se consolida progresivamente una cultura
de evaluacin de los programas sociales.
Conocimiento y aprendizaje para la toma
de decisiones y para el mejoramiento de la
gestin y los resultados. Otorgar
transparencia a la poltica social.
Es un proceso permanente de gestin
Integral de Programas Sociales.
En los procesos que acompaan en los
programas social en todo su vida. Se evala
la planificacin, la ejecucin y la
52
Evaluacin tradicional
(evaluacin expost)
Cuales son los aspectos
prioritarios
que
se
evalan?
Qu se evala en la
evaluacin?
Se centra en la evaluacin fsico financiera de los productos de los

programas sociales.
El seguimiento se limita una
evaluacin de los productos.
Se
considera
evaluacin
en
planificacin?
La planificacin y la formulacin
tradicional no preven el desarrollo
de parmetros e indicadores de
evaluacin.
Se prioriza solo la evaluacin
externa, sin considerar procesos de
evaluacin que desarrolla la misma
institucin ejecutora del programa
social.
Se
centra
en
criterios
metodolgicos derivados de la
evaluacin econmica - financiera
de proyectos.
la
la
Cul es el papel de las

evaluaciones externas?
Cul es la concepcin
metodolgica de las
evaluaciones?
Gestin integral orientada a Resultados

finalizacin
del
programa
social
(evaluacin integral
Se centra en resultados e impactos, pero
para ello, se requiere la evaluacin del
proceso
La evaluacin de la ejecucin de los
programas implica el anlisis del desarrollo
de procesos, el cumplimiento de las
actividades y el logro de los resultados
durante el desarrollo del programa.
Los parmetros e indicadores de evaluacin
y monitoreo se construyen a lo largo del
proceso de planificacin del programa
social.
El diseo y puesta en marcha de una
evaluacin continua por parte del equipo de
gestin de programa contribuye y
viabilidad la realizacin de evaluaciones
externas.
Se utilizan distintas herramientas de
evaluacin que tienen caractersticas
especficas y complementarias. Se articulan
mtodos y tcnicas cuantitativas y
cualitativas de acuerdo con los aspectos que
se evalan.
2.2.2. Desarrollo histrico y modelos vigentes

La evaluacin de programas sociales ha tenido un enorme desarrollo en los
ltimos cuarenta aos (Mark, 2001). Se pueden distinguir tres etapas:
Primera etapa:
En la dcada de los aos cincuenta-sesenta se inicia una gran revolucin
iniciada por los trabajados de Cronbach (1963), Scriven (1967) y Stuffebeam
(1966). Es una poca en la que la asignacin presupuestaria en servicios sociales
(sobre todo en Estados Unidos) propicia el desarrollo de estrategias evaluadoras
para dar cuenta de su efectividad13.
Los programas de accin social que se establecieron fueron muy diversos:
programas contra la pobreza, programas de salud, programas compensatorios en
zonas marginales, programas de intervencin educativa a largo plazo14, etc. Como
13
La evaluacin de programas naci en Estados Unidos con el Planning-Programming-BudgetingSystem (PPBS), el cual fue importado a los pases europeos en la dcada de los 70. Estas
instituciones realizaban evaluaciones ex ante y evaluacin ex post. Tuvieron un objetivo
interministerial e introdujeron racionalidad cientfica en el proceso gubernamental (Toulemonde,
2000).
14
En la dcada de los cincuenta y comienzos del sesenta se busc determinar los efectos de la
nueva currcula en las llamadas nuevas ciencias y matemticas; posteriormente a insistencia del
senador Robert Kennedy se instituy la Elementary and Secondary Education Act of 1965 que
oblig realizar evaluaciones de los programas educacionales para estudiantes en desventaja
econmica; este mandato luego se expandi rpidamente a todos los programas sociales federales
(House, 1993).
53
en todos ellos se trataba de estudios de campo, los cientficos sociales tomaron la

iniciativa en disear y llevar a cabo evaluaciones de esos programas a la luz de sus
mtodos tradicionales de investigacin (Anderson & Ball, 1983; McLaughlin,
1976; Kellogg Foundation, 1998).
Sin embargo, estos modelos pronto vieron su insuficiencia y se hizo
imprescindible una labor de consulta interdisciplinar (Cook & Shadish, 1986). Por
eso, se disearon programas de intervencin longitudinales que exigieron la
participacin de especialistas en evaluacin desde los campos de la educacin,
psicologa, sociologa, ciencias polticas, economa y antropologa, con lo que la
evaluacin tom un carcter eclctico, sin seguir un modelo especfico o concreto
(Talmage, 1982). Estas disciplinas se enriquecieron unas a otras, aportando o
reconsiderando distintos mtodos con los que afrontar los diseos de evaluacin.
Segunda etapa:
Una dcada despus, Lee Cronbach y colaboradores (1980) identificaron
tres aspectos centrales en la evaluacin de programas sociales: a) Comprensin por
parte de los analistas polticos que la investigacin de campo mejorara la
planificacin del programa; b) reconocimiento de la poltica y la ciencia como
parte integral en la evaluacin de programas; c) Promocin de la metodologa
experimental con el fin de evitar las crticas de las evaluaciones de intervencin
longitudinales de la etapa anterior. Los dos primeros aspectos reconocidos por
Cronbach (1980) son, en estos momentos, aspectos ampliamente aceptados, en
lneas generales, por los evaluadores de distintas disciplinas. No as el tercero. El
lugar de la metodologa experimental entre las tcnicas de evaluacin est todava
sujeto a disputa entre los evaluadores, sobre todo en los pases en vas de
desarrollo15. En efecto, se puede afirmar que la evaluacin de los programas
sociales en Amrica Latina est todava en su infancia, tanto en su desarrollo
profesional como en la literatura generada.
Tercera etapa: Auge de la metodologa cuasi-experimental:
Campbell y colaboradores desarrollan la metodologa cuasi-experimental y
sus principales diseos los aplican en diversos programas sociales en pases
desarrollados. Desde all, han aparecidos escuelas y teoras sobre la evaluacin de
programas basado en el modelo original de Campbell.
En esta tercera etapa, sin embargo, en vez de una convergencia evaluativa,
se ha generado una divergencia de modelos de evaluacin (Cronbach, 1983; Guba,
1978; Guba & Lincoln, 1985; House, 1980, 1993; Popham, 1975; Ross y
Cronbach, 1976; Rossi & Freeman, 1985; Sandefur, Freeman & Rossi, 1986;
Stufflebeam & Webster, 1980; Stufflebeam & Shinkfield, 1987). A partir de all,
Talmage (1982) divide a los investigadores de la evaluacin de programas en
cuatro grupos segn la lnea metodolgica adoptada: 1) experimentalistas, 2)
eclcticos, 3) descriptivos y 4) analistas costo/beneficio.
En el primer grupo se ubican los investigadores interesados en diseos de
evaluacin robustos y de base experimental, centrados en establecer
15
Segn Perloff, Perloff y Sussna (1976), el trmino program evaluation no apareci en el

Psychological Abstract hasta recin en enero de 1973.
54
relaciones causales entre el programa y los resultados. Entre los mximos

representantes estn Cook & Campbell (1979), Riecken & Boruca (1974)
y Rivlin & Timpane (1975).
El segundo grupo adopta una posicin eclctica, inspirndose en diseos
experimentales que hacen afirmaciones causales posibles, junto con
mtodos que describen el proceso de implementacin del programa as
como de variables contextuales que producen el programa. De esta forma
el diseo de evaluacin buscar una causalidad mltiple o generar
explicaciones plausibles que se aproximan a la realidad. Sus mximos
representantes son Bryk (1978), Cronbach et al (1980) y Weiss & Rein
(1972).
El tercer grupo rechaza los diseos experimentales, por considerarlos un
mtodo inapropiado para comprender los programas sociales, as como
para determinar sus efectos. Para autores como Parlett & Hamilton
(1989), Patton (1980) y Stake (1975a), House (1980), Cols & Rebollo
(1993), Garca Ramos (1991), los datos significativos son slo posible a
travs de descripciones en profundidad del programa en el contexto en
que se desarrollan y a travs del testimonio personal de los que participan
en l.
El cuarto grupo, representado por Haller (1974), Levin (1975) y
Thompson (1980), trae a la evaluacin de programas un enfoque
metodolgico prestado de la economa: el anlisis costo-beneficio.
En la tabla siguiente se una comparacin dimensional de cada modelo

mencionado:
Tabla N 2.8. Modelos metodolgicos en la evaluacin de Programas (Basado en Talmage, 1982).
Dimensiones
Experimentalista
Base filosfica
Base disciplinaria
Positivista
Psicologa
Centro
de
metodologa
Determinar
relaciones causales
la
Metodologa
Diseos
experimentales
y
cuasiexperimen-tales
Variables
Predeterminadas
como input-output
S, es necesario
Ninguno
Grupo de control
Rol
de
los
participantes en la
evaluacin
Rol del evaluador
Independiente
programa
del
Eclcticos
Pragmtico
Psicologa,
sociologa,
ciencia
poltica
Aumentar
la
bsqueda
de
relaciones
causales
con datos de proceso
y contextuales
Diseos
cuasiexperimen-tales,
estudios de casos,
descripciones
Predeterminadas ms
las que surjan
S es posible
De
ninguno
a
interactivo
Cooperativo
Descriptivos
Fenomenolgico
Sociologa,
antropologa
Describir
el
programa
globalmente
y
desde
la
perspectiva de los
participantes
Etnografa,
estudios de casos,
observacin
participante
Las que surjan en
la evaluacin
No es necesario
Vara (puede estar
en funcin de las
observaciones de
campo).
Interactivo
Anlisis
Costo/Beneficio
Lgico-Analtico
Economa
Juzgar el valor
del programa en
trminos
de
costo
y
beneficios
Anlisis costobeneficio
Predeterminadas
S
Ninguno
Independiente
del programa.
55
Dimensiones
Experimentalista
Presiones polticas
(internas-externas).
Objeto del informe
de evaluacin
Controladas en el
diseo o ignoradas
Tomar/no tomar una
decisin
Eclcticos
Descriptivos
Integradas
Interpretar
recomendar
mejoramiento
programa
A describir
y
el
del
Presentar
una
descripcin global
del programa en
curso
Anlisis
Costo/Beneficio
A ignorar
Emitir un juicio
Es importante sealar que aunque a simple vista parece que las distinciones
entre los modelos mencionados son fuertes, en la prctica hay un considerable
solapamiento. En efecto, las diferencias se desvanecen a la hora de llevar a cabo
evaluaciones concretas. Adems, Mines, Gressard & Daniels (1982) realizaron una
revisin de la literatura sobre diversos modelos de evaluacin y llegaron a la
conclusin de que haba poca informacin disponible acerca de los mritos
relativos, limitaciones y utilidad de dichos modelos. Naturalmente, esto no quiere
decir que la efectividad de todas las tcnicas y modelos de evaluacin no pueda ser
demostrada, sino que el proceso de determinar si una tcnica o estrategia particular
sirve para una finalidad dada es probable que lleve implcito algn tipo de juicio y
error. No obstante, cualesquiera que sea el modelo de evaluacin, siempre que se
use ms de uno de forma combinada, los beneficios que se obtengan al evaluar los
programas sern mucho mayores que los riesgos (Bishop & Trembley, 1987).
2.2.3. Importancia social de la evaluacin de programas

Evaluar constituye una forma particular de hacer investigacin, no slo
para conocer y explicar una realidad social, sino tambin aportar al proceso de
toma de decisiones y la optimizacin de la actividad evaluada. Diversas corrientes
tericas asocian a la evaluacin de programas con el inters pblico, el
mejoramiento de la sociedad y su contribucin a la democracia (Scriven, 1967;
Weiss, 1982). Se trata, por tanto, de un proceso que implica:
a) Identificar los efectos provocados por la accin o el conjunto de
acciones por evaluar y los costos en que se haya incurrido.
b) Comparar la medida lograda con otra que sirva de parmetro para la
evaluacin, fundamentalmente, en el caso de los programas sociales,
para constatar si hubo mejoramiento de las condiciones de bienestar de
la poblacin.
c) Explicar los resultados comparativos encontrados, en funcin del diseo
y las condiciones de aplicacin del programa.
d) Emitir un juicio de valor que califique, en conjunto, las actividades
realizadas, los servicios brindados, sus efectos y su repercusin global.
e) Sugerir las modificaciones necesarias para enfrentar los problemas
detectados y aprovechar las fortalezas del programa, de manera que se
contribuya a un mayor logro de sus objetivos.
En trminos generales, se espera que la evaluacin contribuya a un empleo
eficiente de los recursos y a una alta efectividad de su impacto, al ofrecer
informacin para mejorar los procesos de toma de decisiones. En particular,
56
Ospina (2001) seala que son pocos los casos en Amrica Latina (cita como
ejemplos a Chile, Colombia y Costa Rica) en los que se puede hablar de una
evaluacin sistemtica en la administracin pblica, en sus tres o cuatro niveles:
polticas pblicas, programas pblicos, organizaciones pblicas y desempeo de
los empleados pblicos. Considera que la evaluacin de la gestin pblica est
dejando de ser un ejercicio tcnico para transformarse en una herramienta poltica
til para resolver problemas de gobernabilidad y legitimidad, al contribuir al
fortalecimiento de la democracia y la rendicin de cuentas a la sociedad. As, una
mejor gestin del gasto pblico debera contribuir a mejorar la imagen del Estado y
aumentar su legitimidad, liberar recursos que pueden destinarse a satisfacer
necesidades de grupos sociales de menores ingresos y aumentar la equidad. Sin
embargo, an no se reportan casos en Amrica Latina en que estos resultados
deseables se presenten empricamente (Ospina, 2001).
Cohen (2001) resalta la importancia de proceder en la evaluacin de
programas sociales en Amrica Latina considerando los siguientes aspectos
tcnicos: a) La magnitud del gasto social, b) el porcentaje del gasto social
efectivamente redistributivo, c) la eficiencia en la aplicacin del gasto anterior, y
d) su impacto en la solucin del problema. Las razones de esta secuencia son
obvias: no pueden haber resultados relevantes en programas que carecen de
recursos suficientes; no basta con gastar, pues muchos recursos pueden insumirse
en los procesos sin llegar a la poblacin objetivo16; y, suponiendo que stos
lleguen, por lo general se desconoce su efectividad para resolver o aliviar el
problema que dio pie al programa, el grado en que justifican su costo y quines son
sus verdaderos beneficiarios y perjudicados.
En otro aspecto, la evaluacin de programas de desarrollo social es tambin
importante porque facilita el aprendizaje de los ciudadanos interesados en el
programa para afianzar los procesos de democratizacin (Blanet et al, 2000). En
efecto, Monnier (1991) resalta la importancia de la participacin de los actores
sociales participantes y propone realizar evaluaciones con una actitud pluralista
fundamentada en el reconocimiento de la diversidad de sistemas de valores que
coexisten en el seno de la sociedad y que se construyen a partir de los conflictos
sociales emergentes; lo que lleva al evaluador a actuar como conciliador entre las
partes en desacuerdo, en busca de una solucin satisfactoria, no ptima, mediante
un proceso continuo de aprendizaje colectivo17.
16
El autor refiere un trabajo que demostrara que en Chile slo 13% del gasto social total llega al
30% ms pobre de la poblacin; situacin que, segn considera, se repite en otros contextos
nacionales de Amrica Latina. Otro trabajo realizado en seis pases latinoamericanos registra que
90% del gasto pblico social corresponde a gasto corriente.
17
Hengel & Carlson (2002) plantean la existencia de tres diferentes perspectivas para impulsar el
aprendizaje desde las evaluaciones, con diferentes niveles de la complejidad social: A) El enfoque
tradicional de tomadores de decisiones y organismos financieros, interesados exclusivamente en un
aprendizaje que permita la retroalimentacin sobre el propio desempeo de polticas y programas.
B) El nivel que impulsa el aprendizaje organizacional de tomadores de decisiones, donantes, pero
tambin de todo otro actor social relevante, cuya participacin se torne fundamental. La evaluacin
y el aprendizaje incluyen acciones dentro de polticas existentes; el sistema mismo de accin
gubernamental y los principios, normas y valores de la conducta colectiva. C) El impulso al
aprendizaje de la sociedad, cuyo conocimiento, en trminos del Banco Mundial, se entiende como
un bien pblico global, que requiere empezar por hacer un uso pblico de las evaluaciones,
57
En el caso latinoamericano, Sulbrandt (citado en Kliksberg, 1997)

considera que la mayora de las polticas y los programas pblicos de Amrica
Latina no se evalan y esto se debe a que la evaluacin tradicional no ha satisfecho
las expectativas en lo que respecta a los programas sociales, de caractersticas muy
diferentes a los dirigidos a la inversin econmica. Salvo excepciones, la
evaluacin no ha conducido a provocar ningn cambio en el manejo de los
programas ni en el aprendizaje de los ciudadanos.
Otra posicin crtica de la evaluacin en Amrica Latina la plantea Solarte
(2002), quien tambin considera que la evaluacin es imprescindible en la regin
para aumentar la transparencia y responsabilidad de las acciones de gobierno y
buscar polticas exitosas que promuevan la eliminacin de la pobreza y la
inequidad. Considera necesaria la evaluacin, con nfasis en
...la generacin de aprendizaje social e institucional que permita
aprender de las experiencias negativas y positivas que analice la
conveniencia y resultados de las acciones polticas, sociales y
econmicas y que facilite el establecimiento de acuerdos sociales y
polticos sobre lo que se debe emprender (P.1).
Solarte (2002) estima que la evaluacin es til al gobierno para un mejor
diseo de polticas y tambin a los ciudadanos para controlar al gobierno. La
evaluacin se vuelve herramienta de formacin individual y de participacin
social, de aprendizaje social, de rendicin de cuentas y control parlamentario, de
mejoramiento de la gestin pblica, de la poltica del gobierno (imagen pblica,
legitimidad, gobernabilidad), de validacin del sistema social e ideolgico (modelo
de Estado y sociedad, democracia, inters pblico, bien comn, ideologas
dominantes, etctera).
La participacin en los procesos evaluativos tiene ya un fuerte arraigo en
Estados Unidos y en los pases europeos, especialmente los nrdicos, en forma de
paneles, talleres, dilogos, investigacin participativa, investigacin-accin,
comunidades epistemolgicas, modelos multiactor, descentralizacin de
decisiones, dinmicas de empoderamiento, redes, o incluso sociodramas, dibujos o
metforas para facilitar la comunicacin, que hacen hincapi en los procesos de
evaluacin con aprendizaje (Isaac, 1999; DeBono, 1999). En el contexto japons se
ha desarrollado a partir del concepto ba18. Tambin ha sido recientemente
impulsada por organismos multilaterales y agencias del desarrollo como el Banco
Interamericano de Desarrollo (BID, 2000), la Organizacin para la Cooperacin y
el Desarrollo Econmicos (OCDE, 2001) y el Banco Mundial (2001). Este ltimo
ha publicado en uno de sus reportes el trabajo denominado Voices of the poor,
entenderlas, para luego estar en condiciones de criticarlas y, posteriormente, de realizarlas. Su
desarrollo implica un mayor compromiso con los actores sociales. Obviamente, esta posibilidad no
est exenta de riesgos, como algunos casos en que la participacin ha provocado resultados no
deseados, como una mayor inequidad; lo que lleva a la existencia de autores que se oponen
terminantemente a ella, como Cooke & Kothary (2001).
18
El concepto ba describe un lugar de aprendizaje, de carcter fsico, virtual o mental, con el objeto
de relacionar individuos u organizaciones, para facilitar el aprendizaje y desarrollo creativo,
mediante procesos de socializacin, externalizacin, combinacin e internalizacin. Se trata de una
forma de colaboracin que, en Occidente, podra considerarse formacin de capital humano y
capital social.
58
que recupera la participacin, en discusiones en pequeos grupos y entrevistas

grupales e individuales, de 60,000 personas pobres en 60 pases.
En sntesis, la evaluacin de programa es importante porque tiene una
fuerte relacin con los procesos democrticos de relacin Estado-ciudadano, por
cuanto se configura en instrumentos de control, de mejora y de participacin en las
polticas pblicas y en la optimizacin del Estado.
2.2.3.1. El rol de la Evaluacin de Programas en la Poltica Social
La evaluacin de programas se mueve en un campo sociopoltico muy
ambicioso que le da sentido y funcionalidad en diversos mbitos, tales como el
proceso de gobierno, la conformacin de ciudadana y democracia, la validacin de
ideologas y el mejoramiento del Estado, entre otros. A este respecto, Wholey
(1992) plantea que la evaluacin constituye el centro del debate poltico en una
sociedad, revelador de los procesos de accin, de las iniciativas y de las
estructuras de poder (P.201). En efecto, la evaluacin de programas cumple
diversos roles socio-polticos. A continuacin se mencionan algunos de ellos:
La evaluacin como herramienta de formacin ciudadana y participacin social.
Esta perspectiva recoge la idea de que la evaluacin permite al ciudadano
informarse sobre el desempeo del gobierno con respecto a sus intereses
particulares, mejorando su capacidad de opinin, participacin y decisin con
respecto a su futuro (Frechtling, Stevens, Lawrenz & Sharp, 1993).
La evaluacin como herramienta de aprendizaje social.
Se considera que la sociedad puede aprender a partir de un anlisis formal
de las intervenciones sociales y sus resultados, mejorando su capacidad para
generar consenso con respecto a lo que es conveniente o no para sus intereses
colectivos. As, la evaluacin como prctica social, es el instrumento para facilitar
este proceso adquiriendo un rol de mediacin entre los diversos actores.
Adicionalmente, la evaluacin contribuye a que una sociedad se reconozca a s
misma a partir del conocimiento y debate de los intereses y opiniones de los
diferentes grupos que la conforman (Lane, 2000; Furukawa & Hoshino, 2001),
facilitando su empowerment (Fetterman, 2000) y su capacidad para construir su
futuro (Sangra, 2000).
La evaluacin como herramienta de responsabilizacin.
La tendencia actual de los gobiernos es hacia la reduccin del gasto pblico
y la bsqueda de mayor eficiencia en su gestin. El ciudadano, a su vez, ha pasado
a ser considerado como un cliente que adquiere bienes y servicios del Estado. De
lo dicho, profundas reformas al Estado se han emprendido en la mayora de los
pases y se han promovido procesos descentralizadores en bsqueda de mayor
autonoma y equilibrio fiscal, as como la aparicin de nuevas formas de prestacin
de servicios. Este escenario ha generado mayores demandas de
59
responsabilizacin19 y transparencia al interior del gobierno, desde los

subordinados hacia sus superiores y desde el gobernante hacia la ciudadana, con el
objeto de presionar el uso apropiado de los recursos y la consecucin de resultados
en la gestin.
El concepto de responsabilizacin ha evolucionado desde el control de
gestin clsico -a travs de herramientas de fiscalizacin tradicionales- hasta el
control por parte de la ciudadana20. Para este fin, la evaluacin es una herramienta
que apoya efectivamente diversas formas de responsabilizacin, tales como el
control parlamentario, la lgica de resultados en la administracin pblica y el
control social. En el primer caso (el control parlamentario) la evaluacin puede ser
encomendada o desarrollada por el Parlamento para obtener informacin objetiva
que facilite su labor de control del ejecutivo. En el segundo caso, la introduccin
de lgicas de control y evaluacin de resultados en la administracin y la
realizacin de evaluaciones independientes de las entidades ejecutoras proveen
elementos para determinar el xito o fracaso de una gestin en funcin de la
consecucin de cambios objetivos y valorizables en las situaciones sociales que se
desean afectar. En cuanto al control social como mecanismo de responsabilizacin,
se ha mencionado anteriormente que la evaluacin puede servir como instrumento
para mejorar el conocimiento de la comunidad sobre la gestin de sus gobernantes,
permitindole ejercer de manera responsable e informada su derecho a exigir
resultados a los gobernantes elegidos democrticamente.
La evaluacin como herramienta de mejoramiento de la gestin pblica.
Aunque la teora administrativa y la teora poltica incluyen a la evaluacin
como parte de la gestin de las organizaciones y del proceso de las polticas
pblicas, la evaluacin ha adquirido gran relevancia particularmente con la
denominada nueva administracin pblica, en la dcada de 1990. La nueva
administracin pblica presenta una clara orientacin hacia la gestin por
resultados (Waissbluth, 2002; Ospina, 2001), y la calidad de los servicios. Este
enfoque presenta a la evaluacin como una herramienta de gestin de gobierno,
orientada a determinar el funcionamiento del aparato institucional, sus programas
de accin, la consecucin de resultados, medir los niveles de eficiencia y la
generacin de impacto. Este compromiso requiere diversos niveles evaluativos: 1)
el primer nivel macro es la evaluacin del desempeo del gobierno entendido
como el compromiso democrtico con la ciudadana a partir de determinadas
polticas pblicas y sus logros; 2) el nivel dos tiene que ver con el desempeo de
los programas que cruzan varias organizaciones; c) el nivel tres corresponde al
19
El trmino responsabilizacin intenta traducir el concepto ingls de accountability, aunque a

diferencia del original incluye el control social por la ciudadana. CLAD BID EUDEBA.
(2000). La Responsabilizacin en la nueva gestin pblica latinoamericana. Buenos Aires: Ed.
Universitaria de Buenos Aires.
20
La responsabilizacin incluye dar cuenta sobre el cumplimiento de mandatos constitucionales y
legales del gobernante, la cantidad y calidad de los bienes o servicios que el gobierno provee, el
cumplimiento de los objetivos y planes programados, el uso de los fondos pblicos, el
cumplimiento de los objetivos de largo plazo, los niveles de eficiencia, el cumplimiento de
procedimientos, la utilizacin de recursos etc., y debe ser ejercida en los distintos niveles del
gobierno.
60
desempeo de cada organizacin que ejecuta algn aspecto de las polticas

pblicas; y, finalmente, d) el nivel del desempeo de los empleados en una
organizacin (Ospina, 2001).
Cada nivel evaluativo alimenta procesos de mejoramiento institucional o de
poltica general (en el diseo y formulacin de polticas). Adicionalmente, la
evaluacin de aspectos constitutivos de la estructura del Estado, as como el marco
institucional, los mecanismos de regulacin, las polticas de descentralizacin, la
poltica fiscal, entre otros, es promovida como una herramienta no solo para
mejorar el gobierno, sino para orientar los procesos de reforma del Estado21 con el
objeto de mejorar el bienestar de los ciudadanos.
La evaluacin como herramienta poltica de gobierno.
Con relacin al gobierno y su proceso, la evaluacin es una especie de lente
mediante el cual el gobernante percibe los asuntos claves de la problemtica social
y de la opinin ciudadana, con el objeto de incluirlos en su programa o agenda de
gobierno. Le permite valorar constantemente su imagen pblica a partir de la
evaluacin de los resultados de las acciones emprendidas por su gobierno y la
investigacin acerca de la percepcin ciudadana sobre su labor. Asimismo, la
evaluacin le puede ofrecer una visin ms comprensiva de la gobernabilidad con
que cuenta su administracin y de las demandas e intereses de sus competidores
polticos, o de los dems poderes del Estado.
La prctica evaluativa desde diversos mbitos tales como el gobierno, el
congreso, las organizaciones civiles, los partidos polticos etc., an con objetivos y
usos distintos, es una actividad que influye poderosamente en la conformacin y
funcionamiento de las fuerzas polticas en virtud del impacto potencial que tiene la
difusin y aplicacin de sus hallazgos en la imagen pblica de los gobernantes, los
partidos polticos y funcionarios en general. Evaluaciones positivas se convierten
en armas polticas relevantes para los partidos y el gobierno en la medida que sus
resultados sean conocidos por la opinin pblica, contribuyendo a generar
confianza (Chelimsky & Shasish, 1997). Asimismo, el Parlamento puede utilizar
estrategias evaluativas para controlar las actuaciones del gobierno, ampliar su
conocimiento sobre los problemas sociales y la percepcin ciudadana, desarrollar
nueva legislacin, aprobar presupuestos (Valadez & Bamberger, 1994), generar
debates pblicos y reflejar ante la ciudadana su preocupacin por los logros
sociales.
Las evaluaciones debatidas en pblico o en foros acadmicos pueden tener
marcada incidencia en la validacin de las acciones gubernamentales,
contribuyendo a la conformacin de nuevas iniciativas partidistas de rechazo o
apoyo a la gestin pblica. El evaluador, por lo tanto, es un referente fctico en
el debate poltico (Meny & Thoening, 1992) y su legitimidad depender de las
caractersticas de los clientes de la evaluacin.
21
Esta ltima visin es impulsada fuertemente por la corriente neoinstitucional, aunque autores
como Campbell trabajaron desde los aos 60s el concepto de la evaluacin como elemento para la
reforma social.
61
La evaluacin como herramienta de validacin del sistema social e ideolgico.

Una perspectiva mucho ms formativa, desde el punto de vista de la ciencia
poltica y la democracia, es la evaluacin como herramienta de validacin del
sistema social y poltico, que contribuye a la construccin de conocimiento sobre
su funcionamiento y la correlacin con las teoras polticas y sociales que lo
soportan bajo un modelo de Estado o de sociedad. Efectivamente, la investigacin
evaluativa provee evidencia emprica que puede facilitar la construccin de
visiones ms realistas en un sistema democrtico. Este punto de vista de
conocimiento y de investigacin, generalmente relegada a los acadmicos, acta en
diversos niveles y se construye a partir de la conjuncin de cada uno de los
ejercicios evaluativos que se realizan (Fisher, 1997).
La evaluacin de la poltica concierne aqu con las concepciones sobre el
alcance del gobierno (nivel de intervencin), las estrategias que se utilizan para
ejercer las funciones, las condiciones polticas vigentes, la problemtica social que
se privilegia y su conexin con postulados polticos que el gobierno representa, la
forma cmo se realizan las distribuciones en trminos de equidad o de enfoque
hacia determinada poblacin, la relacin entre gobierno y mercado y el rol de cada
uno en el mejoramiento social, las caractersticas polticas y su relacin con las
polticas pblicas desarrolladas, la conformacin de la estructura social, elites y
grupos de opinin y la forma en que la accin pblica incide en su conformacin o
modificacin, el anlisis de la estructura institucional del Estado y la influencia de
las polticas en su ajuste o cambio22.
2.2.4. La evaluacin de programas sociales en el Per

En nuestro pas, durante las ltimas dcadas del siglo XX, ms que
evaluaciones de las polticas y programas sociales implementados y seguimientos
de avance de metas, se han encontrado mecanismos de control jurdico y financiero
del gasto (Ej. actividades de Contralora). Peor an, cuando se han registrado
recortes presupuestales, las primeras actividades recortadas han sido las de
evaluacin, siempre consideradas menos tiles.
Esta situacin se ha visto reforzada por la actitud de las organizaciones
sociales nacionales quienes han considerado a la evaluacin una forma de
desviar sus recursos financieros y humanos en actividades no sustantivas. A esto
se suma el rechazo que tradicionalmente han generado las evaluaciones
provenientes de las fundaciones y organismos que aportan su financiamiento, lo
que provoca que se las conciba ms como un control externo indeseado que
como un proceso propio que puede ayudar al aprendizaje de los participantes y de
la comunidad en su conjunto. Todas estas razones han contribuido para que, hasta
fechas muy recientes, se preocupen muy poco en capacitarse en temas de
22
Frank Fisher (1997) plantea la necesidad de cuatro componentes evaluativos para las polticas
pblicas, desde una ptica de argumentacin poltica: evaluacin de logros de la poltica, validacin
de la pertinencia de la poltica con respecto a la situacin problema, el anlisis de la contribucin de
la poltica a la construccin de valor en la sociedad, y la evaluacin ideolgica. Esta ltima
corresponde al anlisis del sistema de valores e ideologas que soportan la poltica.
62
evaluacin y, en todo caso, prefirieran las evaluaciones cualitativas, que si bien

permiten profundizar en casos concretos, no ofrecen una visin agregada de
conjunto, ni miden el impacto con precisin.
En el mbito universitario la situacin tampoco es ptima, pues se observa
una enorme carencia de material didctico propio y de cursos especializados en la
materia. Debido a que la mayora de libros y revistas que exponen mtodos de
evaluacin presentan experiencias de aplicacin rigurosos provienen de Estados
Unidos y de Europa o Canad, resulta imprescindible y urgente desarrollar
materiales bibliogrficos adaptados que contribuyan a un proceso de aprendizaje
que, a su vez, incremente la eficacia de las evaluaciones de programas, la
transparencia en el uso de los recursos y la participacin ciudadana en los procesos
de elaboracin de polticas pblicas.
Noche (1982) identificaba, en Francia, tres tipos fundamentales de
problemas ligados al atraso relativo en torno de una cultura de la evaluacin en su
pas y que pueden considerarse vlidos para la realidad peruana: los sociopolticos,
los administrativos y los metodolgicos:
Los sociopolticos se consideran ms importantes y, al mismo tiempo,
ms difciles de cambiar porque estn enraizados en las culturas y
tradiciones de los pueblos y sus gobiernos. La tradicin presidencialista
y dictatorial ha propiciado en el Per una suerte de resignacin
ciudadana frente a las inapelables decisiones del poder ejecutivo.
Los obstculos administrativos incluyen el diseo de planes, programas
y presupuestos con objetivos muy vagos y ausencia de metas
cuantificadas que faciliten su evaluacin; una organizacin de trabajo
que no define con claridad qu entidad administrativa se encargar de
realizar la evaluacin integral de los programas pblicos; la falta de
recursos destinada a esta actividad poco legitimada por su discutida
aportacin al bienestar social; el rechazo a engorrosos controles que
distraen de la actividad sustantiva; etc. Todas estas razones estn
presentes en el contexto peruano, donde la actividad controladora se ha
enfocado ms a la realizacin de auditorias financieras para evitar
malos manejos de fondos y al cumplimiento de la legalidad en los
procedimientos de aplicacin de recursos, que a la medicin de la
eficacia o la repercusin de las acciones realizadas.
Los problemas metodolgicos tampoco pueden soslayarse. La mayora
de tcnicas empleadas en evaluacin (anlisis costo-eficacia, costobeneficio, mtodos multi-criterios, encuestas, paneles, estudios de caso,
historias de vida, etc.) enfrentan serios cuestionamientos que
disminuyen su credibilidad. Si bien ninguna tcnica es perfecta, una
buena combinacin de las mismas, con aportacin de las ms diversas
disciplinas como la sociologa, la poltica, las matemticas, la
informtica, etc., puede disminuir considerablemente los problemas no
resueltos, y contribuir a desarrollar un proceso de aprendizaje a partir
de la experiencia realizada.
En el mbito gubernamental agregara, a los problemas enunciados por
Nioche (1982), otro de naturaleza ms psicolgica, vinculado al conjunto de
63
temores que la evaluacin desata. Anteriormente, cuando se aplicaba la evaluacin

sta responda a un concepto restringido y punitorio (vinculado a la aplicacin de
sanciones, despidos, etc.). As, toda evaluacin se movera en un campo minado de
intereses en el que, para los evaluados, se pone en juego el mantenimiento de su
empleo, su nivel de ingreso, reconocimientos, prestigio, status, autoestima, etc. Por
eso, muchos candidatos a ser evaluados se oponen a implantar sistemas de
evaluacin como un mecanismo de defensa frente al riesgo, y lo aplican casi en
forma automtica, pero en caso de ponerse en prctica la evaluacin, plantean
mecanismos de evasin, de justificacin o de cumplimiento meramente formal de
la meta, sin comprometerse realmente con el impacto de su actuacin. Entonces,
resulta imprescindible avanzar hacia una concepcin ms positiva de la evaluacin,
entendida como un proceso de aprendizaje individual y social a partir de los
aciertos y los errores, de la deteccin de necesidades de capacitacin y desarrollo,
de la premiacin de esfuerzos, etc., que slo por excepcin tenga que aplicar
medidas represivas.
En el caso particular de la administracin pblica nacional, lo anterior se
combina con obstculos de ndole cultural y tradicional: histricamente, los
equipos de trabajo se han conformado ms por relaciones de camaradera y lealtad
que por selecciones basadas en los conocimientos, habilidades y actitudes de los
candidatos a integrarlos. Esto ha provocado que quien ocupaba el puesto de nivel
superior tendiera ms a proteger a su equipo que a evaluarlo tcnica y
objetivamente.
Por otro lado, se afirma que la calidad de los servicios que brinda el Estado
en el campo social a las personas de menores ingresos es en promedio deficiente
debido a que se asigna muy pocos recursos para el gasto social. Aunque esto es una
gran verdad, lo cierto es que otros pases logran mejores resultados con recursos
igualmente magros para el sector o con problemas de pobreza (Bolivia, por
ejemplo). Evidentemente, el Per debiera aumentar en lo posible los recursos que
se destinan al sector, pero el problema de gestin y mejora de la calidad resulta
crtico para que tales recursos rindan el fruto debido. Y, para ello, se considera la
necesidad del fortalecimiento de los sistemas de medicin y difusin de resultados
e impactos.
2.2.4.1. Aspectos diagnsticos de la situacin actual
A pesar que desde la dcada de 1990 se hizo explcita en la gestin pblica
la importancia de los sistemas de monitoreo y evaluacin de proyectos sociales,
estos son an limitados y en muchos casos deficientes (opo & Robles, 2004). A
modo de ejemplo, de un total de 20 proyectos, que implicaban un monto de US$
700 millones en el ao 2000, apenas la mitad tena cierto avance en este rubro.
Increblemente, slo 3 de los veinte proyectos analizados que slo implicaban US$
17 millones de los US$ 700 millones, contaban con manuales para sus sistemas de
evaluacin y monitoreo (Apoyo, 2000)23.
23
Si bien 9 de los 20 proyectos de la muestra de proyectos analizados por Apoyo (2000) realizaron
alguna evaluacin intermedia o ex-post, sta habra sido de cobertura limitada, o slo de tipo
64
La escasa y deficiente evaluacin de impacto de los programas sociales en

el Per plantea la necesidad urgente de establecer, a la brevedad posible, requisitos
legales referidos a los sistemas de monitoreo y evaluacin y obtener compromisos
sostenibles para su puesta en vigencia efectiva. El Per no puede seguir gastando
dinero en programas sociales sin que la sociedad en su conjunto cuente con
mecanismos para saber cul es el efecto del dinero invertido. Ni el sistema poltico
ni la sociedad muestran indicios de aprender sobre estos temas, identificando mejor
qu funciona y qu no. La discusin permanece relegada a un grupo de tcnicos,
cuyo impacto en las decisiones de poltica es limitado.
El Per ya tiene una proporcin bastante considerable de su presupuesto
asignado al rea social y no tiene los mecanismos institucionales para saber si lo
que gasta sirve de algo o no, qu parte sirve y cul no, y por qu sirvi y por qu
no (Mostajo, 2002). Las decisiones de poltica se toman con informacin
incompleta y sin suficiente anlisis, lo que favorece que los actores polticos tomen
posiciones sobre la base de prejuicios e ideologas. Los programas sociales tienen,
en el Per como en cualquier otro pas, un gran nivel de inercia y son difciles de
gerenciar. Lograr implantar acciones que sean de verdad en ayuda efectiva para
mejorar la calidad de vida de los peruanos, de una manera sostenible, es difcil.
En trminos presupuestarios, no hay evaluacin de resultados ni de calidad.
Tampoco hay polticas financieras. En general, los estudios revelan que las
evaluaciones del presupuesto ex post son desfasadas, solamente de carcter
procedimental que focalizan en auditoras e informes, y poco preventiva. Adems,
se financian actividades y proyectos de baja calidad; se miden y evalan procesos,
procedimientos y actividades en lugar de resultados y, existe una carencia de
procesos de rendicin de resultados y corresponsabilidad entre niveles y entre
unidades pblicas. Todo ello hace que exista inadecuada informacin estratgica
para la toma de decisiones (Mostajo, 2002).
Por todo ello, los autores nacionales recomiendan que la evaluacin
independiente de los programas y proyectos sociales debiera ser obligatoria, as
como la publicacin de los resultados, alimentando el proceso de asignacin
cualitativo, o slo de una parte del proyecto. Asimismo, en pocas oportunidades se habran
realizado evaluaciones de impacto y sostenibilidad, al punto que en ninguno de los programas
existe una lnea de base y slo tres, que representan cerca del 19% de la muestra en trminos de los
desembolsos efectuados en el 2000, utilizan grupos de control o comparacin. Por otro lado, en los
cuatro estudios de caso analizados por Apoyo (2000), que incluyen el Programa de Capacitacin
Laboral Juvenil PROJoven, el Proyecto de Salud y Nutricin Bsica (PSNB), el Programa
Nacional de Wawa Wasi (PNWW), y el Programa de Mejoramiento de la Calidad de la Educacin
Primaria (MECEP), se encuentra que el origen de los sistemas de monitoreo y evaluacin est en
los convenios firmados con los organismos internacionales. En segundo lugar, que no existe una
marcada cultura de monitoreo y evaluacin en las autoridades polticas. Se constata tambin que
slo en el caso de PROJoven hubo inters por llevar adelante una evaluacin de resultados por parte
de la alta direccin cuando inici sus operaciones; en el PSNB y el MECEP la alta direccin no
manifest decidido inters pero tampoco obstruy; y en PNWW el inters de la alta direccin se dio
recientemente. En tercer lugar, que los organismos financieros cumplen un doble rol al exigir
evaluaciones, vinculadas al desembolso o la operacin del proyecto, y al brindar apoyo tcnico y
flexibilidad para la contratacin de consultores. Por ltimo, que los proyectos de mayor
envergadura, como el MECEP, tienen un menor desarrollo de sistemas de monitoreo y evaluacin
en comparacin a los proyectos de menor envergadura, como PROJoven y el PSNB.
65
presupuestaria. Esa tarea tiene que ser impulsada de manera sostenible por el
Gobierno Central. Los autores recomiendan establecer legalmente la obligatoriedad
de estudios de impacto independientes, anual o bianualmente, como parte del
proceso presupuestario. Los informes deben ser abiertos al pblico y a la prensa, y
servir para la discusin en la Comisin de Presupuesto. Se requiere promover su
difusin activamente, para fortalecer el proceso de toma de decisiones y mejorar el
gasto social. Slo as se empezar un camino ms o menos sostenible para mejorar
la eficacia y eficiencia del gasto e intervencin social, sobre la base de criterios
tcnicos y pragmticos (Ortiz de Zevallos, 2001, 2003).
2.2.4.2. Sistemas de evaluacin en la Administracin Pblica
A partir de la segunda mitad de la dcada pasada, se inicia un movimiento
en la gestin pblica peruana que intentaba introducir y fortalecer los Sistemas de
Monitoreo y Evaluacin (M&E) de los programas pblicos con nfasis en lo social
(Ortiz de Zevallos, 2001). Ello se lleva a cabo desde un conjunto de iniciativas
vinculadas a la ejecucin del gasto y al proceso presupuestario, desarrolladas desde
el Ministerio de Economa y Finanzas, as como con el desarrollo de esquemas de
M&E en diversos proyectos sectoriales, principalmente aquellos que reciben
financiamiento de agencias de cooperacin.
Como parte de estos esfuerzos, entre 1995 y 2000, el Ministerio de
Economa y Finanzas impuls tres iniciativas de M&E en la administracin
pblica: la Oficina de Inversiones (ODI), el Sistema de Informacin
Administrativa y Financiera (SIAF) y el Planeamiento Estratgico Sectorial
Multianual (PESEM).
La Oficina de Inversiones (ODI)
La ODI funciona como una unidad rectora de las inversiones pblicas:
analiza las propuestas de inversiones presentadas por los diferentes sectores y
procura que estas se formulen adecuadamente. A fines de 2000, promulg la
Nueva Ley de Inversiones estipulando que a partir de 2001 todos los proyectos de
inversin deben cumplir con normas que definen cada una de las etapas del ciclo
de proyectos, las cuales deben ser aprobadas para asegurar su viabilidad. La etapa
de preinversin requiere de la elaboracin del perfil del proyecto; la etapa de
inversin consiste en la elaboracin del expediente tcnico y la ejecucin del
proyecto; y la etapa de post-inversin se refiere a la evaluacin ex post de los
proyectos.
Desde el punto de vista del M&E de proyectos en general, la principal
limitacin del nuevo marco legal es que solo abarca las intervenciones pblicas de
carcter eventual. De otro lado, la Ley establece que las unidades ejecutoras de los
proyectos son las encargadas de hacer las evaluaciones ex post, sin embargo, lo
ms probable es que estas se encuentren desactivadas cuando culminen los
proyectos. Resulta necesario que este esquema de M&E permita evaluar la
sostenibilidad de los programas, luego de varios aos de haber finalizado.
Por otro lado, tanto el SIAF como el PESEM no son propiamente esquemas
de M&E. Veamos a continuacin al SIAF.
66
El Sistema de Informacin Administrativa y Financiera (SIAF)

El SIAF es un sistema de ejecucin, ms no de formulacin de los gastos de
las unidades del gobierno central. Fue creado para que funcione como una
herramienta de gestin del Tesoro, con el fin de que este pueda supervisar los
gastos de las unidades ejecutoras. Como sistema de M&E, el SIAF posee
limitaciones porque no permite analizar las causas por las cuales se avanz o no
con lo programado, por lo cual la informacin procesada por el sistema no
retroalimenta a los organismos ejecutores.
Los Planeamientos Estratgicos Sectorial Multianual (PESEM)
El PESEM, por su parte, son un esfuerzo por planificar estratgicamente las
operaciones que desarrollarn los sectores del gobierno central en el futuro. Cada
uno de ellos establece claramente su visin, misin y objetivos. Luego, en caso de
ser aprobados, pasan a integrar el Plan Estratgico Multianual (PEM), el cual se
somete a la aprobacin del Consejo de Ministros para la formulacin del
presupuesto del ao siguiente. Desde el punto de vista del M&E, los PESEM no
funcionan como un sistema de planificacin estratgico, sino ms bien como un
sistema de programacin. Adems, en muchos casos, no existe consistencia entre
los objetivos planteados y los indicadores definidos para el cumplimiento de las
metas.
El SNIP
Actualmente est vigente el Sistema Nacional de Inversin Pblica (SNIP).
Durante muchos aos fue comn que las Entidades Pblicas pasen directamente de
la idea de un Proyecto a la elaboracin del Expediente Tcnico y de ah a la
ejecucin de la obra, obteniendo como resultado (en muchos casos) proyectos que
no resolvan problemas y que no contaban con recursos para su Operacin y
Mantenimiento. De esa manera se usaban ineficientemente los escasos recursos
pblicos destinados a inversin.
Ante esta situacin, y sabiendo que los recursos disponibles para la
inversin pblica son limitados, se cre el Sistema Nacional de Inversin Pblica
(SNIP) por Ley N27293, que establece que las entidades pblicas encargadas de
ejecutar proyectos de inversin pblica deben aplicar una serie de principios,
procesos, metodologas y normas tcnicas que permitan optimizar el uso de los
recursos pblicos.
El SNIP es uno de los sistemas administrativos del Estado, que como el de
Presupuesto, Tesorera, Contadura, Control, Contrataciones y Adquisiciones, etc.,
es de observancia y cumplimiento obligatorio para todos los niveles de gobierno.
El SNIP busca optimizar el uso de los recursos pblicos destinados a la
inversin, con el fin de que su uso tenga un mayor impacto en el desarrollo
econmico y social del pas. La principal herramienta que usa el SNIP es el anlisis
de pre-inversin, el cual permite una evaluacin tcnica, econmica, financiera y
de sostenibilidad de los proyectos previa a su ejecucin.
67
En el SNIP, el proyecto de inversin24 (PIP) atraviesa por el ciclo clsico

de vida del proyecto. Este ciclo de proyecto tiene tres etapas: pre-inversin,
inversin y post-inversin.
Pre-inversin
Perfil
Retroalimentacin
Prefactibilidad
Factibilidad
Declaracin
de viabilidad
Evaluacin
de Impacto
Evaluacin
Expost
Operaciones y
mantenimietno
Post-inversin
Expediente
tcnico
detallado
Ejecucin
Inversin
Figura N 2.2. Ciclo del proyecto de inversin segn el SNIP (Fuente: Elaboracin propia).
Tal como se observa en la Figura 2.2, la evaluacin de impacto est ubicada

en la tercera etapa, en la etapa de post-inversin.
En la primera etapa, los estudios de Pre-inversin permiten reducir
progresivamente la incertidumbre propia del riesgo a invertir. La elaboracin del
Perfil es importante y obligatoria para todos los proyectos, pues sirve para
identificar el problema que ocasiona la necesidad de elaborar un PIP. Los estudios
de pre-factibilidad son el segundo nivel de anlisis de la fase de preinversin y
tiene como objetivo acotar las alternativas identificadas en el nivel de perfil, sobre
la base de un mayor detalle de la informacin. Incluye la seleccin de tecnologas,
localizacin, tamao y momento de inversin, que permitan una mejor definicin
del proyecto y de sus componentes. En esta etapa, la mejor calidad de la
informacin permitir descartar las alternativas menos eficientes. Finalmente, los
estudios de factibilidad tienen por objetivo establecer definitivamente los aspectos
tcnicos fundamentales: la localizacin, el tamao, la tecnologa, el calendario de
ejecucin, puesta en marcha y lanzamiento, organizacin, gestin y anlisis
financieros, considerando un menor rango de variacin en los costos y beneficios
de la alternativa seleccionada en el estudio de prefactibilidad.
Los estudios de Pre-factibilidad y Factibilidad pueden no ser requeridos
dependiendo de las dimensiones y caractersticas del PIP. Una vez concluidos los
estudios de Pre-inversin, se solicita la Declaracin de Viabilidad del PIP. La
24
Segn el SNIP, un proyecto de inversin pblica tiene por finalidad crear, ampliar, mejorar,
modernizar o recuperar la capacidad productora de bienes y servicios.
68
Declaracin de Viabilidad no implica que inmediatamente se asigne al PIP una

partida presupuestal. Declarado la viabilidad se inicia la etapa de la inversin, en
donde se elabora el Expediente Tcnico y luego se ejecuta.
Finalmente, en la fase de post-inversin se inserta la evaluacin ex post.
Esta evaluacin es el estudio por el cual se busca determinar la eficiencia, eficacia
e impacto de las actividades desarrolladas para alcanzar los objetivos del PIP.
La evaluacin ex post es un proceso que analiza los efectos y los impactos
de los proyectos en los beneficiarios. Es decir, mide el grado de cumplimiento de
los objetivos y metas generales del proyecto. La evaluacin ex post es el proceso
que busca determinar los efectos y el impacto del proyecto (esperados e
inesperados) con relacin a las metas definidas a nivel de propsito y resultados,
tomando en consideracin los supuestos sealados en la matriz de marco lgico
planteada en la evaluacin ex ante. Constituye la ltima etapa del anlisis del
proyecto, por un lado analiza si las actividades desarrolladas realmente permitieron
obtener los resultados, y si stos realmente permitieron alcanzar el propsito. Del
mismo modo busca determinar si el proyecto realmente contribuy a resolver el o
los problemas detectados (MEF, 2002).
Esta evaluacin debe ser considerada y prevista desde el momento del
diseo del proyecto e incorporada a la planificacin operativa, definiendo su
frecuencia, duracin, responsables y recursos. Las fuentes sobre las que se basan
un proceso de evaluacin ex post son los informes de monitoreo, el seguimiento de
los indicadores definidos para los niveles de propsito y resultado, e informacin
externa. La evaluacin ex post puede realizarse en dos momentos: inmediatamente
despus de finalizado el proyecto y/o un tiempo despus de terminado el proyecto
(MEF, 2002).
Desde ya, es importante mencionar que la evaluacin ex post tiene dos
etapas:
1. La primera de ellas, desde el punto de vista cuantitativo, trata de medir la
rentabilidad real del proyecto con relacin a su rentabilidad ex ante. Para
esto se realiza una nueva evaluacin costo beneficio o evaluacin de
resultados en la que se reemplazan los valores del anlisis ex ante por
los resultados efectivos del proyecto (costos, beneficios, tasas de inters,
etc.). Esta evaluacin permite por una parte analizar los desvos
existentes entre el anlisis ex ante y los efectivamente ocurridos, as
como la rentabilidad real frente a la rentabilidad estimada. Esta etapa,
desde el punto de vista cualitativo, est constituida por los anlisis donde
se identifican y consolidan las evaluaciones del proyecto, debera
determinar tanto los problemas y virtudes encontrados en el anlisis ex
ante, las caractersticas de la implementacin del proyecto incluyendo los
desvos ocurridos, los efectos positivos y negativos del proyecto y
sobretodo aquellos inesperados.
2. La segunda etapa, la cual se recomienda llevarla a cabo tiempo despus
de concluido el proyecto, esta constituida por una evaluacin de
impacto, la cual se especializa en descubrir los cambios permanentes en
poblacin destinataria y en el ambiente. Igualmente busca determinar si
se ha contribuido a mejorar la calidad de vida de la poblacin objetivo en
69
los aspectos o dimensiones que el proyecto abord. El fin principal de

esta segunda etapa es determinar la efectividad de los resultados
obtenidos para producir el impacto social deseado.
A pesar que existe una normatividad cada vez ms slida en el Per, no
debe olvidarse que los programas sociales nacionales son, intrnsecamente, muy
polticos. En efecto, cada programa social crea beneficiarios que luego presionan
para que dicho programa permanezca inalterado. En ese sentido, los malos diseos
iniciales arrastran cola. En un pas con pocos recursos como el Per, con una gran
proporcin de pobres, darse el lujo de no tener debate poltico y presupuestal ms
informado sobre qu programas sociales deben o no crecer, cmo se deben
mejorar, cules deben dejarse a un lado, etc., es un absurdo. Las decisiones para
mejorar la efectividad de las polticas sociales son, casi siempre, polticamente
difciles. Solo ocurrirn (y se mantendrn) si hay suficiente respaldo poltico a lo
largo del tiempo, lo que requiere que una mayor cantidad de actores est
consciente de las opciones disponibles y de las consecuencias previsibles de cada
opcin. Sin embargo, lo cierto es que los pobres del Per no merecen que se tomen
decisiones respecto de los programas sociales que le deben dar oportunidades de
salida de su pobreza de manera poco informada, sin evaluaciones sistemticas e
independientes (Ortiz de Zevallos, 2003).
2.3. LA EVALUACIN DE IMPACTO

Cuando se habla de evaluacin de programas es comn referirse al tema
con una concepcin global y comprehensiva. En general, la palabra evaluacin
contiene aspectos como la evaluacin ex ante, la supervisin, la evaluacin de los
procesos, la evaluacin de costos-beneficios, la evaluacin de viabilidad y la
evaluacin de impacto. A pesar del uso generalizado del trmino, lo cierto es que
cada uno de estos aspectos son completamente diferentes. A modo de ejemplo:
La supervisin ayuda a evaluar si un programa se est ejecutando de
acuerdo a lo planificado. Un sistema de supervisin de programas
permite una retroalimentacin constante sobre el estado en que se
encuentra la implementacin del programa e identifica los problemas
especficos a medida que surgen.
La evaluacin de los procesos se relaciona con la forma en que
funciona el programa y se centra en los problemas de la entrega de
servicios. En las evaluaciones de costos-beneficios o eficacia en
funcin de los costos se estiman los costos de los programas
(monetarios o no monetarios), en particular su relacin con respecto a
usos alternativos de los mismos recursos y a los beneficios que produce
el programa.
Por ltimo, la evaluacin del impacto tiene el objeto de determinar en
forma ms general si el programa produjo los efectos deseados en las
personas, hogares e instituciones y si esos efectos son atribuibles a la
intervencin del programa (Blomquist, 2003). Las evaluaciones de
impacto tambin permiten examinar consecuencias no previstas en los
beneficiarios, ya sean positivas o negativas (CONPES, 2002).
70
De lo dicho, y en consonancia con el objetivo de la investigacin, el

anlisis posterior se ceir a la evaluacin de impacto, excluyendo la evaluacin ex
ante y la evaluacin de procesos. A continuacin se definir y describirn sus
caractersticas.

La evaluacin de impacto mide los cambios en el bienestar de los
individuos, cambios que pueden ser atribuidos a un programa o a una poltica
especfica. Los objetivos de la evaluacin de impacto son proveer informacin y
ayudar a mejorar la eficacia de los programas. En este sentido, es una herramienta
que utilizan los responsables de la formulacin de polticas y que posibilita que el
pblico pueda exigir cuentas sobre los resultados de los programas (Baker, 2000;
Prennushi, Rubio & Subbarao, 2000, Heckman, LaLonde y Smith, 1998).
Existen otros tipos de evaluacin de programas, como las revisiones
organizacionales y el monitoreo de procesos, pero stos no miden la magnitud de
los efectos ni atribuyen la causalidad que corresponde a tales efectos. La
evaluacin de impacto, en cambio, tiene un nexo ineludible con el anlisis causal
de la intervencin de programas y sus efectos (directos, indirectos, positivos,
negativos o neutros) en la mejora de la calidad de vida (Banco Mundial, 2000). En
la siguiente tabla se presenta las definiciones ms representativas de la evaluacin
de impacto.
Tabla N 2.9. Definiciones sobre evaluacin de impacto (Fuente: Elaboracin propia)
Autores
Mateu, P. & Vilca, J.
Ao
2004
Abdala, E.
2004
Boothroyd, P.
1998
Apocada, P.
1999
Anguera, T.
1989
De Miguel, M.
1997
Definicin
Toda evaluacin de impacto de un programa social tiene como objetivo
determinar cul es la mejora que perciben los individuos que participan de
dicho programa. Esta mejora puede ser medida a travs de variables de inters
como pueden ser ingresos, empleo, reduccin de la desnutricin, etc. Para
ello, se requiere contar con un grupo de beneficiarios y controles que
permitan comparar la situacin de haber participado del programa con la de
no haberlo hecho. (p. 53).
Bajo la denominacin de evaluacin de impacto se entiende el proceso
evaluatorio orientado a medir los resultados de las intervenciones, en
cantidad, calidad y extensin segn las reglas pre-establecidas. La evaluacin
de impacto abarca todos los efectos secundarios a la planeacin y a la
ejecucin: especficos y globales; buscados (segn los objetivos) o no;
positivos, negativos o neutros; directos o indirectos (la puesta en marcha del
programa puede generar por s misma efectos sobre los directamente
involucrados, hasta la sociedad toda). (Pg. 28-29).
la medicin de impacto se orienta a los efectos no esperados y los
beneficios indirectos, o lo que los economistas denominan externalidades.
(Traduccin propia)
la evaluacin de los efectos producidos por un programa o intervencin.
Es decir, aquellos cambios habidos debidos a la citada intervencin. (Pg.
363).
la actividad encaminada a identificar, predecir, interpretar, comunicar y
prevenir el impacto de un programa, proyecto, plan o accin y desemboca en
la valoracin de los efectos finales de una cadena de ellos que se inicia como
una causa, que es precisamente la intervencin o implementacin de un
programa. (Pg. 26).
Este tipo de comparacin se conoce como effectiveness -traducido unas
veces por efectividad y otras por eficacia-, consideramos ms oportuno la
71
Autores
Ao
Baker, J.
2000
GAO
1998
CONPES
2002
Mohr, L.
1995
Ezemenari,
Rudqvist,
Subbarao
K.;
A.;
1999
Sandoval, J.M. &

Richard, M.P
2003
Regalia, F.
1999
Blomquist, J.
2003
Verstraete, L.
1993
Castro, G. & Chves,

P.
1994
Vela, R.
2003
Definicin
utilizacin de desarrollo ya que este concepto define mejor los logros o
resultados a largo plazo (outcomes), especialmente cuando estos resultados
pretenden evaluar cambios en los valores sociales. (Pg. 163).
la evaluacin de impacto tiene el objeto de determinar en forma ms
general si el programa produjo los efectos deseados en las personas, hogares e
instituciones y si estos son atribuibles a la intervencin del programa. Las
evaluaciones de impacto tambin permiten examinar consecuencias no
previstas en los beneficiarios, ya sean positivas o negativas. (Pg. 1).
La evaluacin de impacto es una forma de evaluacin de resultados que
mide el efecto neto de un programa al comparar los resultados del programa
con una estimacin de qu habra pasado en caso de la ausencia del programa.
Esta forma de evaluacin es empleada cuando los factores externos son
considerados como influyentes en los resultados del programa, de esta manera
aislar la contribucin del programa al logro de objetivos. (Pg. 5)
(Traduccin propia)
identifica de manera sistemtica los efectos (positivos o negativos,
esperados o no) sobre los hogares e instituciones, generados por un programa
de desarrollo social. Se distingue de las evaluaciones de procesos, gestin y
resultados, al determinar la causalidad entre la intervencin y sus efectos
observados. As, permite entender la magnitud de los cambios generados por
dicha accin sobre el bienestar y en especial sobre la reduccin de la pobreza.
Concretamente, apuntan a retroalimentar y a mejorar la efectividad de los
programas sociales, comparndolos con intervenciones alternativas. (Pg. 4)
Es un medio para determinar la extensin hasta la cual un conjunto de
actividades afecta el estado de algunos objetivos y examina por qu los
efectos fueron mnimos o grandes (Traduccin propia).
Una evaluacin de impacto mide la extensin hasta la cual un programa ha
causado cambios deseados en el pblico esperado: se refiere al impacto neto
de una intervencin sobre las familias e instituciones, atribuible nicamente a
la intervencin. Por tanto, la evaluacin de impacto consiste en medir los
resultados y el cambio de desarrollo de corto y largo plazo resultantes de una
intervencin. (Pg. 65) (Traduccin propia).
La evaluacin de impacto mide los cambios en el bienestar de los individuos
que pueden ser atribuidos a un programa o a una poltica especfica y sus
objetivos son proveer informacin y ayudar a mejorar su eficacia. En este
sentido, es una herramienta que utilizan los encargados de tomar decisiones
en la formulacin de polticas, y que hacen posible que el pblico pueda
exigir cuentas sobre los resultados de los programas. (Pg. 7)
La evaluacin de impacto es una herramienta indispensable para medir si un
programa est logrando su objetivos, cunto ha cambiado la situacin de los
beneficiarios como resultado del programa y cmo hubiera sido la situacin si
el programa no se hubiese desarrollado. (Traduccin propia).
La evaluacin de impacto es la identificacin sistemtica de los efectos sobre
los individuos, hogares e instituciones atribuidos a un programa o proyecto.
La Evaluacin de Impacto tiene por objeto determinar si un proyecto ha
producido los efectos deseados en las personas, hogares e instituciones y si
estos efectos son atribuibles a la intervencin. Las evaluaciones de impacto,
por lo general, tambin permiten examinar consecuencias no previstas en los
beneficiarios, ya sean positivas o negativas.
La evaluacin de impacto de un proyecto social es un proceso de
identificacin, anlisis y explicacin de los cambios o modificaciones que, en
funcin de un problema social, se hayan producido en las condiciones
sociales de la poblacin-objetivo y en su contexto, como consecuencia de la
aplicacin del proyecto que se evala.
Esta propuesta de evaluacin, aunque mantiene la lgica de comparacin
entre situacin inicial y situacin final, se caracteriza por su intencin en
superar el enfoque unicausal de explicacin de los cambios producidos y
distinguir entre lo que el proyecto se propuso hacer y lo que realmente
ocurri.
72
En aos recientes se ha desarrollado una gran literatura sobre evaluacin de

impacto de programas sociales (Heckman, Lalonde & Smith, 1999; ILPES &
CEPAL, 2003, Baker, 2000) y, en general, es valorada como un proceso amplio y
global, donde al abordaje cuantitativo se le agregan tcnicas cualitativas (Abdala,
2001).
En concordancia con la tabla anterior, la evaluacin de impacto puede
entenderse como parte del proceso de evaluacin donde se identifican, comprenden
y explican cambios en variables y factores producidos por un programa. La
evaluacin de impacto analiza todos los efectos vinculados a la planeacin,
ejecucin y operacin de un proyecto, sean stos especficos o globales. Los
efectos que se analizan pueden estar vinculados a los objetivos del proyecto
(explcitos o primarios) o aquellos que por el slo hecho de la intervencin se
produzcan y no formen parte de los objetivos fijados en la planeacin (implcitos o
secundarios).
La identificacin del efecto o impacto de un programa es un ejercicio
bastante complejo, pues requiere responder la pregunta: qu hubiera pasado si el
proyecto no hubiera existido?25. Es decir, el problema consiste en identificar los
cambios en ciertos indicadores de la poblacin objetivo, como resultado exclusivo
de la intervencin del programa. Lo que se busca en estas evaluaciones no es slo
identificar los cambios, sino que adems es necesario saber si esos cambios pueden
atribuirse a la intervencin o no.
Segn Baker (2000), para asegurar el rigor metodolgico adecuado, la
evaluacin de impacto debe estimar el escenario contrafactual o simulado
alternativo, es decir, lo que habra ocurrido si el programa nunca se hubiera
realizado. En efecto, el escenario contrafactual nos dir qu es lo que realmente
cambia y en qu medida. As, el impacto es la medida de cambio de una variable o
factor en un horizonte de tiempo determinado, comparando un escenario con y sin
intervencin (Dar & Tzannatos, 1999).
Para identificar el estado contrafactual generalmente se usan grupos de
control. La idea es simple: para cada individuo en el grupo de participantes, se trata
de identificar un individuo similar en el grupo de control26. As, el efecto medio de
la participacin en el programa puede ser calculado como la diferencia media en
los resultados obtenidos entre los participantes y controles27 (Dehejia & Wahba,
1999).
25
Una pregunta ms compleja todava es qu hubiera sucedido si el proyecto se hubiera ejecutado

de manera diferente?
26
El trmino grupo control, propiamente utilizado en evaluaciones experimentales, es utilizado
en este documento de manera indistinta con el trmino grupo de comparacin.
27
Existen dos supuestos que son cruciales para este ejercicio: a) el supuesto de Independencia
Condicional (CIA). La idea es que si se controla por caractersticas observables, entonces el
resultado que se obtendra seria el mismo en ambos grupos si el programa no se ejecutara. Esto
permitira atribuir cualquier diferencia entre participantes y controles, a la existencia del programa
(Rosenbaum y Rubin, 1983). Este supuesto requiere disponer de una gran cantidad de informacin
que explique la participacin en el programa y tambin las variables resultado. Lamentablemente,
este supuesto no puede ser testeado y por tanto, es necesario confiar en la teora o estudios previos;
y b) el supuesto de Participacin Unitaria Estable (SUTVA). Implica asumir que el impacto de un
programa en una persona no depende de otras personas o de cuantas personas estn en el programa
(Bryson, Dorsett & Purdon, 2002).
73
En aos recientes se ha desarrollado un mtodo alternativo para analizar la

equivalencia de los grupos participantes y controles, basndose en probabilidades
de participacin (propensity scores) en vez de variables especficas. Este tipo de
metodologa ha sido utilizada intensivamente en los ltimos aos a nivel
internacional y, por tanto, ha estado en el centro del debate metodolgico28. La
idea general es que si hay un nmero grande de variables que influyen en el
programa, se puede estimar la probabilidad de participacin (condicionadas a estas
variables) para participantes y controles (con una regresin binaria). De esta
manera, se garantiza que el grupo de control tenga un perfil bastante similar al
grupo de participantes, y se facilita el anlisis, dado que el efecto condicionado a
las variables ser igual al efecto tratamiento condicionado en el propensity score
(Rosenbaum & Rubin, 1983). Este procedimiento es desarrollado en extenso en el
captulo 4.
En otro aspecto, es importante tener una serie de criterios para evaluar la
calidad de una investigacin de impacto. Aunque existen algunos indicadores
clave, an no se ha desarrollado un sistema terico-base que permita analizar su
rigurosidad. Como intento primario, Fernndez-Ballesteros (1996) ha propuesto un
listado de cuestiones relevantes en evaluacin de programas (LCREP) muy til
para evaluar ex ante la calidad del proceso de evaluacin. En otras palabras, este
instrumento trata de juzgar la evaluabilidad (factibilidad) del programa con base
en: a) la calidad del proceso de planificacin e implantacin llevado a cabo y b) de
las barreras que puede encontrar el evaluador al realizar el trabajo. Sin embargo,
an este instrumento carece de un marco terico que le permita interpretar sus
alcances
2.3.2. Pertinencia de la evaluacin de impacto

La informacin generada por la evaluacin de impacto ayuda a tomar
decisiones sobre la necesidad de ampliar, modificar o eliminar cierta poltica o
programa, y es posible utilizarla para asignarle prioridad a las acciones pblicas
(Fernndez Ballesteros, 1996). Adems, estas evaluaciones contribuyen a mejorar
la eficacia de las polticas y programas (Baker, 2000) al abordar las siguientes
preguntas: Logra el programa las metas propuestas?, Justifica el valor del
programa su costo? Son los cambios producidos resultados directo del programa,
o son resultado de otros factores que ocurrieron simultneamente? Cambia el
impacto del programa dependiendo del grupo al que se est tratando de beneficiar
(hombres, mujeres, pueblos indgenas) o de la regin o a travs del tiempo? Tuvo
el programa efectos inesperados, ya sean positivos o negativos? Qu tan eficiente
es el programa en comparacin con intervenciones alternativas?.
Hay cuatro preguntas que pueden ayudar a decidir cundo realizar una
evaluacin de impacto, es decir cundo es pertinente hacerlo:
28
Desde las propuesta iniciales de Rosenbaum y Rubin (1983, 1984) se han desarrollado numerosas
aplicaciones econmicas por autores diversos Heckman, Ichimura y Todd (1997); Dehejia y Wahba
(1999); Hotz, Imbens y Mortimer (1999); Lechner (1999); Heckman, LaLonde y Smith (1999);
Sianesi (2001); y Bryson, Dorsett y Purdon (2002).
74
1) Tiene el programa importancia estratgica en la reduccin de la

pobreza o mejora de la calidad de vida? 29. Se pueden evaluar las
polticas y programas de los que se espera un mayor impacto en la
calidad de vida, para asegurar que los esfuerzos en ese sentido siguen el
camino correcto y permitir las correcciones necesarias.
2) Contribuir la evaluacin de un determinado programa a llenar los
vacos en el conocimiento sobre lo que sirve y no sirve para mejorar la
calidad de vida de la poblacin? La decisin sobre qu evaluar tambin
puede basarse en cunto se sabe sobre la eficacia de intervenciones
alternativas. Si hay lagunas en el conocimiento sobre qu es lo que
mejor funciona para reducir la pobreza o aumentar la calidad de vida,
entonces se justifica una evaluacin de impacto.
3) Este programa, pone a prueba enfoques innovadores para aumentar la
calidad de vida? La evaluacin debe fomentar el aprendizaje. Una
evaluacin de impacto puede ayudar a ensayar enfoques precursores y
decidir si se deben ampliar y ejecutar a mayor escala. Por consiguiente,
el carcter innovador de un programa o poltica puede ser una buena
razn para evaluarlo30.
4) La poltica o programa, est destinado a grupos difciles de alcanzar o
se espera que su impacto dependa, por ejemplo, del gnero de los
beneficiarios? Las polticas y programas destinados a grupos pobres
difciles de alcanzar se topan con una gran variedad de factores
sociales, culturales, econmicos y organizacionales, que pueden
contribuir a su xito o a su fracaso. Por estas razones, es de especial
importancia que la evaluacin est bien diseada y sea bien ejecutada.
2.3.3. Por qu siendo tan importante la evaluacin de impacto se

hace tan poco?
Acorde con Medina Giopp (2002), existen diversas razones por las cuales
se realizan muy pocas evaluaciones de impacto. A continuacin mencionamos las
ms comunes:
i)
Muchos gobiernos e instituciones la consideran costosa,
prolongada y de alta complejidad tcnica.
ii)
Los resultados pueden ser polticamente delicados,
controversiales, especialmente si son negativos, ya que
asignan responsabilidad a los funcionarios polticos y
29
El impacto final que persigue todo programa social es reducir la pobreza y mejorar la calidad de
vida de la poblacin. Sin embargo, por ser un fin ltimo, los programas y proyectos sociales se
disean y ejecutan para mejorar cualquier aspecto de la vida de las personas (educacin, salud,
infraestructura, etc.) o reducir situaciones precarias o riesgosas para su desarrollo. Por eso, cuando
me refiero a aumentar la calidad de vida o reducir la pobreza, debe recordarse que son fines
generales y ltimos.
30
Sin embargo, hay que hacer una advertencia importante: una evaluacin provechosa requiere de
un programa suficientemente maduro. Aunque un programa est probando enfoques innovadores,
necesita objetivos bien definidos y actividades bien delineadas, as como un marco institucional
estable que se preste para la implementacin.
75
administrativos de los programas. Es usual, entonces, que la

informacin sobre el rendimiento se concentre en el
volumen de recursos ejecutados y en cobertura, incurriendo
en el mito de que gastar ms y entregar ms bienes o
servicios es bueno per se. Lo cierto es que ningn programa
o proyecto puede justificar su existencia por la mera entrega
de bienes y/o servicios.
iii)
En ocasiones, las evaluaciones se critican por no contar con
oportunidad, rigor acadmico o por no responder a ciertas
preguntas.
iv)
Se consideran sinnimo de auditoria y control y por tanto
innecesarias, lo cual es falso.
v)
Excepcionalmente las tcnicas y mtodos de evaluacin se
consideran como informacin pblica, casi siempre han sido
consideradas como informes confidenciales para
funcionarios del ms alto nivel.
vi)
Se consideran imposiciones externas, etc.
Todas estas razones han creado y fortalecido una cultura gerencial donde la
evaluacin de impacto es sinnimo de control y cumplimiento de condiciones o
imposiciones de donantes, supervisores, o niveles jerrquicos superiores, ms que
una herramienta participativa y orientada al aprendizaje organizacional. Lo anterior
ha derivado en mitos creados en torno de la evaluacin que es necesario desterrar,
pues produce, como seala Mokate (2000, 2001), la percepcin de un monstruo
y no la de un aliado para el desarrollo.
En efecto, la evaluacin de impacto est plagada de una serie de mitos que
son producto del desconocimiento de su real naturaleza. Con la intencin de
eliminarlos, se denuncia a continuacin los principales y ms nocivos.
Evaluar el impacto de los programas es demasiado costoso:
El costo promedio para realizar una evaluacin de impacto a nivel
internacional- asciende a un promedio de 433 mil dlares. De este monto, el costo
mayor corresponde a la recopilacin de datos, que representa, en promedio, el
53.3% del total (Baker, 2000).
La inversin en evaluacin, dadas estas cifras, parece enorme. De hecho, en
varios pases muchos funcionarios del gobierno y organizaciones de la sociedad
civil afirman que con lo que se gasta en la evaluacin de impacto podra lograrse
una cobertura mayor de bienes y servicios a la poblacin objetivo. Con cientos de
miles de dlares o varios millones, podran lograrse, argumentan, ms
beneficiarios. Sin embargo, lo que no se analiza es que sin evaluacin de impacto
nada puede garantizar que los bienes y servicios que se entregan producirn los
beneficios esperados, es decir, la transformacin deseada.
En realidad, de los proyectos que comprende un estudio del Banco Mundial
(Baker, 2000), los costos de la evaluacin de impacto representan, en promedio,
solamente el 0.56% del costo total del proyecto, ni siquiera el 1%. Para el caso del
programa Progresa de Mxico, los ms de tres millones de dlares invertidos en
evaluacin de impacto, representan solamente el 0.001% del costo total del
76
programa. A continuacin se presenta una tabla resumen de los costos estimados

en algunos proyectos del Banco Mundial.
Tabla N 2.10. Resumen de costos estimados de diversas evaluaciones de impacto del Banco
Mundial (Fuente: Baker, 2000)31
Proyectos
Administracin
escolar (Nicaragua)
Administracin
escolar (Salvador)
Programas de Vales
(Colombia
Fondo Social
(Honduras)
Fondo Social
(Nicaragua)
Fondo Social
(Bolivia)
Trinidad y Tobago
Capacitacin Jvenes
Promedio
Costo
estimado de
la evaluacin
(US$)
Costo %
del costo
total del
proyecto
Desglose de los costos de evaluacin (%)

Viaje
495,000
1,26%
443,000
Asesores
Recopilacin
de datos
8,1%
Personal
del Banco
Mundial
18,1%
39,0%
34,8%
0,60%
7,7%
7,4%
25,8%
59,2%
266,000
0,20%
9,4%
9,8%
21,8%
59,0%
263,000
0,23%
3,0%
11,5%
53,2%
32,3%
449,000
0,30%
4,9%
33,0%
7,8%
55,7%
878,000
0,50%
3,4%
14,6%
12,9%
69,1%
238,000
0,80%
7,6%
11,5%
17,9%
63,1%&
433,000
0,56%
6,3%
15,1%
25,5%
53,3%
Pese a la imposibilidad de generalizar con tan pocos casos, la consulta

realizada a diversos expertos de organismos internacionales como el Banco
Interamericano de Desarrollo (BID) y diversas agencias de las Naciones Unidas
(Ej. CEPAL, PNUD, FAO), revela que las evaluaciones de impacto en proyectos
sociales raramente supera un 4% o 5% del costo total del programa.
Bajo esta lgica, resultar siempre, en todos los casos, mucho ms costoso
no saber si los proyectos son exitosos (o no) que invertir los recursos de la
evaluacin de impacto en la entrega de bienes y/o servicios, con la nica
expectativa de lograr ms beneficiarios. Esto es as, ya que s el proyecto posee
deficiencias y fallas, el volumen de recursos perdidos derivado de stas puede
representar cientos (o miles) de veces lo que se gastara en la evaluacin. Es muy
costosa y riesgosa la incertidumbre que puede existir sobre el rendimiento de un
proyecto derivada de una decisin explcita de no evaluar (Valadez & Bamberger,
1994)32.
31
Este costo no incluye el costo del personal local de contrapartida no financiados con el prstamo
o crdito. Las cifras se refieren al periodo dentro del cual se seleccionaron los proyectos de la
muestra de las evaluaciones y no al financiamiento total proporcionado alguna vez por el Banco y
otros a esas instituciones.
32
Por ejemplo, una evaluacin de impacto de Progresa (Programa de educacin, salud y
alimentacin de Mxico) revel que uno de sus objetivos educativos cerrar la brecha de gnero en
la matrcula, especialmente en el nivel de secundaria haba producido un impacto nulo. El modelo
estadstico que analizaba las variables del ausentismo y desercin asignaba una alta capacidad de
explicacin del comportamiento de stas a la distancia de las escuelas de los hogares de estudiantes
femeninos. En tal sentido, se asignaron becas ms altas a jefes de hogares con mujeres en edad
secundaria para estimular su asistencia y cubrir los costos derivados del transporte desde el hogar a
la escuela. As, la evaluacin reflej ausencia de impacto significativo en cerrar la brecha de gnero
en la matrcula de nivel secundaria (Boltvinik, 2000). Este resultado, y otros derivados de
77
En el caso de los programas sociales del Per, Yamada & Prez (2005),
encuentran que las evaluaciones de impacto pueden costar menos de 1% del monto
total de proyectos grandes y entre 2% y 4% del monto total de proyectos pequeos
o pilotos, lo que representa dinero bien invertido si se considera las grandes sumas
de recursos pblicos que podran orientarse mejor luego de una slida evaluacin
de impacto.
Ms impacto se logra al gastar ms:
Existe una tendencia en Amrica Latina a destinar cada vez mayores
recursos para combatir la pobreza, tanto en el rea rural como urbana. La dcada
de los aos 90 refleja claramente esta tendencia, pues la proporcin del gasto social
ha aumentado significativamente en ella33.
Es indudable que para enfrentar la pobreza se requiere contar con ms
recursos, sin embargo, esto es insuficiente ya que es posible gastar ms pero lograr
menos o nada. As, es posible alcanzar una baja proporcin de gasto social efectivo
respecto del volumen del gasto social destinado. Los datos son contundentes. A
pesar que el volumen de recursos destinados a lo social se ha incrementado, los
niveles de pobreza, bienestar, desigualdad, exclusin y poblacin en riesgo de
padecer pobreza34, as como la violencia e inseguridad no han logrado reducciones
significativas en la regin en los ltimos aos, ms bien y en un buen nmero de
pases, algunas de estas condiciones se han agravado. Dado lo anterior, la
evaluacin de impacto, favorece los procesos de asignacin de recursos, al
identificar las reas de mayor rentabilidad social de la inversin. Por otra parte,
la evaluacin, acompaada del monitoreo, favorece la eficiencia en la
implementacin de programas.
El carcter reservado de las evaluaciones:
An existen funcionarios que conciben a los resultados de las evaluaciones
como propiedad de la alta direccin (Medina Giopp, 2002; Medina Giopp &
evaluaciones de impacto, no son anecdticos o excepcionales, sino recurrentes. Es el caso de
microempresarios que reciben capacitacin en temas que no son relevantes, o bien que la escala de
crdito a la que tienen acceso es insuficiente, o bien que los equipos recibidos por pequeos
agricultores a travs de proyectos de mecanizacin, por ejemplo tractores, resulta inviable ya que
los repuestos o los expertos para su reparacin son escasos en el mercado local, etc. Los casos ms
dramticos son aquellos en los que la entrega de los bienes y/o servicios producen algn dao o
empeoramiento de la condicin de bienestar que se deseaba satisfacer, en vez de una mejora. Por
tanto, ms barato es evaluar que invertir ciegamente en la provisin de servicios y bienes sin saber
su impacto.
33
Pueden consultarse los informes anuales del Panorama Social de CEPAL o el Informe IPES de
BID.
34
El mtodo ingreso-consumo o MIC, presenta una nueva forma de elaborar mediciones sobre la
base de la lnea de pobreza. Uno de sus principales aportes es el de identificar a travs de analizar
de manera simultnea el ingreso y el consumo de los hogares, a los individuos o grupos familiares
que se encuentran en un alto riesgo de caer en pobreza y en consecuencia si no se atienden acern,
irremediablemente e estratos de pobreza extrema o moderada. En: Tuirn Gutirrez, Alejandro y
Alejandro Medina Giopp (2001) El MIC estrategia para mejorar las estimaciones por lnea de
pobreza y elaboracin de recomendaciones para enfrentarla. Material mimeografiado.
78
Meja, 1993), ms an cuando stos pueden resultar controversiales, ya que fijan

responsabilidades. Esta concepcin, rgida y retrgrada, rompe la posibilidad de
lograr retroalimentacin y aprendizaje para directivos del programa, para los
operadores, as como para los grupos que dan apoyo poltico y para la comunidad
que recibe los bienes y/o servicios del programa.
En efecto, las experiencias de no hacer pblicas las evaluaciones de
impacto de los programas es una realidad cotidiana en Amrica Latina, lo que
frena la posibilidad de generar la capacidad de rendicin de cuentas (Valadez &
Bamberger, 1994). Afortunadamente, la expansin del movimiento de
modernizacin de la gestin pblica, inspirado en las reformas de los pases
angloamericanos, ha logrado posicionar el tema de la evaluacin publicitada
como uno de los asuntos principales de la modernizacin a travs de diversos
Sistemas Integrados (Godoy & Rangel, 1997). Las iniciativas son diversas e
interesantes. A modo de ejemplo:
A inicios de los aos 90 el Comit Interministerial de Modernizacin de
la Gestin Pblica de Chile lanz su programa Metas Ministeriales,
con el que se apoyaba a los diversos servicios pblicos para fijar con
claridad metas e indicadores de impacto y seguimiento a su gestin. En
una segunda etapa otra iniciativa reforz las metas ministeriales, los
Compromisos de Modernizacin de la Gestin Pblica con fuerte
nfasis en la difusin de resultados. En una tercera etapa se cre el
Sistema Integrado de Formulacin, Evaluacin y Monitoreo de
Programas y Proyectos Sociales (SIFEM).
En Colombia se instal el Sistema de Evaluacin de la Gestin Pblica
denominado SINERGIA, con estrategias similares a las iniciativas del
SIFEM de Chile.
Costa Rica implement un Sistema Nacional de Evaluacin (SINE) y
Compromisos de Modernizacin, como esfuerzos para apuntalar una
cultura de evaluacin en la gestin pblica.
Una de las iniciativas ms recientes la constituye el Sistema de
Evaluacin por Resultados (SISER) de Bolivia.
En el Per, el Sistema Nacional de Inversin Pblica (SNIP) constituye
la ms reciente preocupacin por la difusin pblica de los resultados
de los proyectos de inversin social.
Aunado a estas iniciativas, los avances en la tecnologa de informacin han
permitido transparentar los denominados procesos transversales de la gestin, tales
como la administracin de recursos financieros, humanos y las adquisiciones, lo
que se han denominado genricamente como sistemas integrados de administracin
financiera (SIAF); Sistemas integrados de adquisicin de bienes y servicios
(SIAByS) y Sistemas Integrados de Administracin del Personal (SIAP).
Finalmente, iniciativas como las procuraduras sociales, el Ombudsman (defensor
del Pueblo) y otras refuerzan la posibilidad de transitar hacia una gestin pblica
orientada hacia resultados o creacin de valor pblico, fortaleciendo los
mecanismos de rendicin de cuentas.
79
Todo programa social algo positivo deja:

Este es, quiz, uno de los mitos ms arraigados que afecta la cultura
gerencial de los funcionarios en el rea social de la regin. El razonamiento es el
siguiente: todo gasto en proyectos sociales, aunque no se evale, o aunque no se
apliquen criterios rigurosos en la asignacin de los recursos, algo positivo debe
dejar. Se cree que invertir en lo social siempre algo positivo dejar, por lo que
gastar en proyectos sociales es bueno per se. Esto supone que siempre y en todas
las condiciones, lo proyectos logran impactos positivos. Desafortunadamente, este
razonamiento es irreal. Evaluaciones de impacto realizadas en programas de
naturaleza diversa (vivienda, apoyo nutricional, desarrollo agroforestal, educacin,
salud y otros muchos) demuestran que en no pocas ocasiones la situacin de los
beneficiarios (esto es de quienes reciben bienes y servicios del proyecto o
proyectos) es peor que la de quines estaban en condiciones equivalentes a ellos al
inicio del programa. As, en sntesis, el programa puede deteriorar las condiciones
de bienestar de la poblacin objetivo en lugar de beneficiarlos; por ello es
ineludible la evaluacin de impacto.
Por ejemplo, uno de los principales objetivos de un proyecto de vivienda en
El Salvador, durante los aos 70, fue incrementar el nivel de ingreso de las familias
participantes. Para probar el impacto de este programa, aparentemente exitoso, las
futuras familias beneficiadas y el grupo de control fueron entrevistados en 1976,
poco antes de que el proyecto comenzara y con ello se obtuvo una lnea base con
las caractersticas sociales y demogrficas de los hogares. Las familias fueron otra
vez entrevistadas en 1978, poco despus de que los beneficiarios se mudaran a sus
nuevas casas y, posteriormente en 1980 cuando el proyecto estaba totalmente
establecido. Para evaluar el impacto del proyecto en el ingreso y desempleo de los
jefes de hogar, se calcul el ingreso promedio para los beneficiarios en 1976 y
nuevamente en 1980. La tabla siguiente muestra los resultados.
Tabla N 2.11. Ingreso mensual promedio de las familias que participan en el proyecto de vivienda
de El Salvador y para un grupo de Control, 1976-1980 (Fuente: Valadez & Bamberger, 1994).
Grupos
Antes de que el
proyecto comience
(1976)
Despus de que el
proyecto ha
funcionado por dos
aos (1980)
Variacin
absoluta
Variacin
porcentual
Grupo con
proyectos
beneficiados
Grupo de Control
355.0
569.6
234.5
70.0
258.3
451.0
172.7
74.6
Este ejemplo demuestra claramente la importancia del grupo de control. Si

solo el grupo de beneficiarios se hubiese estudiado (como es frecuente), se pudo
asumir que el proyecto produjo un impacto muy significativo sobre el ingreso de
los hogares participantes, el que se increment en 70% en un periodo de cuatro
aos. Sin embargo, una vez conocido que el ingreso del grupo de control se
increment a 74.6% sobre el mismo periodo, es claro que el proyecto no tuvo
impacto positivo sobre los ingresos, de hecho pudo tener un pequeo efecto
negativo. Queda claro que no todo proyecto social deja algo positivo (Medina
Giopp, 2002).
80
No se puede evaluar porque los resultados se producen en el largo plazo:

Algunos funcionarios afirman que la evaluacin de impacto no resulta
viable porque los cambios que producir el proyecto se observarn en el largo
plazo. Sin embargo, esto no es del todo cierto. En los casos, por ejemplo, de
programas que buscan reducir la tasa de embarazo en adolescentes; desarrollar
prcticas higinicas al preparar alimentos y para tratamiento del agua (cloracin,
mineralizacin, hervido, etc.); uso de cinturn de seguridad; mantenimiento de
infraestructura social (caminos vecinales, escuelas, canales de riego, etc.);
preparacin de alimentos balanceados; uso de jeringas descartables; inversin en
actividades productivas; utilizacin de una tcnica agrcola especfica, etc., las
evaluaciones de impacto se realizan a corto y mediano plazo, pues contempla el
anlisis de efectos entendidos como el grado de uso de los bienes y/o servicios
por parte de los beneficiarios que los reciben. Es decir, es relevante identificar el
grado en que los cambios de comportamiento se han alcanzado, ya que si no se ha
avanzado en este sentido la posibilidad de tener un impacto significativo en la
calidad de vida tiende a ser nula.
As, entonces, la evaluacin de impacto no slo espera a medir los cambios
en las condiciones de bienestar de la poblacin que ha estado sujeta a recibir
productos por el periodo determinado de tiempo que implica el programa o
proyecto, sino que puede comenzar con la evaluacin de los efectos o tambin
denominados como condicionantes del impacto ya que de no darse las
probabilidades de alcanzarlo, se reducen (Medina Giopp, 2002).
Un proyecto es bueno per se, sin importar la magnitud del problema a
atender:
Si un proyecto es exitoso al demostrar que gracias a su intervencin se
mejoran las condiciones de bienestar de los beneficiarios, el proyecto
indudablemente contribuye de manera positiva a la solucin de un problema. Sin
embargo es importante considerar que los proyectos se articulan en programas y
stos en polticas y, por tanto, no se puede afirmar que la inferencia sea exitosa per
se. Por ejemplo, suele ocurrir que a nivel de proyecto se conocen bien los bienes o
servicios que se entregan y si stos producen (o no) impacto, pero no se conoce la
base de la poblacin que posee la carencia. Bajo esta lgica, un proyecto puede ser
considerado exitoso ya que genera impacto en los beneficiarios, pero si estos
constituyen un porcentaje muy bajo del total de la poblacin carente en el pas, por
ejemplo 2%, entonces es fcilmente cuestionable dicho xito y se puede poner en
duda la efectiva articulacin del proyecto a programas y polticas.
2.3.4. Tcnicas de evaluacin de impacto

La evaluacin de impacto hace uso de diversas tcnicas de investigacin.
Algunos autores han realizado algunas clasificaciones basndose en uno u otro
aspecto. Abdala (2001), por ejemplo, hace una clasificacin de acuerdo a enfoques
y las ordena en tres: las pseudos-evaluaciones, evaluaciones exclusivamente
81
cuantitativas (evaluaciones experimentales y cuasi-experimentales) y las

evaluaciones verdaderas. Esta clasificacin, similar con la de Baker (2000) y Diez
de Medina (2003), resalta la conveniencia de aplicar mtodos combinados para
mejorar los resultados de las evaluaciones de impactos. En la tabla siguiente se
puede ver esta clasificacin y las caractersticas de cada enfoque.
Tabla N 2.12. Enfoques de evaluacin de impacto (Fuente: Abdala, 2001).
Enfoque
Pseudo evaluaciones
Evaluaciones experimentales
y cuasi-experimentales
Evaluaciones verdaderas
mixtas cuanti-cualitativas
Descripcin
En ellas se cumple un proceso evaluatorio pero con fuerte injerencia de
alguna de las partes comprometidas con el proyecto y que presiona para
que aparezcan resultados preestablecidos.
El evaluador no acta neutralmente.
Son evaluaciones exclusivamente cuantitativas. Este diseo exige que se
constituya un grupo de control. Se mide el impacto por comparacin
estadsticas entre el grupo de control y el beneficiario de las acciones del
programa.
Se mide el incremento del bienestar de los beneficiarios.
Las evaluaciones mixtas permiten agregar elementos cualitativos como:
cambios actitudinales, cambios psicosociales, necesidad y satisfaccin
con el programa, autoestima, empleabilidad.
Pueden medirse impactos sobre otros actores. Se utilizan tcnicas como
estudios de casos, observaciones, entrevistas en profundidad.
El aporte mixto ayuda a entender ms el por qu unos programas son
exitosos y otros fracasan.
A continuacin se describe, brevemente, las tcnicas de evaluacin de

impacto, siguiente la presentacin de Baker (2000).
2.3.4.1. Evaluaciones cuantitativas
Las evaluaciones cuantitativas son aquellas que miden el impacto por
comparacin entre un grupo de control y el grupo beneficiario en una intervencin.
Estas evaluaciones pueden ser experimentales o cuasi experimentales.
Evaluaciones experimentales:
Los diseos experimentales son los procedimientos de evaluacin ms
slidos. Estos diseos usan grupos de control para medir el impacto de los
programas. Distribuyen aleatoriamente a los participantes en grupos de tratamiento
y de control que son estadsticamente equivalentes entre s, para determinar los
efectos del mismo. Se trata de un resultado muy convincente porque, en teora, los
grupos de control generados mediante asignacin aleatoria sirven como un
escenario contrafactual perfecto, sin los dificultosos problemas de sesgo de
seleccin.
Aunque los diseos experimentales son metodolgicamente hablando- el
mtodo ptimo para estimar el impacto de un proyecto, en la prctica tiene una
serie de limitaciones aplicativas (Baker, 2000) y que cuestionan su validez:
82
1. La aleatorizacin podra ser poco tica debido a la negacin de

beneficios o servicios a miembros de la poblacin que seran calificados
como grupo control (Fernndez-Ballesteros, 1996).
2. Puede ser polticamente difcil proporcionar una intervencin a un
grupo y no a otro. El grupo control podra reclamar y sabotear la
intervencin con el grupo experimental.
3. El alcance del programa podra significar que no hubiera grupos sin
tratamiento, como en el caso de un proyecto o cambio de poltica de
amplio alcance (nivel nacional).
4. Durante el experimento los individuos de los grupos de control podran
cambiar ciertas caractersticas que los identifican, lo que podra
invalidar o contaminar los resultados. Por ejemplo, si las personas se
trasladan hacia un rea de proyecto o salen de l, podran ingresar o
salir del grupo de tratamiento o de control. Alternativamente, las
personas a las que se les niega el beneficio del programa pueden
buscarlo a travs de otras fuentes, o bien aquellas a las que se les ofrece
un programa podran no aceptar la intervencin.
5. Podra resultar difcil garantizar que la asignacin sea realmente
aleatoria. Un ejemplo de esto podran constituirlo los administradores
que excluyen solicitantes de alto riesgo para lograr mejores resultados.
6. Y, por ltimo, los diseos experimentales pueden ser costosos y
prolongados en ciertas situaciones, especialmente en la recopilacin de
nuevos datos.
Pese a estas limitaciones de aplicacin, lo cierto es que con una
planificacin cuidadosa se pueden abordar algunos de ellos al momento de
implementar los diseos experimentales. He aqu algunas experiencias:
Una forma es la seleccin aleatoria de los beneficiarios (Baker, 2000).
Esto se puede aplicar para proporcionar un mecanismo de distribucin
polticamente transparente y la base de un diseo de evaluacin slido,
puesto que las restricciones de presupuesto o de informacin con
frecuencia hacen imposible identificar y llegar de manera precisa a los
beneficiarios ms calificados.
Una segunda forma es ingresar los grupos de control al programa en
una etapa posterior, una vez que se ha diseado y se ha iniciado la
evaluacin. Esto se aplic en la evaluacin de un programa de nutricin
en Colombia, proporcionando la ventaja adicional de abordar preguntas
con respecto al tiempo necesario para que el programa sea eficaz para
reducir la desnutricin (McKay et al, 1978).
Por ltimo, se puede aplicar la aleatorizacin dentro de un subconjunto
de beneficiarios igualmente calificados, llegando al mismo tiempo a
todos los ms calificados y negando los beneficios a los menos
calificados, como se hizo con los proyectos de educacin en la regin
del Chaco para la evaluacin del fondo social en Bolivia (Pradhan,
Rawlings y Ridder, 1998). Sin embargo, si se implementa esta ltima
sugerencia, se debe tener en cuenta que los resultados que arroje la
83
evaluacin sern vlidos para el grupo del cual se tom la muestra

generada aleatoriamente.
Evaluaciones cuasi-experimentales:
Los diseos cuasi-experimentales se utilizan cuando es imposible crear
grupos de control y tratamiento (Shadish, Cook & Campbell, 2002). Estas tcnicas
generan grupos de comparacin que se asemejan al grupo de tratamiento, al menos
en las caractersticas observadas, usando metodologas economtricas que incluyen
mtodos de pareo (Matching), mtodos de doble diferencia, mtodos de variables
instrumentales o comparaciones reflexivas. Cuando se usan estas tcnicas, los
grupos de tratamiento y de comparacin por lo general se seleccionan despus de
la intervencin usando mtodos no aleatorios. Por lo tanto, se deben aplicar
controles estadsticos para abordar las diferencias entre los grupos de tratamiento y
de comparacin y emplear tcnicas sofisticadas de pareo para crear un grupo de
comparacin que sea en lo posible lo ms similar al grupo de tratamiento. En
algunos casos tambin se selecciona un grupo de comparacin antes del
tratamiento, aunque la seleccin no es aleatoria.
La ventaja principal de los diseos cuasi-experimentales es que se pueden
basar en fuentes de datos existentes y, por lo tanto, a menudo son ms rpido y
menos costosos en implementar. Adems, se pueden realizar una vez que el
programa se ha implementado, a condicin de que existan suficientes datos. Las
desventajas principales de las tcnicas cuasi-experimentales son que (a) con
frecuencia se reduce la confiabilidad de los resultados, puesto que la metodologa
es menos slida estadsticamente, (b) los mtodos pueden ser estadsticamente
complejos y (c) conllevan un problema de sesgo de seleccin (Anguera et al,
1995). Al generar un grupo de comparacin en lugar de asignarlo aleatoriamente,
hay muchos factores que pueden afectar la confiabilidad de los resultados (Cook y
Campbell, 1979; Cook, Campbell y Peracchio, 1990). La complejidad estadstica
requiere conocimientos especializados considerables en el diseo de la evaluacin
y el anlisis e interpretacin de los resultados. Esto no siempre es posible,
especialmente en las condiciones de los pases en desarrollo (Baker, 2000).
El tercer problema de sesgo se relaciona con la medida en la cual los
subgrupos de una poblacin beneficiaria participan en forma diferenciada en el
programa, afectando as la muestra y, finalmente, los resultados. Hay dos tipos de
sesgo: aquellos causados por las diferencias en los elementos observables o algn
elemento de los datos y aquellos causados por las diferencias en los elementos no
observables (no en los datos), lo que con frecuencia se denomina sesgo de
seleccin. Un sesgo observable podra incluir los criterios de seleccin mediante
los cuales se escoge a un individuo, como ubicacin geogrfica, asistencia a la
escuela o participacin en el mercado laboral. Los no observables que pueden
sesgar los resultados de un programa podran incluir la capacidad individual, la
disposicin al trabajo, los vnculos familiares y un proceso subjetivo (con
frecuencia guiado por la poltica) de seleccionar individuos para un programa.
Ambos tipos de sesgos pueden generar resultados inexactos, como subestimar y
sobrestimar los efectos reales del programa, efectos negativos cuando los efectos
reales del programa son positivos (y viceversa) y efectos estadsticamente
84
insignificantes cuando los efectos reales del programa son relevantes y viceversa.
(Vase, por ejemplo, La Londe, 1986, Fraker & Maynard, 1987, LaLonde &
Maynard, 1987, y Friedlander & Robins, 1995). Es posible controlar por el sesgo
mediante tcnicas estadsticas, como variables de comparacin e instrumentales,
pero es muy difcil eliminarlo por completo, siendo as un importante desafo para
los investigadores en el campo del anlisis de los efectos.
Entre las tcnicas de diseo cuasi-experimental en general se considera que
las tcnicas de comparacin pareada son la alternativa sub-ptima al diseo
experimental. Gran parte de la literatura sobre metodologas de evaluacin se
centra en el uso de este tipo de evaluaciones, lo que indica el frecuente uso de las
comparaciones pareadas y los numerosos desafos que plantea el contar con grupos
de comparacin poco adecuados.
En los ltimos aos se han producido significativos avances en las tcnicas
de correspondencia de puntuacin de la propensin (Rosenbaum & Rubin, 1985;
Jalan & Ravallion, 1998). Este mtodo es muy atractivo para los evaluadores que
tienen restricciones de tiempo y no tienen la ventaja de contar con datos bsicos
(de referencia), dado que se pueden usar con una simple seccin transversal de
datos. Sin embargo, para esta tcnica se debe contar con los datos adecuados,
porque se basa en tomar nuevas muestras de los beneficiarios durante la aplicacin
en terreno de una encuesta ms amplia, hacindolos corresponder luego con un
grupo de comparacin seleccionado de la muestra bsica ms amplia de la
iniciativa global, frecuentemente una encuesta domiciliaria a nivel nacional. Dado
el crecimiento de las aplicaciones de grandes encuestas en los pases en desarrollo,
como las encuestas sobre las condiciones de vida de propsitos mltiples, este
mtodo de evaluacin es particularmente prometedor (Jalan & Ravallion, 1998).
2.3.4.2. Evaluaciones cualitativas
Para realizar una evaluacin del impacto tambin se usan tcnicas
cualitativas, en un intento por determinar el efecto basndose en algo diferente al
escenario contrafactual (Mohr, 1995). En este caso, se trata de comprender los
procesos, comportamientos y condiciones como las perciben los individuos o
grupos estudiados (Valadez & Bamberger, 1994). Por ejemplo, los mtodos
cualitativos y, en particular, la observacin de los participantes, pueden
proporcionar informacin sobre las formas en que los beneficiarios perciben un
proyecto y cmo se ven afectados por ste. Puesto que medir el escenario
contrafactual es esencial para las tcnicas de anlisis de los efectos, los diseos
cualitativos en general se han usado en conjunto con otras tcnicas de evaluacin.
Algunas de las tcnicas utilizadas en este tipo de evaluaciones son las que
contienen la evaluacin rural rpida o la planificacin participativa (The World
Bank Participation Sourcebook, 1996). La principal ventaja de las evaluaciones
cualitativas es su flexibilidad y adaptabilidad a las necesidades de la evaluacin.
Permiten mejorar una evaluacin de impacto al permitir mayor comprensin de las
percepciones y prioridades de las partes interesadas y los diferentes factores que
puedan haber afectado a los resultados de un programa (Baker, 2000).
85
Sin embargo, existen an serias desventajas, entre ellas: la subjetividad

involucrada en la recopilacin de datos, la falta de un grupo de comparacin y la
falta de solidez inferencial dados los reducidos tamaos de las muestras. Adems,
la validez y fiabilidad de los datos cualitativos dependen en gran medida de la
habilidad metodolgica, sensibilidad y capacitacin del evaluador (Miles &
Huberman, 1994; Taschereau, 1998). Si el personal en terreno no es sensible a las
normas y prcticas sociales y culturales especficas y a los mensajes no verbales,
los datos reunidos pueden ser mal interpretados. Y por ltimo, sin un grupo de
comparacin, es imposible determinar el escenario contrafactual y, por lo tanto, la
causalidad del efecto del proyecto (ILPES & CEPAL, 2003; Abdala, 2000).
2.3.4.3. Evaluaciones mixtas cuali - cuantitativas
Con este enfoque se combina datos cuantitativos (de muestras estadsticas
que son ms adecuadas para evaluar la causalidad usando mtodos economtricos
o para establecer conclusiones que se puedan generalizar) con informacin
obtenida por mtodos cualitativos sobre las perspectivas de los beneficiarios, la
dinmica de algunos procesos o los motivos que expliquen algunos resultados
obtenidos por medio de mtodos cuantitativos (Abdala, 2000; ILPES & CEPAL,
2003).
En efecto, aunque existe abundante literatura donde se compara los
mtodos cuantitativos con los cualitativos en la evaluacin del impacto, cada vez
se acepta ms la integracin de los dos enfoques (Rao & Woolcock, 2003). En
efecto, las evaluaciones de impacto que se basan en datos cuantitativos de muestras
estadsticamente representativas son ms adecuadas para evaluar la causalidad
usando mtodos economtricos o llegando a conclusiones que se pueden
generalizar. Sin embargo, los mtodos cualitativos permiten estudiar cabalmente
los temas, casos o hechos seleccionados y pueden proporcionan informacin
decisiva sobre las perspectivas de los beneficiarios, la dinmica de un determinado
programa o los motivos de ciertos resultados observados en un anlisis
cuantitativo.
Actualmente se afirma que la integracin de las evaluaciones cuantitativas
y cualitativas puede ser el mejor vehculo para satisfacer las necesidades de
evaluacin de un proyecto (Baker, 2000). Al combinar los dos enfoques, los
mtodos cualitativos se pueden usar para informar las preguntas clave sobre la
evaluacin del impacto, examinar el cuestionario o la estratificacin de la muestra
cuantitativa y analizar el marco social, econmico y poltico dentro del cual se
lleva a cabo un proyecto. Los mtodos cuantitativos, en tanto, se pueden usar para
informar las estrategias de recopilacin de datos cualitativos, disear la muestra
para informar la medida en que los resultados observados en el trabajo cualitativo
son aplicables a una poblacin de mayor tamao al usar una muestra
estadsticamente representativa. Y finalmente, el anlisis estadstico se puede usar
para controlar las caractersticas de los hogares y las condiciones socioeconmicas
de diferentes reas de estudio, con lo que se eliminan las explicaciones alternativas
de los resultados observados (Baker, 2000).
86
Existen varias ventajas en usar enfoques integrados en la investigacin

(Bamberger, 2000), los que tambin se aplican a las evaluaciones de impacto.
Entre ellas:
Se puede incorporar controles de coherencia con la ayuda de
procedimientos de triangulacin que permiten realizar dos o ms
estimaciones independientes de las variables clave (como ingreso,
opiniones sobre los proyectos, motivos para usar o no los servicios
pblicos y efecto especfico de un proyecto).
Se pueden obtener diferentes perspectivas. Por ejemplo, aunque los
investigadores podran considerar el ingreso o el consumo como
indicadores clave del bienestar de un hogar, los estudios de casos
podran revelar que las mujeres estn ms preocupadas por la
vulnerabilidad (definida como la falta de acceso a sistemas de
apoyo social en tiempos de crisis), impotencia o exposicin a la
violencia.
Los anlisis se pueden conducir en diferentes niveles. Los mtodos
de encuestas pueden proporcionar buenas estimaciones del bienestar
individual, familiar y a nivel de la comunidad, pero son mucho
menos eficaces para analizar los procesos sociales (conflicto social,
motivos para usar o no usar los servicios, etc.) o para el anlisis
institucional (qu tan eficazmente funcionan los servicios de salud,
educacin, crdito y otros y cmo son percibidos por la
comunidad). Por el contrario, existen muchos mtodos cualitativos
que estn diseados para analizar temas como el proceso social,
comportamiento institucional, estructura social y conflictos.
Se puede proporcionar oportunidades de retroalimentacin para
interpretar los resultados. Los informes de encuestas a menudo
incluyen referencias a aparentes incoherencias en los resultados o a
diferencias interesantes entre las comunidades o grupos que no se
pueden explicar con los datos. En la mayora de las investigaciones
cuantitativas, una vez que finaliza la fase de recoleccin de datos no
es posible regresar al terreno para verificar esos aspectos. La mayor
flexibilidad de la investigacin cualitativa significa que a menudo es
posible regresar al terreno para reunir datos adicionales. De hecho,
los investigadores de encuestas tambin utilizan mtodos
cualitativos para verificar los valores atpicos (respuestas que se
desvan de los patrones generales).
En la prctica, la integracin de los mtodos cuantitativos y cualitativos se
debe realizar durante cada paso de la evaluacin del impacto.
2.3.4.4. Otros enfoques de evaluacin
Baker (2000) documenta otros enfoques que son pertinentes al momento de
analizar la evaluacin de las repercusiones de los proyectos en la pobreza: (a) los
enfoques para medir el efecto de los programas de ajuste estructural, (b)
87
evaluaciones basadas en la teora, y c) anlisis de la eficacia en funcin de los

costos.
Evaluacin de ajuste estructural: Este tipo de evaluaciones se aplica cuando se
modifica, mediante polticas integrales, la estructura econmica de una nacin. Sin
embargo, en la prctica se encuentran limitaciones: a) los cambios de polticas
tienen un efecto a nivel de toda la economa, haciendo imposible encontrar grupos
de comparacin, b) debido a factores exgenos, retrasos, retroalimentaciones y
sustituciones, cualquier cambio en el bienestar de los pobres debe interpretarse con
extrema prudencia, c) es difcil predecir lo que habra sucedido si no se hubiera
realizado el ajuste, esto es, qu polticas alternativas habra seguido un gobierno y
cmo habra afectado a los pobres (Killick, 1995; Poppele, Summarto & Pritchett,
1999; Bourguignon, De Melo & Suwa, 1991; Sahn, Dorosh & Younger, 1996).
Evaluacin basada en la teora: La premisa de las evaluaciones basadas en la
teora es que los programas y proyectos se basan en teora explcita o implcita
acerca de cmo y por qu funcionar un programa. Entonces, la evaluacin se
basar en apreciar cada teora y los supuestos acerca de un programa durante la
fase de implementacin, en lugar de hacerlo en un momento intermedio o cuando
el proyecto ha finalizado. Al disear la evaluacin, la teora implcita se presenta
en la forma de muchos micropasos, crendose entonces los mtodos para que la
recoleccin y el anlisis de datos hagan un seguimiento de la exposicin de los
supuestos. Si los sucesos no resultan como se esperaba, la evaluacin puede
afirmar con un cierto nivel de confianza dnde, por qu y cmo ocurri la falla
(Baker, 2000).
El enfoque se centra en las respuestas de las personas a las actividades del
programa. Las teoras dirigen la atencin del evaluador a los probables tipos de
efectos en el corto y largo plazo. Algunas de las ventajas son, en primer lugar, que
la evaluacin proporciona indicios oportunos de la eficacia del programa durante la
implementacin del proyecto. Si hay fallas durante esta fase, es posible
solucionarlas durante el proceso. En segundo lugar, el enfoque permite explicar
cmo y por qu se produjeron los efectos. Si los sucesos resultan como se
esperaba, la evaluacin puede indicar con cierta confianza cmo se generaron los
efectos. Siguiendo la secuencia de las etapas, es posible hacer un seguimiento de
los micropasos que llevan desde los aportes del programa hasta los resultados. Las
falencias del enfoque son similares a muchas de las dems metodologas: a) la
identificacin de los supuestos y teoras puede ser inherentemente complejo; b) los
evaluadores pueden tener problemas para medir cada paso, a menos que cuenten
con los instrumentos y datos adecuados, c) se podran enfrentar problemas al
examinar la iniciativa, porque los planteamientos tericos podran ser demasiado
generales y estar construidos en forma demasiado inexacta para permitir un estudio
bien definido y d) podra haber problemas de interpretacin que dificultaran la
generalizacin a partir de los resultados (Weiss, 1998; Baker, 2000).
Anlisis de eficacia en funcin de los costos: Aunque este tipo de anlisis no se
relaciona estrictamente con la medicin de los efectos, permite que las autoridades
88
responsables midan la eficiencia de los programas comparando intervenciones

alternativas sobre la base del costo de producir un resultado determinado. Puede
aumentar enormemente las implicaciones de poltica de la evaluacin de impacto
y, por lo tanto, tambin se debera incluir en el diseo de cualquier evaluacin de
impacto35.
Con el anlisis de costos-beneficios se intenta medir, en trminos
monetarios, la eficiencia econmica de los costos de un programa versus sus
beneficios. Para muchos proyectos, especialmente en los sectores sociales, no es
posible medir todos los beneficios en trminos monetarios. Por ejemplo, los
beneficios de que un programa proporcione insumos escolares (libros de texto,
mobiliario para la sala, programas preescolares) seran el aumento del aprendizaje.
En este caso, en lugar de medir los resultados monetarios, se podran usar las
puntuaciones del progreso en materia de aprendizaje para cuantificar los
beneficios. Para ello se necesitara realizar un anlisis de la eficacia en funcin de
los costos. Los conceptos para ambos tipos de anlisis son los mismos.
Los principales pasos del anlisis de costo-beneficio y eficacia en funcin
de los costos son la identificacin de todos los costos y beneficios del proyecto y
luego calcular una razn costo-eficacia. Al calcular los costos, se incluye el valor
de la intervencin misma, al igual que todos los dems costos, como costos
administrativos, de entrega, inversin, el valor monetario de los bienes o servicios
proporcionados en forma gratuita, los costos sociales (como el deterioro ambiental
y los riesgos para la salud). Los beneficios pueden ser monetarios, como el
aumento en el ingreso, o bien el nmero de unidades entregadas, valoraciones de
las pruebas o mejoramientos de salud. Cuando no se pueden cuantificar los
beneficios, generalmente se usan indicadores subjetivos, como sistemas de
clasificacin o ponderacin; sin embargo, este enfoque es complicado para
interpretar valoraciones subjetivas (Baker, 2000).
Una vez determinados los costos y beneficios, la razn eficacia en funcin
de los costos (R) es entonces R = costo/unidad (o beneficio). Esta razn se puede
comparar en todas las intervenciones para medir la eficiencia. En teora, esta
tcnica es bastante directa. En la prctica, sin embargo, hay muchos riesgos
involucrados en la identificacin y cuantificacin de los costos y beneficios
(Baker, 2000). Al respecto, es importante asegurarse que se seleccionen los
indicadores adecuados, que las metodologas y supuestos econmicos usados sean
coherentes en todas las razones y que las razones de hecho sean comparables.
2.3.4.5. Cmo elegir el mtodo de evaluacin de impacto?
Dada la multiplicidad de los tipos de proyectos, preguntas de la evaluacin,
disponibilidad de datos, restricciones de tiempo y circunstancias, cada estudio de
evaluacin de impacto ser diferente y requerir cierta combinacin de las
metodologas adecuadas, tanto cuantitativas como cualitativas. El evaluador debe
35
Un estudio completo del anlisis de costos-beneficios y eficacia en funcin de los costos se

encuentra en el Handbook on Economic Analysis of Investment Operations del Banco Mundial
(1996).
89
examinar con cuidado las opciones metodolgicas al disear el estudio, con el

objetivo de producir los resultados ms slidos posibles (Baker, 2000).
En general, las metodologas elegidas para la evaluacin del impacto no
son mutuamente excluyentes. Desde luego, en las evaluaciones ms robustas con
frecuencia se combinan mtodos para asegurar su solidez y prever las
contingencias en su implementacin (Subbarao et al, 1999; GAO, 1991)36.
En general, para saber cul es el mtodo de evaluacin de impacto
apropiado para cada caso, es recomendable que el evaluador considere los
siguientes criterios:
Riesgos de perjudicar la validez: El criterio ms importante para

valorar un mtodo es la validez de sus estimaciones del impacto del
programa. Aunque todos los mtodos son vulnerables a algunos
riesgos a la validez, varan considerablemente en trminos del nmero
y tipos de riesgos a las cuales estn sujetos. En el captulo IV se
analiza en detalle las amenazas peculiares para cada tipo de diseo.
Sin embargo, en la Tabla 2.13 se presenta una comparacin de diseos
segn su calidad metodolgica (Bamberger, 2006).
Habilidad para aislar los efectos del programa: Idealmente, las

medidas del impacto del programa incluyen solo resultados
directamente atribuibles al programa. En la mayora de los escenarios,
factores como las fuerzas de desarrollo econmico, programas sociales
mltiples, estructura demogrfica cambiante y la presencia de
actividades de planificacin familiar fuera del programa complican los
intentos de medir el impacto del programa. Los mtodos difieren en la
medida en que el evaluador puede aislar los efectos del programa de
las influencias de otros factores. Los mtodos preferibles son aquellos
que sean ms eficientes para aislar estos efectos.
Costos: Esto se refiere a los costos de la recoleccin y anlisis de

datos. En igualdad de condiciones, se prefieren los mtodos de menor
costo. No debe olvidarse que las limitaciones presupuestarias influyen
en el nmero de entrevistas que pueden realizarse, la capacidad de
combinar la recopilacin y el anlisis de datos cualitativos y
cuantitativos, el tipo de experiencia profesional del equipo de
investigacin y el anlisis que puede llevarse a cabo (Bamberger,
2006).
Datos requeridos: Los mtodos varan considerablemente en cuanto a

los datos requeridos. Aparte de las diferencias en el volumen de datos
requeridos, algunos mtodos necesitan datos que son muy difciles de
recolectar y/o son ms vulnerables a errores de medicin que otros
mtodos. Esto puede aumentar el riesgo de que el error de medicin
36
Tambin es recomendable incorporar el anlisis de costo-beneficio o eficacia en funcin de los

costos (Baker, 2000). Esta metodologa permite que las autoridades responsables comparen
intervenciones alternativas sobre la base del costo de producir un resultado determinado. Esto es de
particular importancia en el marco de los pases en desarrollo, en que los recursos son
extremadamente limitados. Por ltimo, es ideal combinar mtodos cuantitativos y cualitativos,
porque proporcionar el efecto cuantificable de un proyecto y una explicacin de los procesos e
intervenciones que originaron estos resultados.
90
oscurezca los efectos de los programas o exagere la magnitud del

impacto logrado realmente. Cuando la evaluacin se basa en datos
secundarios o cuando los datos proceden de estudios realizados por
otros organismos (estudios concatenados o sincronizados), las
limitaciones de informacin pueden mermar la compatibilidad de la
cobertura o cronologa de la muestra o la posibilidad de que los datos
cubran las variables necesarias o las definan adecuadamente
(Bamberger, 2006).
Percepcin de la naturaleza de las trayectorias causales: Los

mtodos varan mucho en relacin a la cantidad de informacin que
proporcionan sobre cmo los insumos son transformados a productos
y resultados como parte del proceso de medicin del impacto. Aunque
no se requiere para la medicin del impacto, esta informacin de los
mecanismos causales provee una percepcin muy til de cmo pueden
mejorarse los programas en ciclos de programa subsiguientes.
Requisitos en el grado de control del programa: Los experimentos

diseados como tales (los experimentos al azar y en menor grado los
estudios cuasi-experimentales) proveen la evidencia ms importante
del impacto del programa, pero tambin requieren condiciones de
mayor control en la forma en la cual el programa es evaluado y la
forma en que se efectan otras intervenciones. Los estudios no
experimentales no requieren que los programas sean implementados
de manera especfica para proveer mediciones vlidas del impacto del
programa, pero generalmente requieren mayor cantidad de datos y
anlisis ms complejos para producir resultados vlidos.
Recursos y destrezas tcnico-estadsticas requeridas: Aunque todos

los mtodos considerados requieren de conocimiento y destrezas
bsicas en las reas de la investigacin y la estadstica, algunos
mtodos y enfoques requieren destrezas relativamente avanzadas y en
algunos casos un software especializado (Ravallion, 2005). Adems,
algunos mtodos estn diseados especficamente para la medicin de
ciertos tipos de resultados y debe tenerse en cuesta esa relacin.
Tiempo: Las limitaciones temporales tienen que ver con el momento

en que se inicia y termina la evaluacin, el tiempo que pueden pasar
los investigadores sobre el terreno y el tiempo disponible para recibir
informacin de las partes interesadas. Debe tenerse en cuenta la
disponibilidad del tiempo y la temporalizacin del programa
(Bamberger, 2006; Bedi, Bhatti, Gine, Galasso, Goldstein & Legovini,
2006).
En la siguiente tabla se presenta las opciones de diseo para reducir los costos
en la obtencin de datos (mediante encuestas) en un estudio de EI, considerando
tabin la robustez del diseo para obtener inferencias causales confiables.
91
Tabla N 2.13. Opciones de diseo para reducir los costos de la obtencin de datos 37 (Fuente: Bamberger, 2006).
Diseo de la evaluacin
Referencia
Tratamiento
Mitad de
perodo
Despus de
la
intervencin
Porcentaje de
ahorro con respecto
al Diseo 1
Observaciones
P2 C2
Diseo ms slido de todos en la mayora de los casos

reales en que la evaluacin comienza al mismo tiempo
que el proyecto.
P2 C2
Diseo til cuando la evaluacin comienza a mediados

del perodo. Si la ejecucin se retrasa, no ser mucho
ms dbil que el Diseo 1. Eventual ahorro moderado
porque el perodo del con-trato de evaluacin es ms
breve.
P2 C2
25
Aunque es ms dbil que los diseos anteriores, es

relativamente slido, ya que permite hacer
comparaciones a lo largo del tiempo y anlisis
transversales con posterioridad al proyecto.
P1 C1
50
Diseo frecuente cuando la evaluacin comienza hacia el

final del ciclo del proyecto o cuando ste ha terminado.
La falta de datos de referencia dificulta el control de las
diferencias iniciales entre los dos grupos, pero eso se
puede resolver en parte con puntuaciones de propensin.
Sin embargo, el uso de puntuaciones de propensin
puede requerir muestras ms grandes.
Diseo de referencia: diseo robusto de evaluacin de impacto de uso general

1. Diseo con grupo de beneficiarios y de
control antes y despus de la intervencin con
asignacin aleatoria y no aleatoria.
P1 C1
Diseos progresivamente menos robustos

2. Diseo aplazado de grupo de comparacin
antes y despus de la intervencin. La
evaluacin no comienza hasta mediados del
perodo de ejecucin.
3 Grupo de beneficiarios antes y despus de la

intervencin y grupo de comparacin slo
despus de sta.
4. Grupo de beneficiarios y de comparacin

posteriores a la intervencin sin datos de
referencia.
37
P1
P1 C1
La reduccin de costos se basa en la hiptesis de que se necesitarn encuestas u otros mtodos de obtencin de datos primarios. Las reducciones estimadas de los
costos de recopilacin de datos, en comparacin con el Diseo 1, dependen del nmero de puntos de obtencin de datos (antes y despus de la intervencin, y grupo
de beneficiarios y de comparacin) eliminados. En el caso de encuestas concatenadas o sincronizadas, o cuando la evaluacin se basa en datos secundarios, el ahorro
puede ser mayor.
Diseo de la evaluacin
Referencia
Tratamiento
Mitad de
perodo
Despus de
la
intervencin
Porcentaje de
ahorro con respecto
al Diseo 1
Observaciones
Dos diseos muy utilizados que, por falta de una hiptesis aceptable, casi nunca son considerados como diseos de impacto de calidad
5. Anlisis del grupo de beneficiarios antes y
despus de la intervencin sin grupo de
comparacin.
6. Grupo de beneficiarios despus de la

intervencin sin datos de referencia ni grupo de
comparacin.
P1
P2
50
P1
75-90
Diseo frecuente cuando slo se compilan datos sobre el

grupo de beneficiarios. Metodolgicamente dbil, ya que
el uso de P1 como hiptesis requiere suposiciones
audaces sobre la variacin de los efectos con el paso del
tiempo y las variables individuales no observables.
Es el diseo ms dbil de todos, pero se utiliza con
frecuencia cuando hay que realizar evaluaciones hacia el
final del proyecto y con poco tiempo y recursos. Se
emplean mtodos cualitativos, los registros del proyecto
y datos secundarios agregados para estimar la hiptesis.
Smbolos: P = grupo de beneficiarios de seleccin aleatoria o no aleatoria. C = grupo de control o comparacin de seleccin aleatoria o no aleatoria (no equivalente). P1, P2, C1, C2
indican la primera y la segunda utilizacin del instrumento de encuesta con los grupos beneficarios y de comparacin, respectivamente.
93
2.3.5. Principios metodolgicos de la evaluacin de impacto

Basado en la revisin bibliogrfica (Ej. Blomquist, 2003; Ezemanari et al.,
1999; Mohr, 1995), se puede plantear la existencia de algunos principios
metodolgicos que rigen el proceso de evaluacin de impacto. Se presenta los
cinco principales.
Principio 1. Determinar la hiptesis de desarrollo:
Desde el punto de vista estrictamente econmico, un proyecto es un
proceso de transformacin de insumos (o recursos) en productos. De lo dicho, un
programa es ms exitoso cuanto ms valor agrega a los insumos. As, por regla
general, slo deberan emprenderse aqullos proyectos que crean valor para la
sociedad (Medianero, 2001), lamentablemente en los pases en desarrollo sta
suele ser una situacin ms bien excepcional, ya que la continuidad o no de un
proyecto se decide bajo criterios subjetivos o polticos. As, los programas sociales
establecen, implcitamente, una relacin de causa a efecto, que la evaluacin de
impacto deber confirmar o recusar. Por ello, es un principio metodolgico
considerar que las hiptesis contenidas en el proyecto (hiptesis sobre el desarrollo
o hiptesis de cambio) son proposiciones sujetas a comprobacin emprica, a
travs precisamente de la evaluacin de impacto del programa. Este principio se
fundamenta, en mi entender, en la teora de la causacin (inferencia causal).
Principio 2. Enfocar los resultados y no los procesos:
Este principio estipula que desde el punto de vista de una evaluacin de
impacto, no importan las actividades y el cmulo de indicadores de proceso a
travs de los cuales se realiza el programa, sino los productos generados a travs de
los procesos internos.
En efecto, las actividades y los insumos requeridos para su realizacin son
un asunto interno, que bien puede ser importante para la gerencia diaria del
proyecto, y que de hecho es parte importante del monitoreo de procesos, pero que
carece de relevancia desde la perspectiva de la evaluacin de impacto.
Las burocracias tradicionales e ineficientes suelen medir slo los insumos
(lo ms comn es medir el cumplimiento en la ejecucin del presupuesto como si
eso fuera un mrito por s mismo) o, a lo mucho, la entrega de algunos materiales
(libros de texto escolares, alimentos, etc.). Una evaluacin de impacto es un
anlisis de los resultados del proyecto y stos se pueden expresar en tres niveles
sucesiva y secuencialmente superiores: a) productos, b) efectos e c) impactos.
1. Los productos son los bienes o servicios que un proyecto entrega a
la poblacin o que han sido producidos a fin de lograr determinados
efectos en las personas, instituciones o sistemas. Por ejemplo, el
Programa Nacional Wawa Wasi contempla la entrega de los
siguientes productos: (a) atencin integral de los nios mediante los
servicios de salud, alimentacin y estimulacin; (b) capacitacin de
todos los participantes en la ejecucin del programa; (c) promocin
y difusin de la cultura de crianza; (d) financiamiento de la

construccin de los Wawa Wasis comunales y equipamiento; y, (e)
gestin de programa.
2. Los efectos son los cambios en las condiciones de vida de la gente,
de las instituciones o del entorno para el desarrollo, que se espera
que ocurran como consecuencia de la combinacin de los productos
entregados. Los efectos son los resultados que se esperan a nivel del
propsito (dentro del contexto del marco lgico). El propsito por
definicin especifica el cambio o resultado final deseado, el lugar
donde ocurrir dicho cambio y la poblacin que ser afectada con
dicho cambio, incluyendo la especificacin de cualquier diferencia
sociodemogrfica.
3. Los impactos describen los objetivos nacionales o sectoriales de
desarrollo que el proyecto pretende lograr, o ms precisamente, a
los cuales pretende contribuir. Bajo el enfoque del marco lgico, el
impacto se refiere al fin del proyecto. En el caso del Programa
Nacional Wawa Wasi, el efecto esperado consiste en "promover en
todo el pas servicios y acciones orientadas a generar condiciones
favorables para el desarrollo integral de nios y nias,
particularmente aquellos en situacin de riesgo". Por su parte, el
impacto esperado est expresado en la frase siguiente: "Contribuir
con el desarrollo humano de nias y nios del pas, mejorando sus
niveles de bienestar y promoviendo su desarrollo integral".
Las evaluaciones de impacto se centran, pues, en los resultados, entendidos
stos como los productos, efectos e impactos. Sin embargo, por lo general, las
evaluaciones de impacto enfatizan ms en el anlisis de los efectos e impactos
propiamente dichos, que los productos del proyecto38. En la siguiente figura
esquematiza la relacin:
Impacto
Efectos
Gestin de
programas
sociales
(Procesos)
Productos
Insumos
Evaluacin de impacto
Figura N 2.3. La conversin de insumos en resultados (Fuente: Elaboracin propia).
Principio 3. Usar indicadores objetivamente verificables.

Dada la variable complejidad que presentan los distintos proyectos de
inversin pblica, resultara demasiado controversial evaluarlos tomando como
38
En ocasiones se habla de impacto a nivel proyecto (propsito) e impactos a nivel global (fin),
pero esta distincin es propia del Marco Lgico, donde se diferencian ambos aspectos.
95
base las proposiciones literales de los objetivos, ya sea a nivel de fin, propsito o
productos. Debido a ello, los evaluadores recurren a expresiones cuantitativas de
los objetivos, las cuales, bajo el enfoque del marco lgico, son conocidas como
indicadores objetivamente verificables.
En el contexto del marco lgico, los indicadores constituyen el medio para
establecer qu condiciones seran las que sealen el logro de los objetivos del
proyecto y por ende reduzcan la ambigedad y la subjetividad en torno al grado de
xito de las intervenciones. En tanto variables, los indicadores presentan dos
caractersticas esenciales: (a) son caractersticas observables de algo; (b) son
verificables objetivamente, esto es, son verificables por medios externos al
objetivo que pretenden medir. Los indicadores son formas operativas de las
variables. Debido a la importancia de que un indicador pueda verificarse en forma
objetiva, independientemente de si es directo o indirecto, junto a la especificacin
de indicadores se deben seleccionar los medios o fuentes apropiados de
verificacin. El principio fundamental reza as: si un indicador no es verificable
por ningn medio, entonces encuntrese otro indicador39. Por tanto, los tres
principios que deben guiar la seleccin de indicadores son los siguientes: a) Los
indicadores deben ser significativos y relevantes, b) los datos requeridos para hacer
clculos deben ser factibles de una recopilacin oportuna y econmica y c) los
indicadores y su clculo deben estar acordes con la capacidad institucional de la
entidad ejecutora.
Principio 4. Construir la lnea base:
La lnea base es la primera medicin de todos los indicadores seleccionados
para medir los objetivos de un programa. Se realiza al inicio del proyecto para
contar con una base que permita luego cuantificar los cambios netos producidos
por la intervencin.
Debido a diversas circunstancias, en los procesos de evaluacin de
programas pueden presentarse tres situaciones tipo:
1. El proyecto tiene lnea de base, formulada en la etapa de pre-inversion.
Es factible por ende realizar una evaluacin de impacto.
2. Durante la preparacin del proyecto, no se elabor la lnea de base. Es
posible hacer retroactivamente la lnea base y por lo tanto es tambin
factible realizar una evaluacin de impacto utilizando metodologa de
pareo (matching).
3. El proyecto no tiene lnea de base. No es posible elaborar una lnea base
retroactiva. La solucin seria transformar las observaciones cualitativas
en indicadores de resultados.
La construccin de la lnea base es un elemento crucial en el diseo de las
evaluaciones de impacto, pues slo de ese modo se podr apreciar objetivamente el
impacto del proyecto, comparar las situaciones antes y despus del proyecto, as
como las situaciones con y sin proyecto.
39
El marco lgico incentiva al evaluador a definir clara y explcitamente que es lo que indicar que
la ejecucin del proyecto ha sido exitosa. De este modo se evitan las interpretaciones subjetivas de
los logros del proyecto, y ste gana en cuanto a evaluabilidad; es decir, capacidad para ser evaluado
objetivamente durante y despus de su ejecucin.
96
Principio 5. Construir el escenario contrafactual:

La evaluacin del impacto tiene por objeto determinar si un proyecto ha
producido los efectos deseados en la poblacin beneficiaria y si estos efectos son
atribuibles a la intervencin (Baker, 2000). Las evaluaciones de impacto, por lo
general, tambin permiten examinar consecuencias no previstas en los
beneficiarios, ya sean positivas o negativas. Tal como se mencion en subttulos
anteriores, algunas de las preguntas que se abordan en la evaluacin de impacto
incluyen las siguientes: Cmo afect el proyecto a los beneficiarios?, Algn
mejoramiento fue el resultado directo del proyecto o se habra producido de todas
formas?, Se podra modificar el diseo del proyecto para mejorar sus
repercusiones? Sin embargo, estas preguntas no se pueden medir simplemente a
travs de los indicadores establecidos en el proyecto. Puede haber otros factores o
sucesos que estn correlacionados con los resultados, sin ser causados por el
proyecto, por eso, para asegurar el rigor metodolgico, la evaluacin de impacto
debe estimar el escenario contrafactual o escenario simulado alternativo; es decir,
lo que habra ocurrido si el proyecto nunca se hubiera realizado. De lo dicho,
determinar el escenario contrafactual es esencial para el diseo de la evaluacin y,
hasta ahora, slo existe dos metodologas apropiadas para ello: los diseos
experimentales (aleatorios) y los diseos cuasiexperimentales (no aleatorios).
Estos cinco principios metodolgicos tienen una relacin funcional
sistmica, donde siempre la hiptesis de desarrollo (Principio 1) se centra en los
resultados del programa y no en sus procesos (Principio 2). Esta hiptesis se
verifica utilizando indicadores objetivos (Principio 3) y una lnea base antes y
despus (Principio 4) en conjunto con un escenario contrafactual (Principio 5. Esta
relacin se grfica en la siguiente figura.
Princ.1
Princ.3
La hiptesis de desarrollo se
centra en los resultados y no en
los procesos
Princ.2
Los resultados se miden con

indicadores objetivos utilizando
una lnea base (pre-post)
Princ.4
Y con un escenario contrafactual

(control y experimental)
Princ.5
Figura N 2.4. Relacin entre principios metodolgicos de EI (Fuente: Elaboracin propia).
97
2.3.6. Los indicadores de evaluacin de impacto

Tal como se mencion en el principio metodolgico 3, los indicadores
constituyen herramientas indispensables de informacin relevante y oportuna para
la toma de decisiones, el seguimiento de los compromisos y la rendicin de
cuentas. Asimismo, son elementales para evaluar, dar seguimiento y predecir
tendencias de la situacin de un pas, un Estado o una regin, valorar el desempeo
institucional y llevar a cabo la comparacin del desarrollo econmico y social
(Sandoval & Richard, 2003).
En sentido estricto, Mondragn Prez (2002) seala que no existe una
definicin oficial por parte de algn organismo nacional o internacional, slo
algunas referencias que los describen como herramientas para clarificar y
definir, de forma ms precisa, objetivos e impactos (...) son medidas verificables
de cambio o resultado (...) diseadas para contar con un estndar contra el cual
evaluar, estimar o demostrar el progreso (...) con respecto a metas establecidas,
facilitan el reparto de insumos, produciendo (...) productos y alcanzando
objetivos (p.52).
Otra definicin usada (en el sentido social) por diferentes organismos y
autores, es que los indicadores sociales (...) son estadsticas, serie estadstica o
cualquier forma de indicacin que nos facilita estudiar dnde estamos y hacia
dnde nos dirigimos con respecto a determinados objetivos y metas, as como
evaluar programas especficos y determinar su impacto (Horn, 1993, p. 147). La
construccin de indicadores requiere un marco legal, programtico y normativo
(nacional o internacional) que establece las necesidades de informacin para medir
o analizar la situacin de la economa, la sociedad, la poblacin o el medio
ambiente, respecto a determinados valores o metas perseguidos.
Sobre este punto, es importante mencionar que la ONU se dio a la tarea de
fomentar la generacin de estadsticas e indicadores40 por lo que poco a poco, cada
nacin ha ido conformando una infraestructura estadstica que le ha permitido la
descripcin, comparacin y evaluacin de su situacin con respecto al resto del
mundo. Las reas en las que se han logrado importantes avances en la
identificacin de indicadores son: demografa, economa y pobreza, educacin,
salud y nutricin, trabajo y empleo; algunos temas estn an en proceso (como los
de medio ambiente) y otros han presentado problemas (por ejemplo, los derechos
humanos y el buen gobierno).
Los indicadores facilitan la vigilancia y la evaluacin sistemtica, por ello
los indicadores son parte del diseo del programa desde sus fases de iniciacin y
planificacin (OMS, 2003).
40
La Comisin de Estadstica tiene un conjunto mnimo de 15 indicadores de cada pas para el

seguimiento de las cumbres mundiales; el Comit de Asistencia para el Desarrollo de la OCDE
tiene trabajados 21 indicadores de las metas de desarrollo internacional; la Comisin de Desarrollo
Sustentable de las Naciones Unidas maneja 57 indicadores, y la ONU posee un conjunto bsico de
indicadores sociales que dan cuenta del acceso de la poblacin a los servicios. La OCDE desarrolla
y fomenta una segunda generacin de indicadores que muestran no slo los resultados de la
implantacin de polticas, sino tambin los costos, insumos y procesos que participan en la
efectividad de las polticas pblicas.
98
Por ello, dentro de las caractersticas que un indicador debe cumplir se

encuentran las siguientes:
Estar inscrito en un marco terico, que le permita asociarse
firmemente con el evento al que el investigador pretende dar
forma.
Ser especficos, es decir, estar vinculados con los fenmenos
econmicos, sociales, culturales o de otra naturaleza sobre los
que se pretende actuar; por lo anterior, se debe contar con
objetivos y metas claras, para poder evaluar qu tan cerca o
lejos se est de los mismos y proceder a la toma de decisiones
pertinentes.
Ser explcitos, de tal forma que su nombre sea suficiente para
entender si se trata de un valor absoluto o relativo, de una tasa,
una razn, un ndice, etc., as como a qu grupo de poblacin,
sector econmico o producto se refieren y si la informacin es
global o est desagregada por sexo, edad, aos o regin
geogrfica.
Estar disponibles para varios aos, con el fin de que se pueda
observar el comportamiento del fenmeno a travs del tiempo,
as como para diferentes regiones y/o unidades administrativas.
La comparabilidad es un insumo que permite fomentar el
desarrollo social o econmico de acuerdo con lo que tenemos
respecto a los dems o a otros momentos; de hecho, nociones
socioeconmicas como produccin, pobreza y trabajo slo son
comprensibles en trminos relativos.
Deben ser relevantes y oportunos para la aplicacin de polticas,
describiendo la situacin prevaleciente en los diferentes sectores
de gobierno, permitiendo establecer metas y convertirlas en
acciones. Los indicadores no son exclusivos de una accin
especfica; uno puede servir para estimar el impacto de dos o
ms hechos o polticas, o viceversa. Para tener una evaluacin
completa de un sector o un sistema, se requiere de un conjunto
de indicadores que mida el desempeo de las distintas
dependencias o sectores y proporcione informacin acerca de la
manera como stos trabajan conjuntamente para producir un
efecto global.
Ser claro y de fcil comprensin para los miembros de la
comunidad, de forma que no haya duda o confusin acerca de su
significado, y debe ser aceptado, como expresin del fenmeno
que se desea medir. Para cada indicador debe existir una
definicin, frmula de clculo y meta, datos necesarios para su
mejor entendimiento y socializacin. Por lo anterior, es
importante que el indicador sea confiable, exacto en cuanto a su
metodologa de clculo y consistente.
99
Que la recoleccin de la informacin permita construir el mismo

indicador de la misma manera y bajo condiciones similares, ao
tras ao, de modo que las comparaciones sean vlidas.
Tcnicamente debe ser slido, es decir, vlido, confiable y
comparable, as como factible, en trminos de que su medicin
tenga un costo razonable.
Ser sensible a cambios en el fenmeno, tanto para mejorar como
para empeorar. Ejemplos de cmo un indicador puede desviarse
de medir la efectividad de una poltica, se encuentran de manera
frecuente en el tema de medio ambiente, como cuando se tuvo
que descartar el de superficie afectada por incendios para medir
la efectividad de las acciones de gobierno, debido a que su
comportamiento tambin depende de factores naturales no
controlables.
Si bien la seleccin de indicadores no debe depender de la disponibilidad
de informacin proveniente de encuestas, censos y/o registros administrativos, sino
de los objetivos fijados en los programas y proyectos de gobierno (dentro de los
cuales se inscriben), es importante considerar el costo-beneficio del tiempo y los
recursos necesarios para su construccin, por lo que, de preferencia, debe ser
medibles a partir del acervo de datos disponible.
Los indicadores no estn exentos de limitaciones para su conformacin;
entre la problemtica que se puede presentar en su identificacin e integracin
estn las siguientes:
Para la seleccin de los ms adecuados para cada objetivo,
existen diferentes actores, como los sectores pblico, privado,
social o acadmico que no comparten las mismas necesidades de
informacin ni persiguen las mismas metas, lo cual dificulta
lograr unanimidad en su definicin.
El carcter cuantitativo hace que se generen indicadores slo de
aquello que puede ser medido en cantidad.
El uso de indicadores presupone que las metas de instituciones y
dependencias pblicas, as como sus niveles de logro estn
disponibles e identificables en planes y programas de gobierno y
que no hay contradicciones entre los mismos. Depender de
objetivos que son cambiantes, por lo menos en cada nueva
administracin, no slo modifica el tipo de indicadores que
deben ser empleados, sino tambin la disponibilidad de datos
para conformarlos, lo que implica un ajuste permanente de las
fuentes tradicionales de informacin (Mondragn, 2002).
Por otro lado, existen diversas clasificaciones tipolgicas de los
indicadores de evaluacin de impacto. Entre las principales, se menciona las
siguientes:
a. Dependiendo del campo de conocimiento:
Segn el rea de conocimiento, se habla de indicadores econmicos,
sociales, ambientales, etctera, cuyo fin es ser un insumo para evaluar el
100
acercamiento a las metas de bienestar econmico, social y de conservacin del

medio ambiente, respectivamente. La diferencia entre ellos est en las unidades de
medida que utilizan: mientras que los indicadores econmicos lo hacen en
unidades monetarias y/o productos, los sociales lo hacen en relacin a personas; y
los ambientales, principalmente, en recursos naturales (Mondragn, 2002).
b. Indicadores objetivos y subjetivos:
Si se considera la forma como se obtiene la informacin para construirlos,
se puede diferenciar entre los indicadores objetivos y subjetivos:
Para Mondragn Prez (2002), los primeros se basan en
evidencias externas independientes del informante (Ej. Nivel
educativo), suponiendo que los mtodos de captacin,
procesamiento y divulgacin de la informacin son objetivos.
Los segundos son juicios y reflejan percepciones y opiniones de
la poblacin con respecto a su situacin, a la de la sociedad o al
pas.
Para Nussbaum y Sen (1999), las palabras objetivo y
subjetivo no son del todo claras, lo objetivo se refiere a
informes de las condiciones reales y a la conducta evidente, en
tanto que lo subjetivo consiste en la medicin de actitudes o
creencias.
Cuando se usan indicadores objetivos, no se pide a los informantes que
evalen si sus condiciones de vida son buenas o malas, satisfactorias o
insatisfactorias. Simplemente se les pide que informen de sus condiciones de vida
o de su conducta de conformidad con algunos parmetros dados (Nussbaum & Sen,
1999). Los indicadores objetivos se basan en observaciones externas y se aplican
simplemente al conteo de diferentes actividades (Nussbaum & Sen, 1999).
c. Indicadores positivos o negativos:
Si lo que se pretende destacar son avances o rezagos de algn aspecto de la
realidad, se habla de indicadores positivos o negativos; por ejemplo, para el tema
de educacin, se puede hablar de ndices de alfabetismo o analfabetismo. Tambin,
existen indicadores indeterminados (como la tasa de matrcula en educacin
superior, de la cual, si bien se espera que aumente y alcance 100%, no
necesariamente es positivo pues es imposible que toda la poblacin alcance este
nivel de estudios).
d. Indicadores absolutos y relativos:
Cuando la evaluacin del indicador depende de un valor determinado
(como puede ser un valor mximo o mnimo que se debe cumplir), o de la posicin
relativa del pas o de las poblaciones con respecto a otras, entonces hablamos de
indicadores absolutos y relativos. Los primeros dependen de una meta a cubrir
(como puede ser un 100% de alfabetismo, asistencia escolar, poblacin ocupada,
etc.), mientras que los segundos ubican la posicin de una unidad geogrfica
(como un pas, con respecto a otras unidades), un ejemplo es el ndice de desarrollo
humano.
101
e. Indicadores que se aplican en la administracin pblica:

Otros esquemas que se aplican en la administracin pblica organizan a los
indicadores en: de gestin y de resultado, de insumos y productos, y otros ms
complejos que van desde costos, insumos, procesos, productos y resultados. Esta
clasificacin se asocia al enfoque del Marco Lgico. Tal como se mencion
anteriormente, bajo el enfoque del marco lgico, los indicadores se clasifican en
cuatro grupos bsicos:
1. Indicadores de Impacto. Estos incluyen medidas de desempeo para
los objetivos del nivel ms alto a los cuales apunta un proyecto. Por
este motivo, los indicadores de este nivel pueden ir ms all del
alcance del proyecto (Ej. Impacto real/Impacto programado,
incidencia de abandono infantil, ndice de violencia intrafamiliar, %
de desercin escolar, rendimiento escolar, desocupacin juvenil,
prevalencia de drogadiccin, incidencia de embarazo precoz,
prevalencia de ETS/SIDA).
2. Indicadores de Efecto. Estos indicadores muy a menudo definen el
cambio en el comportamiento de los beneficiarios del proyecto o el
cambio en la manera en que funcionan las instituciones como
resultado del proyecto. En consecuencia, la definicin de estos
indicadores puede ser difcil (Ej. cantidad de familias que demandan
atencin, porcentaje de jvenes que utilizan las herramientas
entregadas para buscar trabajo, cantidad de jvenes participando en
campaas de prevencin de drogas, variacin en volumen de uso de
preservativos).
3. Indicadores de Producto. Establecen los marcos de referencia para
la evaluacin de los resultados del proyecto, ya que corresponde a la
institucin ejecutora producir los resultados esperados.
4. Indicadores de Proceso. Son los indicadores a nivel de actividades y
que generalmente se asocian a los recursos programados para el
proyecto. Tomados en conjunto producen una evaluacin de
desempeo, ya que los costos estn directamente relacionados con
las actividades. Los recursos necesarios definidos en estos
indicadores se emplean para analizar la eficacia o efectividad en
funcin de los costos.
f. Indicadores de contexto:
Aunque no reflejan de forma directa la situacin del sector que se quiere
evaluar, son parte del ambiente que afecta la situacin social, econmica o
ambiental y pueden modificar el comportamiento de los fenmenos bajo
observacin. Es comn que se considere al producto interno bruto (PIB) per
cpita, a la tasa de fecundidad y a la de crecimiento de la poblacin, entre otros,
como indicadores de contexto.
102
g. Indicadores simples o sintticos:

Dependiendo del tipo de medicin o procedimiento estadstico que se
requiere para su obtencin, los indicadores pueden ser clasificados como simples
(si se trata de una estadstica univariada y/o poco complicada), o sintticos (si se
habla de un agregado que sintetiza la situacin global de un sector determinado y
que incluye varios componentes del mismo).
En este sentido, es importante aclarar que un indicador no debe ser,
necesariamente, una estadstica derivada, es decir, un valor absoluto (como el
monto de la poblacin), ya que puede constituir un indicador cuando se le inscribe
en una serie de tiempo que nos permite evaluar si su evolucin se est acercando o
alejando de las expectativas esperadas.
2.3.7. Procedimiento general de la evaluacin de impacto

Como todo procedimiento de investigacin, siempre se requiere un plan.
Por eso, emprender una evaluacin de impacto sin la planificacin adecuada puede
generar demasiados costos, ya que en cada etapa del proceso surgirn problemas de
implantacin y se requerirn recursos adicionales para superarlos. Por ello, es
importante contar con un estudio bien diseado, un equipo comprometido y muy
competente y una buena comunicacin entre ellos (Kellogg Foundation, 1998).
Lo ideal sera que la evaluacin sea incorporada desde la etapa inicial del
diseo del programa, pues solo as ser posible obtener resultados oportunamente,
de modo que las conclusiones se puedan utilizar para ajustar componentes
especficos durante el programa (OPS, 2001). Hacerlo as permite garantizar un
buen diseo ya que se puede implementar una lnea base y determinar grupos
controles clave o controlar covariantes importantes (Bedi, Bhatti, Gine, Galasso,
Goldstein & Legovini, 2006).
Sin considerar el tamao, el tipo de programa ni la metodologa usada para
la evaluacin, se deben seguir varios pasos clave que se resumen a continuacin
(vase la tabla siguiente). La secuencia de estos pasos es decisiva, especialmente
para asegurar la recoleccin de los datos necesarios antes que comience la
implementacin del programa. La planificacin oportuna permite aleatorizar, crear
comparaciones pareadas ex ante, recolectar datos bsicos e identificar encuestas
futuras que se podran usar en un enfoque de correspondencia de puntuacin de la
propensin (matching).
103
Tabla 2.14. Procedimiento general de la evaluacin de impacto

1. Determinar si realizar o no una evaluacin
2. Aclarar los objetivos de la evaluacin
3. Examinar la disponibilidad de datos
4. Disear la evaluacin
5. Formar el equipo de evaluacin
6. Si se recopilan datos:
Disear y seleccionar muestras
Elaborar instrumentos de recopilacin de datos
Reunir y capacitar personal para trabajo de campo
Realizar pruebas piloto
Recopilar datos
Administrar datos y acceder a ellos
7. Recopilar datos actuales
8. Analizar los datos
9. Redactar los resultados y analizarlos con las autoridades responsables y otras partes
interesadas
10. Incorporar los resultados en el diseo del proyecto.
A continuacin se describe cada paso del proceso.

2.3.7.1. Determinar la realizacin de la evaluacin
Como primer paso, hay que determinar si se requiere o no una evaluacin
del impacto. Como se seal anteriormente, la evaluacin del impacto se diferencia
de otras evaluaciones porque se centra en examinar la causalidad. Dada la
complejidad de realizar una evaluacin de impacto, se deben examinar sus costosbeneficios y considerar si sera ms adecuado algn otro mtodo. En todo caso, la
informacin ms importante para decidir si se realizar una evaluacin de impacto
es la referida al apoyo poltico y financiero (Baker, 2000).
Es ms factible realizar la evaluacin del impacto cuando el proyecto es
innovador, pues supone importantes asignaciones de recursos, comprende
intervenciones bien definidas y, adems, podr extenderse basndose en los
resultados de la evaluacin.
Otra importante consideracin es asegurar que el programa que se evaluar
se encuentre en una etapa suficientemente avanzada para ser sometido a una
evaluacin de impacto. Los proyectos piloto y las reformas incipientes con
frecuencia tienden a sufrir modificaciones de su contenido y administracin. Estos
cambios pueden perjudicar la coherencia de la evaluacin, especialmente de los
diseos experimentales y cuasi-experimentales. Cuando las polticas que se
evaluarn an se estn definiendo, es recomendable no usar una evaluacin del
impacto.
En todo caso, el reto para el evaluador y el cliente consiste en decidir si es
posible realizar una evaluacin de impacto de calidad con las limitaciones
existentes en la prctica, y elegir el diseo ms slido posible en funcin de una
serie concreta de restricciones de presupuesto, tiempo e informacin. Por ejemplo,
A partir de qu punto se considera que la muestra es demasiado pequea, o su
104
cobertura demasiado limitada, para que el anlisis estadstico sea vlido? Cules
son los criterios para evaluar si los datos secundarios son adecuados para estimar
las condiciones iniciales? Y cundo es posible formular una hiptesis vlida a
falta de un estudio de referencia? (Bamberger, 2006).
2.3.7.2. Aclarar los objetivos de la evaluacin
Determinada la ejecucin de la evaluacin del impacto, es necesario
establecer objetivos claros. Los objetivos claros son esenciales para identificar las
necesidades de informacin, definir los indicadores de resultados y efectos y crear
una estrategia de evaluacin slida que proporcione respuestas precisas (Baker,
2000).
Aunque aparentemente el planteamiento del objetivo pareciera ser una de
las partes ms fciles del proceso de evaluacin, puede ser en extremo difcil. Por
ejemplo, los planteamientos que son demasiado amplios son difciles de evaluar. El
planteamiento del objetivo de la evaluacin del PROBECAT de Mxico, de que la
evaluacin busca examinar el efecto del programa de capacitacin PROBECAT
en los resultados del mercado laboral, sera ms preciso si se limitara al efecto de
PROBECAT en las horas trabajadas, los ingresos por hora, el salario mensual y el
tiempo para conseguir el primer empleo para diferentes tipos de trabajadores. La
evaluacin de PROGRESA de Mxico es un buen ejemplo de la creacin de un
esquema claro y el delineamiento de mltiples objetivos desde el comienzo, con un
anlisis separado para cada componente y con los objetivos detallados en
subcategoras. Esto fue especialmente importante, porque la intervencin fue
bastante compleja al tener que abordar no slo el efecto del programa, sino
tambin aspectos de la focalizacin y secuencia cronolgica de las operaciones del
programa.
Revisar otros componentes de evaluacin, como la eficacia en funcin de
los costos o las evaluaciones del proceso, tambin pueden ser importantes
objetivos de un estudio y pueden complementar la evaluacin del impacto. La
eficacia en funcin de los costos puede constituir una preocupacin muy especial
para las autoridades responsables, cuyas decisiones sern reducir, expandir o
reformar la intervencin que se est evaluando. En temas relacionados con la
entrega de servicios, una evaluacin de los procesos podra ser pertinente para
evaluar los procedimientos, dinmica, normas y restricciones bajo las cuales se
lleva a cabo un determinado programa.
2.3.7.3. Examinar la disponibilidad de los datos
Se pueden emplear muchos tipos de datos para realizar estudios de
evaluacin del impacto. stos pueden incluir una gama que flucta desde encuestas
hasta entrevistas cualitativas. En muchos casos, la evaluacin del impacto
aprovechar cierto tipo de datos existentes o se apoyar en alguna encuesta en
curso, lo que puede significar un considerable ahorro de costos. Sin embargo, con
este enfoque pueden surgir problemas de secuencia cronolgica del esfuerzo de
105
recoleccin de datos y con la flexibilidad del diseo del cuestionario. En el cuadro

siguiente se destacan algunos puntos clave para identificar las fuentes de datos
disponibles para la evaluacin de impacto.
Tabla N 2.15. Puntos clave para identificar las fuentes de datos disponibles para la evaluacin de
impacto (Fuente: Baker, 2000).
Conocer bien el programa. Es arriesgado iniciar una evaluacin sin conocer bastante sobre los
detalles administrativos e institucionales del programa; esta informacin en general proviene de la
administracin del programa.
Recopilar informacin sobre los hechos estilizados pertinentes al entorno. Los hechos pertinentes
podran incluir el mapa de pobreza, la forma en que funciona el mercado laboral, las principales
divisiones tnicas y otros programas pblicos pertinentes.
Ser eclctico con respecto a los datos. Las fuentes pueden abarcar entrevistas informales no
estructuradas con participantes en el programa y datos cuantitativos de muestras representativas. Sin
embargo, es muy difcil plantear preguntas de un escenario contrafactual en las entrevistas o grupos
representativos; se debe intentar preguntar a alguien que actualmente participe en un programa
pblico: Qu estara haciendo ahora si este programa no existiera? Puede ser valioso conversar
con los participantes del programa, pero es poco probable que ello por s slo proporcione una
evaluacin creble.
Asegurarse de que existen datos sobre los indicadores de resultados y variables explicativas
pertinentes. Estas ltimas deben abordar la heterogeneidad en los resultados basada en la
participacin en el programa. Dependiendo, por ejemplo, si se cuenta con cierto nivel de instruccin,
los resultados pueden ser diferentes. Podra ser imposible observar el efecto del programa a menos
que se controle por esa heterogeneidad.
Dependiendo de los mtodos usados, tambin se podran necesitar datos sobre variables que influyen
en la participacin, pero no influyen en los resultados dada la participacin. Estas variables
instrumentales pueden ser valiosas para separar los efectos probablemente causales de los programas
no aleatorios.
Los datos sobre resultados y otras variables explicativas pertinentes pueden ser cuantitativos o
cualitativos. Pero debe ser posible organizar la informacin en cierto tipo de estructura sistemtica
de datos. Un ejemplo simple y comn es que se tienen valores de diversas variables, incluido uno o
ms indicadores de resultados para diversas unidades de observacin (individuos, hogares, empresas,
comunidades).
Frecuentemente las variables sobre las que se tienen datos y las unidades de observacin que se usan
se seleccionan como parte del mtodo de evaluacin. Estas elecciones deben estar vinculadas al
conocimiento previo sobre el programa (desde luego, sus objetivos, pero tambin cmo se maneja) y
el escenario en que se introdujo.
La fuente especfica de los datos sobre los resultados y sus determinantes, incluida la participacin
en el programa, en general proviene de datos de encuestas de algn tipo. La unidad de observacin
podra ser el hogar, empresa o rea geogrfica, dependiendo del tipo de programa que se est
estudiando.
Los datos de las encuestas con frecuencia se pueden complementar con otros datos tiles sobre el
programa (como de la base de datos de supervisin del proyecto) o escenario (como de las bases de
datos geogrficas
Al nivel ms bsico, se requerirn datos sobre el universo de la poblacin

de inters como base para determinar los tamaos de las muestras, crear el marco
de muestreo y seleccionar la muestra. Otros tipos de datos que pueden estar
disponibles en un pas determinado y que se pueden emplear para distintas
evaluaciones de impacto incluyen (Valadez & Bamberger, 1994): encuestas
ingresos y gastos familiares, encuestas sobre las condiciones de vida (ENCOVI),
encuestas nacionales de Hogares (ENAHO); encuestas nacionales demogrficas y
salud (ENDES); encuestas del mercado laboral, registros de cooperativas,
asociaciones de crdito y otras instituciones financieras, registros escolares sobre
asistencia, repeticin y rendimiento en exmenes; registros de salud pblica sobre
mortalidad infantil, incidencia de diferentes enfermedades infecciosas, nmero de
106
mujeres que busca orientacin sobre anticoncepcin o consumo de preservativos,

encuestas especializadas aplicadas por universidades, organizaciones no
gubernamentales (ONGs) y grupos asesores, vigilancia de datos de administradores
de programas y estudios de casos de proyectos (Baker, 2000).
2.3.7.4. Disear la evaluacin
La eleccin de metodologas depender de las preguntas, secuencia
cronolgica, restricciones presupuestarias y capacidad de implementacin de la
evaluacin. Generalmente, se contrapesan los pros y contras de los distintos tipos
de diseo, para determinar las metodologas que son ms adecuadas y las tcnicas
cuantitativas y cualitativas que se pueden integrar para complementarse entre s
(Baker, 2000).
Incluso despus que se ha determinado el diseo de la evaluacin y se ha
incorporado al proyecto, los evaluadores deben estar preparados para ser flexibles
y modificar el diseo a medida que se implementa el proyecto. Al definir el diseo,
tambin es importante determinar cmo la evaluacin del impacto se ajustar a la
estrategia de control y evaluacin ms amplia aplicada a un proyecto.
Algunos diseos demoran ms en implementarse que otros. La asignacin
aleatoria y los mtodos antes y despus tardan ms que los enfoques de
comparacin pareada ex post. Al usar enfoques antes y despus que utilizan
evaluaciones bsicas (de referencia) y seguimiento, se debe disponer de suficiente
tiempo para que el ltimo miembro del grupo de tratamiento reciba la intervencin
y luego por lo general de ms tiempo para que se materialicen y se observen los
efectos posteriores al programa. Grossman (1994) sugiere que en general hay que
dejar transcurrir entre 12 y 18 meses despus de incorporar la muestra en la
intervencin para examinar los efectos. En los proyectos del Banco Mundial con
niveles de referencia, la espera para que se implemente la intervencin y que se
materialicen los resultados puede tomar aos (Baker, 2000).
Una consideracin final en el diseo de la evaluacin es la capacidad de
implantacin del equipo de evaluacin. Los aspectos de la implantacin pueden ser
bastante difciles, especialmente en los pases en desarrollo, donde hay poca
experiencia en las evaluaciones de programas e investigaciones aplicadas. La
composicin del equipo de evaluacin es muy importante, al igual que la
experiencia de los miembros de equipo en diferentes tipos de metodologas y su
capacidad relativa a otras actividades de evaluacin. Esto se aplica en particular
cuando se trabaja con organismos del sector pblico con mltiples
responsabilidades y limitado personal. Es importante conocer la carga de trabajo,
para evaluar no slo la forma en que esto afectar la calidad de la evaluacin que
se est realizando, sino tambin el costo de oportunidad de la evaluacin con
respecto a otros esfuerzos de los cuales est encargada el equipo. Alternativamente,
puede ser preferible contratar una empresa privada para que realice la evaluacin y
que se dedique exclusivamente a ello (Baker, 2000).
Por otro lado, cuando se realizan evaluaciones de impacto con limitaciones
de presupuesto, tiempo o informacin, aumenta la dificultad de manejar las cuatro
series de amenazas a la calidad del diseo y la validez de las conclusiones. Aunque
107
esas cuatro series de amenazas a la validez de las conclusiones de la evaluacin

pueden afectar a todas las evaluaciones, son ms difciles de gestionar en las
situaciones reales. Estas son (Bamberger, 2006):
Amenazas a la calidad general del diseo y la ejecucin de la
evaluacin: Las limitaciones de recursos pueden restringir la atencin
prestada al diseo de la evaluacin, al desarrollo y a la verificacin de
instrumentos, as como a las consultas a clientes; asimismo, pueden
existir presiones para recortar los costos de la recopilacin de datos
mediante la contratacin de entrevistadores ms econmicos, o
reduciendo la formacin y la supervisin de los entrevistadores. Por
otra parte, puede ser ms difcil utilizar enfoques de mtodos mixtos y
triangulacin para controlar la calidad y comprobar plenamente la
idoneidad de las fuentes de datos secundarios.
Amenazas al anlisis estadstico: Las limitaciones dificultan la toma
de medidas para fortalecer el marco muestral o abordar los sesgos de
muestreo. Puede haber, asimismo, presiones para reducir el nmero de
puntos de recopilacin de datos (por ejemplo, eliminar datos de
referencia o grupos de comparacin). Tambin puede haber presiones
para reducir el tamao de la muestra, lo que disminuye la potencia de la
prueba estadstica y limita la posibilidad de realizar un anlisis
desagregado.
Coherencia terica e idoneidad del marco hipottico: Las
limitaciones dificultan la realizacin de estudios exploratorios, la
consulta a clientes y los seminarios necesarios para elaborar una teora
sobre el programa que explique cmo se espera que ste alcance sus
objetivos y cmo afectan las variables contextuales y el proceso de
ejecucin del proyecto a la magnitud y la distribucin de los impactos.
Las limitaciones debilitan tambin el marco hipottico al eliminar
puntos de recopilacin de informacin o reducir el acceso a datos
secundarios que pueden fortalecer el grupo de comparacin.
Posibilidad de generalizar los resultados: Cuando la evaluacin no
puede manejar los sesgos muestrales o analizar factores contextuales
influyentes, aumenta el riesgo de obtener conclusiones errneas sobre la
posibilidad de repetir el proyecto.
En la tabla siguiente, desarrollada por Bamberger (2006), se describen los
problemas comunes de estas cuatro categoras y se especifican las limitaciones que
suelen contribuir a cada problema:
Tabla N 2.16. Repercusiones de las limitaciones de presupuesto, tiempo e informacin en la
calidad de una evaluacin de impacto (Basado en Bamberger, 2006, con modificaciones).
Problemas (amenazas a la validez) causadas por las distintas limitaciones
Limitaciones que contribuyen

a cada problema
Presu- Tiempo
Informapuesto
cin
A. Problemas que afectan a la calidad general del diseo de la evaluacin (amenazas a la validez interna)
Atencin insuficiente a la planificacin, la consulta a los clientes y el
X
X
desarrollo de la relacin con consultores locales
Atencin insuficiente al desarrollo y a la verificacin de instrumentos
X
X
Falta de tiempo para el seguimiento de los resultados de la evaluacin
X
X
108
Problemas (amenazas a la validez) causadas por las distintas limitaciones
Limitaciones que contribuyen

a cada problema
Presu- Tiempo
Informapuesto
cin
X
X
X
Exclusin de grupos difciles de alcanzar y sobre los cuales es difcil obtener

informacin
Menor aplicacin de enfoques de mtodos mixtos, por lo que no pueden
X
X
utilizarse comprobaciones de coherencia por triangulacin
Presin para encontrar entrevistadores ms baratos y menos recursos para la
X
X
formacin y la supervisin
Ms dependencia de mtodos cualitativos rpidos
X
X
Mayor dificultad de comprobar la idoneidad de los datos secundarios
X
X
X
B. Problemas que afectan al diseo de la muestra y al anlisis estadstico (amenazas a la validez
estadstica)
Menor posibilidad de aplicar enfoques de mtodos mixtos
X
X
X
Menos recursos para mejorar la calidad del marco muestral
X
X
X
Mayor dificultad para hacer frente a los sesgos muestrales y mejorar las
X
X
X
correspondencias
Menor calidad de la aplicacin de la muestra
X
X
X
Menor tamao de la muestra riesgo de falsos negativos
X
X
Presiones para eliminar la recopilacin de datos sobre el grupo de
X
X
tratamiento o el grupo de control, o el grupo de comparacin posterior a la
intervencin.
Menor anlisis desagregado
X
X
X
C. Problemas que afectan a la coherencia de la teora y la validez del marco hipottico (amenazas a la
validez de constructo)
Menos tiempo y recursos para elaborar un modelo terico para el proyecto,
X
X
X
de modo que los conceptos e indicadores principales pueden estar menos
definidos y tal vez no se puedan establecer las principales hiptesis o se
establezcan errneamente
Menor uso de enfoques basados en mtodos mltiples y de la triangulacin
X
X
X
Grupo de control/comparacin ms dbil (ms pequeo o con una
X
X
correspondencia peor)
Datos de referencia poco fiables o inexistentes
X
X
X
D. Problemas que afectan a la posibilidad de generalizar los resultados y las recomendaciones sobre la
posibilidad de repetir el proyecto en otros entornos o con otros grupos (amenazas a la validez externa)
Falta de atencin a los sesgos muestrales
X
X
Anlisis dbil de factores contextuales que contribuyen al xito o al fracaso
X
X
X
en lugares concretos
2.3.7.5. Formar el equipo de evaluacin

La calidad y utilidad final de la evaluacin del impacto se puede mejorar si
desde un principio se identifica a los miembros del equipo, acuerda sus funciones y
responsabilidades y se establecen mecanismos de comunicacin durante los
momentos clave de la evaluacin.
El equipo bsico se compone del administrador o director de la evaluacin,
los analistas (cientficos sociales) y, para los diseos de la evaluacin que implican
la recoleccin de nuevos datos, un experto en muestreo, un diseador de encuestas,
un administrador del trabajo de campo y el respectivo equipo, y los
administradores de datos (Grosh & Muoz, 1996). Segn el tamao, alcance y
diseo del estudio, algunas de estas responsabilidades sern compartidas o bien se
agregarn otras necesidades de personal a este equipo bsico.
Al formar el equipo de evaluacin, tambin hay algunas decisiones
importantes que el director de la evaluacin debe tomar acerca de la capacidad
109
local y las disposiciones institucionales adecuadas para garantizar la imparcialidad

y la calidad de los resultados de la evaluacin:
1. La primera de ellas es si existe capacidad local para implementar la
evaluacin o parte de ella y qu tipo de supervisin y asistencia exterior se
necesitar. Actualmente la tendencia es que diversos organismos
internacionales (Ej. Banco Mundial, BID, etc.) supervisen las evaluaciones
hechas por el personal local.
2. La segunda decisin es si trabajar con una empresa privada o con un
organismo pblico. Las empresas privadas pueden ser ms confiables con
la entrega de resultados en forma oportuna, pero se pierde la creacin de
capacidades en el sector pblico. Adems, las empresas privadas,
comprensiblemente, a menudo estn menos dispuestas a incorporar
elementos a la evaluacin que harn ms costoso el esfuerzo.
3. Y la tercera es el grado de separacin institucional que habr que establecer
entre los proveedores de la evaluacin y los usuarios de sta. Muchos
especialistas (Ej. Baker, 2000; Abdala, 2000) recomiendan que el equipo
que evale sea distinto al equipo que aplica el programa, pues as se
garantiza la independencia y objetividad de los resultados; sin embargo,
est afirmacin no es totalmente adecuada. Debido a la fuerte carga poltica
y social de la evaluacin de impacto, es recomendable tambin que
participen agentes beneficiarios y ejecutores del programa por cuanto esa
participacin le otorga legitimidad.
2.3.7.6. Evaluacin de datos
Tener datos adecuados, fiables y de alta calidad es esencial para la realizar
una evaluacin de impacto que sea vlida. Por ello, es importante evaluar los datos
que existen, antes de iniciar cualquier esfuerzo de recoleccin (Bamberger, 2006).
En la tabla siguiente se relacionan las metodologas de evaluacin bsicas con los
datos necesarios para cada una.
Tabla N 2.17. Mtodos de evaluacin y necesidades de datos (Adaptado de Ezemenari, Rudqvist &
Subbarao, 1999 y Baker, 2000).
Mtodo
Controles experimentales
o aleatorizados
Necesidad de datos
Mnima
Ideal
Corte transversal de un Encuestas bsicas y de
nico proyecto con y sin seguimiento
de
los
beneficiarios
beneficiarios
y
no
beneficiarios.
Permite
controlar
sucesos
contemporneos, adems
de proporcionar control
para medir el efecto
(permitiendo
una
estimacin de diferencia
en las diferencias)
Uso de enfoque
cualitativo
Guiar el diseo del
instrumento
de
la
encuesta, muestreo.
Identificar
los
indicadores
Recopilar y registrar
datos con la ayuda de
datos
textuales,
entrevistas informales o
semi
estructuradas,
reuniones de los grupos
representativos de la
comunidad, observacin
directa,
mtodos
participativos, fotografa,
triangulacin y anlisis
110
Mtodo
Diseos
experimentales
Necesidad de datos
no
a) Controles o pareo
creados
b)
Comparaciones
reflexivas
y
doble
diferencia
c) Control estadstico o
variable instrumental
Mnima
Ideal
Encuesta extensa, censo,

presupuesto nacional o
encuesta de condiciones
de vida en que se
muestra
a
los
beneficiarios.
Encuesta
extensa
y
encuesta
domiciliaria
ms reducida basada en
el proyecto, ambas con
dos momentos en el
tiempo para controlar por
los
sucesos
contemporneos.
Bsica y de seguimiento
de los beneficiarios
Series cronolgica o
panel de los beneficiarios
comparables
Corte transversal y series
cronolgicas
representativas de la
poblacin beneficiaria,
con
las
variables
instrumentales
correspondientes.
Datos
transversales
representativos de la
poblacin
beneficiaria
con las correspondientes
variables instrumentales.
Uso de enfoque
cualitativo
de datos.
Cuando la evaluacin no se encarga hasta que el proyecto est a punto de

finalizar o ha terminado (lamentablemente es la norma en muchos pases), la
informacin puede obtenerse por uno de los cuatro medios siguientes (White,
2006; Bamberger, 2006): a) mediante una encuesta especfica para el proyecto; b)
agregando un mdulo especial a una encuesta en curso; c) mediante una encuesta
sincronizada en la que se entreviste a la poblacin beneficiaria, pero tomando el
grupo de control de otra encuesta (encuesta nacional de hogares, etctera), o d)
basando la evaluacin en datos secundarios, como la informacin sobre el proyecto
y los grupos potenciales de comparacin.
Es importante mencionar que casi todas las evaluaciones de impacto se
basan en datos secundarios, incluso cuando se realizan encuestas, y en muchos
casos los datos secundarios son la fuente principal o nica de informacin. Por
consiguiente, en la mayora de las evaluaciones la cuestin no es si se debe utilizar
la informacin secundaria, sino cmo garantizar la calidad y la idoneidad de una
evaluacin determinada (Bamberger, 2006).
Los datos secundarios pueden ser una forma til de reducir costos y ahorrar
tiempo, y cuando se emplean diseos de grupos de beneficiarios y de comparacin
despus de la intervencin, suelen ser la nica manera de reconstruir condiciones
de referencia del grupo de beneficiarios y del grupo de comparacin antes del
inicio del proyecto. En este diseo, y en casi todos los diseos, pueden utilizarse
para fortalecer la estimacin hipottica de cul habra sido la situacin de la
poblacin del proyecto si ste no se hubiera llevado a cabo.
Algunos de los tipos ms habituales de datos secundarios son los siguientes
(Bamberger, 2006):
Los censos nacionales;
111
Las encuestas generales de hogares como el Estudio de

Medicin de los Niveles de Vida;
Las encuestas especializadas, como las encuestas demogrficas
y de salud;
Los datos administrativos recopilados por departamentos
ministeriales y otros organismos pblicos (matrcula escolar,
uso de centros de salud, precios de mercado de la produccin
agrcola, etctera);
Los estudios realizados por organismos donantes,
organizaciones no gubernamentales y universidades;
Los datos administrativos del organismo o ministerio encargado
del proyecto;
Los medios de comunicacin (prensa, televisin, documentales,
etctera). Estos pueden ser tiles, entre otras cosas, para
comprender el contexto econmico y poltico local de cada lugar
donde se ejecute el proyecto.
Otra importante aplicacin de los datos secundarios es el metaanlisis,
donde los impactos de proyectos o intervenciones comparables en este o en otros
pases proporcionan estimaciones de la magnitud de los efectos que cabe esperar
de un proyecto bien diseado. El metaanlisis puede resultar especialmente til
para estimar el tamao que deben tener las muestras del grupo de beneficiarios y
del grupo de comparacin, ya que (si no se modifican los dems factores) cuanto
menor sea el efecto previsto, menor ser la potencia de la prueba estadstica y
mayor la muestra necesaria para detectar los impactos del proyecto, si los hubiere.
Por ejemplo, en el Proyecto de nutricin integrada de Bangladesh se realiz un
metaanlisis internacional para estimar el nmero de muertes por 1,000 nacidos
vivos que sera razonable esperar salvar mediante la contratacin de parteras
tradicionales. Se comprob que el intervalo era de cinco a siete muertes evitadas
por 1,000 nacidos vivos. Este dato se emple para confirmar que la meta de evitar
siete fallecimientos por 1,000 nacidos vivos era realista (White, 2006). Podra
haberse utilizado ese mismo anlisis para calcular la magnitud del efecto esperado
al estimar el tamao de la muestra necesario para una evaluacin de impacto.
Aunque los datos secundarios son muy valiosos para la evaluacin, tienen
limitaciones. Es probable que la informacin se haya recopilado para otros fines,
por lo que las fuentes de informacin deben evaluarse cuidadosamente antes de su
utilizacin. Existen posibles problemas que deben examinarse antes de hacer uso
de datos secundarios se encuentran los siguientes (Bamberger, Rugh y Mabry,
2006):
Hay un desfase cronolgico entre el inicio el proyecto (que es
cuando se necesitan los datos de referencia) y la recopilacin o
transmisin de los datos secundarios.
Qu semejanza hay entre la muestra y la poblacin destinataria?
Por ejemplo, se incluyen en la encuesta tanto las escuelas pblicas
como las privadas? Se tiene en cuenta el empleo del sector formal
y del sector informal? Se consideran hombres y mujeres, as como
otros grupos de inters, como los ancianos?
112
Se obtuvo informacin sobre todas las variables importantes y los

indicadores de resultados del proyecto? Son los datos adecuados
para la evaluacin? A menudo, han de utilizarse uno o dos
indicadores indirectos simples para medir indicadores complejos de
resultados (por ejemplo, el uso de indicadores de servicios
sanitarios prestados como indicador indirecto de los impactos en la
salud, o el uso de los volmenes y tipos de vehculos, y el nmero
de empresas nuevas, como indicador del impacto de los caminos
rurales).
De lo dicho, es importante evaluar la calidad y la exhaustividad de la
informacin. A veces, cuando la informacin se recopila con fines administrativos,
no hay controles de calidad y la informacin es incompleta, inexacta o sesgada
(por ejemplo, cuando las escuelas tienen un incentivo para falsificar a su favor las
tasas de matrcula o las puntuaciones de los exmenes, o la polica para no
comunicar todos los delitos). Esto reviste especial importancia en el caso de las
evaluaciones de impacto, ya que el incentivo de comunicar datos ficticios es mayor
si la unidad que presta el servicio sabe que esos datos se utilizarn para una
evaluacin (Bamberger, 2006).
2.3.7.7. Decisin sobre lo que se medir
Al planificar la evaluacin, generalmente se decide qu se medir,
estableciendo los principales indicadores de resultados, efectos e impactos. En este
caso, es comn que se defina una jerarqua de indicadores que flucta desde
indicadores de impacto a corto plazo hasta indicadores a largo plazo. As se
garantiza que aun cuando no se capten inicialmente los efectos finales, se podrn
evaluar los resultados del programa.
Tambin se podra considerar alguna informacin sobre caractersticas de la
poblacin beneficiaria no relacionadas estrictamente con la evaluacin del
impacto, pero de inters para el anlisis, como su nivel de pobreza o su opinin
acerca del programa. Adems, el evaluador tambin podra incluir medidas de
costos para realizar anlisis de eficacia en funcin de los costos u otras
evaluaciones complementarias que no tenga relacin estricta con la evaluacin del
impacto (Baker, 2000).
El tipo de diseo seleccionado para la evaluacin del impacto tambin
influir en las necesidades de los datos. stas sern especficas para la
metodologa, poblacin de inters, medidas de los efectos y otros elementos de la
evaluacin. Por ejemplo, si se usa un enfoque de variable instrumental (uno de
los tipos de estrategias de comparacin pareada), se deber identificar e incluir en
la recoleccin de datos las variables que servirn de instrumento para separar la
participacin en el programa de las medidas de resultados. Esto es lo que se hizo
en la evaluacin de impacto del Fondo de Inversin Social de Bolivia, donde se
us el conocimiento del fondo social y la presencia de ONGs como variables
instrumentales para evaluar el impacto de las intervenciones del fondo social
(Baker, 2000).
113
2.3.7.8. Muestreo
El muestreo es una necesidad cuando se trabaja con poblaciones grandes y
cuando los recursos asignados a la evaluacin son limitados. Es recomendable que
el especialista en muestreo sea incorporado al proceso de evaluacin desde las
primeras etapas. De esa forma, se revisa la informacin disponible necesaria para
seleccionar la muestra y determinar si se requerir algn trabajo de enumeracin
(marco poblacional), o algunos ajustes especiales para controlar sesgos.
Como con otras partes del trabajo de evaluacin, es importante que exista
coordinacin entre el especialista en muestreo y el equipo de evaluacin. Esto es
decisivo al realizar comparaciones pareadas (matching), porque aqu el diseo del
muestreo es la base del "pareo y de la creacin del escenario contrafactual.
Existen muchas relaciones inversas de compensacin entre costos y
exactitud del muestreo que deben aclararse al elaborar el marco muestral. Por
ejemplo, realizar una muestra en dos o tres etapas reducir los costos del muestreo
y del trabajo en terreno, pero aumentarn los errores de muestreo y, por lo tanto, la
precisin de las estimaciones.
Una vez que el equipo de evaluacin ha determinado las variables de
resultado y la poblacin de inters, un primer paso para el especialista en muestreo
sera determinar los clculos de potencia estadstica (Valadez & Bamberger, 1994).
Puesto que se pueden realizar los clculos de potencia usando slo una medida de
resultados y a menudo las evaluaciones consideran varias, se debern tomar
algunas decisiones estratgicas con respecto al indicador de resultado que se usar
al disear la muestra.
Despus de elaborar la estrategia y el marco muestral, el especialista en
muestreo tambin debe participar en la seleccin de la muestra para el trabajo de
campo y la prueba piloto. Una vez finalizado el trabajo de campo, el especialista en
muestreo debe ayudar a determinar las ponderaciones de muestreo, para calcular
los factores de expansin y corregir los errores y la falta de respuestas (Grosh &
Muoz, 1996; Kish, 1965). En este caso, el especialista puede ajustar los sesgos
con mtodos de postmuestreo como los Bootstrap o Jacknife (Davison & Hinckley,
1997; Efron, 1979, 1981, 1983; Efron & Tsibiari, 1993).
Por otro lado, dado que la recopilacin de datos puede representar muchas
veces ms de la mitad del presupuesto de la evaluacin (Baker, 2000), la reduccin
del tamao de la muestra puede redundar en un ahorro considerable. Sin embargo,
hay que tener cuidado, ya que cuando la muestra es ms pequea, disminuye la
precisin estadstica de las estimaciones y el nivel de desagregacin del anlisis.
Entre los principales factores determinantes del tamao de la muestra se
encuentran los siguientes: el tamao del efecto de tratamiento promedio estimado,
la potencia deseada de la prueba estadstica, la media y la varianza de las variables
subyacentes, el nivel requerido de precisin estadstica, si se usa o no un grupo de
comparacin, los tipos de anlisis desagregado y si se precisan una o dos pruebas
estadsticas unilaterales. Teniendo en cuenta estas consideraciones, se dispone de
las siguientes opciones para reducir el nmero de entrevistas y ahorrar costos
(Bamberger, 2006):
Aceptar un nivel ms bajo de precisin estadstica (por ejemplo, un
intervalo de confianza del 90% en lugar del 95%) o de potencia
114
estadstica de la prueba (por ejemplo, un riesgo del 20% en lugar del

10% de rechazar un impacto real del proyecto). Por supuesto, esto
aumenta la posibilidad de juzgar errneamente si un proyecto ha
tenido un impacto o no.
Reducir el nivel de desagregacin estadstica del anlisis (por
ejemplo, obtener resultados slo para la poblacin beneficiaria total
en lugar de comparar impactos en grupos diferentes o la efectividad
de componentes diferentes del proyecto).
Cuanto mayor sea la magnitud del efecto esperado, menor ser la
muestra necesaria para encontrar un impacto estadsticamente
significativo.
Estos criterios se han aplicado en evaluaciones de impacto reales y se
pueden combinar para abaratar costos sin sacrificar la validez del mismo.
2.3.7.9. Instrumentos de medicin
Los instrumentos de medicin pueden ser cuestionarios, test sociomtricos,
escalas de satisfaccin, listas de verificacin, fichas de recoleccin documental,
guas de entrevistas, entre otros. Es una norma aceptada acadmicamente que los
instrumentos de recoleccin de datos sean fiables y vlidos. En un primer
momento, es recomendable que en la elaboracin del instrumento participe la
mayor cantidad de agentes de evaluacin (administrador, personal local, analistas
que puedan aportar con conocimientos del pas y del programa, etc.) (Grosh &
Muoz, 1996). Posteriormente, mediante el estudio piloto, se determina la validez
inicial y la fiabilidad del instrumento.
A continuacin se presenta una tabla resumen de los principales
instrumentos empleados para la recoleccin de datos en los estuidos de impacto.
Tabla N 2.18. Algunas tcnicas de recoleccin de datos para la evaluacin de impacto (Fuente:
Baker, 2000).
Tcnica
Estudios
casos
Definicin y uso
de
Recopilacin
de
informacin que genere un
recuento que puede ser
descriptivo o participativo y
puede servir para responder
a las preguntas: cmo y por
qu.
Fortalezas
Debilidades
Puede abordar una variedad

completa de evidencias de
documentos, entrevistas y
observacin.
Pueden
agregar
poder
explicativo
cuando
se
centran en instituciones,
procesos,
programas,
decisiones y sucesos.
Los buenos estudios de

casos son difciles de
realizar.
Requieren conocimientos
especializados
de
investigacin y redaccin
para que sean rigurosos.
Los resultados no se pueden
generalizar a toda la
poblacin.
Tardan mucho tiempo.
Son difciles de repetir.
115
Tcnica
Definicin y uso
Fortalezas
Debilidades
Grupos
representativos
o grupos focales
Conversaciones focalizadas
con miembros de la
poblacin beneficiaria que
estn familiarizados con los
temas
pertinentes.
El
propsito es comparar las
perspectivas
de
los
beneficiarios con conceptos
abstractos de los objetivos
de la evaluacin de
impacto.
Ventajas similares a las

entrevistas.
Especialmente tiles cuando
se desea una interaccin
entre los participantes.
Una
manera
til
de
identificar las influencias
jerrquicas.
Pueden ser costosos y tardar

mucho tiempo.
Deben ser sensibles a la
combinacin de niveles
jerrquicos.
Los resultados no se pueden
generalizar.
Entrevistas
El entrevistador plantea
preguntas a una o ms
personas y registra las
respuestas
de
los
declarantes. Las entrevistas
pueden ser formales o
informales, directas o por
telfono, de interpretacin
cerrada o abierta.
Las personas e instituciones

pueden
explicar
sus
experiencias en sus propias
palabras.
Son flexibles.
Muy tiles cuando preven
dificultades de lenguaje.
Mayores posibilidades de
obtener informacin de
funcionarios superiores.
Tardan mucho tiempo.

Pueden ser costosas
Si
no
se
realizan
adecuadamente,
el
entrevistador puede influir
en
la
respuesta
del
entrevistado.
Observacin
Observacin y registro de
una situacin. Esto incluye:
quin participa, qu sucede,
cundo, dnde y cmo. La
observacin
pude
ser
directa o participativa (el
observador se hace parte del
entorno
durante
un
periodo).
Proporciona
informacin
descriptiva sobre el entorno
y los cambios observados.
La calidad y utilidad de los

datos dependen en gran
medida de las capacidades
de observacin y redaccin
del encuestador.
Los resultados pueden ser
susceptibles a diversas
interpretaciones.
No se aplican fcilmente
dentro de un plazo breve al
cambio del proceso.
Cuestionarios
Elaboracin de un conjunto
de preguntas de encuestas
cuyas respuestas se pueden
codificar coherentemente.
Pueden llegar simultneas a

una muestra amplia.
Dar tiempo a los declarantes
para pensar antes de
responder.
Se pueden responder en
forma annima.
Impone uniformidad al
preguntar lo mismo a todos
los declarantes.
Facilita la recopilacin y
comparacin de los datos.
La calidad de las respuestas

depende en alto grado de la
claridad de las preguntas.
A veces es difcil convencer
a las personas para que
completen y devuelvan el
cuestionario.
Puede significar que hay
que ajustar las actividades
institucionales
y
las
experiencias
de
las
personasdentro
de
las
categoras predeterminadas.
Anlisis
de
documentos
escritos
Revisin de documentos
como: registros, bases de
datos
administrativos,
materiales de capacitacin,
correspondencia, etc.
Permite
identificar
problemas e investigarlos
en
ms
detalles
y
proporciona evidencias de
acciones, cambios y efectos
para
apoyar
las
percepciones
de
los
declarantes.
Pueden ser costosos.
Puede tardar mucho tiempo.
116
El diseo del cuestionario es importante para la validez de la informacin

recopilada. Existen cuatro tipos de informacin necesarios para realizar una
evaluacin de impacto (Valadez & Bamberger, 1994). Estos incluyen:
Clasificacin de los datos nominales y clasificacin de los
declarantes segn si son participantes en el proyecto o si pertenecen
al grupo de comparacin.
Exposicin a las variables de tratamiento en que se registra no slo
los servicios y beneficios recibidos, sino tambin la frecuencia,
cantidad y calidad.
Variables de resultados para medir los efectos de un proyecto,
incluidos los productos inmediatos, resultados sostenidos o la
entrega permanente de servicios durante un perodo prolongado, y
los efectos del proyecto.
Variables de intervencin que afectan la participacin en un
proyecto o el tipo de efecto producido, como caractersticas de los
individuos, de los hogares o de la comunidad; estas variables
pueden ser importantes para examinar los sesgos.
La forma como se plantea la pregunta, as como el ordenamiento de las
preguntas, tambin es muy importante al momento de generar informacin
confiable. En general se recomienda utilizar indicadores objetivos ms que
subjetivos (como la percepcin).
La literatura recomienda una serie de requisitos para un buen cuestionario:
mantener su brevedad y concentracin en preguntas importantes, asegurar que las
instrucciones y las preguntas sean claras, limitar las preguntas a aquellas necesarias
para la evaluacin, incluida una opcin no opina para las preguntas cerradas para
garantizar datos confiables y usar procedimientos slidos para aplicar el
cuestionario, que desde luego pueden ser diferentes para las encuestas cuantitativas
y las cualitativas (Baker, 2000).
El personal necesario para recolectar datos de campo ser diferente de
acuerdo con los objetivos y enfoque de la evaluacin. Por ejemplo, una evaluacin
cuantitativa de los efectos de un programa de nutricin podra requerir la inclusin
de un especialista en antropometra como parte de un equipo de encuestas, para
que rena medidas de altura por peso, mientras que la evaluacin de impacto de
una reforma educacional probablemente incluira personal especialista en la
aplicacin de pruebas de rendimiento para medir el efecto de la reforma en el
rendimiento acadmico. La mayora de las encuestas cuantitativas requerir al
menos un administrador de encuestas, un administrador de datos, un administrador
en terreno, supervisores en terreno, entrevistadores, operadores de ingreso de datos
y conductores. Segn el enfoque cualitativo que se use, el personal en terreno
podra ser similar, con la excepcin de los operadores de ingreso de datos. Sin
embargo, los conocimientos de los entrevistadores seran bastante diferentes, ya
que los entrevistadores cualitativos requieren una capacitacin especializada, en
particular para los grupos representativos, observacin directa, etc.
117
2.3.7.10. Administracin de datos, anlisis de la informacin y publicacin

Un buen sistema de administracin de datos debe garantizar la oportunidad
y calidad de los datos de la evaluacin. Su oportunidad depender de la mxima
integracin posible entre la recopilacin de datos y el procesamiento, de modo que
se puedan verificar y corregir errores antes de completar el trabajo en terreno.
Se puede garantizar la calidad de los datos aplicando verificaciones de
coherencia (control de calidad) para probar la validez interna de los datos
recolectados durante y despus del ingreso de los datos y asegurndose de que los
analistas que usen los datos dispongan de la documentacin adecuada. La
documentacin debe comprender dos tipos de informacin: (a) la informacin
necesaria para interpretar los datos, incluidos libros de cdigos, diccionarios de
datos, guas para variables creadas y todas las traducciones necesarias; y (b) la
informacin necesaria para realizar el anlisis, la que con frecuencia se incluye en
un documento de informacin bsica que contiene una descripcin del enfoque y
objetivo de la evaluacin, detalles sobre la metodologa empleada, resmenes o
copias de los instrumentos de recoleccin de datos, informacin sobre la muestra,
una descripcin del trabajo en terreno y directrices para usar los datos.
Al igual que con otras etapas del proceso de evaluacin, el anlisis de los
datos de la evaluacin, ya sean cuantitativos o cualitativos, requiere la
colaboracin entre los analistas, generadores de datos y autoridades responsables
para aclarar preguntas y garantizar resultados oportunos y de calidad. Seguramente
surgirn problemas con la depuracin e interpretacin de los datos durante el
anlisis y se requerirn los aportes de diversos miembros del equipo.
El anlisis de datos debe seguir procedimientos rigurosos y acorde a los
objetivos planteados. Sea informacin cualitativa como cuantitativa, los anlisis
deben ser pertinentes y con suficiente poder estadstico para establecer
conclusiones con la suficiente validez.
Por ltimo, una etapa final es discutir los resultados encontrados y analizar
las posibilidades explicativas del resultado obtenido. Antes de su publicacin, el
informe debe ser sometido a crtica de la comunidad acadmica y local.
Finalmente, el informe final deber difundirse mediante presentaciones para
diversos pblicos destinatarios, boletines de prensa, retroalimentacin a los
informantes y la publicacin de la informacin en la Web. Esta estrategia de
difusin se considera en las etapas iniciales del proceso de planificacin, para
garantizar que se incorpore al presupuesto y que los resultados lleguen al pblico
previsto.
2.4. DEFINICIN DE CONCEPTOS

Evaluacin ex ante
Determinacin general de la pertinencia, la factibilidad y la sostenibilidad
potencial de una intervencin para el desarrollo antes de tomar la decisin de
otorgar financiamiento. En los organismos, bancos, etc., de desarrollo, el propsito
de la evaluacin ex ante es presentar informacin durante el proceso de toma de
118
decisiones para determinar si la actividad representa el uso adecuado de los

recursos de la institucin. Trmino conexo: pre-evaluacin.
Contrafactual
Situacin o condicin que podra presentarse hipotticamente para las
personas, las organizaciones o los grupos si no hubiera una intervencin para el
desarrollo como la evaluada.
Evaluacin ex post
Evaluacin de una intervencin para el desarrollo que se efecta una vez
que ha concluido. Puede emprenderse inmediatamente o mucho despus de su
conclusin. La intencin es identificar los factores de xito o fracaso, evaluar la
sostenibilidad de los resultados y las repercusiones, y extraer conclusiones que
puedan ser tiles para otras intervenciones.
Impactos
Efectos de largo plazo, positivos y negativos, primarios y secundarios,
producidos directa o indirectamente por una intervencin para el desarrollo,
intencionalmente o no.
Evaluacin de programas
Evaluacin de un conjunto de intervenciones estructuradas para alcanzar
objetivos especficos de desarrollo a nivel global, regional, de pas o sectorial
(GAO, 1998). Un programa de desarrollo es una intervencin de duracin limitada
que comprende mltiples actividades que pueden abarcar varios sectores, temas y/o
zonas geogrficas.
Monitoreo
El monitoreo comprende el seguimiento continuo de cmo se va implementando
un proyecto en comparacin a cmo se acord en sus inicios que debera
implementarse. As, el monitoreo permite conocer si se van cumpliendo los
cronogramas acordados y si estn llegando a los beneficiarios del proyecto
aquellos elementos que se planearon, ya sean insumos, infraestructura o servicios
(OED, 1994).
Modelo de evaluacin
Un modelo de Evaluacin es un diseo (Ventosa Prez, 1992) cuya funcin
bsica es proporcionar un marco de referencia, unas directrices que le orienten en
la elaboracin de una evaluacin concreta. Un modelo proporciona al evaluador un
marco conceptual y racional que le permite elaborar su diseo y poner en marcha
el proyecto de evaluacin. En el modelo aparecen implcita o explcitamente los
presupuestos epistemolgicos del autor, sus concepciones tericas, criterios
metodolgicos y sus principios (Gonzlez Soler, 1987).
119
Evaluacin de impacto
La evaluacin de impacto es una forma de evaluacin de resultados que
evalua la serie de efectos de un programa en comparacin con los resultados
estimados qu hubiesen ocurrido en ausencia del programa. (GAO, 1998). A este
ltimo se le conoce como estado contrafactual. Es un tipo de evaluacin ex post.
Programas sociales
Conjunto especfico de acciones humanas y recursos materiales, diseados
e implantados organizadamente en una determinada realidad social, con el
propsito de resolver algn problema que atae a un conjunto de personas. Todo
programa social persigue mejorar algunas condiciones de vida que pueden ser de
salud, infraestructura, educacin, asistencia, justicia, entre otras.
120
III. DESARROLLO METODOLGICO

ACTUAL: UNA REVISIN SISTEMTICA
El proceso de evaluacin de los programas sociales es un fenmeno
creciente. Segn Mertens & Russon (2000) el nmero de sociedades de evaluacin
nacionales y regionales ha crecido de cinco, en 1995, a ms de 30, en el ao 2000.
Con esta explosin de sociedades profesionales, tambin han crecido las
especializaciones, redes de informacin y revistas internacionales sobre la materia
(Mark, 2001).
Al respecto, hoy existen diversas fuentes directas de informacin
especializada y de divulgacin sobre evaluacin de programas. Estas fuentes son
revistas internacionales especializadas y han sido base primaria en la obtencin de
informacin metodolgica que sustenta el Modelo que se propone en sta obra.
En la siguiente tabla se presenta una lista de las revistas internacionales que
contienen artculos especializados sobre evaluacin social y, dentro de ellas, de
evaluacin de impacto.
Tabla N 3.1. Revistas especializadas sobre evaluacin de programas (Fuente: Elaboracin propia).
Revista internacional
Evaluation and Program Planning
American Journal of Evaluation
Canadian Journal of Program Evaluation
Educational Evaluation and Policy Analysis
Evaluation and the Health Professions
Evaluation Review: A Journal of Applied Social Research
Evaluation: The International Journal of Theory, Research and Practice
Ediciones
4 nmeros por ao. Desde 1978.
Evidence & Policy: A Journal of Research, Debate and Practice

Zeitschrift fr Evaluation (Journal for Evaluation)
LeGes (solo en Alemania)
New Directions for Evaluations
Practical Assessment, Research and Evaluation
Studies in Educational Evaluation
The Evaluation Exchange
Japanese Journal of Evaluation Studies
Journal of Multi Disciplinary Evaluation
Performance Evaluation
Research Evaluation

No informa.
1 nmero por ao. Desde 1999.
121
Al respecto, para la elaboracin del fundamento terico-metodolgico del

Modelo ARYSIS (vase Captulo IV) se han revisado los artculos contenidos en
cada una de estas revistas, identificndose las investigaciones ms significativas y
con mayor aporte terico-metodolgico en la evaluacin de programas referido al
impacto.
A continuacin se presentar, de forma muy suscinta, algunas experiencias
en evaluacin de impacto que han sido desarrolladas tanto en el mbito nacional
como internacional, as como un anlisis detallado del desarrollo acadmico sobre
el tema.
3.1. DESARROLLOS NACIONALES

En el mbito nacional es difcil encontrar referencias tericasmetodolgicas serias sobre la evaluacin de impacto de los programas sociales. En
primer lugar, porque no existe an mucha demanda de ello. En segundo lugar,
porque la bibliografa en habla hispana sobre evaluacin de impacto es casi nula o
muy elemental. A pesar de lo dicho, existen algunas experiencias institucionales de
evaluacin de impacto productos de consultora externa- que rayan con conceptos
y tcnicas modernas de evaluacin.
En efecto, dada la escasa tradicin sobre evaluacin de impacto de los
programas sociales en el pas, son muy pocos los trabajos sobre el tema que dan
cuenta de la metodologa empleada para tal evaluacin y los resultados
encontrados. Recientemente, Yamada & Prez (2005) han publicado Evaluacin
de impacto de proyectos de desarrollo en el Per, donde identifican las
principales experiencias peruanas de evaluacin de impacto hasta esa fecha,
introduciendo de manera no tcnica las metodologas utilizadas, y discutiendo las
restricciones ms importantes que se enfrentaron y cmo fueron resueltas. Otros
importantes trabajos de evaluacin de impacto de programas sociales en el pas son
el Costo Efectividad del Programa de Desayunos Escolares de Foncodes y el
Programa de Alimentacin Escolar del Pronaa, efectuado por Ravina, Paulini y
Cancho (2002); Una Metodologa de Evaluacin de Impacto de los Programas de
Educacin y/o Capacitacin en el Mercado Laboral: el Caso de PROJoven de
Galdo (2000); y Una Medicin del Impacto del Programa de Capacitacin
Laboral Juvenil PROJoven de opo, Robles y Saavedra (2002), entre otros.
El estudio de Ravina, Paulini y Cancho (2002) analiza el costoefectividad de dos programas de ayuda nutricional implementados al interior de
escuelas (el PDE de Foncodes y el PAE del Pronaa). Emplea una tcnica analtica
(Anlisis Costo-Efectividad) que permite comparar los costos de un proyecto con
los beneficios resultantes, no expresados en la misma unidad de medida. En este
caso, los costos de cada programa incluyen tanto los costos en alimentos como los
costos operativos, mientras que la efectividad es evaluada en trminos del impacto
del programa sobre la asistencia de los nios a la escuela primaria. Para la
estimacin cuantitativa de dicho impacto, se utiliza la informacin de la Encuesta
Nacional de Hogares (ENAHO) correspondiente al segundo trimestre de 1999. En
concreto, se aplica un modelo Probit binomial (para cada programa) donde la
variable dependiente toma valor 1 si el nio asiste a la escuela y 0 si no lo hace; y
122
se consideran como variables explicativas a la variable de intervencin (que toma

valor 1 en caso el nio habite en un centro poblado donde se implemente el
programa y 0 en caso contrario), as como algunas caractersticas de los nios, del
hogar, de la vivienda y del contexto geogrfico en el que habitan. De esta forma, se
estima el efecto puro del programa sobre la asistencia escolar. Con el propsito
de atenuar el problema del sesgo de seleccin por variables observables que
estara presentando la variable de intervencin, se encontr previamente para cada
programa un grupo de comparacin a travs de la metodologa del propensity
score. A partir de un modelo Probit binomial, se calcul la probabilidad de cada
nio de ser potencial beneficiario del proyecto (pertenecer a un centro poblado
donde se implementa el proyecto); seguidamente se seleccion a aquellos
potenciales beneficiarios para llevar a cabo un proceso de emparejamiento entre
dicho grupo y el de no beneficiarios, minimizando las diferencias en las
probabilidades estimadas mediante un proceso de apareamiento con reemplazo. De
este modo, se asegur que a cada nio, potencial beneficiario del programa, se le
asigne un nio de un centro poblado donde no se implementa el mismo. Para dar
solucin al problema de sesgo de seleccin por variables no observables, se
hall, a travs del modelo Probit planteado para el clculo del propensity score,
una funcin montona decreciente conocida como ratio inverso de Mills que
luego se incorpor como un regresor adicional en la estimacin del impacto de
cada programa, es decir en la regresin de asistencia escolar41. De este estudio se
concluye que el PDE de Foncodes ha tenido mejores resultados que el PAE del
Pronaa (menores costos por unidad de efectividad).
Por otro lado, Cueto y Chinen (2000) han evaluado el impacto educativo
de un programa de desayunos escolares en escuelas rurales de la zona alto andina
del Per. En la evaluacin se comparan medidas de peso, talla, tasas de matrcula y
desercin escolar, asistencia, aptitudes cognoscitivas y rendimiento en pruebas
estandarizadas de matemtica y comprensin de lectura en estudiantes de cuarto
grado de primaria de un grupo de tratamiento que recibi desayuno por al menos
tres aos y un grupo de contraste, que no particip del programa. El aspecto ms
significativo del estudio es el diseo cuasi-experimental con control mediante
Regresin Jerrquica.
Por otro lado, el estudio de Galdo (2000) evala el impacto de la primera
convocatoria del programa de capacitacin laboral juvenil PROJoven sobre la
insercin laboral remunerada, los ingresos y la calidad de empleo de los jvenes
participantes de este programa, comparndolos con un grupo de control para aislar
los posibles efectos del entorno macroeconmico o del proceso de maduracin de
los propios individuos. La metodologa de evaluacin empleada se basa en el
modelo no experimental del matched comparisons. Inicialmente se estableci una
equivalencia entre una muestra de beneficiarios y un grupo de control mediante un
41
Sin embargo, la metodologa utilizada en este trabajo incurre en error al pretender combinar la
metodologa de emparejamiento o matching comparisons con los modelos economtricos de
sesgo de seleccin que hacen uso del ratio inverso de Mills. En particular, al usarse una correccin
por sesgo de seleccin del tipo rat io inverso de Mills se debi haber estimado una ecuacin de
asistencia escolar con slo la muestra de no beneficiarios del programa, o alternativamente con
slo la muestra de los beneficiarios.
123
estricto apareamiento en dos etapas: se identific a los potenciales integrantes del

grupo de control mediante un mapeo de las zonas de origen de los beneficiarios y
luego se procedi a aparearlos uno a uno (cell matching) con los integrantes del
grupo de beneficiarios, sobre la base de la edad, sexo, nivel educativo, estrato
socioeconmico y situacin laboral previa al inicio del programa de los individuos.
Seis meses despus de concluido el programa (o 12 meses despus del inicio del
mismo), se hizo una comparacin de los cambios mostrados por los beneficiarios y
controles en las variables bajo estudio. En algunos casos incluso se distingui el
efecto por gnero, edad y nivel educativo de los individuos. La evaluacin de
impacto tambin incluye una estimacin economtrica del diferencial de ingresos,
antes y despus del programa, entre el grupo de beneficiarios y controles. Para ello,
se considera como variables independientes a una variable dicotmica que toma
valor 1 para el grupo de beneficiarios y 0 para el grupo de control, y a un conjunto
de variables de control postprograma (variables laborales y de capital humano).
Para corregir el problema de sesgo de seleccin que pudiera estar presentando la
variable dicotmica se utiliz, al igual que en el trabajo de Ravina et al. (2002), la
tcnica economtrica del ratio inverso de Mills: se estim un modelo Probit
binomial para identificar las variables que inciden mayormente en la participacin
de los jvenes en PROJoven y con los residuos de esta relacin se obtuvo el ratio
en mencin, que luego fue incorporado como regresor en una ecuacin que estima
el diferencial de ingresos despus y antes de la participacin en el programa,
usando para dicha estimacin la muestra tanto de beneficiarios como de
controles42. Se concluye en este trabajo que PROJoven logra un impacto
estadsticamente positivo sobre la situacin laboral de los jvenes beneficiarios.
Otro ejemplo significativo es la evaluacin de impacto realizado por opo,
Robles y Saavedra (2002) en el programa de capacitacin laboral juvenil
PROJoven. Se utiliz informacin socio-laboral de una muestra de beneficiarios y
un conjunto de individuos que conformaron el grupo de control. Esta informacin
fue recogida antes de iniciados los cursos de capacitacin de la sexta convocatoria
(lnea de base) y despus de seis meses de concluido el programa por parte de los
jvenes beneficiarios (primera medicin de salida). La muestra total de
beneficiarios disponible para la evaluacin fue de 1018, representando poco menos
del 30% del total de jvenes atendidos en la sexta convocatoria de PROJoven.
Asimismo, se cont con informacin para 1,561 potenciales controles, es decir,
individuos que poseen caractersticas comparables a las de los beneficiarios pero
que no fueron parte del programa. El objetivo es comparar la nueva situacin
econmica de los beneficiarios, como consecuencia de su participacin en
PROJoven, con la situacin que hubiesen alcanzado en el caso de no haber asistido
al programa. Como primer paso para la evaluacin de impacto se realiz un
proceso de emparejamiento (matching) entre beneficiarios y controles. Este
proceso busc asegurar que beneficiarios y controles sean comparables en las
siguientes variables: sexo, edad, nivel de educacin, situacin laboral, nivel de
pobreza, ingreso por hora pre-programa, horas trabajadas a la semana preprograma y la propensin a participar en el programa (propensity score). El
42
En este trabajo metodolgicamente se incurre en similar error que el comentado en el trabajo de

Ravina et al. (2002).
124
mtodo de emparejamiento utilizado fue el de minimizacin de distancias

euclideanas. Se evaluaron cuatro tipos de impacto del programa sobre los jvenes
beneficiarios. En primer lugar, se consider el efecto de ProJoven sobre la
insercin laboral de los participantes. El estimador de diferencia en diferencias
indica que el efecto del programa sobre la insercin laboral es de 6%, es decir un
6% adicional de los beneficiarios se encuentran ocupados en comparacin a los
que estuviesen ocupados de no haber participado en el programa. El valor de dicho
efecto, calculado para el total de jvenes participantes en la sexta convocatoria, se
estima en US$ 207 mil dlares anuales. Utilizando un anlisis economtrico que
controla por diferencias en las caractersticas de beneficiarios y controles que no se
captan completamente en el proceso de emparejamiento, se obtiene una valoracin
de US$ 166 mil dlares al ao.
A continuacin se presenta una tabla conteniendo un resumen de diversos
estudios de evaluacin de impacto realizados por las instituciones ms reconocidas
en el pas durante la ltima dcada (Grade, Cuanto y Apoyo) y por instituciones
internacionales como el Banco Mundial, USAID o el Banco Interamericano de
Desarrollo (BID).
125
Tabla N 3.2. Evaluaciones de impacto ms robustas de los programas sociales en el Per (Fuente: Elaboracin propia).
rea
Empleo
Ttulo del programa

El
Impacto
del
Programa A Trabajar
Urbano: Ganancias
de ingreso y utilidad
de las obras.
Ao / Institucin
evaluadora/autores
Centro de Estudios para
el Desarrollo y la
Participacin (2003)
Juan Chacaltana
Muestra
Se realiz una seleccin
aleatoria. Por razones de
prdida de parte de la muestra,
se termin con una muestra de
125
proyectos
y
1500
participantes.
Institucional
Metodologa (diseo, instrumentos y

anlisis)
El ejercicio de evaluacin de impacto se
realiza con dos bases: La Encuesta Nacional
de Hogares del cuarto trimestre del 2002
(ENAHO 2002-IV, INEI) y la Encuesta a
participantes del Programa ATU.
Se utiliz una Metodologa de evaluacin
Cuasi Experimental.
Para ello, se estim el estado contrafactual a
travs de la comparacin entre grupo de
beneficiarios y no beneficiarios del
programa, utilizando el modelo de
emparejamiento de probabilidades de
participacin (Propensity score Matching).
Empleo
Una medicin del

impacto del Programa
de
Capacitacin
Laboral
Juvenil
PROJoven
Grupo de Anlisis para

el Desarrollo (2002)
Hugo opo,
Robles
y
Saavedra
Miguel
Jaime
Institucional - GRADE
Nutricin
Impacto del Programa

del Vaso de Leche
CUANTO
2000)
Institucional
(1997
Se obtuvo una muestra

aleatoria
por
muestreo
estratificado
de
842
beneficiarios apareados con
sus respectivos controles, a
partir de los cuales se
cuantifica el impacto de
PROJoven.
Hogares con nios menores de

6 aos de edad ubicados en:
Lima Metropolitana, Costa
Urbana, Costa Rural, Sierra
Urbana, Sierra Rural, Selva
Urbana, Selva Rural.
Se utiliz un mtodo de evaluacin Cuasi

Experimental.
Se estableci la lnea base con una muestra
de 3,586 beneficiarios a quienes se les aplic
una Encuesta sociolaboral.
Se procedi a la comparacin de grupos
travs de la comparacin entre grupo de
beneficiarios y no beneficiarios del
programa, utilizando el modelo de
emparejamiento por minimizacin de las
distancias eucledianas.
Diseo de corte transversal, pre-test y posttest, utilizando como instrumento de
valoracin las Encuestas sobre Niveles de
Vida (ENNIV) de 1997 y 2000.
Los datos generados por ambas encuestas
fueron trabajados mediante un anlisis
Conclusiones
La ganancia neta derivada del
programa es de 61 soles, es
decir, un 22% de la
transferencia nominal.
Sobre la base de la
informacin y supuestos
razonables sobre retornos de
inversiones, se encontr que
los beneficios adicionales
para la comunidad de las
obras representan un 93%
adicional de la inversin
inicial realizada por el
programa en pago de mano de
obra.
La medicin de impacto de la
sexta
convocatoria
del
programa PROJoven revela
que los efectos del programa
sobre
los
jvenes
beneficiarios son positivos.
Resalta
el
hecho
de
encontrarse en la ENNIV de
1997 una asociacin directa
de pequea intensidad entre la
pertenencia al Programa del
VdeL y la Desnutricin
Crnica (DNC).
rea
Agricultura
Ttulo del programa
Evaluacin
del
de Reforzamiento al
Desarrollo
Alternativo-Seccin
416(b)
Ao / Institucin
evaluadora/autores
Codina Giralt (2005)
DEVIDA
Institucional
Muestra
Para el diseo de la muestra se

formaron
2
estratos,
beneficiarios de Aucayacu y
beneficiarios de Aguayta, ya
que se deseaba analizar la
informacin a nivel de cada
uno de los valles.
La muestra final estuvo
conformada
por
590
beneficiarios, 320 de Aguayta
y 290 de Aucayacu.

anlisis)
multivariado de Regresin Logstica.
Se us un diseo pretest-postest sin grupo
control. No se pudo utilizar como lnea base
la Encuesta Anual del PDA del ao 2002,
porque las poblaciones bajo estudio eran
diferentes.
Por acuerdo con el Comit Tcnico de
DEVIDA se decidi que el Impacto de los
proyectos productivos del Programa se
medirian
comparando
los
ingresos
percibidos por los beneficiarios en la
campaa anterior a la campaa en la que
recibieron el apoyo al programa.
Se us la Encuesta de Hogares por Muestra.
Los
cuestionarios
diseados
fueron
sometidos a una prueba piloto en el campo y
se efectuaron las modificaciones que esa
experiencia aconsej.
Calidad de vida
Sexta
Evaluacin
Intermedia y Ex post
de Foncodes
APOYO (2000)
Institucional
La muestra estuvo conformada

por 800 proyectos y cerca de
5,000 hogares
Se utilizaron los siguientes cuestionarios:
Formulario: Beneficiarios del Proyecto

Agropecuario, Apoyo Alimentario y
Empleo Temporal.
Formulario: Censo a los Beneficiarios

del Proyecto Palma Aceitera en
Aguayta
Se compar a hogares intervenidos con
hogares no intervenidos (grupo de control)
respecto a indicadores de salud, educacin y
condiciones de vida en general.
Conclusiones
No fue posible medir el

impacto
econmico
del
proyecto; sin embargo los
entrevistados perciben que el
cultivo es rentable, por lo que
intentarn ampliar sus reas
de bajo cultivo.
La tasa de incremento en el
valor bruto de la produccin
agrcola asistida por el
Programa fue del 25% con
relacin a la campaa agrcola
anterior
al
apoyo
del
Programa.
No se puede determinar si
hubo aumento o decremento
de los conflictos sociales.
Se
encontr
significativo.
impacto
FONCODES
Alimentacin
Costo Efectividad del
APOYO
El
universo
muestral
lo
La metodologa utilizada en estos proyectos

incluye cuestionarios a nivel nacional y
entrevistas con autoridades y beneficiarios.
Se decidi llevar a cabo el ejercicio
Se encontr que el Programa
127
rea
Ttulo del programa

Programa
de
Desayunos Escolares
de FONCODES y el
Programa
de
Alimentacin Escolar
del PRONAA
Ao / Institucin
evaluadora/autores
(2000)
Ravina
Renato
Paulini Javier
Muestra
&
conformaron los nios entre 5

y 14 aos, que no hubieran
acabado an sus estudios
primarios.
Institucional

anlisis)
economtrico utilizando un modelo Probit.
Se intento atenuar el problema del sesgo de
seleccin
por
variables
observables
aplicando el mtodo conocido como
propensity score.
Conclusiones
de
Desayunos
Escolares
present menores niveles de
costos por beneficiario que el
Programa de Alimentacin
Escolar.
Para la estimacin de la efectividad de los

programas de Foncodes y Pronaa se us la
informacin de la Encuesta Nacional de
Hogares (ENAHO) correspondiente al 2
trimestre de 1999.
Empleo
Evaluacin
de
de
Desarrollo
y
Capacitacin
a
Microempresas
de
Mujeres
PROPYME (1997)
de
clubes
entrevistados
Se aplic una encuesta a los clubes de

madres que haban recibido crditos
otorgados por el proyecto.
Nutricin
Evaluacin
de
impacto del Programa
de Complementacin
Alimentaria
para
Grupos de Mayor
Riesgo
Consorcio Maximixe Instituto

CUANTO
2003

por 432 nios beneficiarios del
programa.
El diseo fue descriptivo y transversal. Se

aplic el mtodo retrospectivo de
recordatorio del consumo de alimentos de 24
horas.
Salud
Evaluacin
de
Alimentario
Nutricional para el
Paciente Ambulatorio
con Tuberculosis y
Familia PANTBC 2002
CENAN-INS. (2003)
Se calcul una muestra

aleatoria por conglomerados de
264 encuestas a
ex
beneficiarios PANTBC y de
135 encuestas a beneficiarios
actuales. Todos deban tener
entre 18 y 65 aos.
La evaluacin presenta un estudio

descriptivo transversal prospectivo de fuente
primaria de informacin, describindose
Universidad
Pacifico
Institucional
del
El
nmero
beneficiarios
alcanz a 96.
Se disearon sistemas de ingreso de datos en

el lenguaje de programacin Visual Basic
6.0. El anlisis y procesamiento estadstico
de los datos se efectu mediante el software
SPSS (Versin 10.0)..
El efecto del programa en el

ingreso familiar puede ser
comprobado
por
la
percepcin de las socias y la
sus esposos respecto a que su
participacin en el club es
importante en lo que se
refiere a su aporte a la
economa familiar.
Se evidenci que la papilla
mejor el aporte de energa,
vitamina A y hierro en la
dieta del nio, llegando a
cubrir los requerimientos en
la mayora de los grupos
etreos
El diseo de la muestra
permiti
estimar
una
prevalencia de bajo peso entre
los pacientes evaluados del
50%, con una precisin de +/7.5%,
un
nivel
de
significancia del 95%
128
rea
Nutricin
Educacin
Ttulo del programa

Evaluacin
de
Alimentario
Nutricional
para
Familias
en
Alto
Riesgo-PANFAR
2002
Mejor Educacin a
travs de ms Tiempo
en el Aula (META)
Ao / Institucin
evaluadora/autores
CENAN-INS. 2003
Muestra
Se estuvo una muestra
aleatoria por conglomerado de
1435 nios beneficiarios del
PANFAR pertenecientes al
segundo semestre del ao
2002.
Institucional
GRADE (2004)
Torero Mximo
Santiago Cueto
&
Institucional
La muestra est constituida por

centros educativos rurales
primarios
de
cinco
departamentos seleccionados
para participar del programa
META.

anlisis)
Estudio de tipo descriptivo transversal
El procesamiento estadstico se efectu
mediante el software SPSS (Versin 10.0).
Las variables continuas se describieron
utilizando medidas de tendencia central y
dispersin. Mientras que las variables
nominales
se
describieron
mediante
frecuencias absolutas y relativas.
El diseo es cuasi-experimental.
El grupo de contraste estuvo conformado por
los estudiantes y docentes del departamento
de Ayacucho.
Se registr la asistencia diaria para cada
docente en el programa desde marzo hasta
noviembre del 2004. As mismo se cuenta
con pruebas de rendimiento de los
estudiantes a inicios y fines del 2004 en las
reas de matemtica y comprensin de
lectura.
Infraestructura
Estimando
el
Beneficio
de
los
Caminos
Rurales:
Programa de Caminos
Rurales (PCR)
GRADE (2001)
Javier
Escobal
Crmen Ponce
Institucional
La seleccin de hogares y
centros poblados beneficiados
indirectamente
o
no
beneficiados por el PCR se
realiz a partir de la muestra
aleatoria
de
caminos
rehabilitados por el programa,
buscando parear tramos de
caminos testigos con tramos
El mtodo que se sigue en el presente trabajo

es el de emparejamiento o matching que
consiste en asignar a cada beneficiario un
respectivo control, es decir un individuo que
no participa en el programa pero que es muy
parecido a l.
Se aplicaron encuestas con el fin de servir de
base para el anlisis de los beneficios
derivados de la inversin en rehabilitacin y
mantenimiento de caminos rurales.
Se evit el desbalance de la muestra,
identificando los hogares que ms se
asemejaban a aquellos que han sido sujetos
de intervencin a partir del mtodo del
Conclusiones
No se encontr impacto.
A pesar de haber encontrado

un efecto positivo del
programa en cuanto a la
asistencia de los docentes, los
resultados de las pruebas de
rendimiento en cuarto y sexto
de
primaria
no
son
concluyentes respecto a un
impacto
positivo
del
programa en el aprendizaje de
los estudiantes.
Las estimaciones sealan un

efecto positivo, que vara
entre 6,8% y 7,5% para los
caminos carrozables y entre
7,3% y 9,2% para los caminos
de
herradura.
Aunque
ciertamente no se trata de
impactos dramticos, es lo
que se podra esperar en un
129
rea
Ttulo del programa
Ao / Institucin
evaluadora/autores
Muestra
rehabilitados por el PCR.
Agricultura
Ingresos
Familiares
Desarrollando
mercados rurales: El
rol de la incertidumbre
y
la
restriccin
crediticia
Institutions, Politics
and Contracts: The
Attempt to Privatize
the
Water
and
Sanitation Utility of
Lima, Peru
GRADE (2005)
La muestra empleada fue de

604 productores agropecuarios
en
distintas
zonas
de
intervencin del proyecto
INCAGRO. El grupo de
tratamiento
lo
integran
aquellos que han hecho uso de
servicios de asistencia tcnica
que les permiten acceder a
mercados dinmicos (181) y el
grupo control los productores
que no han accedido a
asistencia tcnica (423).
Javier Escobal
Institucional
Banco Mundial (2000)
No especifica
Alcazar, Lorena; Xu
Lixin, Colin; Zuluaga,
Ana Mara.

anlisis)
Propensity Store Matching.
Tambin se realizaron observaciones de
hogares ficticios que maximicen la
comparabilidad entre la muestra sujeta a
intervencin
(asociada
a
caminos
rehabilitados) y el grupo de control (asociado
a caminos no rehabilitados).
Para medir la restriccin crediticia, hemos
seguido la propuesta elaborada por Diagne et
al. (2000). Este mtodo permite evaluar el
impacto de relajar la restriccin crediticia
sobre cualquier variable de inters.
Respecto de la medicin del riesgo, las
preguntas hipotticas han sido diseadas para
calcular una medida relativa de aversin al
riesgo.
La evaluacin utiliz una metodologa de

costo-beneficio para medir el beneficio de los
efectos de la reforma.
Se utiliz un mtodo de evaluacin de
diferencias de medias y la simulacin
contrafactual.
Institucional
Perodo de evaluacin 1994-2004
Ingresos
Familiares
The Social Impact of

privatization and the
Regulation of Utilities
in Peru

Torero, Maximo
Pasco-Font, Alberto
No especifica
y
Se
utilizaron
tres
metodologas
complementarias: a) clculo de las curvas de
tendencias que muestra cmo los servicios se
distribuyen en la poblacin, b) medicin de
Conclusiones
contexto donde los impactos
son usualmente de largo
plazo.
Los resultados presentados

hacen evidente que existe una
distancia importante entre
quienes ahora acceden al
mercado de asistencia tcnica
y quienes estando en las
mismas zonas an no lo
logran.
Se
encontr
que
los
beneficios alcanzados de las
reformas parciales son mucho
menos que los que se
obtendran si hubiera una
concesin.
Las reformas
parciales son mejores para el
gobierno pues mantienen las
rentas de mayores precios,
pero
los
consumidores
pierden debido a una muy
baja inversin.
El consumo y gasto en los
servicios de telfono se ha
incrementado de 1991 a 1997
para todos los niveles de
130
rea
Ttulo del programa
Ao / Institucin
evaluadora/autores
Muestra
Institucional

anlisis)
los cambios en el gasto familiar asociados
con los cambios en la estructura y nivel de
los precios, y c) medicin de los efectos del
incremento en el acceso.
Mtodo de evaluacin Diferencia de medias
y simulacin contrafactual.
Conclusiones
ingreso debido a las menores
tarifas.
El consumo y gasto en
electricidad en el rea urbana
del Per ha decado debido al
incremento de los precios del
servicio elctrico.
Perodo de evaluacin de 1991 a 1997
Microcrdito
Evaluating
Social
Funds:
A
CrossCountry Analysis of
Community
Investments

Rawlings, Laura, Lynne
Sherburne-Benz,
&
Julie Van Domelen
reas geogrficas con altos

niveles de fondos de inversin
social (grupo de tratamiento) y
reas con bajos niveles de
fondo de inversin social
(grupo control)
Institucional
Educacin
The Allocation and

Impacts of Social
Funds: Spending on
School Infrastructure
in Peru
Banco Mundial
Nios de 6 a 11 aos de edad
Paxson, Christina, and

Norbert Schady. (2002)
Institucional
Pobreza
Sexta Evaluacin ExPost del FONCODES:

Evaluacin
de
Impacto
y
Sotenibilidad
Banco Mundial
APOYO (2000)
Institucional
Se escogi 470 proyectos sobre

la base de una seleccin
sistemtica
con
arranque
aleatorio para conformar el
grupo de intervencin.
Se utiliz la tcnica del emparejamiento

para comparar reas geogrficas, y un diseo
de estimacin de diferencia en la diferencia,
as como variables instrumentales.
La lnea fue establecida por la informacin
de la Living Standards Measurement Survey
(1994 y 1997) y el estudio de hogares
conducido por el Instituto Nacional de
Estadstica e Informtica.
La informacin de nivel distrital vino del
Censo de Poblacin y Vivienda de 1993 y la
informacin a nivel de hogares vino de un
estudio realizado por el Instituto Nacional de
Estadstica e Informtica (1996) y de dos
estudios sobre medicin de los estndares de
vida (1994 y 1997)
Se utiliz un mtodo de evaluacin de
Diferencia en la diferencia y de variables
instrumentales.
Se realiz un diseo metodolgico con dos
componentes: (i) un diseo probabilstico
para la evaluacin de cinco lneas
(educacin, agua, desage, letrinas y
electrificacin) basado en la definicin de un
Los gastos en el servicio de

agua han decado de 1991 a
1997.
El efecto del programa sobre
las tasas de empadronamiento
escolar fue positivo y
significativo.
El efecto de los gastos

escolares de FONCODES
sobre las tasas de asistencia
escolar fue positivo y
significativo.
El fondo social de inversin

en educacin increment
significativamente
la
probabilidad de ser admitido
en la escuela por casi 2% de
131
rea
Pobreza
Ttulo del programa
Modelo de medicin
de impacto sobre el
bienestar objetivo y
subjetivo: Un anlisis
de caso del Proyecto
de Reduccin y Alivio
a la Pobreza (PRA)
Ao / Institucin
evaluadora/autores
Pedro Mateu y Jean

Vilca (2004)
Universidad
del
Pacifico Agencia de
los Estados Unidos para
el Desarrollo (USAID)
Muestra
Se seleccionaron otros 470

proyectos de la lista de espera
de proyectos de Foncodes para
conformar el grupo de
comparacin.

anlisis)
grupo de comparacin ad hoc y en el uso de
instrumentos de cuantificacin de respuestas
por parte de beneficiarios, operadores y
responsables de las obras; y (ii) un diseo no
probabilstico (estudio de caso) para dos
lneas de inversin en el rea de
infraestructura econmica (riego y obras
viales) con visitas de campo a proyectos
preseleccionados.
424 (50% GC y 50% GE)

madres de Cajamarca, sobre la
base de un muestreo aleatorio.
Diseo cuasi-experimental pre-post con

grupo control posterior obtenido mediante
matching.
Mide los efectos del programa

PAR el bienestar subjetivo y
objetivo de las madres.
Incluye las provincias de La

Esperanza,
Huambocancha,
Cajamarca y Ciudad.
Uso de encuesta estructurada sobre la base

de las encuestas HOPE 1998, ENAHO 2001
IV Trimestre y ENNIV 1997.
El PRA ha elevado los

ingresos mensuales y el
nmero de horas diarias
laboradas de las participantes
en
119.2%
y 102.7%
respectivamente.
En proceso de evaluacin.
Institucional
Infraestructura
Programa de Caminos
Rurales II y Programa
de Transporte Rural
Decentralizado
Torres, R., Quispe, E. &

Serrie, N. (2006)
Banco Mundial & BID.
Institucional
El
universo
del
grupo
tratamiento se define sobre la
base de las dos primeras
prioridades
de
inversin
(tramos) identificadas en los
Planes Viales Provinciales
(PVP):
Anlisis de regresin con mnimos

cuadrados y logstica.
Uso de grupo control y tratamiento.
Conclusiones
aquellos que viven en extrema
pobreza.
El
programa
disminuy
significativamente
la
incidencia de la diarrea en los
nios.
Una evaluacin ex-post en 2000, que sirve

tambin de lnea de base para la siguiente
operacin. Esta evaluacin se hizo de manera
retrospectiva
Una evaluacin intermedia en 2004
La muestra de tramos se
determina de manera aleatoria
del universo antes indicado
(Alrededor de 20% del total de
los caminos rehabilitados sern
muestrales).
Ambos evaluaciones fueron hecho por el

mtodo de diferencias de diferencias
2006: evaluacin de las primeras fases y
lnea de base para el siguiente proyecto
En cada tramo se determina los

centros poblados directamente
beneficiados al inicio, al centro
132
rea
Ttulo del programa
Ao / Institucin
evaluadora/autores
Muestra

anlisis)
Conclusiones
y al final (dependiendo del

tamao del tramo).
En cada centro poblado se
determina de manera aleatoria
las familias a ser entrevistadas.
Para cada uno de los tramos
identificados y priorizados en
los PVP se identifica otros
tramos control con iguales
caractersticas dentro de la
provincia.
Salud
Midterm
Impact
Evaluation of the
Reproductive health in
the
Community
(reprosalud) Project
Ferrando D, Serrano N.
& Pure C. (2002)
Institucional (USAID)
Se identifica en gabinete
tramos control, en base a
informacin secundaria. Estos
tramos luego se verifican en
campo.
112 comunidades: 70 fueron
beneficiarias
directas
del
programa, 17 beneficiarias
indirectas y 25 integraron el
grupo control.
La unidad de anlisis estuvo
integrada por mujeres en edad
frtil y hombres entre los 15 a
59 aos.
Infraestructura
Agua
y
sanidad
Peru: CARE OPG

Water Health Services
Project
Haratani J, Viveros
AM. & Becerra AM.
(1981)
Ancash Per
32 funcionarios y lderes
entrevistados. Sin muestreo.
Metodologa cuasi-experimental.
Diseo de evaluacin pre post con grupo
control.
Se utilizaron cuestionarios para las familias,
mujeres, hombres y para las autoridades de
salud.
Anlisis de comparacin de grupos y Odds
Ratio.
Mtodo
cualitativo
(entrevistas
a
profundidad).
Se entrevist a los funcionarios de AID y
CARE quienes participaron del diseo e
implementacin del proyecto.
Se encontr un efecto positivo

del programa en las prcticas
de salud de las mujeres en
comparacin con el grupo
control. No obstante, el
impacto es mediano respecto
a los hombres.
La instalacin de suministro
de agua fue el componente
principal de que produjo
mayor impacto en la vida de
los aldeanos.
Institucional - USAID
Se
desarroll
una
entrevista
semi
133
rea
Ttulo del programa
Ao / Institucin
evaluadora/autores
Muestra
Infraestructura
Evaluacin
de
Impacto del Proyecto
MSP Sub-Programa
Cebolla
Amarilla
Supe
Centro de Servicios y
Elaboracin
de
Proyectos de Inversin UNMSM
(1996)
141 personas: productores y

jornaleros
agrcolas,
consumidores y propietarios.
Educacin,
transporte,
suministro de
agua y sanidad
Per: Improved Water

and Land Use in the
Sierra
USAID-ADEXCESEPI Institucional
Wilkinson JL, Mckean
C, Meyer RE, Nunberg
BS,
Weil
B.
&
Martinez H. (1984)
Tres sub proyectos del Valle

del
Mantaro
y
tres
subproyectos Cajamarca.

anlisis)
estructurada a los lderes de las aldeas, as
como tambin a mujeres.
Aplicacin de encuestas, entrevistas con
grupos focales de productores.
Revisin de documentos, visitas de campo,

entrevista semi estructurada a agricultores.
Conclusiones
Se hall un impacto positivo

del programa en la poblacin
de Supe.
El proyecto no obtuvo el
impacto esperado
Se realizaron anlisis costo beneficio para

medir el impacto del proyecto.
USAID Institucional
Infraestructura
Empleo
Pobreza
Does
Privatization
Deliver? Access to
Telephone
Services
and
Household
Income in Poor Rural
Areas Using a QuasiNatural Experiment in
Peru.
Does the Quality of
Training
Programs
Matter?
Evidence
from
Bidding
Processes Data
Chong A, Galdo V. &

Torero M. (2005)
1000
familias
rurales
comprometidas
en
las
actividades agrcolas y no
agrcolas, beneficiarias o no
con el servicio de telefona
privada en su localidad.
Se determin grupo control
Anlisis de Regresin, Mtodos

emparejamiento Propensity Scores
variables instrumentales.
de
y
Se encontr un una relacin

positiva y significativa entre
el acceso a los servicios de
telefona y las mediciones del
ingreso familiar.
Chong A. & Galdo J.

(2006)
Jvenes de 16 a 24 aos de
edad.
Se utiliz el mtodo de emparejamiento de

diferencia en la diferencia de Kernel y
anlisis de regresin
IZA Discussion Papers

(Alemania)
1725 beneficiarios y 1742 no

beneficiarios.
Se encontr que los que los

jvenes que asisten a cursos
de capacitacin de alta
calidad obtuvieron mayor
promedio e impactos de
tratamiento marginal.
Poverty,
Health
Infrastructure and the
Nutrition of Peruvian
Children
Valdivia M. (2004)
Per
Se utiliz la base de tados de los censos de

infraestructuras de salud de 1992, 1996 y
2000.
Se encontr que el efecto del

programa
slo
fue
significativo en las reas
urbanas.
Per
BID Institucional

368 distritos.
GRADE
Economics and Human
Puntuaciones Z.
Anlisis economtricos
134
rea
Trabajo
Nutricin
Ttulo del programa
Labor
Market
Reforms and Their
Impact on Formal
Labor Demand and
Job Market Turnover:
the case of Peru
The Glass of Milk
Subsidy Program and
Malnutrition in Peru.
Ao / Institucin
evaluadora/autores
Biology, 2004
Journal
Saavedra J. & Torero
M. (2000)
Stifel D. & Alderman

H. (2003)
Institucional
Evaluacin
de
impacto
de
la
asistencia
docente
sobre el rendimiento
de los estudiantes
400 establecimientos
GRADE
Banco Mundial
Educacin
Muestra
Cueto S, Len J, Torero

S & Deustua, J (2003)
GRADE
Institucional
Utilizaron datos secundarios de

tres fuentes:
Encuesta Nacional de Enaho
(1998-2000) - INEI
Encuesta Nacional de Hogares
sobre Medicin de Niveles de
Vida (1994-1997) CUANTO
Encuesta
de
Salud
y
Demografa (1996-2000)
USAID
Poblacin de 317 escuelas de 5
departamentos
(Ayacucho,
Cusco, Piura, San Martn y
Puno) y 1092 docentes. Se
utiliz una muestra de 209
escuelas y 619 docentes.
Para la EI se utiliz solamente
178 escuelas, 354 docentes.

anlisis)
Anlisis de regresin
Se utiliz un conjunto de informacin seudo

panel, de observaciones bimestrales entre
1987 y 1997. Tambin se utiliz la
informacin de Estudios de Hogares en para
Lima Metropolitana.
Diferencia en la diferencia y anlisis de
regresin.
Grupo de comparacin sobre la base de
poblacin pobre y no pobre, elaborado a
posteriori.
Conclusiones
Luego de la reforma se
observ una disminucin de
la ocupacin, siendo mayor y
significativa para el caso de
los trabajadores asalariados
formales respecto a los
informales.
No se encontr impacto del
programa
Anlisis de regresin de los valores

porcentuales de los distintos estadsticos a
travs de los aos.
asignacin aleatoria a los
tratamiento y contraste).
(no hubo
grupos de
Se encontr
programa
impacto
del
Se utiliz un registro de monitoreo.

Registros de asistencia diaria para cada
docente en el programa. Asimismo, pruebas
de rendimiento de los estudiantes a inicios y
fines del 2004 en las reas de matemtica y
comprensin de lectura.
Se utiliz emparejamiento (matching).
Estadsticas de comparacin. Regresin.
135
En general, los estudios presentados en la tabla anterior pueden ser

considerados como los ms robustos y con mayor rigurosidad metodolgica
realizados en el pas, pues han utilizado un diseo cuasiexperimental, de diseo
pretest-postest, muchos de ellos con grupo control y con manejo de las amenazas
de seleccin empleando las tcnicas de emparejamiento (matching). La mayora
han colectado sus propios datos mediante encuestas estructuradas, el uso de
indicadores objetivos obtenidos de bases de datos de la Encuesta Nacional de
Hogares (ENAHO), las Encuestas sobre niveles de Vida (ENNIV), entre otros.
Finalmente, algunas de ellas han utilizando tcnicas estadsticas modernas como
las de Regresin (lineal, logstica, logit), para ajustar sus modelos economtricos o
los sesgos iniciales de seleccin.
En el punto 3.2.2.1 se presentar un anlisis estadstico de los estudios
resumidos en la tabla anterior, en conjunto con el anlisis de los estudios de
Evaluacin de Impacto (EI) internacionales y de forma comparativa.
3.2. DESARROLLOS INTERNACIONALES

Existen diversas experiencias internacionales relacionadas a la elaboracin
y fundamentacin de propuestas de evaluacin de impacto de los programas
sociales; sin embargo, estas propuestas estn insertadas dentro de esquemas reales
de evaluacin, no son propuestas propiamente metodolgicas. La gran mayora de
ellas provienen de Organismos Internacionales de Desarrollo, mientras que otras,
ms modestas y acadmicas, provienen de investigadores de las ciencias sociales43.
En este subcaptulo se presenta, en primer lugar, una breve revisin de las
experiencias gubernamentales ms exitosas en evaluacin de impacto de Amrica
Latina, para luego revisar sistemticamente las experiencias de investigacin de
impacto publicadas en los principales journals internacionales y, luego, sintetizar
algunas novedades metodolgicas.
43
En el mbito acadmico la aproximacin ms antigua de evaluacin de impacto quiz provenga

de Tyler (1942), quien elabora un modelo de evaluacin centrada hacia los objetivos, valorando la
coincidencia entre los objetivos del programa y los resultados reales. La evaluacin se considera un
proceso recurrente: se reordenan los objetivos en funcin de los resultados. No se explicita un
diseo concreto. Posteriormente Scriven (1974) presenta modelo evaluativo orientado hacia el
consumidor libre de metas. El evaluador es un sustituto informado del consumidor. El evaluador
investiga todos los efectos del programa independientemente de sus objetivos. Propone diseos
experimentales, pre-experimentales, anlisis de costes y mtodo libre de metas. Fue recin con
Campbell y Stanley (1966), Cook y Campbell (1979) cuando se propone la aplicacin del mtodo
cientfico a la evaluacin. Plantean que no hay diferencias metodolgicas entre evaluacin y
mtodo cientfico. Utilizan exclusivamente el mtodo cuasi-experimental. Adicionalmente, Lee
Cronbach (1982) propone una evaluacin asentada en una planificacin previsora y flexible de las
actividades evaluativas. Presenta el modelo de los UTOS (Unidades, Tratamiento, Observaciones,
Situaciones), con esquemas de anlisis muy rigurosos. Actualmente la visin ms popular es la
presentada por Campbell & Stanley, con sus diversas modificaciones.
136
3.2.1. Experiencias institucionales

En el mbito del desarrollo social latinoamericano, la aplicacin y difusin
de las evaluaciones de impacto han estado encabezadas por instituciones
multilaterales como el Banco Mundial (BM), el Fondo Monetario Internacional
(FMI), el Banco Internacional para la Reconstruccin y Fomento (BIRF) y el
Banco Interamericano de Desarrollo (BID). Estas instituciones han venido
impulsando su aplicacin durante la ltima dcada y sus resultados han sido
incorporados en el diseo de las polticas sectoriales, las estrategias de asistencia
de pas, el diseo de programas y proyectos de desarrollo y, en general, en todas
las operaciones de crdito que financian (CONPES, 2002; Choksi, 1995).
Dentro de los desarrollos gubernamentales latinoamericanos ms
exitosos se pueden citar al programa mexicano Oportunidades y la Evaluacin
de Programas Gubernamentales (EPG) de Chile.
En efecto, el Programa social mexicano Progresa (hoy conocido como
Oportunidades), tiene una de las evaluaciones ms completas realizadas a un
programa social Latinoamericano. Es el nico programa mexicano cuya evaluacin
fue prevista desde su diseo, partiendo de un diagnstico de la situacin antes de
su inicio, y medida con la aplicacin de encuestas a hogares con mltiples
evaluaciones posteriores, generando volmenes de documentos (Ejm. Skoufias,
2001; Skoufias, 2003).
Aunque se desconoce el monto de los recursos destinados por el gobierno
para su evaluacin, puede asegurarse sin temor a cometer grandes errores, que ste
debi ser muchas veces superior a lo que se destinaba a la evaluacin de los
programas sociales antes referidos, a cargo de la Secretara de Desarrollo Social
(Sedesol), que fluctu alrededor de los $200,000 a $550,000 para el ao 2002. El
otro aspecto que cabe resaltar es que el gobierno no le confi la responsabilidad de
su evaluacin a los propios con-nacionales, sino que recurri al empleo de expertos
de organismos internacionales44.
De esta manera, mientras las evaluaciones peruanas (por sus limitados
recursos) emplean slo tcnicas de encuesta, con mnima representatividad,
aplicadas a una muestra de beneficiarios, entrevistas a funcionarios, observacin
directa y clculo de algunos indicadores socioeconmicos, la evaluacin del
PROGRESA permiti un diseo experimental45, mucho ms costoso, que garantiza
el mayor rigor en la identificacin de relaciones causales entre el programa y los
44
Si bien en la evaluacin inicial (1998-1999) participaron organizaciones mexicanas como la

Universidad Iberoamericana, el Instituto Nacional de Salud Pblica y la Escuela Nacional de
Antropologa e Historia, la responsabilidad del proceso estuvo a cargo del International Food Policy
Research Institute (IFPRI) de Washington, D. C., bajo la direccin del doctor Emmanuel Skoufias,
quien forma parte del BID.
45
El diseo experimental tiene la ventaja de permitir observar la diferencia entre las mediciones
antes-despus del programa, comparada con la evolucin sufrida por grupos de similares
caractersticas iniciales a los que el programa no se aplic pero que, por otro tipo de razones ajenas
al programa mismo, podran tambin haber evolucionado, favorable o desfavorablemente, lo que a
su vez permite identificar el verdadero impacto provocado por las acciones evaluadas.
137
efectos identificados, con mediciones antes-despus y discusin en grupos

focalizados, adems de otras tcnicas tradicionales46.
El diseo de la evaluacin de PROGRESA hubiera requerido idealmente
una seleccin aleatoria de beneficiarios y no beneficiarios (grupo de control), a
ttulo individual, pero como la rigurosidad es costosa, se opt por una seleccin
aleatoria en el nivel de las localidades. stas fueron 506, compuestas por 302 en
que se aplic el programa y 186 en que esto no se hizo (grupo de control), e
incluyeron a 24,077 hogares, correspondientes a 78% de los beneficiarios47.
Otra experiencia gubernamental interesante es la EPG de Chile. A partir del
ao 1997 el Gobierno de Chile incorpor la evaluacin Expost de programas
pblicos a travs de la Evaluacin de Programas Gubernamentales (EPG). Su
objetivo es disponer de informacin que apoye la gestin de los programas
pblicos y el anlisis de resultados en el proceso de asignacin de recursos
pblicos. Esta iniciativa forma parte de un Protocolo de Acuerdo firmado entre el
Congreso Nacional y el Ministerio de Hacienda con motivo de la aprobacin de la
Ley de Presupuestos, dejndose la responsabilidad de su ejecucin en esta ltima
institucin48. Es importante mencionar que desde su creacin se han evaluado 145
programas pblicos, a travs de esta lnea de evaluacin (Divisin de Control de
Gestin de Chile, 2003).
La Evaluacin de Programas Gubernamentales (EPG) de Chile, cuenta con
un Comit Interministerial que tiene por objeto asegurar que el desarrollo de las
evaluaciones sea consistente con las polticas gubernamentales, que las
conclusiones que surjan de este proceso sean conocidas por las instituciones que
conforman el Comit y que se disponga de los apoyos tcnicos y coordinaciones
necesarias para el buen desarrollo del mismo49. Las evaluaciones son realizadas
por paneles evaluadores constituidos por tres profesionales externos al sector
pblico, quienes tienen la responsabilidad de efectuar las evaluaciones de acuerdo
a los procedimientos definidos por el Ministerio de Hacienda. La seleccin de los
evaluadores se realiza cada ao mediante un riguroso anlisis tcnico a partir de
una convocatoria pblica la que se incorpora en el Sistema de Informacin para la
46
En efecto, desde ya debe dejarse claro que los elementos clave que garantizan una evaluacin
exitosa y rigurosa son: que la evaluacin sea un componente programado desde el diseo del
programa, que tenga objetivos claros, que se cuente con el apoyo del mbito institucional
responsable del mismo, que el diseo de la evaluacin ofrezca mediciones crebles, que cuente con
un adecuado marco lgico de evaluacin, presupuesto suficiente y, de preferencia, un diagnstico
previo a la implantacin del programa.
47
Skoufias (2001) seala que este importante tamao muestral podra ser incluso insuficiente para
medir el impacto en algunas reas, lo que de inmediato refuerza las dudas que dejan las
evaluaciones de otros programas sociales, comnmente realizadas en el pas, donde es difcil que la
muestra supere 20% de los beneficiarios, independientemente de los problemas enfrentados para
garantizar una seleccin aleatoria.
48
En el Per, mediante la instalacin del Sistema Nacional de Inversin Pblica, se pretende
controlar el diseo, ejecucin y evaluacin de los Proyectos de Inversin. La ltima etapa (expost)
es la referida a la evaluacin de impacto de los programas. Hasta la fecha (diciembre de 2006)
solamente se est implementando las estrategias de formulacin y ejecucin.
49
Este Comit est conformado por un representante del Ministerio Secretara General de la
Presidencia, del Ministerio de Planificacin y Cooperacin (MIDEPLAN) y del Ministerio de
Hacienda, a travs de la Direccin de Presupuestos, siendo presidido por esta ltima cartera.
138
Seleccin de Consultores del Programa. El proceso de seleccin considera

bsicamente las competencias de los profesionales en el rea de evaluacin y en el
rea de intervencin del programa.
Adicionalmente, para la conformacin de los paneles de evaluacin se utiliza
como criterio de seleccin la complementariedad de especializaciones entre los
profesionales que postulen a integrar los distintos paneles. Por su parte, las
instituciones responsables de los programas evaluados se incorporan al proceso de
evaluacin, a travs de las siguientes actividades:
1. Proveer de un conjunto de informacin del programa para su
entrega al panel evaluador, al inicio del proceso, y de cualquier
otra informacin disponible y necesaria durante la evaluacin.
2. Elaborar la matriz de marco lgico preliminar, para su entrega al
panel evaluador como insumo base.
3. Participar en todas aquellas reuniones que solicite el panel
evaluador y el Ministerio de Hacienda para analizar aspectos
especficos del proceso de evaluacin.
4. Analizar y emitir comentarios a los resultados intermedios y
finales de la evaluacin, los que son entregados al panel de
evaluacin a travs del Ministerio de Hacienda.
5. Analizar y emitir comentarios a las recomendaciones, adems de
participar en el proceso de establecimiento de compromisos en
torno al mejoramiento de los programas.
6. Informar del cumplimiento de los compromisos institucionales.
Dentro del EPG de Chile podemos apreciar un caso: El programa Chile
Joven. Su evaluacin de impacto arroj conclusiones importantes, no slo en
trminos de los efectos directos sobre la poblacin beneficiaria, sino tambin de los
procesos y la implementacin del mismo. Esta experiencia ha servido como
ejemplo para el diseo y la puesta en marcha del programa Jvenes en Accin de
la Red de Apoyo Social (RAS) en Colombia.
Por otro lado, en el mbito institucional, el Banco Mundial es la
organizacin internacional que ms ha incidido en el desarrollo y la difusin de la
evaluacin de impacto en Amrica Latina. El Banco Mundial ha publicado
importantes documentos sobre la evaluacin de impacto, como la obra de consulta
de Baker (2000), del Departamento de Evaluacin de Operaciones (2004), de
Ravallion (2001, 2005) y, recientemente, de Bemberger (2006), de Bedi, Bhatti,
Gine, Galasso, Goldstein & Legovini (2006) y White (2006). Adems, de sus
directivas metodolgicas, es de resaltar que el Banco Mundial tiene casi una
centena de estudios de evaluaciones de impacto divulgados a travs del sitio web
del Banco Poverty Impact Analysis, Monitoring and Evaluation. Otra institucin
que cuenta con una base de datos sobre artculos de investigacin e informes
institucionales sobre evaluacin de impacto de programas sociales es el Banco
Interamericano de Desarrollo (BID).
Un anlisis individual de estos informes se presenta en la Tabla N 3.3,
conjuntamente con el anlisis individual de otras fuentes institucionales y de los
artculos de evaluacin de impacto publicado en revistas internacionales.
139
3.2.2. Desarrollo acadmico-institucional

En el mbito internacional se han desarrollado diversas investigaciones de
impacto utilizando metodologas modernas y de base cuasiexperimental. Estas
evaluaciones, publicadas en revistas internacionales especializadas en evaluacin
de programas (vase la Tabla 3.1) o ubicadas en base de datos de instituciones
internacionales para el desarrollo (Ej. Banco Mundial) han aumentado
significativamente en la ltima dcada, por lo que su revisin y anlisis resulta
necesario.
Por ello, en la siguiente tabla se resumen los principales estudios que
introducen los mtodos basados en diseos cuasi-experimentales que son aquellos
en los que el avance en la rigurosidad ha sido mayor en los ltimos aos para la
evaluacin de programas.
140
Tabla N 3.3. Desarrollo acadmico de la evaluacin de impacto de programas sociales en el mundo segn investigaciones publicadas en Journals internacionales o
Instituciones de Desarrollo (Fuente: Elaboracin propia).
rea de estudio
Ttulo de la evaluacin
Suministro de agua y
sanidad
A Transitory Regime:
Water Supply in Conakry,
Guinea
Autores / lugar de
aplicacin / ao
Menard, C.; George,
C.R. (2000)
Muestra
Metodologa
Conclusiones
No disponible
Diferencia de medias, diferencia

en la diferencias y simulacin
contrafactual.
El gobierno obtuvo una

ganancia de 9.8 millones como
resultado
del
rgimen
transitorio.
75 escuelas primarias divididas

aleatoriamente en tres grupos.
De estos dos fueron de
tratamiento y uno de control.
Se utiliz informacin secundaria

obtenida por el equipo de
evaluacin sobres caractersticas
de la poblacin y de los
estudiantes (1998 y 1999), y la
investigacin
parasitolgica
conducida por el Ministerio de
Salud de Kenya (1998)
No se encontr evidencia que

la desparasitacin intestinal
influye en las puntuaciones
acadmicas.
Guinea
Institucional
Salud, nutricin &
poblacin
Worms: Education and

Health Externalities in
Kenya
Miguel, Edward, and

Michael
Kremer.
(2001)
Kenya
Institucional
Educacin
Educacin
Teacher Incentives
Textbooks
and
Test
Scores: Evidence from a
Glewwe,
Paul;
Nauman, Ilias; Kremer,
Michael (2003)
Muestra de 100 escuelas: 50 en

el grupo de tratamiento y 50 en
el grupo control.
Los tres grupos cumplieron el rol

de grupo de tratamiento y control
de manera indistinta, segn la
etapa del programa.
Diseo de evaluacin aleatoria.
Metodologa Intention to Treat
Kenya
Diferencia en la Diferencia
Institucional
Anlisis de regresin de mnimos

cuadrados.
Glewwe, Paul; Kremer,

Michael;
Moulin,
25 escuelas primarias que

fueron elegidas aleatoriamente
Diferencia en la diferencia.
Los estudiantes en las escuelas

con un programa de incentivo
al profesor
tuvieron ms
probabilidad
de
tomar
exmenes
y
obtener
puntuaciones promedio a corto
plazo. Sin embargo, Existe
poca evidencia que los
profesores
respondan
al
programa adoptados medidas
para reducir la desercin
escolar
o
incrementar
esfuerzos para estimular el
aprendizaje a largo plazo.
No existe evidencia que el
programa
incremente
la
141
rea de estudio
Prospective Evaluation in
Kenya
Autores / lugar
aplicacin / ao
Sylvie
de
Kenya (2000)
Salud, nutricin y
poblacin
The Effects of a FeeWaiver

Program
on
Health Care Utilization
Among
the
Poor:
Evidence from Armenia
Institucional
Chaudhury,
Nazmul,
Jeffrey Hammer, and
Edmundo Murrugarra
(2003)
Armenia
Educacin y empleo
Pobreza
The Growth of social

work education programs,
1985-199: Its impact on
economic and educational
factors related to the
professin of social work
The
Impact
of
an
Integrated
Family
Planning Program in
Russia
Institucional
Karger, H. & Stoesz, D.
(2003)
Estados Unidos
Muestra
Metodologa
Conclusiones
de un grupo de 100 escuelas

candidatas.
Se
estableci
comparacin de grupos segn
diversas
modalidades
de
recibimiento del programa.
La informacin se obtuvo de
las muestras de dos estudios:
The American Living Standard
Survey (4,260 familias) y The
Integrated Survey of Living
Standards (3,600 familias).
Diferencindose
grupo de
tratamiento y grupo control
Informacin de los 432
programas de bachillerado
ofrecidos por Council on Social
Work Education (CSWE)
Anlisis de regresin para la

comparacin de medias.
puntuacin promedio de las

evaluaciones, o que reduzca el
nivel de repitencia o tasa de
desercin escolar.
6000 mujeres provenientes de

tres ciudades rusas.
Evaluacin cuasi experimental.
Generalized Least Squares

Diferencia en la diferencia y otros
mtodos de emparejamiento.
El programa fue inadecuado

para disminuir la baja
utilizacin de servicios en los
beneficiarios.
Anlisis de mercado laboral.
Los autores concluyen que un

excedente de programas de
educacin en trabajo social ha
sido perjudicial para el
potencial
ingreso
de
trabajadores sociales de nivel
bsico, para la calidad de la
educacin del trabajo social, y
para las competencias de los
graduados en trabajo social.
Los resultados indican qu
influy en el conocimiento de
las mujeres acerca de los
mtodos de planificacin
familiar, haciendo que ellas
tengas una actitud ms
favorable
hacia
los
anticonceptivos
modernos.
Asimismo, las tasas de aborto
decrecieron
La transferencia de ingreso
gener un incremento positivo
y significativo de 3% en la
asistencia escolar de los nios
y nias. Sin embargo, el
Estudio con fuentes secundarias.
Journal
Sherwood-Fabre
Goldberg
H.
Bodrova V. (2002)
L,
&
Se tomaron dos ciudades para el

grupo de tratamiento y una como
grupo control.
Rusia
Journal
Pobreza
The Impact of Cash

Transfers on Child Labor
and School Attendance in
Brazil
Cardoso,
Eliana;
Portela Souza, Andre
(2004)
Brasil
428740 familias
Nios de 10 a 15 aos
Se utiliz los datos del Censo

2000
Diferencia de medias
Propensity Score Matching.
142
rea de estudio
Empleo
Empleo
The Impact of Microcredit

Programs
on
Selfemployment Profits: Do
Noncredit
Program
Aspects Matter?
The Impact of Minimum

Wages on Employment in
a Low Income Country:
An Evaluation using the
Difference-in-Differences
Approach
Autores / lugar
aplicacin / ao
de
Institucional
McKernan, SM. (2002)
Bangladesh
Journal
Alatas V. & Cameron

L. (2003)
Muestra
Metodologa
1757 jefes de familia que

participan o no participan en el
Grameen Bank y de dos
programas de micro-crdito
similares
1224 empresas con ms de 20

empleados, que constituye el
total de la poblacin.
Indonesia
Se
utiliz
regresin.
Conclusiones
ecuaciones
de
El efecto total es medido al

estimar una ecuacin de perfil y el
efecto de la falta de crdito es
medido al estimar la ecuacin de
perfil condicional sobre el capital
producido.
Se utiliz un enfoque de la
diferencia en la diferencia.
Diseo comparacin con grupo
control. Emparejamiento por
Matching
Institucional
Los datos fueron tomados de la

Annual Survey of Manufacturing
Firms, acerca de la situacin de
las empresas durante el perodo
de 1990 a 1996.
Salud
The impact of programs

for high-risk drinker on
population
levels
of
alcohol problem
Smart RG. & Mann

R.E. (2000)
Estudios experimentales
quasiexperimentales.
Canad
No menciona tamao muestral.
Estudio metanaltico sobre la

evidencia
correlacional
del
impacto de los programas de alto
riesgo sobre las consecuencias
finales del problema.
Journal
Pobreza
The Impact of R&D on

the Singapore Economy:
An Empirical Evaluation
Ho YP, Wong MH. &

Toh MH. (2005)
Singapur
Se utilizaron los gastos hechos

en Singapur ente los aos 1978
y 2001.
Anlisis de impacto basado en

Cobb-Douglas.
Se utiliz el anlisis de regresin.
programa no tuvo impacto en

el trabajo infantil
Se encontr grandes efectos
positivos de la participacin y
de los aspectos de la falta de
participacin sobre los perfiles
del auto-empleo.
No se encontr evidencia de
que el incremento en el salario
mnimo reduce el empelo en
las
empresas
grandes
extranjeras o domsticas. Sin
embargo, si se aprecia lo
opuesto para el caso de las
empresas
pequeas
y
domsticas.
Estas
estimaciones
se
realizaron de la informacin
de un perodo comprendido en
pleno crecimiento sostenido.
Los programas para los
bebedores de alto riesgo
pueden tener efectos de nivel
agregado benficos y son de
esta manera un importante
componente de los esfuerzos
basados en la poblacin para
reducir los problemas de
alcoholismo.
Se
encontr
evidencia
respecto
al
impacto
significativo que tuvo la
inversin R&D sobre el
143
rea de estudio
Autores / lugar
aplicacin / ao
de
Muestra
Metodologa
Conclusiones
Se utiliz una muestra de 268

jefes
de
familia.
Estos
estuvieron divididos en tres
grupos: aquellos que se
graduaron en una FFS (112),
los que estuvieron expuestos a
la enseanza de los graduados
en una FFS (156) y los que
conformaron el grupo control
(52).
Se utiliz el estimador de
diferencia en la diferencia para
comparar la diferencia de
resultados en los grupos.
desempeo de su factor total

de productividad en los
ltimos 20 aos. Pero este
impacto es dbil si lo
comparamos con otros pasesLos anlisis revelan no slo
los efectos directos sobre los
graduados en el programa sino
tambin hubo
efectos
secundarios sobre aquellos
que estuvieron expuestos a la
enseanza del programa en
comparacin con el grupo
control.
El estudio fue desarrollado en

seis distritos en los cuales los
ejercicios de mapeo escolar
fueron iniciados.
Para la recoleccin de los datos se

utilizaron
los
siguientes
instrumentos:
Formulario de mapeo escolar,
formato de entrevista, grupos de
discusin focal y cuestionarios
diseados. La confiabilidad de los
instrumentos se analiz a travs
de la frmula Kuder Richardson.
Institucional
Educacin
Educacin
Back to School on Impact

Evaluations: A second
evaluation of farmer field
schools
(FFS)
in
Indonesia
Farchy, D. (2005)
The impact of school

mapping
in
the
development of education
in
Tanzania:
An
assessment
of
the
experiences of six districts
Galabawa
JCJ,
Obeleagu
A,
&
Miyanazawa I. (2002)
Indonesia
Institucional
Tanzania (Africa)
Journal
Alimentarios
The Impact of the Bolsa

Alimentacao Program on
Food Consumption
Olinto, Pedro; Flores,

Rafael; Morris, Saul;
Veiga, Alinne (2003)
Brasil
Institucional
Se evalu a un total de 240

personas
vinculadas
al
planeamiento educacional de
los distritos fueron evaluadas
(40 por distrito).
696 beneficiarios y 309 no

beneficiarios.
Diferencia de medias, variables

instrumentales, otros mtodos de
emparejamiento.
Se encontr que el mapeo

escolar impacta de manera
positiva y en diferentes
magnitudes sobre el desarrollo
de la educacin en trminos
de incremento de matrculas y
asistencia., disminucin del
abandono escolar, promocin
de la informacin para la toma
de decisiones, y el incremento
de las capacidades del campo
de los actores para planificar y
tomar la accin.
Los resultados muestran que
los hogares beneficiarios
exhiben un mayor consumo
estadsticamente significativo
de diversos alimentos. Es ms,
el programa tiene un impacto
positivo y estadsticamente
significativo
sobre
la
diversidad de las dietas.
144
rea de estudio
Justicia
The Impact of the Social

Security Program on
Private
Pension
Contributions
Autores / lugar de
aplicacin / ao
Rejda G. & Schmidt J.
(1979)
Muestra
Metodologa
Conclusiones
El perodo de tiempo bajo

investigacin es desde el ao de
1950 a 1975.
Programa Old-Age, Survivors,

Disability, and Health Insurance
(OASDHI).
El
incremento
de
los
impuestos OASDHI no parece
disminuir las contribuciones
hacia planes con ausencia de
seguro.
Estados Unidos
Modelos de regresin para los dos
tipos de planes.
Journal
Se realizaron anlisis de relacin

funcional entre las contribuciones
de pensin respectiva.
Educacin
The Oregon First Step to

Success
Replication
Initiative:
Statewide
Results of an Evaluation
of the Program`s Impact.
Walker HM, Golly A,

Zolna J, & Kimmich M.
(2005)
Estados Unidos
La muestra est conformada

por
181
nios
(grupo
experimental) que cursan el
segundo grado de nivel inicial
en 11 de los 36 condados de
Oregon.
Journal
Se pidi a los profesores de los
alumnos que seleccionaran a
aquellos
alumnos
que
presentaban un significativo
problema en el ajuste de su
comportamiento
social.
Especficamente
en
las
relaciones alumno-estudiante o
estudiante-compaeros.
Salud
The Reach and Impact of

Social Marketing and
Reproductive
Health
Meekers D. & Van

Rossem R. (2004)
El grupo control estuvo

constituido por aquellos nios
que calificaran para ser
admitidos en el programa pero
no los fueron (30 nios).
6,782 mujeres y 1,928 varones.
Se utiliz un diseo pre-post.

Dos clases de mediciones son
informadas. La primera, que
incluye las tres escalas de reporte
de los maestros, fue diseada para
medir
los
cambios
de
comportamiento
pre-post
relacionados con la intervencin
del programa. El segundo tipo de
medicin permiti conocer la
satisfaccin de los padres y
maestros con el programa as
como de la fidelidad de los
procesos de implementacin.
Los anlisis se basaron en la

informacin de 2001 a 2002 del
Zambia Demographic and Health
Los poderes de precio del

monopolio permiten que las
grandes compaas pasen
tanto mayores impuestos
OASDHI
y
costos
de
pensiones hacia el pblico a
travs de mayores costos.
Tanto padres como maestros
consideran efectos colaterales
del programa en el contexto
familiar y el saln de clase.
Numerosas limitaciones en la
evaluacin fueron resultado de
problemas
logsticos,
dificultades en la recoleccin
de informacin, el uso de
profesores como evaluadores
e interventores.
Los hallazgos indican que las

campaas
de
salud
reproductiva y mercado social
145
rea de estudio
Communication
Campaigns in Zambia
Autores / lugar
aplicacin / ao
Zambia
de
Muestra
Institucional
Educacin
Educacin
The social impact of Life

Education:
estimating
drug
use
prevalence
among Victorian primary
school students and the
statewide effect of the
Life
Education
programme
Hawthorne, G. (1996)
The tribes process TLC: A

preliminary evaluation of
classroom implementation
& Impact on student
achievment
Kiger, D. (2000)
1721
estudiantes
en
el
programa Life Education y
1298 estudiantes que no
participan en el programa.
Australia
The Welfare Effects of

Private
Sector
Participation in Guinea's
Urban Water Supply
Conclusiones
Survey. Para controlar la auto

seleccin y endogeneidad, se
utiliz un modelo de regresin de
dos etapas para estimar el efecto
de la exposicin del programa
sobre
los
comportamientos
resultantes
Estudio exploratorio a travs del
re-anlisis de la informacin de
Hawthorne (1993 y 1995).
en Zambia alcanzaron un gran

porcentaje de la poblacin y
tuvo un significante impacto
sobre las discusiones de
planificacin familiar y uso
del condn.
Journal
(Estados
Canad)
Unidos
Journal
sanidad
Metodologa
Menard, C.; George,

G.; Zuluaga, A. (2000)
Los resultados indican que los

programas de intervencin
deberan
ser
evaluados
exhaustivamente antes de
extender su aplicacin, y
dichas evaluaciones deberan
considerarse en el estudio del
impacto que tienen los
programas a lo largo de toda
la comunidad.
La comparacin por grupo
mostr que los alumnos que
integran el proceso Tribes
(M= 54.26) demostraron un
desempeo significativamente
mayor que los alumnos del
proceso
tribe
Parcial
(M=48.91) y que no estn en
el proceso (M= 50.47)
Se utilizaron tres salones de

estudiantes:
Un saln donde el proceso
Tribes est completamente
implementado (N=37), otro
donde
el
proceso
est
parcialmente
implementado
(n=29) y un saln donde el
proceso no est implementado
(n = 66)
Grupo control y experimental.
Diseo pretest-postest
Simulacin contrafactual
El gobierno obtuvo ganancias

de 9.3 millones de dolares.

aleatoria de los nios para
integrar el programa (119) y el
grupo control.
La
informacin
sobre
las
diferencias de ingreso de los
participantes est disponible ahora
que ellos tienen una edad de 40
Los datos indican slidas

ventajas para el grupo de
tratamiento en trminos de
mayores ingresos de vida y
Para el anlisis de los datos se

utiliz ANCOVA
Guinea
Institucional
Educacin
Updating the Economic

Impacts of the High/Scope
Perry Preschool Program.
Nores M, Belfield, CR,

Steven W, Schweinhart
(2005)
146
rea de estudio
Autores / lugar
aplicacin / ao
Estados Unidos
de
Muestra
Journal
Pobreza
infantil)
(Trabajo
Educacin
Educacin
Use of Survey Design for

the Evaluation of Social
Programs: The PNAD and
the Program for the
Eradication
of
Child
Labor in Brazil
Pianto, Donald M., and

Sergei Soares. (2004)
Bangladesh Food for

Education Program: An
Evaluation of its Impact
on
Educational
Attainment and Food
Security
Vouchers for Private
Schooling in Colombia:
Evidence
from
a
Randomized
Natural
Experiment
Ahmed, Akhter; Del

Ninno, Carlo (2002)
800 municipalidades
Brasil
Institucional
930 nios con edad escolar
primaria.
Metodologa
Conclusiones
aos.
Estos
ingresos
son
traducidos en trminos monetarios
y se los compara con el costo de
ejecutar el programa para calcular
el valor neto del programa tanto
para los participantes como para
la sociedad.
Datos del Brazilian Nacional
Household Sample Survey (19971999) y del Ministry of Social
Welfare.
menor actividad criminal.
Diferencia en la diferencia y
Propensity Score Matching
Variables instrumentales de dos
etapas y otros mtodos de
emparejamiento.
Bangladesh
Institucional
Angrist, Joshua D.;
Bettinger, Eric; Bloom,
Erik; King, Elizabeth;
Kremer,
Michael
(2002)
Seleccin aleatoria del grupo de

(por sorteo).
Entrevista a travs del telfono.
Muestra aleatoria estratificada

de 40000 hogares de los
municipios urbanos con ms de
5000 habitantes.
Informacin del Censo de 1994 y

de la Encuesta de Desarrollo
Social (1997)
Colombia
Suministro de Agua
y sanidad
Water For Life: The

Impact of the Privatization
of Water Services on
Child Mortality
Journal
Galiani,
Sebastian;
Gertler,
Paul;
Schargrodsky, Ernesto
(2002)
A cluster evaluation of
Institucional
Schwerina
Existe una relacin estadstica

negativa entre la privatizacin
y mortalidad infantil.
Mtodo de evaluacin Diferencia

en la Diferencia y la Propensity
Score Matching
Argentina
Calidad de vida
Para las municipalidades que

ingresaron en 1998 los
resultados
muestran
un
significativo incremento per
cpita. De igual manera, el
impacto es mayor en los
municipios menores.
El programa tuvo un efecto
positivo y significativo sobre
la
matrcula
escolar;
asimismo, las mujeres tienen
una mayor probabilidad de
matricularse que los varones.
positivo y significativo en la
probabilidad de recibir una
educacin privada y en el
nmero de aos completos de
escolaridad y sobre el gasto
escolar.
MJ,
Las seleccin de la muestra fue
Diseo de evaluacin solo postest.
Se
encontr
que
los
147
rea de estudio
Navy quality
programs
of
life
Autores / lugar de
aplicacin / ao
Michaelb PG, Glaserc
DN. & Farrar KL.
(2002)
Muestra
intencional
de
10765
beneficiarios de programas
Estados Unidos
Empleo
WorkFirst
Study
Longitudinal
Journal
Klawitter, MM.
(2002)
Se utiliz una muestra de 1330

personas
Estados Unidos
Metodologa
Conclusiones
Se utilizaron mediciones por auto

reporte
programas tienen impacto en

los miembros de servicio
militar y sus familias.
Se
utiliz
anlisis
de
correlaciones y la prueba Chi
cuadrada.
Estudio de cohorte de un perodo
de un ao.
Se utiliz informacin los
archivos estatales Unemployment
Insurance.
Institucional
Se encontr que el Taller para

buscar
trabajo
y
la
capacitacin
pre-empleo
incrementaran las ganancias y
posibilidades de empleo en los
participantes
Se entrevist a los sujetos a travs

de la lnea telefnica.
Calidad de vida
A multimethod approach
to evaluate transition into
community life
Gliner JA. & Sample P.

(1996)
35 personas adultas con retardo

en el desarrollo participaron del
programa.
Journal
El estudio de caso de 3
participantes; dos varones y una
mujer
Estados Unidos
Sistema de pensiones
- justicia
A
State
without
ownership: the welfare
impact
of
British
privatizations 1979-1997
Florio, M (2002)
Reino Unido
Institucional
Se midi el efecto de: Taller para

Buscar Trabajo, Capacitacin en
Habilidades
Laborales,
Capacitacin
Pre-empleo
y
Trabajos Comunitarios, a travs
de anlisis multivariados.
Se utiliz la escala ndice sobre la
Calidad de Vida.
Se analiz el impacto en las

empresas,
empleados,
beneficiarios, consumidores y
contribuyentes.
Se realizaron anlisis factorial de

la varianza
Se realiz una evaluacin a travs
del enfoque costo-beneficio.
El ndice de Calidad de Vida

fall en mostrar un efecto
del programa para los
beneficiarios.
Aunque
la
evaluacin subjetiva y los
mtodos de estudio de caso
indicaron lo contrario.
Las privatizaciones britnicas
tuvieron efectos modestos
sobre
la
eficiencia
de
produccin y consumo. Sin
embargo, tuvieron importantes
efectos en la distribucin del
148
rea de estudio
Autores / lugar
aplicacin / ao
de
Violencia -Salud
Achieving social change

on gender-based violence:
A report on the impact
evaluation of Soul Citys
fourth series
Usdin S, Scheepers E,
Goldstein S. & Japhet
G. (2005)
Muestra
Metodologa
No se especifica.
Con el fin de evaluar el impacto

en tres niveles se sigui un diseo
multifactico, que comprende a
seis estudios interrelacionados:
- Un estudio nacional.
- Una evaluacin nacional del
impacto.
- Evaluacin de la relacin entre
el programa SC4 y la Nacional
Network on Violence Against
Women.
Sudafrica
Journal
Pobreza - migracin
Aid and Migration: An

Analysis of the Impact of
Progresa on the Timing
and Size of Labour
Migration
Angelucci M (2004)
Mxico
Institucional
10000 Familias rurales pobres

compuestas
por
27000
individuos. De estos 17000
integraron
el
grupo
de
tratamiento y 10000 el grupo
control
Se utiliz un diseo cualitativo y

cuantitativo.
La informacin se obtuvo de dos
estudios de migracin (1997 y
1999)
An impact evaluation of a
falls prevention program
among older people
Deery HA, Day LM.

& Fildes BN.
(2000)
Se seleccion a de manera
aleatoria a 223 personas
mayores de 60 aos.
Autralia
107 beneficiarios del programa

y
116 participantes como grupo
control.
La muestra fue de 246
estudiantes.
Journal
Educacin
discriminacin
Attitude change amongst

nursing students towards
Australian Aborigines
Hayes L, Quine S. &

Bush J. (1994)
Australia
ingreso y salud.
La evaluacin mostr una
asociacin consistente entre el
Programa Soul City Fourth y
el cambio positivo acerca de
la violencia de gnero.
Se encontr que el programa

esta
asociado
con
un
incremento en el promedio de
migracin internacional
Diseo post test.

Se utiliz la
aleatorizacin.
Salud
Conclusiones
tcnica
de
Los datos fueron se sometieron al

anlisis de regresin.
Diseo de evaluacin no aleatorio
pre- post.
Se utiliz la prueba Chi Cuadrada,
la regresin logstica y el anlisis
de covarianza.
Diseo de evaluacin de impacto

pre test y post test.
Se utiliz un cuestionario de

tuvo un impacto positivo en el
conocimiento de las cadas y
su prevencin.

foment
las
actitudes
favorables hacia los nios
australianos aborgenes.
149
rea de estudio
Autores / lugar
aplicacin / ao
de
Muestra
Metodologa
Conclusiones
actitudes auto-administrado.
Journal
Educacin, nutricin
& poblacin
Baseline Report of the

Evaluation of Familias en
Accion
Attanasio,
(2004)
Orazio
Colombia
Institucional
Salud
Benefits and costs of

prevention and early
intervention programs for
youth
Aos S, Lieb R,
Mayfield J, Miller M &
Pennucci A. (2004)
Se seleccion de manera
intencional dos conjuntos de
municipalidades para el grupo
de tratamiento y dos conjuntos
para el grupo control. Cada
conjunto de municipalidades
estuvo integrado por 25
municipalidades.
aleatoria por estratos, de las
familias elegibles para el
programa. De estas, 10660
integraron
el
grupo
de
control.
Se
seleccion
aquellos
programas que presentaron al
menos una evaluacin rigurosa.
Estados Unidos
Institucional
Microcrdito
Clients in context: The

impacts of microfinance
in three countries.
Snodgrass, DR.
Sebstad, J. (2002)
Multinacional.
India &
Zimbabwe
&
Peru,
Se
estudiaron
a
tres
instituciones: SEWA Bank en
India; Accion Communitaria
del Peru/
Mibanco en Peru; y Zambuko
Trust en Zimbabwe.
Los datos se analizaron con la

prueba de rangos de Wilcoxon, la
prueba T de Student para
muestras dependientes y los
anlisis de regresin mltiple.
Se sigui un mtodo cuasiexperimental.
La informacin es de tipo
secundaria, obtenida de un estudio
de familias, estudios de centros de
escuela y salud, y un estudios de
comunidades (2002)
Propensity Score Matching para
emparejar el grupo de tratamiento
y de control.
Se
realiz
una
bsqueda
electrnica sobre las evaluaciones
de programas.
Se construy un modelo costo
beneficio para medir el valor
monetario de los resultados
obtenidos en los diferentes
programas
Anlisis de casos. Estudio
cualitativo.

positivo significativo en la
matrcula escolar de los nios,
existe
diferencias
significativas
entre
las
municipales en tratamiento y
las de control respecto al
nmero de dias que los nios
de 2 a 6 aos consumen
huevo.
Asimismo,
el
programa tuvo un efecto
positivo y significativo en el
peso y altura de los nios de
las reas rurales.
Se encontr que algunos

programas de prevencin e
intervencin temprana pueden
lograr significativamente ms
beneficios que costos.
Se confirm que el impacto de

las microfinanzas en un nivel
familiar es condicional y
heterogneo.
Existe impacto positivo en
150
rea de estudio
Autores / lugar
aplicacin / ao
de
Infraestructura
Cost-Benefit Analysis of
the High-Speed Train in
Spain
De Rus, G. & Inglada,

V. (1997)
Muestra
Sin muestreo. Se analizaron 3

estudios individuales, uno en
cada
institucin.
Datos
secundarios.
No especifica.
Metodologa
Conclusiones
algunas
variables
entre
algunos grupos e impactos
neutros en otras.
Evaluacin ex post con un anlisis

de costo-beneficio.
Se encontr una tasa de rebaja

social de 6% en trminos
reales.
Espaa
Journal
Educacin
Cost-Effectiveness
of
Education Policies in
Latin America: A Survey
of Expert Opinion
Schiefelbein, Wolff L.
& Schiefelbein, P.
(1998)
10 expertos internacionales y
30
planificadores
o
profesionales.
Latinoamrica.
Se hizo una evolucin de Sondeo.

Mtodo Delphi
Se aplic una escala de 40 tems.
Institucional
Justicia - empleo
Detecting
Effects
Living Wage Laws
of
David Neumark &Scott

Adams (2003)
13000 familias, se determin

grupo de tratamiento y grupo
control.
La informacin utilizada proviene

de los archivos CPS Outgoing
Rotation Group de 1996 a 2000.
Estados Unidos
Se utiliz la estrategia de
Diferencia en la Diferencia para
comparar las ciudades con
tratamiento de las ciudades
control.
Journal
Salud
Do Health Sector Reforms

Have Their Intended
Impacts?
The
World
Wastaff,
A.
&
Shengchao, Y.(2005)
Se estudio a tres provincias

beneficiarias
y
17
no
beneficiarias del proyecto.
Diseo de evaluacin pre post.

Se utiliz la informacin de
La evaluacin econmica del

proyecto de tren rpido
muestra que este no debera
haber sido realizado en 1987
en el corredor Madrid-Sevilla.
Existe un razonable consenso
entre
los
expertos
internacionales respecto al
relativo
mrito
de
las
intervenciones
particulares,
pero existe menos consenso
acerca de la medida de su
impacto. Mientras que los
profesionales tienen un mayor
optimismo.
Se encontr considerables
efectos salariares positivos en
ciudades con extensas normas
salariales que cubren la
asistencia
de
negocios
recibida por los empleados de
la ciudad. Tambin se
encontr
evidencia
de
sacrificio entre sueldo y
empleo como efecto de las
normas de salario vital.
Los resultados indican que el
proyecto Health VIII ha sido
exitoso en casi todas sus
151
rea de estudio
Banks
Health
VIII
Project in Gansu Province,
China
Autores / lugar
aplicacin / ao
China
de
Muestra

personas que viven en las tres
provincias beneficiarias y 6465
personas que viven en las
provincias no beneficiarias.
Institucional
Se
determin
grupo de
tratamiento y grupo control.
Pobreza
Empleo
Do we know what works?

A Systematic Review of
Impact Evaluations of
Social Programs in Latin
America
and
the
Caribbean
Earnings and Employment

Effects of Continuous
Off-the-Job Training in
East
Germany
after
Unification
Bouillon
CP.
Tejerina L. (2006)
&
Multinacional
en
Amrica Latina:
(Argentina,
Bolivia,
Chile,
Brasil,
Colombia, Costa Rica,
Ecuador,
Guatemala,
Honduras,
Mxico,
Nicaragua y Per).
Institucional (BID)
Lechner, M.
(1999)
51 estudios de 47 programas
sociales.
Recoleccin
informes.
intencional
Economic Analysis of
Crossbreeding
Programmes
in
SubSaharan
Africa:
A
Conceptual
Framework
Personas
que
estuvieron
trabajando
antes
de
la
unificacin alemana.
Alemania
Karugia JT, Mwai OA,

Kaitho R, Drucker AG,
Wollny CBA. & Rege
JEO, (2001)
Conclusiones
Gansu Survey of Children and

Familias (GSCF)
metas.
Se utilizaron los siguientes

estimadores de comparacin:
diferencia simple, diferencia en la
diferencia,
ajuste
de
heterogeneidad a travs de los
mtodos
de
regresin
y
emparejamiento.
Meta-anlisis.
Analiza
programas
que
incrementa la capacidad de los
pobres y el incremento de las
oportunidades econmicas de los
pobres.
Anlisis descriptivo a nivel de
frecuencia.
Journal
Agricultura
de
Metodologa
No se menciona.
Se
analiz
la
informacn
proveniente del estudio SocioEconomic Panel (GSOEP, 19901994)
Se utiliz como metodologa de
evaluacin emprica el enfoque de
resultados potenciales para la
causalidad.
Se utilizaron dos modelos de
evaluacin: el modelo del sector
agrcola para
las diversas
mediciones de impacto de la cra
de ganado y el modelo Nivel de
Se ha encontrado un impacto
promedio positivo en la
regin. Se concluye que la EI
de los programas muestra que
estos pueden ser herramientas
muy efectivas para reducir la
pobreza y la desigualdad a
largo plazo y para aliviar la
pobreza a corto plazo.
Se hall que al menos en el

corto plazo no hay efectos
positivos del programa.
Los programas tuvieron un

impacto positivo en el
bienestar de la sociedad.
152
rea de estudio
Justicia
and Kenyan Case Study
Autores / lugar
aplicacin / ao
Kenya
de
Economic evaluation of
drug court: methodology,
results,
and
policy
implications
Institucional
Logan TK, Hoyt W,.
McCollister K, French
M, Leukefeld C, &
Minton L. (2004)
Estados Unidos
Muestra
Metodologa
Ingreso Familiar y
Poltica.
Buenos
Aires
Concession
Water
Alcazar,
Lorena;
Manuel Abdala, and
Mary Shirley (2000)
Argentina
Pobreza
Economic Motors for

Poverty Reduction in
Madagascar
Institucional
Dorosh P, Haggblade
S,
Lungren
C,
Razafimanantena T. &
Randrianmiarana
Z.(2003)
Se
utiliz
informacin
proveniente de la base de datos
sobre encarcelacin Ofender
Records
Information
and
Operations Network, Kentucky
Department of Mental Health and
Mental Retardation, Department
of Motor Vehilces, y otros.
Se realiz un anlisis de costo
econmico
Se compar los beneficios

brindados a los consumidores,
trabajadores,
directivos
y
compradores con un grupo
contrafactual (1987-1998)
Mtodo de evaluacin de
diferencia de medias y simulacin
contrafactual.
No se menciona.
Se utiliz una Matriz de

Evaluacin Social para evaluar el
impacto de los cuatro motores
para el bienestar de las familias
pobres (Agricultura, construccin
de carreteras, inversin privada
para la exportacin y turismo).
Madagascar
Salud
Educacin
Effects of mental health

reform
on
client
characteristics, continuity
of care and community
tenure.
Electronic
Course
Evaluation; Does an on-
Institucional
Brown L. et al. (1994)
Se consider a toda
poblacin de beneficiarios.
la
Estados Unidos
Journal
Avery RJ, Bryant WK,
Mathios A, Kang H,
Simulacin
La muestra estuvo constituida

por los graduados (n= 222), los
finalistas (n= 731) o los
candidatos a los Programas de
Juzgado de Drogas de los aos
1996 a 1998.
Journal
Suministro de Agua
y sanidad
Conclusiones
La muestra fue de 31 cursos,

cuatro de estos formaron parte
Se utiliz modelos de simulacin.

Se utilizaron los datos de los
Sistemas de Informacin de
Mental Health Division.
Todos los anlisis de los datos
fueron de tipo descriptivo.
Se utiliz informacin histrica
especfica sobre la evaluacin de
El estudio encontr que,

particularmente para el caso
de los graduados, la inclusin
al Juzgado de Drogas estuvo
asociada con la disminucin
en la encarcelacin, los
servicios de salud mental, y
los costos legales, asimismo
con el incremento en el
ingreso y pagos de apoyo
infantil.
No se registr niveles de
ganancias significativos.
Los cuatro motores evaluados

generan resultados diferentes.
De esta manera, cada motor
juega un rol diferente en la
batalla nacional contra la
pobreza.
En
general
no
hubo
indicadores de deterioro del
servicio, ms bien se encontr
que algunos servicios la
atencin se favoreci.
Los mtodos de evaluacin
por web llevaran a una menor
153
rea de estudio
line delivery system bias
student evaluation?
Autores / lugar
aplicacin / ao
Bell B; (2006)
de
Muestra
Metodologa
Conclusiones
de un experimento de muestra
emparejada
curso de un programa de polticas

pblicas (1999-2001)
tasa de respuesta, pero esto no

afectara el promedio de las
puntuaciones de la evaluacin.
La informacin
corresponde a
972 estudiantes.
individual
Journal
Se utiliz una escala en dos

modalidades: escrita y en lnea
web
Kruse, D. & Schur, L.

(2003)
Personas discapacitadas de 21 a
58 aos de edad.
Se
utiliz
la
informacin
proveniente del Survey of Income
and Program Participation (SIPP)
Estados Unidos
Empleo - justicia
Employment of People
with
Disabilities
Following the ADA
Estados Unidos
Journal
Educacin - salud
Justicia - empleo
Estimating causal effects

of public health education
campaigns
using
propensity
score
methodology
Evaluating the economic

effects of a new statefunded school building
program: the prevailing
wage issue
Yanovitzkya
I,
Zanuttob E. & Hornik
R (2005)
3,184 de individuos expuestos a

la campaa y 807 no expuestos
a la campaa
Asimismo, se utiliz el Anlisis

de Varianza
Estados Unidos
Journal
Greenberg M, et al.
(2005)
No se mencion.
Estados Unidos.
Journal
Empleo
Evaluating
the
Employment Impact of a
Mandatory Job Search
programme
Las tendencias relativas de

empleo se evaluaron a travs de
un enfoque de Diferencias en las
Diferencias.
Se utiliz el modelo de
comparacin Propensity Store.
Blundell R, Costa Dias

M, Meghir C, Van
Reenen J. (2003)
No disponible
Reino Unido
Se utiliz modelos de ingreso y

egreso as como economtrico
para cuantificar los impactos
econmicos de las leyes de
salarios dominantes en New
Jersey. Para tal fin se sigui un
modelo de simulacin.
Se realiz un piloteo basado en
reas y reglas de seleccin
relacionados con la edad para
identificar el efecto del programa
de mercado laboral.
Institucional
Educacin - salud
Evaluation of HIV/AIDS
Hughes-dAeth,
A.
Jvenes de ambos sexos de a
Se
utiliz
un
modelo
de
Hay
razones
para
ser
cuidadosos respecto a los
hallazgos ya sea de los efectos
positivos o negativos debido a
las limitaciones de mediciones
para determinar a quines se
extiende el
de American
Disability Act.
Se encontr un significativo
aunque pequeo efecto de la
exposicin a la campaa sobre
la conversacin de los padres
con los hijos sobre asuntos de
drogas.
Se
hall
programa.
impacto
del

increment significativamente
la transicin hacia el empleo
en cerca de cinco puntos
porcentuales. El impacto es
robusto para una amplia
variedad de estimadores no
experimentales.
Los proyectos tienen un efecto
154
rea de estudio
peer education projects in
Zambia
Autores / lugar
aplicacin / ao
(2002)
de
Muestra
Metodologa
Conclusiones
los 15 aos.
evaluacin de estudio de casos.
favorable para la educacin en

SIDA.
Zambia
La informacin fue recopilada a

travs
de:
revisin
de
documentos,
entrevista
a
informantes clave y visitas de
observacin.
Journal
Se realizaron anlisis individuales

y comparativos de los estudios de
caso.
Salud
Evaluation of Life Skills

Training and Infused-Life
Skills Training in a rural
setting: Outcomes at two
years
Smith EA,. Swisher JD,

& Vicary JR. (2004)
Estados Unidos
Se
eligieron
9
centros
educativos y se distribuyeron
de manera aleatoria en los
siguientes grupos: LST, I-LST
y grupo control.
Journal
La muestra
estudiantes.
Evaluation of the Benefits

of
Transnational
Transportation Projects
Jenkins GP. & Kuo

CY. (2006)
fue
de
No se menciona
Kim,
Jooseop;
Alderman,
Harold;
Orazem, Meter (1998)
Los datos fueron sometidos a un

anlisis de correlacin intraclase,
modelos
de
regresin
de
covarianzas,
y
anlsis
de
tendencias.
Se us la informacin disponible
sobre la produccin domstica y
las estadsticas de comercio.
El programa LST reduce

significativamente el consumo
de alcohol, las borracheras,
consumo de marihuana, y el
uso de inhalantes luego de un
ao para el caso de la mujeres,
y
el
programa
1-LST
disminuye significativamente
el fumar, las borracheras y el
uso de marihuana en las
mujeres. No se observ efecto
para el caso de los varones en
cualquiera de las situaciones.
Se hall un incremento de
beneficios tanto desde la
perspectiva
internacional
como regional.
Se simularon los beneficios

acumulados para los pases
importadores.
Journal
Can Cultural Barriers Be
Overcome
in
Girls'
Schooling?:
The
Community
Support
Se realiz 5 observaciones de la
muestra.
732
Argentina, Uruguay y
Brasil
Educacin
Se utiliz una evaluacin

prospectiva con diseo de grupos
aleatorios-
El grupo de tratamiento incluy

a 355 nios, 175 fueron
mujeres y 80 varones. El grupo
de comparacin incluy a 1023
Mtodo de evaluacin
de
Se compararon aldeas a travs de
El programa gener un
impacto significativo en la
matrcula primaria de las
mujeres.
155
rea de estudio
Program
in
Balochistan
Rural
Autores / lugar
aplicacin / ao
Pakistn
de
Muestra
Metodologa
nios, 595 mujeres y 428

varones.
la Prueba de Equidad de Medias.
Institucional
Salud
Salud
Evaluation of the Effect of

a
Consumer
Driven
Health Plan on Medical
Care Expenditures and
Utilization
Evaluation of the effects

of outreach to women
with
multiple
vulnerabilities on entry
into
substance
abuse
treatment
Parente S, Feldman S.
&.
Christianson
JB.(2004)
Se utiliz a 3 grupos de
cohorte.
Se utiliz el modelo de regresin

de diferencia en la diferencia.
665 mujeres
Se aplic una encuesta sobre

antecedentes clnicos, una escala
para medir su asumir cambios en
la vida.
Estados Unidos
Se utiliz anlisis de regresin
logstica,
Journal
Salud
Evaluation of the orphans

reunication project in
Eritrea
Morah E, Mebrathu S.
& Sebhatu K.
(1998)
200 familias fueron las

beneficiarias y 28 el grupo
control
Journal
Family Planning Program
Effects on Contraceptive
use in Morocco, 19921995
Hotchkiss
DR,
Magnani RJ, Brown
LF. & Florence CS.
(1999)
Marruecos
Evaluacin de
experimental.
tipo
cuasi-
Se utiliz el auto reporte, informe

de otros, observaciones directas,
medicin de resultados y grupos
focales.
Eritrea (frica)
Salud
La decisin de los padres acerca

de la educacin de sus hijos fue
evaluada a travs de la Prueba de
la Igualdad de Coeficientes
Conductuales en el Modelo de
Eleccin de Matrcula.
Diseo cuasi-experimental prepost.
3,636 contratos
Estados Unidos
Journal
Melchiora LA, Hubaa
GJ, Brownb VB. &
Slaughterb R. (1999)
Conclusiones
1680 mujeres
Se
utiliz
la
informacin
proveniente
de
Morocco
Demographic and Health Surveys
(1992 y 1995).
Se utiliz un modelo
evaluacin de efectos fijos.
Una evaluacin temprana del

gasto y utilizacin del
programa revela que este plan
es una alternativa viable para
los
diseos
de
salud
existentes.
El ingreso al tratamiento del
consumo de sustancias estuvo
en funcin no slo de su
preparacin para reducir su
consumo de alcohol sinno
tambin con su bsqueda de
consejera.
Se hall que existe un claro
impacto en la integracin
psicolgica de los nios que
estuvieron en los orfelinatos
en comparacin
El efecto del programa para

ampliar el uso de los mtodos
anticonceptivos es bajo.
de
156
rea de estudio
Salud
Fertility, child work and

schooling consequences of
family planning programs:
evidence
from
an
experiment
in
rural
Bangladesh
Justicia - pensiones
Fiscal implications of
Pension Reforms in Italy
Autores / lugar
aplicacin / ao
Institucional
Sinha, N. (2003)
de
Bangladesh
Institucional
Brugiavini,
A.
Peracchi, F. (2005)
&
Italia
Institucional
Educacin
Foundations for Learning:

Safe and Civil Schools
Project
Washington
Institute for
Policy (2001)
State
Public
Estados Unidos
Institucional
Salud
Health Policy. Lessons for

Health
Strategies
in
Europe: The Evaluation of
a National Health Strategy
in England
Fulop N, Elston J,
Hensher M, Mckee M.
& Walters R. (2000)
Reino Unido
Muestra
Metodologa
Conclusiones

familias residentes en 141
aldeas.
Se utiliz informacin del estudio

Matlab
Health
and
Socioeconomic Survey (1996).
Se estudi a dos submuestras:

4892 mujeres casadas y 2520
nios.
Estimador
medias.
Se encontr que mientras el

programa fue efectivo en
reducir la infertilidad, no tuvo
impacto significativo en la
matrcula escolar de los hijos.
Sin embargo, parece que el
programa
increment
significativamente
la
participacin de los nios en
la fuerza laboral.
Se encontr que las reformas,
particularmente la reforma
Dini, tienen un impacto
sustancial en la decisin de
retiro de las personas y en sus
redes de seguridad social, as
como ganancias sustanciales
para
las
finanzas
gubernamentales.
Se
determin
grupo de
Se obtuvo una muestra aleatoria
de los registros de los archivos
del National Institute for Social
Security.
de
diferencias
de
Se analiz la reforma Dini.

Simulacin
hipotticas.
de
tres
reformas
La muestra es de 200 000

trabajadores ingresados en los
archivos (desde 1973-1997)
Se
utiliz
un
modelo
economtrico semi estructural
para predecir las probabilidades
de
retiro
bajo
diferentes
escenarios polticos.

por 183 centros educativos: 105
beneficiarios del proyecto y 78
no
beneficiarios
(grupo
control).
Diseo de comparacin
diferencias en diferencias.
La unidad de anlisis estuvo

conformada por los profesores
de los centros educativos.
Seleccin aleatoria de ocho
autoridades de salud.
de
La evaluacin preliminar del

Proyecto de las Fundaciones
es esperanzador desde que el
estudio de los profesores
muestra influencias positivas
luego del primer ao del
esfuerzo de implementacin
planificado.
Diseo de evaluacin de estudios

de caso.
Las
percepciones
y
documentos evidencia el
impacto de la estrategia
gubernamental de salud sobre
la poltica local y cambios en
el gasto,
Entrevista semiestructurada a los

actores clave sobre una gama de
organizaciones (n=133), anlisis
157
rea de estudio
Salud
Impact evaluation of a
Dutch
community
intervention to improve
health-related behavior in
deprived neighborhoods
Autores / lugar
aplicacin / ao
Journal
de
Kloeka
GC,
Van
Lenthea
FJ,
Van
Nieropb
PWM,
Koelenc
MA.
&
Mackenbach JP. (2006)
Muestra
Metodologa
Conclusiones
La muestra fue de 1926 adultos

entre 18 y 65 aos que viven en
distritos pobres.
de documentos (n= 189) y anlisis

de gasto de los perodos 1991/92
y 1996/97.
Diseo de evaluacin cuasiexperimental de una cohorte
longitudinal.
Se
determin
grupo de
Se utilizaron cuestionarios va
postal.
Se hall un pequeo impacto

del programa sobre el
consumo de vegetales por
parte de la poblacin.
Holanda
Empleo
Instrumental
Variables
Estimates of the Effect of
Subsidized Training on
the Quantiles of Trainee
Earnings
Journal
Abadie A,
Angrist J. &
Imbens G. (2002)
20 000
Pograma
participantes
del
Estados Unidos
Journal
Se realiz anlisis de regresin

logstica, anlisis de covarianza,
Se utiliza un mtodo de variables
instrumentales que mide los
impactos del programa sobre los
cuanteles de las variables
resultantes.
Los datos provienen del estudio
de evaluacin del programa Job
Training Partenership Act..
Se hizo una simulacin
mtodo por cuantles.
Educacin
Can
Private
School
Subsidies
Increase
Schooling for the Poor?:
The
Quetta
Urban
Fellowship Program
Kim,
Jooseop;
Alderman,
Harold;
Orazem, Peter (1998)
Se utiliz un diseo de evaluacin

aleatorio.
108 mujeres adultas mayores,

se
determin
grupo
de
Diseo
de
experimental.
Institucional
Salud
Intervention
against
loneliness in a group of
elderly women: an impact
Anderson, L. (1985)
Estocolmo (Suecia)
del

aleatoria por estratos de los
barrios de tratamiento y
control.
Pakistn
La estimacin de cuantles del

efecto del programa sobre los
cuantles de de la distribucin
de
ganancias
sugieren
interesantes e importantes
diferencias en los efectos del
programa a nivel cuantil, y
diferentes en el impacto
distribucional
para
los
hombres y mujeres,
Los autores utilzaron tres mtodos

para evaluar el impacto del
proyecto:
Comparaciones
Reflexivas, Diferencia de Medias
y Diferencia en la Diferencia.
evaluacin
Todos los tres mtodos de

evaluacin estimaron que el
programa
increment
significativamente el ingreso
de las nias a la escuela
primaria en 33%. La tasa de
ingreso escolar de los nios
tambin se increment en
27.5%.
disminuye la soledad e
incrementa
el
bienestar
158
rea de estudio
Autores / lugar
aplicacin / ao
de
Muestra
evaluation
Journal
Metodologa
Conclusiones
La seleccin para la asignacin de

grupos fue aleatoria.
general entre las participantes

del programa.
Se utiliz escalas y cuestionarios

psicomtricos.
Nutricin
Focusing on Women
Works:
Research on Improving
Micronutrient Status
through Food-Based
Intervention
Jonson-Welch
(1999)
C.
5 casos de intervencin en
nutricin social
Multinacional (Etiopa,
Tanzania, Kenya, Per
y Tailandia )
Diseo de evaluacin
experimental pre post.
Is Labour Market Training

a
Curse
for
the
Unemployed? Evidence
from a Social Experiment
Rosholm M & Skipper

L.(2003)
La muestra experimental fue de

812 personas
Dinamarca
Se
determin
grupo de
tratamiento (n = 425) y grupo
control (n = 387).
Institucional
Empleo
Job
Search
and
Hyperbolic Discounting:
Structural Estimation and
Policy Evaluation
Paserman, D. (2004)
Muestra de 1008 Trabajadores

varones.
Israel
Institucional
Se distingui tres grupos: con

ganancias bajas, medias y altas.
Diseo experimental.
Learning,
private
Chan TY. & Hamilton
2467 adultos infectados con
Se
encontr
que
los
programas
evaluados
obtuvieron
un
impacto
positivo en la efectividad de
las
intervenciones
de
micronutrientes al aumentar
incrementar en las mujeres su
acceso
a
los
recursos
indispensables.

Se encontr que las clases de

capacitacin
incrementaron
significativamente las tasas de
desempleo individual.
Se
utiliz
estimadores
de
variables
endgenas
y de
emparejamiento.
Se utiliz informacin del Estudio
Longitudinal Nacional sobre
Juventud (NLSY, 1978-1996)
El efecto de las polticas se estim
a
travs
de
nivel
de
discontinuidad hiperblica.
El impacto de las diferentes

polticas
varan
sustancialmente dependiendo
si el modelo est calibrado
con preferencias hiperblicas
o exponenciales.
Se
estimaron
estructurales
Salud
cuasi-
Grupos de discusin focal e

instrumentos
de
evaluacin
cuantitativa.
Institucional
Empleo
Se utiliz la Prueba T de Student

para muestras independientes y
Estudio de tipo cualitativo y
cuantitativo
parmetros
La informacin proviene de
El
enfoque
de
nuestra
159
rea de estudio
information
and
the
economic evaluation of
randomized experiments
Autores / lugar
aplicacin / ao
BH. (2003)
de
Estados Unidos
Legal
Reform,
Externalities
and
Economic Development:
Measuring the Impact of
Legal Aid on Poor
Women in Ecuador
Metodologa
Conclusiones
VIH.
AIDS Clinical Trial Group Study

175
evaluacin hall que el

bienestar del paciente podra
ser incrementado al ofrecer un
meno de terapias, asimismo el
tratamiento mixto es preferido
por la mayora de los
pacientes.
La evidencia emprica es
consistente con la clnicas de
ayuda legal que benefician a
sus clientes, y existe algunos
indicios
de
un
efecto
excedente.

aleatoria para los cuatro grupos
de tratamiento.
Journal
Justicia
Muestra
Owne, B. & Portillo,

J.(2003)
Se evalu a 362 madres.

181 madre beneficiarias y 181
madres que conformaron el
grupo control.
Ecuador
Institucional
Se realiz anlisis de regresin

para la comparacin de grupos.
Se utiliz informacin de la
Encuesta de Condiciones de Vida
(1988-1989).
La seleccin de las madres
beneficiarias
fue
aleatoria
mientras que la seleccin del
grupo de madres del grupo control
fue intencional.
Se
realizaron
anlisis
economtrico y estudios de
grupos focales.
Se utiliz el Modelo Probit
Bivariado,
el
Modelo
de
Seleccin Heckman, el Modelo
Tobit,
Salud
Lessons from the Broward

County Mental Health
Court Evaluation
McGaha
(2002)
A,
Estados Unidos
Journal
et
al.
24 informantes clave.
100 acusados para el estudio
longitudinal, considerando los
casos
del
condado
de
Hillsborough
como
grupo
control.
Se desarroll un diseo de estudio

de metodologa cualitativa y
cuantitativa.
Se
utiliz
la
siguiente
informacin:
entrevista
a
informantes clave, descripcin del
proceso
de
corte,
estudio
longitudinal de los resultados de
los clientes de MHC y anlisis de
datos secundarios de justicia
criminal y los servicios de salud
160
rea de estudio
Autores / lugar
aplicacin / ao
de
Salud
Measuring
County
Performance on Health:
Selected
for
115
Countries.
Wang J, Jamison DT,

Bos E, Prever A. &
Peabody J. (1999)
Muestra
115 pases
Multinacional
Metodologa
Conclusiones
mental contenidos.
Los datos fueron obtenidos de
archivos mundiales sobre los
temas de mortalidad, fertilidad,
educacin, ingreso per cpita,
todos cubren el perodo de 1960 a
1990.
Los
pases
varan
sustancialmente en sus niveles
de desempeo sobre varios
indicadores de salud, dado los
mismos niveles de ingreso y
educacin.
Institucional
Educacin
New
Evidence
on
Classroom Computers and
Pupil Learning
Angrist J. & Lavy V.

(2001)
Israel
Institucional
Educacin
New Jerseys Transitional

Housing Demonstration
Program: the relationship
of
service
delivery
structure and process to
the attainment of more
permanent
forms
of
housing
Michael J. Camasso
MJ, Jagannathanb R. &.
Walker CC.(2004)
Can
Student
Loans
Improve Accessibility to
Higher Education and
Student Performance? An
Impact Study of the Case
of SOFES, Mxico
Canton,
Erik,
and
Andreas Blom. (2004)
Se estudi a tres muestras:

4779 estudiantes de cuarto
grado, 3271 estudiantes que
solicitaron por el programa
Tomorrow Founds y una
muestra de 2891 estudiantes
evaluados en 1991.
172 participantes
Se
determin
grupo de
Estados Unidos
Journal
Mxico
Institucional
Se utiliz el anlisis de regresin

de series de tiempo.
Se utiliz la informacin de la
evaluacin realizada por el
National Institute for Testing and
Evaluation (1996) del nivel
primario y elemental.
Se hizo estimaciones a travs del
modelo de regresin.
Anlisis de varianza para la
comparacin de grupos.
Prueba Ji para determinar
homogeneidad de muestras.
El
anlisis
de
regresin
proporcional de harzard para
medir los efectos del programa
La muestra incluy a personas

de 18 a 24 aos que
concluyeron sus estudios de
secundaria.
La informacin de anlisis
proviene de la base de datos del
programa, de estudios a gran
escala entre los estudiantes y
universidades privadas (2003) y
del estudio de familias sobre logro
e ingreso.
No se encontr relacin entre

el programa de enseanza por
computador y el rendimiento
en los exmenes, excepto
respecto a su efecto negativo
en
puntuaciones
de
matemticas del 8vo grado.
A pesar de las importantes
limitaciones en el diseo de
evaluacin, se encontr que el
programa ayuda a las familias
pobres a encontrar y mantener
una casa permanente. Sin
embargo, los efectos del
programa
requieren
de
sustanciosos
costos
monetarios y humanos.
Los resultados empricos
sugieren que los estudiantes
beneficiarios del Programa de
Prestamos
estudiantil
(SOFES) muestran mejor
desempeo acadmico que los
no beneficiados.
Un modelo probit es desarrollado.
161
rea de estudio
Educacin
Organizational learning: A
cross-national pilot-test of
effectiveness in childrens
services
Autores / lugar
aplicacin / ao
de
Orthner DK, Cook P,

Sabah Y. & Rosenfeld
J. (2006)
Israel
Unidos.
Muestra
153 nios de Israel y 153 nios

de Estados Unidos.
Estados
Educacin
Educacin
Paying for Performance:

The Effect of Teachers
Financial Incentives
on Students Scholastic
Outcomes
Peer-Led
Education
Adolescents:
Evaluation
Asthma
for
Impact
Rank D. & Williams D

(1999)
Diseo
de
Regresin
de
Discontinuidad.
Evaluacin
de
tipo
cuasi
experimental
con
diseo
longuitudinal.
No se menciona
Se utiliz la Prueba T para

muestras
independientes,
correlacin de de Spearman no
paramtrica y el Anlisis Factorial
Se evalu el impacto a travs del
Anlisis Costo-Bemeficio.
Canad
Journal
Lavy, V. (2003)
Institucional
Profesores de escuela
Se
determin
grupo de
tratamiento (17 escuelas) y
grupo control (12 escuelas).
Gibson PG, Shah S. &

Mamoon HA. (1998)
Estudiantes mujeres del nivel

secundario en 62 escuelas.
Israel
Sydney, Australia
Journal
Conclusiones
El Programa tuvo efecto para

el caso de los nios
estadounidenses pero no para
los de Isarael.
Se utiliz la Escala de Evaluacin

de Aprendizaje Organizacional.
Journal
Partial benefit-cost in the

evaluation
of
the
Canadian Networks of
Centres of Excellence
Metodologa
Se determin a escuelas del

estatal
como grupo de
tratamiento (n = 62) y escuelas
Diseo de evaluacin pre post con

diseo cuasi-experimental.
El efecto del programa se

identific a travs de tres
estrategias: estimacin del efecto
experimental de la medicin de
error en la variable asignada, el
mtodo
de
regresin
de
discontinuidad
y
Propensity
matching store.
Evaluacin no aleatoria con
diseo pre post.
Se aplic el Cuestionario de
Conocimientos sobre Asma en
ambos grupos de escuelas.
Se encontr un gran impacto

del
programa
en
la
investigacin, capacitacin y
logro socio-econmico.
Se encontr que los incentivos

econmicos al desempeo de
los profesores tuvieron un
efecto significativo en el
aprendizaje de los estudiantes.

educativo fue bien recibido en
el ambiente escolar y permiti
desarrollar los conocimientos
sobre Asma en las estudiantes
162
rea de estudio
Educacin
Programa
Becas
Impact
Findings
Nacional de
Estudiantiles
Evaluation
Autores / lugar
aplicacin / ao
de
Heinrich CJ. & Cabrol

M. (2005)
Muestra
Metodologa
del sistema educativo catlico

como grupo control (n = 30).
La informacin fue analizada

utilizando SAS (Cary, NC) y la
prueba T de Student.
La informacin fue obtenida de
tres fuentes: Encuesta de los
Aspirantes de Becas, los Registros
sobre evaluacin escolar de 19992003, y la encuesta administrada a
los
solicitantes
de
becas
beneficiados y no beneficiados.
2003
Estudiantes provenientes de 8
provincias de Argentina, que
incluyen 24 escuelas.
Argentina
Institucional (BID)
La muestra depurada fue de

2586 estudiantes.
Grupo de tratamiento y grupo
control,
obtenido
con
Matching, distinguiendo entre
beneficiarios de beca por ao
(1-5 aos) y no beneficiarios
(33.37%).
Pobreza
Pro-growth, pro-poor:
Is there a tradeoff?
Lpez, JH. (2004)
134 observaciones de 41 pases
multinacional
Institucional
Educacin
Results of a School
Voucher Experiment: The
Case of Washington, D.C.
After Two Years
Wolf PJ, Peterson PE,

West MR. (2001)
Se evaluaron dos muestras:

2,023 estudiantes y 1928
padres.
Estados Unidos
Institucional

para ambas muestras.
Conclusiones
Se encontr un gran impacto

del programa en la asistencia
escolar en aquellos estudiantes
que recibieron becas por 3 o
ms aos. Sin embargo, no se
encontr
un
impacto
significativo para el caso de
estudiantes que recibieron
becas por menos de dos aos.
Se utiliz Propensity Score

Matching y anlisis de regresin.
Se obtuvo informacin de dos

fuentes de datos: La base de datos
sobre la inequidad de Dollar y
Kraay`s (2002) y la base de datos
de Loayza, Fajnzylber, and
Calderon (2002)
Se estimaron modelos de panel
dinmicos para diferenciar entre
los impactos a corto plazo y los de
largo plazo.
La evaluacin fue diseada como
experimento aleatorio debido a la
seleccin
aleatoria
de
los
beneficiarios.
Se utiliz cuestionarios
padres y estudiantes.
para
Se encontr que todas las

polticas
pro-crecimiento
evaluadas conduce a menores
niveles de pobreza a largo
plazo. Aunque se hall,
tambin, que algunas polticas
conducen a una mayor
desigualdad y mayores niveles
de pobreza en el corto plazo.
El programa influye en una

mayor satisfaccin de los
padres con la escuela de sus
nios, en la comunicacin
entre los padres y la escuelas,
en el nmero de tareas de casa
para los nios,.
Los nios en escuelas
privadas presentan una mayor
163
rea de estudio
Autores / lugar
aplicacin / ao
de
Muestra
Metodologa
Empleo
Revisiting
the
Employability Effects of
Training Programs for the
Unemployed
in
Developing Countries.
Caldern-Madrid,
(2006)
A.
1786 beneficiarios
del
programa y un grupo control de
437 personas.
Metodologa cuasi-experimental.
Mxico.
Institucional (BID)
Salud
Savings/credit
group
formation and change in
contraception
Steele, F, Amin S. &

Naved RT. (2001)
Bangladesh
Datos secundarios iniciales

(Ministerios de Educacin o
Trabajo).
Datos posteriores obtenidos de
una encuesta de 1994 (Datos
secundarios).
La muestra inicial fue de 6,456
mujeres.
Se determin dos grupos de
tratamiento y un grupo control
Journal
Conclusiones
Diseo: Emparejamiento a travs

de Propensity Score Matching.
El impacto fue calculado a travs
ecuaciones diferenciales lineales
discontinuas (Regresin). Modelo
Mixto Proporcional de Hazard
(MPH).
Se utiliz la informacin brindada
por un estudio panel a cargo de
Save the Children USA.(1993)
tolerancia poltica.
El impacto del programa en la
dinmica del reempleo es
positiva
porque
los
participantes mantienen su
trabajo por un largo perodo,
aun si el programa no es
efectivo en ayudarles a
encontrar un trabajo ms
fcilmente.

del programa de crdito sobre
el uso de anticonceptivos
modernos
Evaluacin pre-post con diseo

cuasi-experimental
Se realiz seleccin aleatoria slo
para el caso de un grupo de
tratamiento.
logstica.
Educacin
Pobreza
School Choice in Dayton,

Ohio After Two Years:
An Evaluation of the
Parents Advancing Choice
in Education Scholarship
Program
West MR, Peterson PE.

& Campbell DE. (2001)
Capacity for effectiveness:

the relationship between
coalition structure and
community impact
Hays C, Hays S,
DeVille J, & Mulhall P.
(2000)
Estados Unidos
Los beneficiados del programa

suma un toal de 765 estudiantes
que provienen de escuelas
privadas (250) y de escuelas
estatales (515)
La seleccin de las familias para

el programa fue aleatoria.
28 programas en alianza para la

prevencin contra el consumo
de drogas.
Evaluacin de tipo correlacional
Se utiliz cuestionarios
padres y estudiantes.
para
Institucional
Se aplic una escala para medir la

percepcin que tienen los

tuvo
impacto
en
la
satisfaccin de los padres,
clima escolar, habilidades
escolares,
consideraciones
tnicas y religiosas, tareas, as
como en el compromiso y
comunicacin de los padres.
Los anlisis indican que las
caractersticas
organizacionales
de
una
coalicin podran facilitar el
164
rea de estudio
Autores / lugar
aplicacin / ao
Estados Unidos
de
Muestra
Journal
Educacin
Pobreza
Justicia
Sending Farmers Back to

School: The Impact of
Farmer Field Schools in
Indonesia
Sowing and Reaping:

Institutional Quality and
Project
Outcomes
in
Developing Countries
Testing for Structural

Breaks in the Evaluation
of Programs
Feder G, Murgai R. &

Quinzon J. (2004)
Justicia
The 1997 revisions to

Washingtons
Juvenile
Offender
Sentencing
Laws: an evaluation of the
effect of local detention
on crime rates
The comparative costs and
benefits of programs to
reduce crime
Estimacin a travs de variables

instrumentales.
Institucional
Piehl, AM, Cooper, SJ.,
Braga,
AA.
&
Kennedy, DM., (1999)
No disponible
Evaluacin pre post, a travs del

modelo de serie de tiempos,
Se utiliz una prueba para la
inestabilidad de parmetros.
State
Public
Arrestos de personas entre los

10 a 17 aos de edad entre los
aos 1989 y 2000
Estados Unidos
Unidos
La informacin fue obtenida de

los reportes de las oficinas de
polica.
Se utiliz el anlisis de regresin.
Institucional
Aos, S. Phipps, P.
Barnoski, R.& Lieb, R.
(2001)
Estados
Canad
desarrollo de capacidades de
manera diferente y, de esta
manera, podra conducir a una
variedad de impactos en la
comunidad.
Se hall que el programa no
impact significativamente en
el
desempeo
de
los
estudiantes y sus vecinos.
Proyectos financiados por el

Banco Mundial en cerca 90
pases los aos noventas.
Multinacional
Institucional
Washington
Institute for
Policy (2002)
miembros
acerca
de
la
participacin,
inversin
y
cohesin de los participantes en la
coalicin
Se empleo el estimador de
Diferencia en las Diferencias para
evaluar el impacto en el
desempeo y la disminucin del
uso de pesticidas
Estados Unidos
Justicia
Conclusiones
Estudiantes y sus vecinos
Indonesia
Journal
Dollar D. & Levin V.
(2005)
Metodologa
Se revis una muestra de 400

estudios de los ltimos 25 aos
que presentan mtodos de
investigacin
que
fueron
realizados en Estados Unidos y
Canad
Se encontr que existe una

muy fuerte relacin positiva
entre la calidad institucional y
el xito de los proyectos.
La intervencin de programa
Boston Gun Project estuvo
asociada con cerca del 60% de
la disminucin del homicidio
juvenil.
Se encontr que la tasa de

admisin
para
las
instalaciones de detencin
juvenil parece determinar
muchos tipos de tasas de
arresto juvenil.
Diferencia de medias.
El estudio utiliz la comparacin
apples-to-apples
de
los
programas.
165
rea de estudio
Empleo - justicia
The Consequences of InWork Benefit Reform in

Britain: New Evidence
from Panel Data
Autores / lugar de
aplicacin / ao
Institucional
Francesconi, M. & Van
der KLaauw, W. (2004)
Reino Unido
Muestra
Metodologa
Conclusiones
La muestra comprende 3 333

mujeres sin matrimonio o
convivencia, de estas 1507 son
madres solteras y 1826 son
mujeres sin hijos.
Se
utiliz
informacin
longitudinal proveniente de 11
estudios panel sobre familias
britnicas (1991-2001)
Se hall que la reforma

condujo a un sustancial
incremento den las tasas de
empleo.
Se utilizaron estimadores de
diferencia en la diferencia y la
informacin panel.
Se utiliz tres diferentes tcnicas
estadsticas simples: comparacin
de medias, anlisis de regresin y
emparejamiento por Propensity
Score Matching.

logra su meta fomentar la
asistencia escolar y con menor
magnitud
respecto
al
desempeo escolar.
Institucional
Educacin y trabajo
infantil
Empleo justicia
The Effect of Conditional

Transfers
on
School
Performance and Child
Labor: Evidence from an
Ex-Post
Impact
Evaluation in Costa Rica
The Effect of Disability

on
Labour
Market
Outcomes in Germany:
Evidence from Matching
Duryea, S. &
Morrison, A. (2004)
Se evalu a 746 familias

beneficiarias del programa y
1042 familias no beneficiarias.
Costa Rica
Institucional
Mundial)
(Banco
Lechner,
M.
Vazquez-Alvarez,
(2003)
Alemania
&
R.
Se utiliz encuestas. Muestreo

intencional.
1642
personas
discapacidad.
con
Se
determin
grupo de
Institucional
Salud
The effect of the Tarrant

County drug court project
on recidivism
Bavon, A. (2001)
Se hizo comparacin de grupos,

asimismo se emparej grupos a
travs del Matching Propensity
Scores.
Se
determin
grupo de
Estados Unidos
Journal
Se
utiliz
la
informacin
proveniente de los encuestados
alemanes occidentales al Panel
Socioeconmico
Alemn
(GSOEP. 1984-2001).
La muestra
personas.
fue
de
264
La informacin obtenida provino

de tres
fuentes primarias:
DIRECT Proyect Closure List,
DIRECT client files y Criminal
Justice
Crime
Informacin
System.
El programa no reduce la
probabilidad de que el nio
trabaje.
El impacto de las polticas de
discapacidad
para
el
discapacitado no fue efectivo
al reducir su costo de
participacin
dentro
las
actividades
del
mercado
laboral competitivo.
Mientras la medida de los

efectos
sustantivos
del
programa es pequea, el
estudio encontr que no existe
diferencia significativa en la
reincidencia
entre
los
beneficiarios del programa y
los no beneficiarios.
166
rea de estudio
Autores / lugar
aplicacin / ao
de
Muestra
Metodologa
Conclusiones
pre- post y de comparacin de

grupos no equivalentes.
Salud
The Effects of Education

and Family Planning
Programs on Fertility in
Indonesia
Angeles G, Guilkey
DK. & Mroz TA.
(2003)
5, 025 mujeres de 13 a 51 aos.
Indonesia
Institucional
Ayuda alimentaria
Child Growth, Shocks,

and Food Aid in Rural
Ethiopia
Yamano,
Takashi;
Alderman,
Harold;
Christiaensen,
Luc.
(2003)
Ethiopia
Nios que viven en reas donde

existe la ayuda alimenticia
(grupo de tratamiento) y nios
que viven un rea donde no se
recibe ayuda alimenticia (grupo
control)
La diferencia de grupos fue

evaluada por medio de la prueba
T para medias.
Indonesian Family Life Survey
(1993)
Para la evaluacin del impacto se
utiliz
la
estrategia
de
modelamiento
longitudinal
descrita por Mroz y Weir (2003) y
la simulacin del ciclo de vida.
por tres estudios de familia
nacionales en los aos 1995-1996:
a) Welfare Monitoring Survey
(WMS) (b) Food Security Survey
(FSS) y (c) un estudio de una
muestra agrcola.
Se hall que los programas de

planificacin familiar tuvieron
mayor efecto para reducir la
fertilidad que las generadas
como consecuencia
del
desarrollo de la calidad
escolar.

el crecimiento de los nios a
los 6 a 24 meses de edad.
Institucional
Justicia
discriminacin
The Effects of State and

Local Antidiscrimination
Policies on Earnings for
Gays and Lesbians
Klawitter, MM. &

Flatt, V. (1998)
Estados Unidos
Journal
13000 parejas heterosexuales

casadas,
14500
parejas
heterosexuales sin casar y 6800
parejas homosexuales.
Variables instrumentales y otros

mtodos de emparejamiento
El estudio utiliza la informacin
del censo de 1990.
multivariado
Se encontr que las polticas

han sido adoptadas en lugares
con altas ganancias y que las
parejas homosexuales viven
con mayor probabilidad en
reas que han adoptado las
polticas. Sin embargo, los
resultados
no
muestran
evidencia de un efecto directo
de las polticas de antidiscriminacin
en
el
promedio de ganancia o
ingreso para miembros de las
167
rea de estudio
Autores / lugar
aplicacin / ao
de
Salud
The Impact of Child

Support
Enforcement
Policy on Nonmarital
Childbearing
Plotnick,
RD.;
Garfinkel,
I.;
McLanahan, S. Ku , I.
(2006)
Muestra
Metodologa
Conclusiones
Muestra de 15201 mujeres
Se
utiliz
la
informacin
disponible en los Archivos de
Historias Matrimonial (198851993) y los Archivos de historias
adoptivas (1985-1993)
parejas homosexuales.
que aumentan las pensiones
para el cuidado de los nios
en los hombres podra reducir
la paternidad no marital.
Estados Unidos
Salud
The Impact of Family

Planning
Service
Provision
on
Contraceptive-Use
Dynamics in Morocco.
Institucional
Steele F, Curtis SL. &
Choe M. (1999)
4,753 mujeres
Marruecos.
Journal
Se utilizaron los modelos de

riesgo multinivel.
Se
utiliz
la
informacin
proveniente
de
Morocco
Demographic and Health Surveys
-DHS (1992 y 1995).
Se aplic un cuestionario
modificado de DHS.
Se encontr impacto entre la

provisin de servicios de
planificacin familiar y la
adopcin
de
mtodos
modernos y la baja tasa en el
fracaso
de
mtodos
anticonceptivos.
Se utiliz modelos de historia de

eventos para evaluar el impacto
de los indicadores a nivel
comunitario de la provisin de
servicio de planificacin familiar.
Salud
The impact of Family

Planning
Supply
Environment
on
Contraceptive Intentions
and Use in Morocco.
Magnani RJ. Hotchkiss

DR, Florence CS.&
Leigh LA.(1999)
3,168 mujeres participaron en

ambos estudios.
The Impact of Public and

Private Job Training in
Colombia.
Se encontr que los factores

del programa de planificacin
familiar influyen en la
conducta anticonceptiva.
Marruecos
Journal
Empleo
Se
utiliz
informacin
cuantitativa y cualitativa.
Demogrphy and
Health de
Morocco (1992) y del Estudio
Panel de Morocco (1995).
Medina, C. & Nez, J.

(2005)
Se obtuvo una muestra de

10,000 hogares
Colombia
Se determin grupo de control
Se utiliz una versin modificada

del cuestionario DHSII Modelo
A
Se
utiliz
informacin
proporcionada por la Encuesta
Nacional de Calidad de Vida
(1997).
Los cursos cortos y largos

proporcionados
por
el
programa SENA no tienen un
impacto significativo en el
ingreso.
168
rea de estudio
Autores / lugar
aplicacin / ao
Institucional
de
Muestra
Metodologa
Conclusiones
La comparacin de grupos fue a

travs del Propensity Score
Matching.
Tambin se utilizaron los
estimadores de emparejamiento:
semejanza promedio simple,
regresin kernel y regresin lineal
local.
Pobreza
Empleo
Salud
Salud
The impact of the

National Minimum Wage
in low-wage sectors: does
the
Earnings
Top-up
Evaluation study add to
our understanding?
The Manager's Role in
Enhancing the Transfer of
Training: A Turkish Case
Study
The MEMA kwa Vijana

Project: Design of a
community randomised
trial of an innovative
adolescent sexual health
intervention
in
rural
Tanzania
The Reach and Impact of
Radio
Communication
Campaigns
on
Reproductive Health in
Malawi
Urwin P, Jack G. &

Lissenburgh S. (2006)
Se estudio a una muestra de

albergues
Se utiliz la informacin del

estudio
Earning
Top-up
Evaluation (1996, 1997 y 1999)
Journal
Gumuseli AI. & Ergin
B. (2002)
Representantes de ventas que

participan del programa.
Diseo
de
experimental.
Turqua.
Se determino grupo control.
Journal
Hayes, RJ. et al. (2005)
9645 adolescentes.
El estudio se basa en el modelo de

evaluacin de cuatro etapas de
Kirkpatricks.
La evaluacin de impacto se
realiz a travs de una comunidad
de ensayo aleatoria, en la cual una
cohorte de 9645 adolescentes
fueron evaluados por tres aos.
Se encontr un bajo impacto

del programa.
Reino Unido
Tanzania (Africa)
Journal
Meekers
D,
Van
Rossem R, Silva M. &
Koleros A. (2004)
Malawi.
Institucional
10,465 mujeres y 4,486 varones

que fueron sexualmente activos
en el ao transcurrido.
evaluacin

estudio Demographic and Health
(2000)
El efecto del programa se estim a
travs de un modelo de regresin
de dos colas.
Se
encontr
que
intervencin
mostr
efectiva.
la
ser
La exposicin a los programas

radiales tuvo un significativo
impacto sobre las discusiones
de reproduccin en las
familias. Sin embargo, el
impacto en el uso del condn
ha sido muy limitado
Se utiliz la prueba Chi cuadrada,
169
rea de estudio
Autores / lugar
aplicacin / ao
de
Muestra
Metodologa
Conclusiones
prueba
T
para
muestras
independientes y tcnicas de
regresin
de
etapa
nica
estandarizadas.
Salud
The relative impact of

treatment
program
`robustness' and `dosage'
on client outcomes.
Jerrell JM, & Ridgely

MS. (1999)
Educacin,
transporte,
suministro de agua y
sanidad
Se utiliz
evaluacin
cualitativa.
un mtodo
cuantitativa
de
y
35 sujetos para la evaluacin

cualitativa
Se desarroll una entrevista semi

estructurada a las 35 personas
destinadas.
No se encontr diferencias
entre los impactos de los tres
tipos de intervencin.
Estados Unidos
Journal
Empleo
132 personas con ambos

desordenes: mentales y de
consumo de sustancias.
Advantage
through
Training?
A
Microeconometric
Evaluation
of
the
Employment Effects of
Active Labour Market
Programmes in Poland
Puhani, PA (1998)
Combining Longitudinal
Household
and
Community Surveys for
Evaluation
of
Social
Transfers: Infrastructure
Rehabilitation Projects in
Rural Georgia
Lokshin,
Yemtsov,
(2004)
Polonia
El grupo de tratamiento estuvo

integrado por 938 sujetos y el
grupo control por 7853
Anlisis de Regresin. Anlisis de

Varianza.
Evaluacin cuasi- experimental
por emparejamiento del grupo de
tratamiento y grupo control, de
tipo retrospectivo.
Institucional
Se utiliz el modelamiento
economtrico en la forma de
modelos de duracin con la
heterogeneidad individual no
observada.
Georgia
Journal
Michael;
Ruslan
Seleccin de la muestra no fue

aleatoria
Se tuvo a disposicin a
informacin
secundaria
de
algunos
estudios,
as:
La
informacin a nivel de familias
proviene del estudio oficial de
familias en Georgia (SGHH,
1996), la informacin de nivel
comunitario proviene del Rural
Community Infrastructure Survey
(RCIS, 2002).
Se
encontr
que
la
capacitacin favorece las
oportunidades de empleo tanto
para hombres como para
mujeres, mientras que la
intervencin y los trabajos
estatales no: los trabajos de
intervencin prolongan el
desempleo, al igual de los
trabajos estatales en el caso de
los hombres.
El nmero de estudiantes se
ha incrementado de manera
significativa como resultado
del programa.
Hubo
un
desarrollo
significativo en la percepcin
de cambios en el acceso a la
educacin de las aldeas
beneficiarias en comparacin
con las no beneficiarias.
170
rea de estudio
Autores / lugar
aplicacin / ao
Salud
The Role of User Charges

and Structural Attributes
of Quality on the Use of
Maternal Health Services
in Morocco
Hotchkiss DR,
(2003)
de
et al.
Muestra
Metodologa
Mujeres de hogares pobres y

mujeres
de
hogares
acomodados.
Marruecos (frica)

Se utiliz un modelo
simulacin de polticas.
Conclusiones
de
Se realiz una comparacin de

grupos
Institucional
Salud
The social environment of

transitional work and
residence
programs:
Influences on health and
functioning
Schutt RK, Rosenheck

RE, Penk WE, Drebing
CE. & Seibyl CL
(2005)
1525 veteranos
Estados Unidos
Journal
The Social Impact of

Social Funds in Jamaica:
A
Mixed-Methods
Analysis of Participation,
Targeting and Collective
Action in Community
Driven Development
Rao, V. & Ibez, AM.

(2003)
500
familias
individuos.
Jamaica

segn el estado de beneficiario
o no del fondo.
Institucional
con
684
Se aplic la Community Oriented

Program Environment Scale, en
su forma corta, la escala WorK
Environment Scale y la escala
Addiction Severity Index. Se
utiliz la prueba T para muestras
dependientes, el modelo lineal
jerrquico
La informacin cualitativa se
obtuvo a travs de entrevistas
semi-estructuradas a participantes
clave en la comunidad.
La simulacin de polticas
mostr que el incremento en
los costos de los gastos por
servicios pblicos puede tener
muy poco efecto en las
mujeres que viven en familias
mejores, pero tendra un
efecto
substancial
y
perjudicial sobre la pobreza.
Se encontr que el trabajo y la
situacin domiciliaria haban
sido
significativamente
alcanzados a los 3 meses de
dejar el programa.
Se encontr un efecto causal

de los fondos recibidos sobre
el desarrollo de la unin y la
capacidad
para
la
participacin colectiva.
Se aplic un cuestionario.
Se utiliz el modelo Propensity
Score y la regresin logsitca
Pobreza
The
Socio-Economic
Impact of Favela-Bairro:
What do the Data Say?
Soares F. & Soares. Y.

(2005)
Brasil
54 comunidades: 34 como
grupo de tratamiento y 17 como
grupo control.
Se
utiliz
la
informacin
proveniente
del
General
Population Census, de los
Certificados de Defuncin del
Departamento de Salud Municipal
Institucional
Se hall que el programa tuvo

un gran impacto en la
expansin de los servicios
pblicos, sin embargo, los
medios que permitieron dicha
evaluacin son muy limitados.
Se midi el impacto a travs del

estimador de diferencia en la
171
rea de estudio
Autores / lugar
aplicacin / ao
de
Muestra
Metodologa
Conclusiones
diferencia.
Salud
The utility of case-control

methods for health policy
and planning analysis
Mock NB, Magnani RJ,

Dikassa L, Rice JC,
Abdoh AA, Bertrand
WE. & Mercer DM
(1993)
113 casos obtenidos de dos

hospitales peditricos.
Se
estableci
grupo
de
tratamiento (72) y grupo
control (41).
Zaire
Empleo
Salud
Think
globally,
act
locally: assessing the
impact of communitybased substance abuse
prevention
Training, Wages, and

Sample
Selection:
Estimating Sharp Bounds
on Treatment Effects
Transfer
Payments,
Mother's Income, and
Child Health in Ecuador
Saxe, et al. (1997)
Se utiliz entrevistas individuales

estructuradas y de observacin.
Se utilizaron cuestionarios de
contenido
antropolgico,
socioeconmico y de salud.
Journal
Salud
Los grupos se definieron por

medio de Propensity Score
Matching.
Diseo de evaluacin a travs de
una metodologa de caso control.
500 personas beneficiarias y

500 para el grupo control.
La evolucin demostr la
importancia de la poltica de
higiene
relacionada
al
conocimiento y las prcticas
como factores de riesgo para
la
enfermedad
diarreica
severa.
Se utiliz la prueba Chi Cuadrada

para muestras apareadas, mtodo
de escalas aditivas simples y de
regresin.
Evaluacin con diseo cuasiexperimental
Estados Unidos
El estudio se caracteriza por ser
mixto: cuantitativo y cualitativo.
Journal
Lee, D. (2005)
No disponible.
Estados Unidos
Institucional
Len, M. & Younger,
SD. (2004)
Ecuador
Madres de nios infantes
Se aplic amplias encuestas tipo

escala, encuestas telefnicas y se
consider indicadores sociales
para el estudio de comunidades
Se evalua el impacto a travs de
un procedimiento intuitivo para la
seleccin de la muestra.
Se utilizaron estimadores de
forma cuasi-reducida para medir
el impacto del programa Bono
Solidario

del programa sobre el
incremento salarial por medio
del fomento del capital
humano.
El programa ha tenido un
significativo pero modesto
efecto en el estado nutricional
de los nios.
172
rea de estudio
Autores / lugar
aplicacin / ao
de
Muestra
Metodologa

por siete condados.
Se utiliz el enfoque de serie de

tiempos para analizar el impacto
del programa.
9 funcionario pblicos
agencias gubernamentales
Estudio de naturaleza cualitativa.
Conclusiones
Institucional
Salud
Agua y Sanidad
Using time-series analysis

to evaluate the impact of
policy initiatives in child
welfare
Views
of
selected
government officials on
the impact of a rural water
supply program in Ghana.
Albert, VN.(2001)
Estados Unidos
Journal
Akuoko-Asibey,
(1997)
A.
de
La informacin fue obtenida a

travs de la entrevista individual a
cada funcionario pblico, dicha
entrevista fue registrada en audio.
Ghana
(frica)
Journal
Educacin
Justicia - salud
Compensatory Education
for
Disadvantaged
Mexican Students: An
Impact Evaluation Using
Propensity
Score
Matching
Welfare Reforms, Family

Resources, and Child
Maltreatment
Shapiro J & Moreno J

(2004)
Se seleccion a los alumnos de

manera no aleatoria.
Se
utiliz
la
metodologa
Mxico
La muestra de estudio est

representada
por
45000
estudiantes de 3000 escuelas
primarias. (EN)
La
informacin
sobre
las
calificaciones de los estudiantes
en sus exmenes proviene de
Estimadores Nacionales (EN:
1998-2002).
Institucional
Paxon,
C.
&
Waldfogel, J. (2001)
Se
determin
grupo de
La muestra final fue de 415
nios
Estados Unidos
Institucional
Educacin
Wilderness
challenge
programs for delinquent
youth: a meta-analysis of
outcome evaluations
Wilson SJ. & Lipsey

MW. (2000)
Estados Unidos
La muestra fue de 28 estudios

de investigacin elegibles, que
incluy una muestra de 3000
individuos.
Los datos sobre maltrato son

obtenidos del Nacional Center for
Child Abuse and Neglect
(NCCAN, 1990-1998)
Se utilizaron anlisis de regresin,
mnimos cuadrados
Evaluacin meta-analtica del
impacto del programa Wilderness.
Se
eligieron
estudios
que
presenten diseos meta analticos
Se
encontr
que
los
funcionarios pblicos en el
nivel ministerial no tienen o
tienen poco conocimiento
acerca del impacto del
programa
sobre
los
correspondientes
beneficiarios.
- El programa CONAFE es
ms efectivo en promover el
aprendizaje
de
las
matemticas y el espaol.
La Educacin Telesecundaria
y bilinge para los estudiantes
indgenas mostraron promover
el logro de los estudiantes.
Los resultados obtenidos
sealan claramente algunas
situaciones de alerta tal como
los
potenciales
efectos
adversos de las recientes
reformas de bienestar sobre el
maltrato infantil.
Se encontr que todos los
programas reportados por los
estudios fueron efectivos en
reducir la conducta antisocial
y delictiva.
173
rea de estudio
Salud
Womens health and

pregnancy outcomes: do
services
make
a
difference?
Autores / lugar
aplicacin / ao
Journal
de
Frankenberg E.
Duncan T. (2001)
&
Indonesia
Journal
Educacin y apoyo
social
Education
Maintenance
Alowance: The First Year.
A Quantitative Evaluation
Ashworth K, Hardman
J, Liu WCh, Maquire S
& Middleton S. (2001)
Reino Unido
Muestra

individuos que intervinieron en
las evaluaciones de 1993 y
1997.
Se estudio a cuatro grupos:
mujeres en edad reproductiva,
hombres en la misma edad,
mujeres mayores y hombres
mayores.
Child Education
and
Work Choices in the
Presence of a Conditional
Cash Transfer Programme
in Rural Colombia
Attanasio
O,
Fitzsimons, Gmez A,
Lpez D, Meghir C,
Mesnard A. (2006)
Colombia
Institucional
Conclusiones
orientados a la diferenciacin de
grupos respecto la participacin
del programa Wilderness.
Indonesia Family Life Survey
(1993 y 1997).
Se utiliz un
experimental.
diseo
cuasi-
Se utiliz el estimador
Diferencia en las diferencias.
de
Utiliz el anlisis de regresin

para evaluar el cambio en el
ndices de Masa Corporal.
7,559 jvenes de 16 a 19 aosSe

determin
grupo de
Estudio de cohorte, jvenes que

concluyeron
estudios
de
secundaria en verano de 1999.
diferencia en las diferencias.
Institucional
Educacin y apoyo
social
Metodologa
11,500 menores de 17 aos

distribuidos
en
122
municipalidades:
57
conformaron el grupo de
control.
El impacto del programa

Village
Midwifery
se
evidencia en que la adicin
de una partera a la aldea est
asociado con el incremento
del ndice de masa corporal en
las
mujeres
de
edad
reproductiva, asimismo, la
presencia de una partera
durante el embarazo se asocia
con el incremento del peso al
nacer.

tuvo un gran impacto en lo
que va de su primer ao de
ejecucin.
de
Anlisis de regresin,
Propensity Score y Tcnicas de
densidad de Bernal.
Diseo de evaluacin cuasiexperimental pre post.
Se seleccion una muestra
representativa por estratos.

tuvo un gran efecto en el
incremento de la matrcula
escolar.
Se estim un modelo Probit para

la matrcula escolar y la
participacin escolar antes de
iniciar el programa.
174
rea de estudio
Autores / lugar
aplicacin / ao
de
Muestra
Metodologa
Conclusiones
Educacin
Nutricin
Early Evaluation of a New

Nutrition and Education
Programme in Colombia
Attanasio O, Syed M.
& Vera-Hernndez M.
(2004)
25 comunidades beneficiarias.
Se
determino
grupo de
Propensity Score Matching no

paramtrico.
Se realizaron entrevistas por
agentes preparados
Puntuaciones Z.
La evaluacin preliminar del

programa muestra que su
efecto es importante y
prometedor.
Colombia
Educacin y apoyo
social
Education Choices in
Mxico:
Using
a
Structural Model And a
Randomized Experiment
to Evaluate Progresa
Institucional
Attanasio O, Meghir C.
& Santiago A. (2005)
Mxico
25,000 familias pertenecientes

a 506 localidades beneficiarias.
Se
determin
grupo de
Institucional
Nutricin y apoyo
social
Apoyo social
Educacin y apoyo
social
Medium and Long Run

Effects of Nutrition and
Child Care: Evaluation of
a Community Nursery
Programme
in
Rural
Colombia
Attanasio OP. & VeraHernndez M. (2004)
The
impact
of
a
conditional cash transfer
programme
on
consumption in Colombia
Atanasio O. & Mesnard

A. (2005)
The
Impact
of
a
Contidional
Education
Subsidy
on
School
Colombia
Institucional
Attanasio
O,
Fitzsimons E. & Gmez
A. (2005)
Aplicacin de cuestionarios.

tiene un efecto muy positivo
en la matrcula escolar,
especialmente al final de la
escuela primaria
Modelo estructural propuesto por

el autor.
11,500 menores de 17 aos

distribuidos en 122 distritos: 57
control.
La seleccin de los distritos de

estudio fue aleatoria.
11,500 hogares distribuidos en

122 distritos, 57 de estos
control.
Diseo de evaluacin pre-post.
Institucional
Colombia
Se hizo una seleccin aleatoria de

la muestra de estudio.
Familias beneficiarias con pago

y familias beneficiarias sin
pag.

tiene un impacto duradero y
positivo.
Aplicacin de cuestionario.
Puntuaciones Z.
Anlisis de regresin.
Variables instrumentales.

Control de las diferencias
observadas a nivel individual y
comunitario.
Regresin paramtrica lineal

tiene un efecto positivo en el
gasto total de consumo.
El programa ha sido efectivo

en incrementar la matrcula
escolar, especialmente entre
175
rea de estudio
Enrolment In Colombia
Autores / lugar
aplicacin / ao
Colombia
de
Muestra
Metodologa
Institucional
Pobreza
Coping with the Coffee

Crisis in Central America:
The Role of Social Safety
Nets in Honduras.
Coady, David; Olinto,

Pedro; Caldes, Natalia
(2003)
5,600 hogares seleccionados de

manera aleatoria estratificada.
Se determinaron tres grupos
con diferentes modalidades de
intervencin del programa y un
grupo control.
Evaluacin pre-post.
Se
seleccionaron
aquellos
hogares con nios menores de
13 aos o madres gestantes.

en la diferencia, variables
instrumentales
y
seleccin
aleatoria.
Attanasio O, Gmez
LC, Heredia P. & VeraHerndez M. (2005)
Colombia
Familias de los distritos

beneficiados o no por el
programa. No se menciona el
tamao
Seleccin aleatoria de las

municipalidades beneficiarias y su
emparejamiento con el grupo
control.
Institucional
Se utiliz diferencia en las

diferencias, anlisis de regresin y
puntuaciones Z.
Blundell R, Brewer M.
& Shephard A. (2005)
Padres y madres de familia

sobre la Fuerza Laboral y el
Estudio de Recursos Familiares,
Honduras

para la comparacin de medias de
los grupos cafeteros y no
cafeteros.
Conclusiones
los 14 a 17 aos, tanto en
zonas urbanas como en
rurales,
siendo
ms
beneficioso para los varones.
Se increment de modo
significativo el consumo en
los hogares.
Institucional
Salud, Nutricin y
apoyo social
Empleo
social
apoyo
The short-term impact of a

conditional cash subsidy
on child health and
nutrition in Colombia
Evaluating the Labor

Market
impacto
of
Working Families` Tax
Credit using difference in
diferrences
Reino Unido
Institucional
Empleo
y
capacitacin laboral
The Determinants and

Effects of Work-Related
Training in Britain
Blundell R, Dearden L.
& Meghir C. (1996)
Reino Unido
Institucional
1,735 varones y 1,661 mujeres.

Anlisis de los efectos de tiempo
y respuestas heterogneas
Estudio de cohorte.
Nacional
Sobre
Desarrollo
Infantil.
El programa foment es
estado nutricional y la
morbilidad de los nios
menores.
La reforma tuvo un impacto

positivo en el incremento de la
tasa de empleo de los padres
de familia, siendo mayor para
el caso de las madres solteras.
Se encontr que las personas

que se beneficiaron de los
cursos
de
capacitacin
tuvieron mejores ventajas
salariales. Siendo la mayora
de estos varones.
176
rea de estudio
Empleo
social
The
Labour
Market
Impact of the Working
Families Tax Credit
apoyo
Autores / lugar de
aplicacin / ao
Blundell R, Duncan A,
McCrae J. & Meghir C.
(2000)
Muestra
Metodologa
Conclusiones
1,807 padres soleteros y 4,694

hogares con dos adultos.

Family Resources Survey.(199495 y 1995-96)
Se utiliz el modelo de
microsimulacin TAXBEN
Se encontr que el sistema

tiene mayor impacto en la
participacin laboral de las
madres solteras.
Jvenes desempleados de 18 a
24 aos
Se utiliz la informacin de dos

bases de datos: New
Deal Evaluation Database
y de JUVOS data.

increment el empleo en un 67%.
Reino Unido
Empleo
Long Term Effects of a

Mandatory
Multistage
Program: The New Deal
for Young People in the
UK
Institucional
De Giorgi G. (2005)
Reino Unido
Institucional
Estudio de evaluacin pre post.

Diseo de e regresin simple
discontinua.
Regresin lineal local simple no
paramtrica.
Educacin y apoyo
social
Pobreza
Education subsidies and

School Drop-Out Rates
Income
Support
and
Staying in School: What
Can We Learn from
Australias AUSTUDY
Experiment?
Dearden L, Emerson C,
Frayne C. & Meghir C.
(2005)
8,414 individuos. Se determin

piloto.

uniformizar a la muestra de
evaluacin.
Reino Unido
Entrevista directa a padres e hijos
Institucional
Seguimiento de los hijos a travs

de la entrevista telefnica.
Dearden L. & Heath A.

(1996)
Autralia
Institucional
13,868 individuos de 16 a 18
aos de edad que cursan los
ltimos aos de escuela. Donde
de ellos
4000 estudiaron antes de la
reforma y 9,868, luego de la
reforma.
Anlisis de sensibilidad a travs

de diferencia en las diferencias.
Evaluacin pre post.
Se
utiliz
la
informacn
disponible
del
Australian
Longitudinal Survey (1984-1986)
y del australia Youth Survey
(1989-1993)

reduce significativamente la
tasa de abandono escolar de
los jvenes que concluyen sus
estudios bsicos.
El programa tiene una

significativa influencia para
que los estudiantes con
antecedentes
de
relativa
pobreza permanezcan en la
escuela pasada la edad
mnima.
177
rea de estudio
Autores / lugar
aplicacin / ao
de
Muestra
Metodologa
Conclusiones
Se determin grupo control.
Educacin
Pobreza
Evaluation of Aimhigher:
Excellence Challenge The
Early
Impact
of
Aimhigher:
Excellence
Challenge
on Pre-16
Outcomes: An Economic
Evaluation
The Distributional Impact

of Social Transfers in the
European
Union:
Evidence from the ECHP
Emmerson C, Frayne
C,. McNally S. & Silva
O. (2005)
Alumnos que completaron los 9

11 aos de estudios.
Se utiliz informacin de The

National Pupil Database.
Reino Unido
Institucional
Heady C, Mitrakos T.
& Tsakloglou P. (2001)
Justicia
Evaluation of Education
Maintanance Allowance
Pilots: Young People
Aged 16 to 19 Years.
Final Report of the
Quantitative Evaluation
13 pases europeos
Data Integration in the

Evaluation of Juvenile
Justice Education
Regresin lineal
La informacin se obtuvo del
European Community Household
Panel.
Multinacional (Europa)
Middleton S, Perren K,
Maguari S, Rennison J,
Battistin E, Emerson C.
& Fitzsimons E. (2005)
6.364 jvenes mayores de 16

aos
Reino Unido
Institucional
Parson K, Li S, &
McEntire R. (2002)
Estados Unidos
Journal
Se encontr que la poltica

tiene un impacto positivo
para la participacin de los
alumnos en la educacin
superior.
Se aplic un cuestionario para el

nivel de los alumnos.
Institucional
Educacin
Mtodo
de
las
variables
instrumentales en dos etapas y el
enfoque experimental.
Evaluacin a travs de un estudio
piloto y comparacin de reas.
Para medir el impacto de la

transferencia sobre la pobreza se
utilizaron los ndices Foster.
Estudio de evaluacin de cohorte
longitudinal
Se emple dos cohortes (1999 y
2000)
Propensity Score Matching,
-200 jvenes comprometidos en

los programas durante los aos
fiscales de 2000-2001.
- 24 programa de justicia
juvenil seleccionados segn su
representatividad en niveles de
seguridad, tipo de programa,
Se hizo una evaluacin pre-post

para los jvenes.
El
diseo
longitudinal.
de
evaluacin
Se
encontr
que
la
transferencia ayud a reducir
la inequidad y pobreza en
todos los pases evaluados, sin
embargo, con diferencias
significativas entre los pases.
Se encontr que la iniciativa
gubernamental increment la
participacin en estudios a
tiempo completo en los
jvenes mayores de 16 aos,
siendo este incremento mayor
para el caso de los varones.
Es posible sobrellevar los
obstculos
politicos
y
burocrticos en la integracn
de las fuentes de informacin,
pero
tales
impedimentos
permanecen en el modo de
poltica
informada
e
178
rea de estudio
Pobreza
Child Support Reform:

Some Analysis of the
1999 White Paper
Autores / lugar
aplicacin / ao
de
Paull G, Walker I. &

Zhu Y. (2000)
Muestra
perfil demogrfico de
juventud que atiende.
1,904 madres cuidadoras
Metodologa
la
An Evaluation of the
Swedish System of Active
Labour Market Programs
in the 1990s
Se evalu el impacto a travs de

un modelo de simulacin.
116, 130 individuos

fuentes principales: Hndel y
Askat.
Anlisis de Series de Tiempo

increment la tasa de empleo
en los participantes. Sin
embargo, tambin prolong su
permanencia en el programa.
Suecia
30.800 individuos adultos,

beneficiarios de seis programa
de promocin del empleo

fuentes principales: Hndel y
Askat.
Se encontr que el efecto de

los programas evaluados sobre
el empleo y desempleo fueron
desalentadores para todos
ellos excepto para los de
subsidio laboral
Institucional
Sianesi, B. (2003)
Suecia
Institucional
Educacin
Educacin
implementacin prctica.
Se encontr un efecto
benfico de la reforma
respecto a la pobreza infantil,
sin embargo no se logra el
alcance esperado.
Reino Unido
Empleo
Se utiliz informacin de Family

Resources Survey (1997)
Differential Effects of
Swedish Active Labour
Market Programmes for
Unemployed
Adults
During the 1990s
Sianesi, B. (2003)
Institucional
Propensity store
Ability,
Parental
Background
and
Education
Policy:
Empirical Evidence from
a Social Experiment
Meghir C. & Palme M.

(2003)
Suecia
La muestra final fue de 11,950
Anlisis de serie de tiempos

Estudio de tipo prospectiva.
Education
Maintenance
Allowance
Transport
Pilots
Quantitative
Findings from Year 1 and
2 (2000-2001/2001-2002)
Conclusiones
Se evalu la cohorte de 1948.

Cuestionarios
Entrevistas
personales
telefnicas.
Institucional
Perren K, Middleton S.
& Emerson C. (2003)
Jvenes que salen de la escuela

entre fines de los aos 1999 y
2002
Reino Unido
Institucional
4,432 (2002), 2,266 (2001) y

4,427 (2000)

Anlisis
de
Componentes
principales.
El
diseo
de
evaluacin
estadstica fue un estudio de
cohorte longitudinal.
La seleccin de la muestra de
estudio fue aleatoria.
La reforma increment el
logro educativo de aquellos
individuos de padres obreros.
Asimismo,
increment
significativamente el ingreso
de aquellos padres obreros.
No
se
encontr
significativo impacto
programa
un
del
Propensity Score Marching
179
rea de estudio
Empleo
The Impact of Training

Policies in Latin America
and the Caribbean: The
Case of Programa Joven
Autores / lugar
aplicacin / ao
de
Aedo, C. & Nez, S.

(2004)
Muestra
Seleccin no aleatoria de cinco
reas
beneficiarias
del
programa y 11 actuaron como
grupo control
3, 340 beneficiarios y no
beneficiarios del programa, es
estableci grupo control
Argentina
Metodologa
Mtodo de evaluacin
Conclusiones
no
Se utiliz informacin de los

registros del programa. (1996)
La seleccin del grupo fue
aleatoria.
Institucional
El impacto tuvo un impacto

en el ingreso de los varones y
las mujeres adultas.
Mtodo de emparejamiento a
travs del estimador Propensity
Score.
Anlisis costo beneficio de los
efectos del programa.
Pobreza
Costs and Benefits of

Privatization:
Evidence
from Brazil.
Anuatti-NEto
F,
Barossi-Filho
M,
Gledson de Carvalho A.
& Macedo R. (2003)
264 compaas,
Se utiliz grupo control

informes financieros anuales de
empresas de propiedad estatal y
de algunas compaas privadas.
(1987-1990).
El principal efecto del

programa de privatizacin de
las empresas es el incremento
en su eficiencia y desempeo.
Brasil
Institucional
Pobreza
y
desigualdad Social
Economic Reform and

Wage Differentials in
Latin America
Behrman JR, Birdsall

N. & Szkely M.
(2000)
Latino amrica
Institucional
18 pases de Latinoamrica
79 estudios de familias (198019998)
Se utiliz la prueba de media y

mediana as como el anlisis de
datos panel.
Se construy un panel de
informacin sobre el salario por
nivel de instruccin.
La estimacin del impacto se
realiz a travs del coeficiente de
vectores y el anlisis de regresin.
Las reformas econmicas de

los ao 1980-1998 tuvieron
como efecto ampliar las
desigualdades de los sueldos
en el corto plazo. Asimismo,
tuvo como efecto positivo el
incremento de los niveles del
salario,
pero
afectando
negativamente en el salario de
los menos instruidos.
180
rea de estudio
Pobreza
y
desigualdad social
Pobreza, desigualdad, y
liberalizacin comercial y
financiera en Amrica
Latina
Autores / lugar de
aplicacin / ao
Behrman JR, Birdsall
N. & Szkely M.
(2001)
Muestra
Metodologa
Conclusiones
93 encuestas de hogares para

17 pases latinoamericanos.
Se obtuvo informacin de las

encuestas
de
hogares
correspondientes a 1977-2000.
Se
encontr
que
la
liberalizacin comercial no
tuvo efectos distinguibles
sobre la desigualdad y
pobreza en la regin, mientras
que
la
liberalizacin
financiera s lo tuvo.
Latinoamrica
La evaluacin econmica se
realiz a travs de un anlisis
economtrico.
Institucional
Se utiliz la ecuacin semilogartmica de Mincer

Educacin
Educacin
proteccin social
Ingreso Familiar
The
Impact
of
Experimental Nutritional
Interventions
on
Education into Adulthood
in
Rural
Guatemala:
Preliminary Longitudinal
Analysis
Behrman JR, Martorell

R. & Stein AD. (2003)
Did Social Safety Net

Scholarships
Reduce
Drop-Out Rates during the
Indonesian
Economic
Crisis?
Cameron,
(2002)
What Mean Impacts Miss:

Distributional Effects of
Welfare
Reform
Experiments
Estudio de una cohorte

Nios nacidos entre 1969 y
1977.
Guatemala
Institucional
Lisa
Institucional
Se seleccin a 120 familias por

cada una de las 100 aldeas de
Indonesia
que
fueron
consideradas
para
la
evaluacin. Esta seleccin no
fue aleatoria.
Bitler MP, Gelbach JB.

& Hoynes HW. (2004)
Se
determin
grupo de
4803 casos. Se determin grupo
de tratamiento y grupo control
Indonesia
Estados Unidos
Institucional
Institucional
Estudio
de
longitudinal.
evaluacin
La estimacin del impacto se

realiz a travs del modelos de
forma reducida.
Los datos se analizaron a travs
de estimaciones Probit.
instrumentales, Propensity Score
Matching, Two Stage Least
Squares y Anlisis de regresin.
Dos mtodos de emparejamiento
fueron utilizados: el 'five nearest
neighbors' y el mtodo basado en
Kernel.
Se utiliz informacin de March
CPS data,
Diseo
de
evaluacin
experimental pre-post.
Seleccin aleatoria de grupos.
Existe
un
efecto
significativamente positivo y
del suministro de Atole,
recibido a la edad de 6 a 24
meses, sobre los resultados
educativos evaluados 27-32
aos despus.
Se hall que el programa tiene
un
impacto
significativo
negativo
en
los
casos
desercin escolar.
Los efectos de las reformas de

bienestar so ms variados y
extensos de lo que se haba
esperado.
Se determin el impacto a travs

del estimador Propensity Score.
181
rea de estudio
Empleo
Evaluating the Working

Families Tax Credit
Autores / lugar de
aplicacin / ao
Blundell R, Duncan A,
& Meghir C. (2002)
Reino Unido
Muestra
Metodologa
Conclusiones
Se utiliz dos muestras:
Se analiz la informacn de los

Estudios de Gasto Familiar 19941995 y 1995-1996.
moderadamente positivo del
programa en las repuestas de
empleo.
Padres de familia solteros

(1807) y parejas casadas o
convivientes (4694).
Institucional
Pobreza
y
desigualdad social
Labor Market Regulations

and Income Inequality:
Evidence for a Panel of
Countries
Caldern C, Chong A.
& Valds R. (2004)
Se obtuvo informacin de 121

pases perteneciente a los aos
1970-2000.
Multinacional
Institucional
Pobreza
crecimiento
econmico
Empleo
Pobreza
y
desigualdad social
Privatization
discontent
and
its
determinants:
evidence
from
Latin
Amrica
Impact
evaluation
of
Empleo
en
Accin:
Lessons and relevante for
Colombia
An evaluation of the
Distributional Power of
PROGRESAS
Cash
Transfers in Mxico
Carrera J, Checchi D,
& Florio M. (2005)
Muestra de 18522 personas en

17 pases.
Multinacional
Estimador de orden Probit
Institucional
Castro MF. (2004)
Colombia
160 Familias beneficiadas y no

beneficiadas del programa
Institucional
Coady DP. (2001)
Mxico
14,856 familias beneficiarias

del programa y 9221 familias
no beneficiarias.
diferencia en la diferencia. y un
modelo de simulacin estructural.
Se
utiliz
la
informacin
proveniente de dos bases de datos
sobre regulaciones laborales:
Rama y Artecona (2002) y
Botero, Djankov, La Porta,
Lpez-de-Silanes
y
Shleifer
(2003).
Anlisis
de
regresin
dimensin transversal y
informacin panel.
Se utiliz los resultados
Latinobarmetro (2002)
su
de
de
Se utiliz suma de cuadrados,

anlisis probit y anlisis de
regresin.
Diseo de evaluacin cuasiexperiimental pre post.
Estudios de evaluacin cara a
cara, entrevistas cara a cara.
Se utiliz la informacin de los
censos tanto de la muestra
nacional como a nivel del
programa.
Institucional
Pobreza y educacin
Does Child Care Pay?:

Labor Force Participation
and Earnings Effects of
Access to Child Care in
Deutsch, R. (1998)
Brasil
1720 familias con hjos menores

de seis aos de edad.
Entrevistas y instrumento de
sondeo.
Se utiliz la comparacin de
Se hall que las regulaciones

de derecho no favorecen la
distribucin del ingreso, la
conformidad
con
las
regulaciones
existentes
parecen
favorecer
la
distribucin
del
ingreso
asimismo, un mayor salario
mnimo tiende a empeorar la
distribucin del ingreso.
Se hall un descontento
generalizado
de
los
ciudadanos
con
la
privatizacin respecto a los
temas de distribucin.
El impacto del programa para
el corto plazo fue positivo.

ha tenido un relativamente
alto poder distributivo del
poder comparado con una
diversidad de alternativas
consideradas.
Se hall que el financiamiento
pblico de los servicios de
cuidado infantil no slo ofrece
esperanzas de largo plazo para
182
rea de estudio
the Favelas of Rio de
Janeiro
Empleo
Labor Market Regulation

and Employment In the
Caribbean
Autores / lugar
aplicacin / ao
Institucional
de
Downes A, Mamingi
M. & Belle Antoine RB
(2000)
Muestra
No se especifca.
Barbados, Jamaica y
Trinidad y Tobago
Institucional
Empleo
An Econometric CostBenefit
Analysis
of
Argentinas
Youth
Training Program
Elas VJ, Ruiz F, Cossa

R. & Bravo B. (2004)
1670 jvenes beneficiarios y

1670 no beneficiarios.
Argentina
Institucional
Salud
Educacin
Evaluation of the Family

Allowance
Program
(PRAF) in Honduras:
Health
and
Nutrition
Impacts
Do Community-Managed
Schools
Work?
An
Flores R, Morris S,
Olinto P, Medina3 J. &
Neidecker O. (2003)
4197 beneficiarios y 7849

pertenecientes al grupo control
Metodologa
Conclusiones
medias.
la reduccin de la pobreza,
sino tambin una inmediata
retribucin en la forma de
empleo y oportunidades de
empleo para las madres
beneficiarias.
Las regulaciones laborales en
los tres pases estudiados no
han causado un impacto
significativo en comparacin
con los otros pases de la
regin.
Se utiliz datos anuales sobre

empleo.
La
investigacin
de
las
propiedades temporales de las
series se hizo a travs de la prueba
de
raz
de
Dickey-Fuller
aumentada en una unidad.
Tambin se utiliz el Test de
cointegracin de Johansen y el
modelo de correccin no lineal de
Phillips Loretan.
Se
realiz
un
anlisis
economtrico costo-beneficio.
Se
utilizaron
tcnicas
de
estimacin de no emparejamiento
(pre post, diferencia en la
diferencia) y de emparejamiento
basado en la estimador Propensity
Srore (Por aproximacin, Kernel,
Regresin lineal local) para
compensar el sesgo de seleccin.
de prueba aleatoria de grupos,
aleatorizacin
En comparacin con otros

pases se considera que el
programa tiene un impacto
positivo en la bsqueda
laboral de los jvenes.
El programa tuvo impacto en

el cuidado prenatal y la
examen del nio, pero no en el
examen perinatal.
Honduras
Institucional
Jimenez,
Emmanuel,
and Yasuyuki Sawada.
897 estudiantes en escuelas

puras o mixtas con EDUCO y
Los datos fueron obtenidos por el

Ministerio de Educacin en un
El programa promueve de
manera
significativa
la
183
rea de estudio
Evaluation
Salvador's
Program
of
El
EDUCO
Autores / lugar
aplicacin / ao
(1998)
de
Muestra
Metodologa
Conclusiones
154 en escuelas tradicionales

puras.
estudio de 311 escuelas.
asistencia estudiantil.
El Salvador
El
estudio
aplic
cinco
cuestionarios: para estudiantes,
padres, directores de escuela,
profesores y asociacin de padres.
Journal
Pobreza
Decentralized Targeting of
an Anti-Poverty Program
Galasso
M.
&
Ravallion M. (2005)
Bangladesh
3,625 familias con nios de 5 a

16 aos de edad.
Institucional
Empleo
crecimiento
econmico
The Costs and Benefits of

Privatization in Argentina:
A
Microeconomic
Analysis
Galiano S, Gertler P,
Schargrodsky E. &
Sturzenegger F. (2003)
Argentina
21 empresas no financieras de
propiedad estatal, actualmente
privatizadas o no.
bienestar
An
Experiment
in
Incentive-Based Welfare:
The Impact of PROGESA
on Health in Mexico
Gertler PJ. & Boyce S.

(2001)
Mxico
Logaritmos de costos de unidad.

Modelo de regresin cuantlica.
Estimador de la desviacin
absoluta mnima.
Estimador diferencia en la
diferencia.
Institucional
Salud
social
Variables instrumentales para

controlar el sesgo de seleccin. Se
utiliz un proceso Heckman de
dos etapas.
Los anlisis empricos se basan el
Estudio de Gasto Familiar (19951996).
Regresin
no
paramtrica,
regresin Tobit.
Prueba T.
506 comunidades (89,293

personas): 320 asignadas al
grupo de tratamiento y 185 al
grupo control.
Institucional
Estimador de diferencia en la
diferencia.
Asignacin aleatoria de los grupo

de tratamiento y control.
Se
utiliz
informacin
administrativa de las clnicas
pblicas y del estudio panel a
gran escala de Progesa.
El programa est orientado

hacia la pobreza, una mayor
proporcin de los pobres
recibe ayuda que los no
pobres.
El programa de privatizacin
tuvo un impacto positivo en el
incremento de la rentabilidad
pero muy negativo en el
empleo.
Se hall que el programa

increment
de
modo
significativo la utilizacin de
las clnicas de salud pblica
para el cuidado preventivo. El
programa tambin disminuy
el
nmero
de
hospitalizaciones y las visitas
a proveedores privados. La
promocin de la salud fue
significativa.
184
rea de estudio
Salud
Efectos de la reforma en
salud sobre las conductas
irregulares
en
los
hospitales pblicos: El
caso de Bogot, Distrito
Capital, Colombia
Salud y Nutricin
Empleo y seguridad
social
Empleo y seguridad
social
Empleo y seguridad
social
Empleo
On the Bias in Estimating

the Impact of a Nutrition
Intervention Using Clinic
Based Data
The Cost of Job Security

Regulation: Evidence from
Latin American Labor
Markets
Labor Market Policies and

Employment
Duration:
The Effects of Labor
Market
Reform
in
Argentina
Autores / lugar de
aplicacin / ao
Giedion U, Gonzles L.
& Acosta OL. (2001)
Muestra
Metodologa
Conclusiones
22 hospitales
Entrevista a informantes clave,

encuesta a personal hospitalario
mediante seleccin de muestra
aleatoria, censo a enfermeras de
todos los hospitales de Bogot,
presupuestos de hospitaltes.
Se construy una matriz de
conductas irregulares y con
variables
institucionales
e
individuales.
Se
utiliz
informacin
antropomtrica de los nios
beneficiarios obtenidos de los
centros de salud.
Los hospitales del Distrito,

contrario a lo buscado en la
reforma, estn lejos de ser
autnomos tanto en trminos
de manejo de su personal
como
su
independencia
financiera
Colombia
Institucional
Handa S. & Huerta

MC. (2003)
Mxico
Institucional
Heckman J. &
Pags C. (2000)
505
comunidades,
323
beneficiarias del programa y
181 como grupo control.
Esto comprende un total de
125,000 nios con 12 a 23
meses de edad
43 pases: 28 europeos y 15
latinoamericanos.
Se utiliz la regresin logstica.

Se utiliz una metodologa de
evaluacin comparativa y de serie
de tiempos.
Multinacional
Institucional
Hopenhayn HA. (2001)
Argentina
64,000
individuos
uniformemente distribuidos por
aos.
Se utiliz la informacin panel del

estudio de hogares para el rea del
Distrito Federal de Buenos Aires.
Anlisis de regresin lineal
No se especifica.

Estudios de Hogares en Colombia
(1988, 199 y 1996)
Se estim las tasas de riesgo.
diferencia en las diferencias y los
modelos de riesgo exponencial.
Se utiliz la informacin de los
estudios de hogares y otros
Institucional
The Incidence of Job

Security Regulations on
Labor Market Flexibility
and
Compliance
in
Colombia: Evidence from
the 1990
Kluger A. (2000)
Colombia
Macro
Policy
and
employment problems in
Lora E. (1998)
Multinacional
Institucional
18 pases de Latinoamrica
Los resultados de impacto

obtenidos en el mbito clnico
son menores a los mostrados
por los experimentos sociales.
Se
encontr
que
las
regulaciones de seguridad
laboral tuvieron un substancial
impacto sobre el empleo y la
tasa de despidos en los pases
de Latinoamrica y Europa.
Se encontr que la reforma
tuvo un fuerte impacto en el
despido
laboral,
incrementando la tasa de
riesgo durante el perodo de
prueba por 40%.
Se encontr que la reforma
laboral ha generado un gran
dinamismo
del
mercado
laboral
as
como
la
disminucin de la tasa de
desempleo.
Las reformas de estabilizacin

y estructurales han generado
185
rea de estudio
Autores / lugar
aplicacin / ao
de
Muestra
Latin Amrica.
estudios
impacto.
Maluccio J.
Institucional
Salud y bienestar
Impact Evaluation of the

Pilot Phase of Social
Safety Net
(RPS) in
Nicaragua:
Health and
Nutrition Impacts
Metodologa
Maluccio J. & Flores R.

(2003)
706 familias beneficiarias y

690 familias como grupo
control
de
Conclusiones
evaluacin
de
Modelo de simulacin macro

laboral y anlisis de regresin.
Entrevista
Nicaragua
Institucional
Transporte
(Infraestructura)
Do Donors Get What They

Paid For? Micro Evidence
on the Fungibility of
Development Project Aid
Van
De
Dominique
Dorothyjean
(2005)
Walle,
and
Cratty.
Vietnam
La muestra final fue de 38

distritos de los cules se
seleccionaron aleatoriamente
100 comunidades beneficiarias
del proyecto y 100 no
beneficiarias.
Institucional
Empleo
Empleo
Trade and Employment:

Evidence
from
Latin
America
and
the
Caribbean
The Effects of Labor

Market Regulations on
Mrquez G. & Pags C.

(1997)
Estudio de evaluacin en serie de

tiempos.
Evaluacin a travs del diseo de
estimacin Diferencia en la
Diferencia.

el incremento de consultas
para el cuidado preventivo de
los nios menores de tres
aos, la disminucin de la tasa
de desercin escolar a nivel
primario y el incremento del
gasto alimenticio en la
familia.
rehabilitacin de vas de
transporte terrestre.

Estudio de Impacto de los Vas
Rurales en Vietnam.
Informacin panel anual de 18

pases de Latino Amrica y el
Caribe.
La
comparacin
de
las
comunidades beneficiarias del
proyecto con las no beneficiarias
fue a travs del Propensity Score
Matching.
Anlisis economtricos.
Multinacional
Institucional
Mondito G. &
Montoya S (2000)
un cambio del empleo hacia el

sector de servicios y el
incremento
del
mercado
laboral informal.
1.398 empresas manufactureras
Estudio de evaluacin de tipo

descriptivo.
Se encontr que las reformas

de comercio tuvieron un
efecto
negativo,
aunque
pequeo, sobre el incremento
del empleo.
Se encontr que las reformas
tuvieron
un
gran
y
186
rea de estudio
Employment Decisions by
Firms: Empirical Evidence
for Argentina
Autores / lugar
aplicacin / ao
de
Muestra
Argentina
Se utiliz la informacin panel

sobre horas trabajadas, horas
extras, salarios y produccin
fsica (1990-1996)
Institucional
Empleo
The Impact of Regulations

on Brazilian Labor Market
Performance
Paes R. & Corseuil CH.

(2001)
Metodologa
5000
establecimientos
manufactureros que emplean
ms de cinco trabajadores.
Brasil
Pesquisa
Industrial
Mensal
(1985-2001) para la informacin
longitudinal mensual de la
demanda laboral.
Institucional
Salud y Seguridad
social
Nutricin
How Do Social Security

and Income Affect the
Living Arrangements of
the Elderly? Evidence
from Reforms in Mexico
and Uruguay
ADRA/Ghanas
Food
Security Program (PL 480
Title II)
Shinkai N. (2000)
2697 ancianos en mexicanos y

9806 ancianos uruguayos.
Mxico y Uruguay
Institucional
Adu-Gyamfi JJ, TwumAmpofo

K, Akuamoah J. &
Kwaku A. (2006)
Ghana
Beneficiarios: 30,000 granjeros

de 468 comunidades de Ghana.
Se us una muestra aleatoria de
47 comunidades donde opera
ADRA.
Apoyo social
Impact evaluation of the

peace corps small project
Mtodo de diferencia en las

diferencias.
Estudios Nacionales tanto en
Mxico como Uruguay.
Alexieva A, Alexieva
K. & Vasev I.
Se obtuvo una muestra

intencional de 16 proyectos de
Revisin de documentos e
informes. Entrevista al equipo de
profesionales y beneficiarios del
proyecto. Grupos Focales.
Comparacin
del
estado
nutricional de los nios. Grupo
control y grupo experimental. Se
us comparaciones Z.
Mtodo cualitativo.
Conclusiones
significativo efecto en las
decisiones de empleo,
Se encontr que los despidos

disminuyeron luego de la
reforma constitucional pero
slo en el caso de empleos por
perodos largos, lo opuesto fue
para los empleos por perodos
largos.
Se encontr que el sistema de

ayuda del gobierno no tiene
influencia en el desarrollo de
los adultos mayores de las
reas rurales en Mxico.
En el caso de Uruguay, el
sistema
de
ayuda
gubernamental explicara la
probabilidad de las mujeres
ancianas vivan solas.
La intervencin de ADRA ha
sido positiva en la vida y
bienestar general de los
granjeros y sus familiar.
Asimismo contribuy al logro
de metas de la Misin
USAID/Ghana.
Mientras que el Programa

SPA parece tener mayor
187
rea de estudio
Autores / lugar
aplicacin / ao
de
assistance (SPA) project.
Muestra
Metodologa
Conclusiones
un total de 141.
Anlisis de documentos: Se revis

el informe final de los 16
proyectos.
impacto en las ciudades ms

pequeas o de mediana
dimensin, los efectos son
bastante contingentes sobre la
participacin y cooperacin
entre varios de los actores
comunitarios.
Segn el informe de todos los
estudios
de
caso,
la
produccin
agrcola
se
increment come resultado de
la ejecucin del proyecto.
(2003)
Bulgaria
Infraestructura
Rural Roads Evaluation

Summary Report
Anderson
GW
&
Vandervoort
ChG.
(1982)
Revisin de 8 informes de
proyectos en diversos pases.
Diseo de Estudio de casos.

Revisin
de
documentos
(informes de evaluacin).
Multinacional
(Honduras,
Jamaica,
Colombia,
Sierra
Leone, Liberia, Kenya,
Filipinas, Tailandia)
Agricultura y apoyo
social
Agricultural credit in the

Dominican Republic
Araujo F, Viveros AM.
& Murphrey J (1985)
250 agricultores.
Impact evaluation of the

NIS
Farmer-to-Farmer
Program
Askin P, Childress M,
Delmare R, Estes V,
Smith M. & Sullivan G.
(1996)
Multinacional ((Russia,
Kazakhstan,
Kyrgyzstan, Ukraine,
Moldova, Armenia y
Georgia).
Mtodo cualitativo.
El estudio tiene un enfoque de
anlisis sociocultural.
Repblica Dominicana
Educacin
Se realiz entrevista a informantes

clave a travs de cuestionarios
gua.
Mtodo cualitativo.
Se informa con certeza la

relacin entre los efectos del
programa y el incremento de
la produccin agrcola.
Se entrevist a miembros de los

familiares que participaron.
Se evalu a 77 organizaciones
anfitrionas y a 100 personas
integrantes
de
estas
asociaciones.
Se
realiz
muestreo aleatorio.
Mtodo cualitativo cuantitativo

(mixto).
Diseo de Estudio de casos que
evala el impacto en tres niveles:
cambios en la psicologa de los
beneficiarios, cambios en otros
adems de los beneficiarios y
cambios
en
los
sistemas
subyacentes
de
produccin,
comercio, poltica, etc.
Se evaluaron tres niveles. Se

encontr que los mayores
efectos del programa fueron
evidentes en el nivel uno: en
la
psicologa
de
los
beneficiarios (conocimientos,
actitudes, competencias). En
los otros niveles, los efectos
fueron
significativamente
menores.
188
rea de estudio
Electrificacin rural
Economic
and
social
impact evaluation of the
Rural
Electrification
Program in Bangladesh.
Autores / lugar
aplicacin / ao
de
Barkat A, Khan SH,

Rahman M, Zaman S,
Poddar A, Halim S,
Ratna NN, Majid M,
Maksud AKM, Karim
A. & Islam K. (2002)
Bangladesh
Institucional (USAID,
NRECA, REB)
Muestra
Se evalu a 23 unidades Palli

Bidyut Samities (PBSs), los
cuales son modelos nicos de
gobierno en Bangladesh.
Se determin grupo control.
2278 familias beneficiarias del
programa y 1440 familias sin
electricidad. Constituyendo un
total de 3718 familias. Las
muestras se distribuyeron segn
cuatro unidades de observacin.
Metodologa
Entrevistas profundas con las
organizaciones
beneficiarias,
cuestionarios a muestra aleatoria,
entrevistas
telefnicas.
Estadsticas descriptivas.
Diseo experimental de estudio
slo postest.
Ausencia de lnea base (pretest)
Conclusiones
El programa de electrificacin
fue exitoso.
Seleccin aleatoria de grupo de

Se
usaron
4
tipos
de
cuestionarios; 4 listas de chequeo;
5 formatos de recoleccin de
datos secundarios y 2 guas de
grupos de discusin.
27 Grupos focales con la muestra
y 9 grupos focales con las
autoridades.
Pobreza
Educacin
Do Family Caps on
Welfare Affect Births
Among
Welfare
Recipients? Reconciling
Efficacy and Effectiveness
Estimates
of
Impact
through a Blended Design
Strategy.
The
Monrovia
consolidated
school
system:
an
impact
evaluation
Jagannathan
Camasso
M.
Killingsworthusa
(2004)
R,
&
M.
9000 casos: 6000 en el grupo

experimental y 3000 en el
grupo control.
Se realiz una asignacin

aleatoria de los grupos.
Estados Unidos
Journal
Pewu G. & Belleh W.
(1982)
Liberia (frica)
Regresin OLS y TOBIT.

Anlisis descriptivos.
Se utiliz un diseo investigacin
experimental y cuasi-experimental
(diseo ciego).
Muestra aleatoria de 20
informantes
clave,
entre
directores, especialistas, y
participantes.
La evaluacin del impacto del

proyecto fue realizada a travs del
enfoque del Informante Clave
(Mtodo Cualitativo).
Las estimaciones encontradas

sobre el programa pueden
diferir
dramticamente,
reflejando la sensibilidad
hacia una heterogeneidad de
tiempo inducido que se le ha
denominado efecto Herclito.
El impacto del programa fue
parcial.
Se revis documentos.
189
rea de estudio
Educacin
Promoting education girls

in Nepal.
Educacin
Promoting
education for
Malawi.
primary
girls in
Autores / lugar de
aplicacin / ao
Benoliel S, Ilon L,
Sutton M, Karmacharya
DM, Lamichhane S,
Rajbhandry P, Der
Kafle B. & Giri S.
(1998)
Nepal
Bernbaum M, Fair K,
Miske S, Moreau T,
Nyirenda D, Sikes J,
Wolf J, Harber RB,
Hartwell
A.
&
Schwartz B. (1999)
Muestra
Metodologa
Conclusiones
95 madres de nios en escuela

primaria,
provenientes
de
cuatro villas.
Diseo
pre-experimental.
Comparacin slo postest.
Se hall que las mujeres que

completaron los programas de
alfabetizacin
se
comprometen mucho ms en
la educacin de sus nios, en
varios modos.
Se
determin
grupo de
tratamiento y grupo control, sin
asignacin aleatoria.
130 documentos y 200 personas

dentro y fuera del programa
educativo.
Malawi
Educacin
ciudadana
derechos
en
y
The CEE/SEE Program:

Impact and Potential
Blue, RN, Galaty M. &

Green A. (2006)
Estonia,
Hungra,
Croacia, Bulgaria y
Eslovenia
Proyecto
creado
para la provisin de
servicios de salud y
desarrollo
comunitario
Haiti:
Hacho
Rural
Community Development.
Brinkerhoff DW, Fotzo

PT, Ormod BJ. (1983)
Hait
Cinco pases: cuatro pases

donde el programa estuvo
activo y un pas control, donde
el programa no ha sido
ejecutado.
Entrevistas
estructuradas
mediante cuestionario.
Comparacin de porcentajes.
Mtodo cualitativo.
El
programa
significativos logros.
tuvo
Se hicieron observaciones y
entrevistas a profesores, padres y
alumnos.
Se
revisaron
documentos.
Se utiliz tcnicas cualitativas
(triangulacin) y anlisis de datos
cuantitativos.
Mtodo mixto.
El diseo de evaluacin bsico
utiliz un mtodo de comparacin
de pases.
La unidad de anlisis fueron los

lderes de ONGs. Seleccin no
aleatoria.
Se
utiliz
entrevistas
cualitativas/cuantitativas
a
informantes clave.
77 personas clave contactadas y

entrevistadas.
Aplicacin de Cuestionario y
Grupos Focales.
Mtodo
cualitativo
(triangulacin).
Se encontr una respuesta

positiva de los cuatro pases
beneficiarios
hacia
el
programa.
El programa fue exitoso.
Se emple una mezcla de tcnicas

de
reconocimiento
rpido:
examen de documentos
e
informes,
entrevistas
a
190
rea de estudio
Autores / lugar
aplicacin / ao
de
Muestra
Metodologa
Conclusiones
informantes clave, visitas de

campo, y observacin directa.
Calidad de vida y
desarrollo
Educacin
Small Project Assistance

(SPA)
Management Education in
Modern Tunisia: L`Institut
Suprieur De Gestion,
Tnez.
Creative Associates &

Benchmarks,
INC.
(1985)
44, 23 y 87 miembros de Peace

Corps, AID y Peace Corps
voluntarios.
Multinacional
(Ecuador,
Senegal
Gambia,
Honduras,
Tailandia, entre otros
34 pases)
62 proyectos evaluados.
Casstevens TW, Jonson
NC, King GJ. &
Willens L.(1985)
Metodo mixto (Encuesta

opinin y estudio de casos).
de
Examen documentario
proyectos evaluados.
62
de
El programa brinda una

herramienta esencial para el
desarrollo de la comunidad y
contribuye enormemente a la
satisfaccin laboral de los
voluntarios.
Cuestionarios, entrevistas semi

estructuradas.
Se incluye a personas de
negocio y acadmicos. No
menciona el nmero. Muestreo
intencional.
Metodologa cualitativa
Se realiz un muestreo
aleatorio estratificado.
Mtodo Mixto.
Entrevistas personales y revisin

documentaria.
El proyecto es bastante
exitoso, aunque su desarrollo
difiri
de
los
planes
originales.
Tnez
Resolucin
de
conflictos sociales
Centre
for
Conflic
Resolution:
Impact
Evaluation Report.
Centre for Conflict
Resolution (2004)
Kenya
De una poblacin beneficiada

de
6000
perosnas,
se
seleccionaron 276 beneficiarios
del
programa
y
nueve
informantes clave de Samburu,
Nakuru & Laikipia.
39 grupos focales.
Infraestructura
Agua potable
de
Korean Potable Water

System Project: Lessons
from Experience.
Chewynd
E.
&
Dworkin DM. (1981)
Seleccin aleatoria estratificada

de las familias beneficiarias.
Korea
181 Familias beneficiadas por

el programa.
Se
utiliz:
cuestionarios,
discusiones de grupo focal,
entrevistas a informantes claves,
entrevistas
individuales
y
grupales, as como la revisin
documentaria.
Los dados fueron sometidos a
anlisis cuantitativos (estadsticas
descriptivas).
Mtodo mixto.
Entrevista a hogares benefiados,
mediante cuestionario.
La intervencin del programa

en la comunidad gener un
ambiente de paz.

tuvo mayor impacto en la tasa
de suscritos para la instalacin
a la red de agua potable en la
zona rural que la urbana.
191
rea de estudio
Educacin
An Impact Evaluation of
the Educational Support
Services
Trust`s
Programme.
Autores / lugar de
aplicacin / ao
Ebrahim R. (1996)
Sudafrica)
Empleo
Do Workfare Participants
Recover Quickly from
Retrenchment?
Muestra
Metodologa
Entrevista a informantes clave.
Informantes clave.
200 estudiantes del cuarto
grado de seis escuelas primaria
de Cabo Oeste, Khayelitsha y
Cabo Este. De estos, 96
participaron en el grupo de
tratamiento y 104 en el grupo
control.
Ravallion,
Martin;
Galasso,
Emanuela;
Lazo, Teodoro; Philipp,
Ernesto (2001)
1500 de los participantes del

programa fueron entrevistadas,
quienes fueron seleccionadas
de manera aleatoria.
Argentina
Para la seleccin del grupo

control se utiliz el Permanent
Household Survey (1999)
aleatorio estratificado de 56
lugares de un total de 1300. En
cada sitio seleccionado se
escogio entre 10 y 20
participantes.
Programa Trabajar II
Educacin
Youth
Reintegration
Training and Education
For
peace
(YRTEP)
Program
Institucional
Fauth G. & Daniels B.
(2001)
Sierra Leona (frica)
Muestra
total:
participantes.
Infraestructura
Irrigacin
Agricultura
Bangladesh
Irrigation
Small-Scale
Friedkin T, Lester R,
Blank H. & Ahmed N.
(1983)
Bangladesh
Conclusiones
Mtodo cuasi-experimental.
No se encontr efectos
significativos del programa.
Diseo de evaluacin pre post y

con grupo control no equivalente.
La obtencin de datos fue a travs
de la aplicacin de una Ficha de
Ejercicios a los estudiantes.
Se realiz anlisis de varianza con
medidas repetidas y estadsticas
descriptivas.
Mtodo cuasi-experimental.
Propensity Score Matching y
otros mtodos de emparejamiento
de grupos.
Mtodo pre-experimental (Diseo

solamente postest).
El programa tiene un efecto

el ingreso.
Se encontr un significativo
efecto del programa en los
participantes.
Se aplic un Cuestionario de
evaluacin, diseado y adaptado a
partir de un estudio piloto de 20
participantes del programa.
482
400 agricultores participaron

del programa y 200 integraron
el grupo control.
Se utiliz estadsticas descriptivas

(porcentajes).
Mtodo pre-experimental.
Diseo slo postest con grupo
control.
Un impacto obvio del

programa
ha
sido
el
incremento del ingreso de los
agricultores. Asimismo, se
observan
otros
efectos
192
rea de estudio
Autores / lugar
aplicacin / ao
de
Muestra
Infraestructura
electrca
agricultura
The Product is Progress:

Rural Electrification in
Costa Rica
Goddard PO, Gmez

G, Harrison P. &
Hoover G (1981)

intencional de la muestra a
travs de expertos en ciencias
sociales.
Metodologa
Conclusiones
Se revis informes y documentos.

Se
entrevist
al
personal
encargado del proyecto
positivos no planificados.
Se aplic un cuestionario a los

agricultores.
Estadsticas
descriptivas.
Mtodo pre-experimental.
Diseo solo postest con grupo
control.
No se encontr un efecto
importante del programa y el
desarrollo agrcola de las
comunidades.
Costa Rica
Nutricin
educacin
Growth
Monitoring,
Nutrition and Education:
Impact evaluation of an
effective applied nutrition
program in the Dominican
Republic.
Mora JO, Pielmeier N,

vila P. & Ramrez M.
(1988)
Santo Domingo
96 familias distribuidas en 17
comunidades.
Se aplic un cuestionario de 61
tems.
Se estableci grupo control.

663 Madres de nios menores
de 3 aos, distribuidas en una
muestra aleatoria de 18
comunidades beneficiarias del
programa y 18 comunidades no
beneficiarias (grupo control)
Diseo Cuasi- Experimental con
grupo
control
y
pre-post.
(Matching). Medidas repetidas.
evaluacin interna del programa
realizado por CARITAS y se
revis documentos e informes. Se
entrevist a informantes clave.

redujo significativamente la
prevalencia
de
nios
malnutridos en Repblica
dominicana
Se aplic un cuestionario de
actitudes para madres.
Comunicacin
transporte
Honduras Rural Roads:

Old Directions and New
Maxwell,
Demetre &
(1981)
Chapin,
Fletcher
Dos
rutas
Informantes
agricultores
nmero).
de
carretera.
clave
y
(no menciona
Se us Chi Cuadrada y Anlisis

de Varianza.
Mtodo cualitativo (estudio de
casos).
Evaluacin expost facto.
El proyecto favoreci la
produccin agrcola y el
ingreso econmicos de los
agricultores.
Honduras
Revisin
Proyecto.
de
archivos
del
193
rea de estudio
Titulacin de tierras
Infraestructura
Agricultura
Evaluacin del impacto en

los
beneficiarios
del
programa de titulacin
masiva de tierras.
Agricultura
Sederhana:
Indonesia
Small-Scale Irrigation
The Wheat Development

Program
Autores / lugar
aplicacin / ao
de
Muestra
Metodologa
Conclusiones
Honduras
Entrevista a informantes clave y a

agricultores.
Diseo pre-experimental sin
grupo control ni lnea base
(diseo encuestas).
Se aplic una encuesta de campo.
Hevia, H. (2001)
473
productores
titulados
seleccionados aleatoriamente.
Holloran S, Corey GL
& Mahoney T. (1982)
29 subproyectos apoyados por

AID.
Indonesia
Agricultores. Sin muestreo ni

especificacin de nmero.
Jonson WF, Ferguson
CE. & Fikry M. (1983)
98 funcionarios, autoridades y
granjeros.
Entrevistas estructuradas con los

responsables de las agencias
intermedias financieras.
Mtodo cualitativo (observacin).
Entrevista a agricultores
observacin de campo.
Mtodo cualitativo (entrevistas a

profundidad
y
anlisis
documental).
Segn percepcin de los

beneficiarios el programa ha
incrementado su seguridad en
la legalidad de sus tierras y el
uso que hacen de ellas.

ha
incrementado
y
desarrollado el bienestar de
los pequeos agricultores
propietarios en Indonesia.
Se encontr un impacto
positivo del programa.
Tnez
Se utiliz informacin de
documentos
y
archivos
institucionales.
Electrificacin
apoyo social
Ecuador:
electrification
Rural
Kessler JL. Ballantyne

J, Maushammer R. &
Romero N.(1981)
3200 personas comprendidas en

600 familias.
Ecuador
Entrevista a informante clave.

Diseo pre-experimental (diseo
encuestas sin grupo control ni
lnea base).
Se encontr impacto del

programa en el desarrollo del
comercio y servicios en las
poblaciones beneficiadas.
Se aplic un cuestionario con 38

preguntas cerradas.
Comunicacin
transporte
Philippines: Rural Roads I

and II.
Levy I, Zuvekas C. &

Stevens C. (1981).
8 caminos de una muestra de

43. Muestreo intencional.
Diseo
pre-experimental
(entrevistas sin grupo control ni
lnea base).
El programa ha tenido un gran

impacto en el desarrollo
agrcola pero no de manera
194
rea de estudio
Autores / lugar
aplicacin / ao
Filipinas
de
Muestra
181 agricultores y pescadores.
Does
Child
Labor
Displace
Schooling?
Evidence on Behavioral
Responses to Enrollment
Subsidy
Ravallion, Martin, and

Quentin Wodon. (1999)
Bangladesh
Se utiliz la muestra rural del

Householg Expenditure Survey
conformada por nios de 5 a 16
aos.
Institucional
Agricultura
transporte
Agua potable
Comercio
Agricultural
Transportation Assistance
Program (ATP)
Evaluation
of
the
Provincial Water Project
in the Philippines
Impact
Evaluation
on
Lucas K, Davis T. &

Rinkard K. (1996)
Revisin de documentos de 20
regiones.
Tanzania
64 informantes clave.
equitativa.
Informacin obtenida en el
Bangladesh Bureau Statistics
(1995 - 1996).
instrumentales y otros mtodos de
emparejamiento.
Mtodo cualitativo (observacin
de campo).
Revisin de documentos escritos.

Observacin de campo.
Magnani R, Tourkin S.
& Hartz S. (1984)
La seleccin de la muestra no
fue aleatoria.
Discusin con los encargados del

programa y con otros implicados
en el desarrollo del sector
transporte.
Diseo de evaluacin cuasiexperimental.
Filipinas
2500 Familias
Institucional
Se
determin
grupo de
tratamiento y grupo control no
equivalente.
Se
utiliz
informacin
proveniente del estudio de
hogares mantenidos por los
distritos de Bacolod y Cagayan de
Oro.
21 / 50 Agentes de aduanas.
El impacto del programa se

determin a travs de la
comparacin de medias y
Regresin logstica.
Estudio
de
encuestas
Makanza
M.
&
Conclusiones
Aplicacin de formularios y
encuestas mediante entrevistas
individuales y grupales.
Educacin
Metodologa

significativo
sobre
la
participacin laboral de los
nios. Asimismo, el programa
tuvo un efecto significativo y
positivo sobre la probabilidad
de estar en la escuela.
Se hall que el impacto del
programa ha sido positivo y
creciente desde sus inicios.
Se
encontr
beneficios
positivos del programa
Se
encontr
que
la
195
rea de estudio
Implementation of the
WTO
evaluation
agreement
for
Mozambique
Autores / lugar de
aplicacin / ao
Munyaradzi R. (2004)
Muestra
Mozambique
Metodologa
Conclusiones
(descriptivo).
Intervencin es beneficiosa
para la administracin de los
clientes.
Aplicacin de cuestionarios a
agentes de aduanas.
Electrificacin
apoyo social
The Philippines:
Electrification
Rural
Mandel DH, Allgeir

PF, Wasserman G,
Hickey G, Salazar R. &
Alviar J. (1980)

Mtodo cualitativo (observacin)
7 cooperativas.
Entrevista no estructurada a
pobladores y a informantes clave.
Filipinas
Salud reproductiva
Evaluation of AID Family

Planning Programs: Ghana
Case Study.
Institucional
McClelland
DG,
Johnston AG, Pedersen
BR, Schwartz JB. &
Schmeding R.(1993)
Anlisis de informacin en
registros de compaas elctricas
4 regiones. 110 pobladores de
Ghana.
49
visitas
institucionales.
Ghana
Educacin
Liberian
Primary
Education
Program
(PEP):Final
Impact
Evaluation of the PEP
Pilot Radio Broadcast.
McDowell
J.
&
Moulton J. (1990)
305
Profesores
escuela.
directores
Panam: Rural Water
Mtodo mixto. Estudio de casos.

Revisin bibliogrfica, entrevista
a informantes clave, entrevista a
pobladores de cuatro regiones de
Ghana, aplicacin de escala de 30
tems y tcnica de grupos focales
(25).
de
Se control la maduracin,
Liberia (frica)
Se utiliz grupo control
Aplicacin de una escala de

desempeo.
Meehan R. & Viveroslong A. (1982)
70 Madres con hijos menores

de 5 aos.
Seleccin aleatoria de
comunidades beneficiarias
programa.
Panam
Lderes o responsables gremios

o comunidades.
Institucional
Agua potable
Institucional
limitado del programa
26
del
Los programas tuvieron

impacto positivo en
incremento
de
comportamientos
planificacin familiar de
pobladores.
un
el
los
de
los
Se encontr efectos positivos

del programa en la promocin
de
habilidades
y
la
supervisin de los profesores.

tuvo
impacto
en
las
comunidades
donde
se
ejecut.
Aplicacin de cuestionario a las

madres y otro a los lderes o
responsables sociales.
196
rea de estudio
Autores / lugar
aplicacin / ao
Agricultura y apoyo
social
Impact
Resettlement
Activity.
Miller, J. (2002)
Evaluation:
Grant
Emergency
Recovery:
Agricultura and Comercial
Trade (ER:ACT)
de
Muestra
Metodologa
Conclusiones
630 beneficiados
Revisin de documentos
favorable del programa en la
economa de los beneficiarios.
Mozambique
Entrevista a informantes clave
Institucional
Encuestas a beneficiarios del

programa.
La seleccin de la muestra fue
sistemtica.
Educacin
U. S. Aid to Education in
Paraguay:
The
Rural
Education Development
Project
Nicholson E, Miles HL,

Johnson DN. (1983)
No especifica
agua
The
On-Farm
Water
Management Project In
Pakistan
Painter JE, Balwin E,

Ahmed AS, Siddiqui
MA.&
Khan
MH.
(1982)
55 pobladores vinculados a la
agricultura
Pakistn
Salud
alcantarillado
An education Program in
Alcoholism for Social
Workers: Its Impact on
Attitudes and TreatmentOrientede Behavior
Does Piped Water Reduce

Diarrhea for Children in
Rural India?
favorable del proyecto en la
educacin rural.
Aplicacin de cuestionarios a
directores, profesores, alumnos y
padres de familia.
Como criterio de comparacin se
utiliz
el
Estudio
de
Productividad Agrcola del Plan
Regional de la Organizacin Sind.
Se encontr impacto positivo

del proyecto en el ahorro de
agua y disponibilidad de
energa.
Paraguay
Institucional
Energa
potable
Revisin
de
documentos,
discusin de procedimientos,
entrevistas e informes escritos.
Institucional
Manohar
V,
Des
Roches E, & Ferneau E.
(1976)
Entrevista y
cuestionario.
aplicacin
de
42 trabajadores sociales
Se aplicaron tres cuestionarios: A,

B y C. El grupo C recibi el
tratamiento.
Poblacin de 33,000 hogares.

Se
determin
grupo de
Se consider la informacin
proveniente del National Council
of Applied Economic Research de
la India (1993-1994).
Canad
Journal
Jalan, Jyotsna, and
Martin
Ravallion
(2003)
India
El programa educacional
provoc un plan de referencia
que facilitara la circulacin
de los pacientes de la sala de
hospital hacia la clnica de
Alcoholismo de Boston City
Hospital.
El acceso a agua de caera
disminuye significativamente
la incidencia de diarrea, al
igual que la duracin de las
enfermedades.
197
rea de estudio
Autores / lugar
aplicacin / ao
de
Muestra
Metodologa
314 beneficiarios
Diferencia de medias, as mismo,
se compar los resultados
utilizando el Propensity Score
Matching individual frente al de
la aldea.
Entrevista a beneficiarios
Journal
Educacin
Impact Evaluation of
Community-Based Coastal
Resource
Management
Projects in The Philippines
Pomeroy RS, Pollnac

RB, Predo CD. &
Kanton BM. (1996)
Institucional
Evaluation
of
A.I.D.
Family Planning Programs
Tunisia Case Study
Rea S, Martin R,
Young M, & Kress D.
(1993)
Estudio de caso
Se utiliz las pruebas de hiptesis

Chi cuadrada y T de Student para
muestras
apareadas
e
independientes, el anlisis de
componentes principales, anlisis
de correlacin, regresin de
mnimos cuadrados ordinaria,
modelo de anlisis de eleccin
dicotmica (logia analysis)
Entrevistas a Informantes clave,
observacin en clnicas y otros
establecimientos
de
salud,
discusin en grupos focales.
31 carreteras individuales
Visitas de campo.
El programa ha tenido
impacto en la calidad de
servicios brindados, en las
competencias
de
los
proveedores de servicios y del
mecanismo encargado de la
continuidad del uso de
IUD.
Desde una perspectiva global,
existe impacto del proyecto.
Seleccin aleatoria de
70 agricultores
Entrevistas individuales a los

agricultores
parcial del programa.
Tnez
Institucional
Comunicacin
transporte
Kenya: Rural Roads
Roberts JE, ClappWincek C, Brokensha

DW. (1982)
El impacto del projecto fue

parcial
Filipinas
Salud Reproductiva
Conclusiones
Kenya
Agricultura
Philippines:
Integrated
Development
BICOL
Area
Institucional
Sommer Jg, Aquino R,
Fernndez C, Golay
FH,
Simmons
E,
Castillo GH. & Roco
198
rea de estudio
Autores / lugar
aplicacin / ao
Ch. (1982)
de
Muestra
Metodologa
Conclusiones
18 proyectos
Se hicieron visitas de campo a los

proyectos.
El proyecto ha tenido un gran

impacto en el bienestar de los
agricultores.
Filipinas
Agricultura
Institucional
Steinberg DI, Morrow
RB. &
Dong-il
K.(1980)
Korean Irrigation

estratificada.
Korea
Institucional
Educacin
Preliminary
Impact
Evaluation Report of NGO
Educare Training in South
Africa
Stevens FI.(1995)
Sud frica
32 profesores: 18 recibieron el
tratamiento y 14 conformaron
el grupo control.
Institucional
Educacin
Improving girls education

in Guatemala
Stromquist NP, Klees

S. & Miske S. (1999)
No se menciona
Institucional
Promoting
education for
Guinea
primary
girls in
Sutton M, Tietjen K,
Bah A & Kamano P.
(1999)
Guinea
Institucional
Discusin entre equipo de

investigadores.
- Cuestionario para los profesores
capacitados.
- Protocolo de
observacin del saln de clase.
Informacin
etnogrfica
complementaria.
Diseo de trabajo de campo.
Existe un impacto positivo del

programa, sin embargo esto se
ve afectado por limitaciones
metodolgicas.
parcial del programa.
Entrevistas semi estructuradas,

revisin
de
documentos,
observacin en escuelas y salones
de clase.
Guatemala
Educacin
Entrevista a un promedio de cien

agricultores o a sus esposas.
No se precisa
Revisin documentaria, anlisis

de datos brindados por la Unidad
de Planificacin y Estadstica de
Guinea, entrevista a los actores
polticos y del programa en la
educacin
de
Guinea
y
observaciones o entrevistas con
los
padres,
profesores
y
administrativos de cuatro escuelas
de primaria.
positivo del programa
199
rea de estudio
Agricultura
Agricultural
Policy
Analysis and Planning: A
summary of two recent
analyses
of
a.i.d.supported
projects
worldwide
Apoyo social
A Synthesis of tour
legacy/impact studies of
USAID
assistance
to
Cameroon
Autores / lugar de
aplicacin / ao
Tilney JS & Riordan JT
(1988)
Muestra
Metodologa
Conclusiones
61 proyectos auspiciados por

USAID
Se tom informacin de dos

estudios de evaluacin de
impacto:
Los 61 proyectos agrcolas

fueron exitosos en sentido
estricto para alcanzar sus
propsitos,
referido
especialmente a su capacidad
de
construccin
y
capacitacin.
Multinacional
Ambos estudios utilizaron las
evaluaciones realizadas por AID
con el objetivo de determinar el
impacto de los proyectos.
Institucional
USAID (1994)
Proyectos de desarrollo social

Auspiciados por USAID
Camern
Institucional
Educacin
(Salud,
Nutricin
y
Poblacin infantil)
Education
and
Child
Labor:
Experimental
Evidence
from
a
Nicaraguan
Conditional
Cash Transfer Program
Maluccio,
(2003)
John
A.
Nicaragua
Institucional
Educacin y salud
Reinsertion
of
excombatants in El Salvador
Creative
Associates
International (1996)
Se seleccionaron 42 comarcas
(pequeas comunidades con
alrededor de 100 familias)
utilizando un ndice de
marginalidad, 21 de ellas
recibieron se benefici del
programa y las otras 21 se
constituy en el grupo control.
de 1585 familias
1000
evaluados:
ex
combatientes, y grupo control
de veteranos.
La recoleccin de datos fue

bsicamente a travs de censos
agrcolas, estudio a familias y
consumidores,
estudios
de
produccin, y la construccin y
uso de otras bases de datos
agrcolas.
Revisin de la documentacin
disponible
del
proyecto,
entrevistas al personal clave del
proyecto, observaciones a los
proyectos en su lugar y la
evaluacin de los participantes del
proyecto.
Se
utiliz
la
informacin
disponible
en
el
National
Population and Housing Census
(1995)
Evaluacin de Diseo aleatorio,
se utiliz el estimador de
Se realiz una seleccin aleatoria

estratificada de la muestra de
estudio.
La intervencin de USAID en
Camern
ha
generado
cambios
sociales
y
econmicos
exitosos
y
positivos en diversos sectores.
Se encontr evidencia de que

el programa tuvo un efecto
significativo y substancial en
la
matricula escolar
y
reclutamiento durante su
primer ao de operacin.
Asimismo,
permite
una
sustancial
reduccin
del
trabajo infantil para la
poblacin en edad escolar.
No se especifica
200
rea de estudio
Autores / lugar
aplicacin / ao
El Salvador
de
Muestra
Metodologa
Conclusiones
Entrevistas estructuradas
Institucional
Aplicacin de cuestionarios
Educacin
Ikhwelo Pilot
Final Report
Projects:
Ikhwelonet Consortium
(2002)
Entrevista a grupos focales

Diseo de evaluacin longitudinal
660 entrevistados
Entrevistas, encuestas guiadas y

grupos de discusin, estudios de
caso
Sudfrica
Capacitacin laboral
Impact Evaluation; LAC/

Honduran
Training
Program.
Educacin
Project Impact: A low-cost

alternative for universal
primary education in the
philippines
Institucional
Van Steenwyk,
(1984)
Honduras
N.
Institucional
Wooten J, Jansen W,
Kohashi
Warren
M.(1982)
40
entrevistados:
23
participantes y 17 supervisores
Entrevistas personales a los

participantes y supervisores del
programa,
aplicacin
de
cuestionario
Se encontr impacto positivo

del programa
80 entrevistados
Entrevista a padres, profesores,

administradores
y
agentes
polticos de la educacin local.
El programa obtuvo el
impacto esperado, de reducir
el costo familiar para la
educacin bsica, adems de
otros beneficios.
24, 077 familias

Se
determin
grupo de
Encuestas de las Caractersticas
Socio
Econmicas
de
los
Hogares.

del programa al incrementar la
toma de decisiones de la
madre en su hogar,
Filipinas
Gnero y equidad
The impacto Progresa on

women`s
status
and
intrahousehold relations
Se encontr que el proyecto

tiene un impacto positivo.
Institucional
Adato M, De la Brire
B, Mindek D. &
Quisumbing A. (2000)
Mxico
Diferencia en la diferencia
Institucional
Resolucin
Conflictos
de
El impacto de Progresa
sobre
las relaciones
sociales en la comunidad
Adato M. (2000)
230
personas
de
comunidades en 6 estados.
70
Anlisis de regresin
Se desarroll un estudio de
evaluacin de tipo cualitativo.
Mxico
Institucional
Se
determin
grupo de
La participacin en
programa
favoreci
cohesin social.
el
la
Grupos focales
Entrevistas semi estructuradas a
mdicos
201
rea de estudio
Educacin y salud
Evaluacin de operaciones
de Progresa desde la
perspectiva
de
los
beneficiarios,
las
promotoras, directores de
escuela y personal de salud
Autores / lugar de
aplicacin / ao
Adato M, Coady D. &
Ruel M. (1999)
Muestra
Metodologa
Conclusiones
506 localidades: se determin

grupo de tratamiento (n = 2320)
y grupo control (n = 186)

aleatoria.
Encuestas cuantitativas de los
beneficiarios (1997)
No se especifica
Mxico
Institucional
Encuestas cuantitativas de las

escuelas y clnicas de salud.
Entrevista
cualitativa
semiestructurada de las escuelas y de
las clnicas.
Educacin
Do Crowded Classrooms
Crowd Out Learning?
Evidence From the Food
for Education Programme
in Bangladesh
Ahmed AU. & ArendsKuenning M.(2003)

Bangladesh
Institucional
600 hogares en 60 aldeas en 30

uniones en 10 thanas, y 110
escuelas en las mismas 30
uniones de las cuales se haba
extrado la muestra de los
hogares.
Nutricin y pobreza
Educacin
The impact of The

International Food Policy
Research
Tnstitute`s
research program on rural
finance policies for food
security for the poor.
sobre
el
rendimiento
escolar durante el primer
ao de operacin
Alwang J. (2002)
Multinacional
(frica y Asia)
80 informantes clave de cuatro

pases beneficiarios
Grupos focales a beneficiarios y

no beneficiarios.
Estudio de evaluacin de corte
transversal.
Encuestas a escuelas primarias.
Administracin de una prueba de
logro acadmico a los estudiantes
beneficiarios y control.
Anlisis multivariable
Diseo de evaluacin de estudio
de caso y economtrico.
El
programa
influy
negativamente
en
el
rendimiento promedio de los
alumnos
el
cual
sera
resultados
del
efecto
compaero negativo.

tuvo resultados e impacto
destacados.
Entrevista a informante clave.

Institucional
Behrman JR, Segueta
P. & Todd PE. (2000)
Mxico
Institucional
500
localidades
elegidas
aleatoriamente que comprenden
a familias pobres que tienen
nios inscritos entre 3 y 6 de
primaria y 1 a 3 de
secundaria
Pruebas
de
estandarizadas.
Diferencias
de
proporciones.
evaluacin
medias
A excepcin de los los

estudiantes de 12 a 14 aos,
no se encontr un impacto
significativo del programa a
corto plazo.
Censos de 1990 y 1995

Se
determin
grupo
de
202
rea de estudio
Autores / lugar
aplicacin / ao
de
Educacin
Education Choices in
Mexico: Using a Structural
Model and a Randomized
Experiment to Evaluate
PROGRESA
Attanasio,
Orazio;
Meghir,
Costas;
Santiago, Ana (2005)
Muestra
Metodologa
Conclusiones
tratamiento y control.
Se utiliz una muestra aleatoria
de 506 aldeas: de donde 320
tratamiento y 186 de control.
La informacin fue obtenida de la

lnea base de los estudios de
hogares (1997, 1998, 1999 y
2000).

tiene un efecto positivo sobre
la matrcula de nios,
especialmente luego de la
escuela primaria.
Mxico
Diferencia en la diferencia.
Modelo de Participacin
Escolar.
Institucional
Educacin y salud
Evaluacin del impacto de

Progresa
en la talla del nio en edad
preescolar
Behrman
JR.
Hoddinott J. (2000)
&
Mxico
693 nios de 12 a 36 meses de

edad.
Se determin grupo
de
Institucional
Pobreza
social
Pobreza
Educacin
apoyo
The cost of poverty

alleviation
transfer
programs: a comparative
analysis of three programs
in Latin America
La aplicacin del anlisis

social costo-beneficio a la
evaluacin de Progresa
A
cost-effectiveness
analysis of demand- and
supply-side
education
interventions: the case of
Calds N, Coady D. &

Maluccio JA. (2004)
Multinacional: Mxico,
Honduras y Nicaragua
Institucional
Coady D. (2000)
Mxico
Institucional
Coady DP. & Parker
SW. (2002)
Mxico
Simulacin a travs del Modelo

de Participacin Escolar.
Seleccin aleatoria de la muestra
segn estado o localidad.
Valores Z.
Anlisis de Regresin
Estimaciones transversales con
mnimos cuadrados ordinarios.
Estimaciones de los efectos fijos
individuales del nio.
significativo que indica del
programa en el aumento el
crecimiento del nio y reduce
la probabilidad de desmedro.
Tres programas de alivio de la

pobreza: Programa Nacional de
Educacin,
Salud
y
Alimentacin (PROGRESA);
Programa
de
Asignacin
Familiar (PRAF) y Red de
Proteccin Social (RPS)
14,856 nios beneficiarios
Se
determin
grupo de
Estudio de caso
Evaluacin a travs del anlisis de
la
Tasa
de
Costo
de
Transferencias (Coady, 2004)
Se encontr que dos de los

programas presentan un costo
de ejecucin bajo.

Anlisis de regresin
Modelo de anlisis costobeneficio.
24. 077 familias comprendidas

en 506 comunidades elegidas

La seleccin de los hogares fue de
manera aleatoria.
Se encontr que Progresa es

un programa de costo
eficiente para conseguir que
ms nios ingresen a la
escuela secundaria.
Se encontr que los subsidios
a las demandas educativas son
substancialmente ms costoefectivos que la expansin
203
rea de estudio
Autores / lugar
aplicacin / ao
de
Muestra
Metodologa
Conclusiones
Se
determin
grupo de
educativa.
Mxico
Estimadores de regresin de doble

diferencia.
Anlisis de costo efectividad.
La informacin se obtuvo de la
matriz de contabilidad de la
economa nacional de Mxico
(MCEN) con datos de 1996.
Institucional
Anlisis de simulacin
Progresa in Mxico
Institucional
Pobreza
social
apoyo
Anlisis del equilibrio

general del impacto de las
transferencias de Progresa
sobre el bienestar
Coady DP. & Lee R.

(2000)
No se especifica
Los
resultados
indican
ganancias substanciales en el
bienestar,
derivadas
al
expandir el programa para
incluir a los pobres urbanos.
Modelo de equilibrio general

calculable.
Nutricin y empleo
Proyecto
urbano
alimentos por trabajo de
CARE
Garrett J. (2001)
4 de los 25 barrios beneficiarios

del programa
Etiopa
Revisin
de
disponible.
Institucional
Salud y nutricin
El Impacto del Programa

de Educacin Salud y
Alimentacin (Progresa)
sobre la Salud
Enfoque de evaluacin cualitativa.

Entrevista a participantes clave.
Gertler P. (2000)
Mxico
Institucional
24,000
correspondientes
individuos.
hogares
125,000
Se
determin
grupo de
Diseo
de
experimental.
Asignacin
localidades
control.
El proyecto tuvo un impacto

positivo en las comunidades
beneficiarias.
documentacin
evaluacin
aleatoria de las
en tratamiento y

el uso de los servicios de
salud de las clnicas pblicas
para medidas de salud
preventiva.
Aplicacin de encuestas cada seis

meses por el espacio de dos aos.
Pobreza
y
desigualdad social
Pobreza, desigualdad y
efectos indirectos del
Programa de Educacin,
Salud y Alimentacin
Handa S, Huerta MC,

Prez R. & Straffon B.
(2000)
506 localidades.
Se
determin
grupo de
Estimador de doble diferencias.

Evaluacin pre post.
Ecuaciones de regresin de
Mnimos Cuadrados Ordinarios
(MCO).

del
programa
en
la
disminucin de la pobreza y
de las desigualdades.
Mxico
Institucional
Aplicacin
del
ENCEL 980.
cuestionario
Asimismo, se encontr efectos

indirectos importantes en
trminos de la atencin a la
204
rea de estudio
Autores / lugar
aplicacin / ao
de
Muestra
Metodologa
Conclusiones
Estadstica T
salud de los hogares no

beneficiarios.
Diferencia en las diferencias

Pobreza
social
apoyo
sobre el consumo: informe
final
Hoddinott J, Skoufias
E. & Washburn R.
(2000)
24,000
hogares
de
506
localidades seleccionadas por
Progresa.
Mxico
Se
determin
grupo de
Las localidades se seleccionaron

Se utiliz informacin de las
encuestas
de
evaluacin
ENCEL980,
ENCEL99M
y
ENCEL99N.
Institucional
Se
utiliz
seguimiento.
Empleo y educacin
sobre el trabajo, el ocio y
el uso del tiempo
Parker
SW.
Skoufias. E. (2000)
&
Mxico
24,077 hogares comprendidos

en 506 localidades.
Se
determin
grupo de
Institucional
encuestas
Se
encontr
que
los
beneficiarios del programa
mostraron mayores niveles de
gastos
por
consumo,
orientados
stos
principalmente a productos
nutritivos.
de
Mtodos de regresin.
Estudio de evaluacin pre-post
Se utiliz informacin obtenida
de: ENCASEH97, ENCEL98N,
ENCEL99M, y la ENCEL99N.
Se aplic una encuesta sobre el
uso del tiempo.
significativo del Programa en
la
disminucin
de
participacin laboral de los
nios. No obstante, no ha
habido incremento de sus hora
libres.
Modelo de estimacin de doble

diferencias.
Desarrollo urbano
Property Rights for the

Poor: Effects of Land
Titling
Galiani, Sebastian, and

Ernesto Schargrodsky.
2005
Argentina
Institucional
Educacin y apoyo
social
El Programa de Guarderas
Comunales de Guatemala:
Focalizacin Efectiva de la
Ruel MT. (2003)

Guatemala
467 familias seleccionadas

aleatoriamente
las
cules
conformaron los grupos que
recibieron los ttulos de
propiedad
(grupo
de
tratamiento) y los que no
recibieron estos ttulos (grupo
control)
1,363 hogares con nios de 0-7
aos de edad en el
rea de estudio.
Seleccin aleatoria
Mtodos de evaluacin a travs de
la diferencia de medias, variables
instrumentales
y
el
emparejamiento por Propensity
Score Matching.
El programa caus un
incremento significativo de
28% en el fomento de la
vivienda.
La muestra de estudio se
seleccion de manera aleatoria.
El programa tiene un impacto

positivo substancial sobre la
dieta
de
los
nios.
205
rea de estudio
Ayuda en Alimentos en
reas Urbanas
Agricultura
Assessing the impact of

Rice Policy Changes in
Viet
Nam
and
the
contribution of policy
research
Autores / lugar
aplicacin / ao
de
Muestra
Metodologa
Institucional
Se
determin
grupo de
Ryan JG. (1999)
3,126 evaluados
en 17 provincias.
distribuidos
Entrevistas
profundas
beneficiarios del programa
Conclusiones
Viet Nam
Se utiliz las estadsticas de series
de tiempo de los distritos respecto
a su produccin agrcola, rea,
precios de tierras, temporada para
la exportacin de arroz.
Institucional
Complementa tambin las

estrategias de subsistencia de
las mujeres pobres de zonas
urbanas que trabajan fuera del
hogar.
Se encontr que los beneficios
econmicos obtenidos por la
poltica slo se aprecian en el
largo plazo y de manera
evidente.
Se aplic cuestionarios.
Nutricin
educacin
Educacin
The Contribution of IFPRI

Research and the Impact
of the Food for Education
Program in Bangladesh on
Schooling Outcomes and
Earnings
sobre
la
inscripcin
escolar
Ryan JG.
X.(2004)
&
Meng
Bangladesh
7, 445 familias y 38,563

individuos.
Se
determin
grupo de
Institucional
apoyo
Is progresa working?
summary of the results of
de
El programa tuvo un impacto

positivo sobre la inscripcin
escolar.
24,000 hogares comprendidos

de 506 localidades de siete
Estudio de evaluacin pre_post.

encuesta de evaluacin ENCEL
Estimadores
de
dobles
diferencias.
Modelo Probit.
Estudio de evaluacin de tipo
cualitativo.
positivo del programa en los
Schultz TP. (2000a)
19, 176 nios
Mxico
Se
determin
grupo
Skoufias
E.
&
McLafferty B. (2001)
Se encontr un importante
efecto positivo del programa
sobre la educacin e ingreso
de los nios y jvenes
participantes, especialmente
las mujeres.
Propensity Score Matching y

La seleccin de las localidades
donde opera el programa fue
aleatoria.
Institucional
Pobreza
social.
Anlisis de regresin, anlisis de

series de tiempo.
Metodologa de evaluacin de
tipo experimental.
nacional sobre ingreso y gasto
familiar.
206
rea de estudio
Autores / lugar
aplicacin / ao
de
an evaluation by IFPRI.
Muestra
Metodologa
Conclusiones
Grupos focales
hogares
y
beneficiadas.
estados
Mxico
comunidades
Institucional
Pobreza
social
apoyo
Salud y proteccin
social
Una
evaluacin
del
impacto de los apoyos en
efectivo de Progresa sobre
las transferencias privadas
entre los hogares
The effectiveness of NGO
campaigning: lessons from
practice
Teruel G. & Davis B.

(2000)
Mxico
Institucional
Chapman J. & Fisher T.
(2000)
Ghana e India
Apoyo social
Salud y proteccin
social
Evaluating Decentralized
Social Sector Programs:
Evidence from Moroccos
BAJ
An Occupational Health
Programme for Adults and
Children in the Carpet
Weaving
Industry,
Mirzapur, India: a case
study in the informal
sector.
Journal
Jacoby HG. (2000)
24,077 familias, distribuidos en

506 comunidades asignadas de
manera aleatoria como grupo
Estudio de dos casos de

campaas: La promocin de la
lactancia materna en Ghana y la
campaa contra el trabajo
infantil en las industrias de
alfombra en la India.
25,000 personas comprendidas
en 3,827 familias.
Marruecos
Se emple informacin de la
ENCASEH97 y el conjunto de
datos ENCEL.
Anlisis economtricos.
Se
examin
documentos,
militantes de las organizaciones y
a los beneficiarios.
Entrevista semi- estructurara,
recortes de diarios.
Diseo de evaluacin pre-post.
Institucional
Se utiliz informacin del

Moroccan
Linving
Standard
Surveys (1990-91 y 1998-1999)
Das PK, Shukla KP. &

ry FG. (1992)

Modelo de Anlisis Probit.
La seleccin de la muestra de
tejedores fue aleatoria.
India
Journal
260 personas: 200 tejedores y

60 no tejedores.
Se emparej la muestra de
tejedores con la muestra de no
tejedores segn edad y situacin
socioeconmica.
Se aplic cuestionarios.
No se encontr que progresa

estara afectando de manera
negativa el apoyo econmico
de los hogares proveniente de
fuentes privadas.
Se encontr que en las dos
campaas
se
obtuvieron
considerables
xitos,
sin
embargo, esto no slo sera
efecto e la campaa misma.
Se
encontr
que
los
programas
no
brindaron
significativas ganancias a las
provincias beneficiarias.

de salud ocupacional permiti
brindar apoyos significativos
al hacer cambios tcnicos en
el ambiente de trabajo y
organizar el apoyo de la
comunidad para los servicios
de
salud.
Incrementado
tambin la oportunidad de que
los nios trabajadores tengan
un
mejor
futuro
al
brindrseles educacin formal
o informal.
207
rea de estudio
Educacin y apoyo
social
Effects
on
School
Enrollment
and
Performance
of
a
Conditional
Transfers
Program in Mexico
Autores / lugar de
aplicacin / ao
Dubois P, De Janvry A.
& Sadoulet E. (2003)
Mxico
Institucional
Empleo
Estimating the Benefit

Incidence
of
an
Antipoverty Program by
Propensity-Score
Matching
Programa
Trabajar II
Jalan,
Ravallion,
(2003)
Jyotsna;
Martin
Muestra
Metodologa
Conclusiones
152,000
individuos
comprendidos en 26, 000
familias, todos distribuidos en
506 comunidades.
Diseo
de
evaluacin
experimental.
La seleccin de las comunidades
fue de modo aleatorio.
Se
determin
grupo de
tratamiento (320 comunidades)
y
grupo
control
(186
comunidades).
2,802
participantes
del
programa Trabajar (Grupo de
tratamiento)
Se utiliz la informacin obtenida

por ENCASEH97, ENCEL.

tiene un impacto positivo en la
continuacin
educativa,
respecto a su impacto en el
desempeo fue positivo para
el nivel primario y negativo
para el nivel secundario.
Anlisis de regresin
Encuesta de Desarrollo Social
(1997)
Diferencia en medias y Propensity
Score Matching
Argentina
Institucional
Educacin
Outcomes of Mandated
Prevenitive
Services
Programs of Homeless and
Truant
Children:
A
Follow-up Study.
Twaite JA. & Tirado D.

(1997)
100
adolescentes
que
participaron del programa de
readaptacin.
Estados Unidos
Se obtuvo informacin de dos

fuentes: registros de las familias
de cada adolescente y de la
entrevista telefnica a los
profesionales del programa.
La ganancia promedio es de
103 dlares, lo cual es la
mitad del promedio del salario
del programa Trabajar. Las
ganancias de ingreso son
significativamente
mayores
para el caso de los jvenes (15
24 aos)
intervencin de adolescentes
con conducta psicoptica.
Journal
Protocolo conteniendo escalas de
medicin del comportamiento
psicopatolgico.
Salud y apoyo social
Educacin
Womens Participation in
Rural Credit Programmes
in Bangladesh and Their
Demand for Formal Health
Care: Is There a Positive
impact?
The Consequences of
Government
Program
Nanda P. (1999)
1758 familias distribuidas en 87

distritos
Correlacin de Pearson.
Anlisis de Varianza
Anlisis de Regresin Mltiple.
La seleccin de los distritos fue
aleatoria.
Bangladesh
Journal
Pitt MM, Rosenzweig
MR. & Gibbons DM.
Se determin grupos de
Variables instrumentales
No se especifica
Se uni las diferentes bases de

datos sobre estudios de familias y
positivo de la participacin de
las mujeres en los programas
de crdito sobre sus demandas
por una atencin de su salud
formal.
positivo de los programas de
208
rea de estudio
Placement in Indonesia
Autores / lugar
aplicacin / ao
(1992)
de
Muestra
Indonesia
Institucional
Apoyo social
Letting Communities Take

the Lead: A Cross-Country
Evaluation of Social Fund
Performance
Rawlings L, SherburneBenz L. & Van

Domelen J. (2001)
Multinacional
Seis proyectos de apoyo social.

65,000 familias, distribuidas en
1,200 escuelas, centros de salud
y proyectos de agua y sanidad.
Institucional
Educacin
Long-Term Consequences
of
Secondary
School
Vouchers: Evidence from
Administrative Records in
Colombia
Angrist J, Bettinger E.
& Kremer M. (2004)
Colombia
4, 044 estudiantes
Se
determin
grupo de
Institucional
Metodologa
Conclusiones
de diferentes perodos, realizados

en Indonesia.
Razn T de Huber (1967)
Mnimos cuadrados.
educacin media y salud en la

asistencia escolar de los
adolescentes. Sin embargo, no
se encontr evidencias en el
efecto de los programas de
planificacin familiar.
positivo
de
todos
los
programas estudiados.
La seleccin de los proyectos fue

Se utiliz informacin de:
Estudios de hogares, estudios
institucionales,
evaluaciones
cualitativas, estudios de costo,
informacin administrativa de los
fondos sociales.
Diseo de evaluacin natural
Los ganadores y perdedores del
sorteo de becas conformaron los
grupos de tratamiento y control
respectivamente.

increment las puntuaciones
en los exmenes de los
alumnos beneficiarios as
como su persistencia en
cuanto a dicho rendimiento..
Se aplic la prueba ICFES
Educacin
Nutricin
educacin
Remedying
Education:
Evidence
from
Two
Randomized Experiments
in India
Iron Deficiency Anemia

and School Participation
Banerjee A, Cole S,
Duflo E. & Linden L.
(2005)
Se evalu a los programas
Balsakhi y Computer Assisted
learning.
India
Muestreo aleatorio estratificado.
positivo de los dos programas
evaluados en cuanto el
incremento del rendimiento
acadmico de los nios.
Institucional
Evaluacin pre post.

Variables
instrumentales,
Estudio de evaluacin de cohorte
longitudinal y diseo cuasiexperimental pre post.
Se encontr efectos positivos

del programa en el incremento
del peso de los nios y en su
Bobonis GJ, Miguel E.

& Puri C. (2004)
5, 274 escolares de primaria, se

estableci grupo de tratamiento
y grupo control.
200 nios pre-escolares.

Se determin tres grupos de
209
rea de estudio
Autores / lugar
aplicacin / ao
India
de
Muestra
Metodologa
Conclusiones
tratamiento.
Seleccin no aleatoria de de los
grupos de tratamiento.
Institucional
asistencia a la escuela pre escolar.
Se aplic una Encuesta a Hogares.
Educacin y salud
Education and HIV/AIDS

Prevention: Evidence from
a randomized evaluation in
Western Kenya
Duflo E, Dupas P,
Kremer M. & Snei S.
(2006)
328 escuelas.
Se
determin
grupo de
control (165).
Puntuaciones
Z.,
evaluacin
costo-beneficio.
Asignacin aleatoria de grupo de
Anlisis de regresin
Kenya
Educacin
Monitoring
Works:
Getting Teachers to Come
to School
Institucional
Duflo E. & Hanna R.
(2006)
India
120 escuelas
Se
determin
grupo de
control (60)
Institucional
Salud
Relative Risks and the

Market
for
Sex:
Teenagers, Sugar Daddies
and HIV in Kenya
Dupas P. (2006)
13,000 estudiantes
escuelas.
de
328

tratamiento.
Cmara
fotogrfica
con
comprobacin de fecha y tiempo
con seguro de alteracin.
Variables instrumentales.
Diseo
de
evaluacin
experimental.
Kenya
Institucional
Se
determin
grupo de
tratamiento (2,500) y grupo
control.
La seleccin de las escuelas del

grupo de tratamiento fue aleatoria
La intervencin no produjo
una disminucin del embarazo
adolescente
pero
s
increment la posibilidad que
los embarazos adolescentes
ocurran
dentro
del
matrimonio.
disminuir significativamente
la tasa de ausencia a clase de
los profesores y el incremento
en las notas de exmenes de
los alumnos.
La campaa disminuy la
incidencia de embarazos de
parejas adultas entre las
adolescentes.
Anlisis de regresin, diferencia

en las diferencias,
Educacin
Evaluacin de Impacto del

Programa
Desarrollo
Integral Temprano (PIDI)
Ortiz, SS., Balcazar M,

Robison N, Rojas R. &
Alurralde L. (2004)
Bolivia
8,750 entrevistas con el

binomio madre nio, 3,500
correspondiente al grupo de
tratamiento y 5,250 al grupo
control.
Metodologa
cuantitativa.
cualitativa
Tcnica de grupos focales (10) y

entrevistas a profundidad (50).

la estimulacin temprana de
nios
210
rea de estudio
Autores / lugar
aplicacin / ao
de
Muestra
Metodologa
Conclusiones
Entrevistas
Agricultura
desarrollo
organizacional
The Rockefeller Effect
Gugerty
M.K.
Kremer M. (2004)
&
80 grupos de mujeres.
tratamiento y grupos control
Kenya
Diferencia de medias y otras

medidas de emparejamiento.
Estudio
de
evaluacin
prospectivo.
No se encontr que el fondo

de ayuda promueva la solidez
y funcionamiento grupal.
Entrevsita
Institucional
Educacin
Decentralization:
Cautionary Tale
Kremer M, Moulin S.
& Namunyu R. (2003)
14 escuelas
Se
determin
grupo
tratamiento y control
de
Asignacin aleatoria de
escuelas a los grupos
las
de
Kenya
Modelo Becker-Rosen
El programa increment la
permanencia
escolar
y
tambin gener demanda de
escolares de otras escuelas
cercanas.
Institucional
Educacin
Computer-Assisted
Learning: Evidence from a
Linden L, Banerjee A.
& Duflo E. (2003)
Anlisis de regresin
Se
encontr
que
participacin
escolar
sensible a su costo.
la
es
111 escuelas, se determin

control.

es muy efectivo.
9,654
adolescentes,
se
determin grupo de tratamiento
y grupo control
Estudio de diseo de cohorte

longitudinal.
Estudio de caso
Se utiliz tres metodologas de

investigacin: revisin de la
literatura, conduccin de grupos
de discusin focal y entrevista a
Anlisis de regresin,
India
Institucional
Salud
Randomised
controlled
trial of an adolescent
sexual health programme
in rural Mwanza, Tanzania
Obasi A et al. (2003)

Tanzania
Institucional
Apoyo social
Women
and
MicroFinance Programs
Anolin ALC. (2000)

Filipinas
Se encontr efectividad del

programa en cuanto al cambio
de conocimientos, actitudes y
comportamiento
de
los
adolescentes a favor de una
mejor salud sexual.
tuvo impacto favorable en la
economa
y
en
el
empoderamiento
de
las
211
rea de estudio
Salud y educacin
Break the Silence Talk

about AIDS
Autores / lugar de
aplicacin / ao
Institucional
Awasum D, Siench C.
& Obwaka E. (1999)
Muestra
Metodologa
Conclusiones
750 jugadores y aficionados.
informantes clave.
Entrevistas
participantes.
Se encontr que la campaa
result ser una estrategia
efectiva y oportuna.
Evaluacin de los programas:

Fundation
for
International
Community
Assistance,
Foundation for Credit and
Community
Assistance,
y
Promotion of Rural Initiatives and
Development Entreprises.
Se encontr que los programas

alcanzan a sus grupos
objetivo. As mismo tiene un
impacto positivo.
Kenya
Apoyo social
The Impact of Three

Microfinance Programs in
Uganda
Institucional
Barnes C, Gaile G. &
Kibombo R. (2001)
1,332 personas, se determin

control.
Uganda
Institucional
La seleccin aleatoria de la
muestra de estudio.
Cuestionario.
Anlisis de
Cuadrada
Educacin
Measuring the Effects of

Behavior
Change
Interventions in Burkina
Faso with Population
Based Survey Result
Baya B, Sangli G. &

Maiga A. (2004)
Burkina Faso.
Institucional
Nutricin
educacin
Medium-Term Effects of
the
Oportunidades
Program
Package,
including Nutrition, on
Education
of
Rural
Children Age 0-8 in 1997
Behrman
SW. &
(2004)
JR, Parker
Todd PE.
720 encuestados distribuidos en

145 Aldeas. Se determin
control
mujeres y padres en espera de
un hijo o con hijos menores de
12 meses, as como lderes
comunitarios
2,500 habitantes distribuidos en
320 comunidades. Se determin
control
Varianza
y Chi
Estudio de evaluacin pre -post.

Seleccin aleatoria por estratos de
las aldeas de estudio.
Entrevista cualitativa.
Seis cuestionarios.
Se utiliz informacin de Rural

Evaluation Survey (ENCEL,
2003)
Mxico
Diferencia en las Diferencias,
Institucional
Se utiliz el emparejamiento de
Se encontr que los efectos del

programa en la poblacin
beneficiaria fue efectiva.

tuvo un mayor impacto con
los nios que pertenecen a un
grupo mayor de edad.
212
rea de estudio
Empleo y salario

Wages in Mxico and
Colombia
Autores / lugar
aplicacin / ao
de
Bell. LA (1995)
Muestra
Trabajadores de empresas
industriales formales.
Mxico y Colombia
Institucional
Pobreza
Evaluacin de Impacto en
Programas de Superacin
de Pobreza, el Caso del
Fondo de Inversin Social
(FOSIS) de Chile
Paker C, Rivas G. &

Cauas E. (1999)
Chile
Institucional
Pobreza
social
Pobreza
social
apoyo
apoyo
Comparing Effects of
General Subsidies and
Targeted Transfers on
Poverty:
Robustness
Analysis Using Data Set
from Tunisia
Bibi, S. (1998)
Condicional
Cash
Transfers, Schooling and
Child
Labor:
MicroSimulating Bolsa Escola
Bourguignon
F,
Ferreira HG. & Leite
PG. (2003)
Metodologa
Conclusiones
grupos para evaluar el impacto del

programa.
Se utiliz informacin panel sobre
las empresas industriales del
sector formal.
Estimador de mnimos cuadrados
ordinarios, anlisis de regresin
Se procedi a seleccionar 117

proyectos ejecutados en el ao
FOSIS 1997 en 16 comunas (8
de la VI Regin y 8 de la IX
Regin), sobre los cuales se
hizo un anlisis descriptivo en
carpetas de archivo. Para un
anlisis en profundidad se
seleccion
una
muestra
estratificada intencional de 6
comunas en las cuales se
estudiaron la totalidad de
localidades en las cuales hubo
intervencin FOSIS durante
1997
Evaluacin expost con enfoque

territorial.
No se especifica la dimensin
de familias

de hogares de 1990.
Anlisis
de
regresin
no
paramtrica.
Tnez
Diseo
metodolgico
comparativo, con inclusin de
tnicas
cuantitativas
y
cualitativas.
Se utiliz la entrevista
informantes calificados
Institucional
Se utiliz la simulacin
Brasil
60,000 familias

de hogares PNAD de 1999.
Mtodo de simulacin para
evaluar el impacto del programa
brasileo Bolsa Escola en el
Se encontr que el salario

mnimo no es efectivo para el
sector forma en Mxico pero
s lo es para el caso de
Colombia.
Los resultados revelan la

importancia del concepto de
pobreza - capacidades para
asumir tareas de superacin de
pobreza.
Tambin
esos
procesos validan un modelo
metodolgico de evaluacin
de impacto territorial de
programas
sociales,
ofreciendo adicionalmente un
conjunto
de
indicadores
multidimensionales,
herramientas,
y
procedimientos metodolgicos
para medir impacto en
comunidades pobres.
de subsidios generales no
tiene un impacto significativo
a favor del alivio de la
pobreza, a diferencia de un
proyecto de transferencia
focalizado.
Se encontr un fuerte impacto
del programa en la asistencia
escolar, pero una ausencia de
impacto en la reduccin de los
niveles
de
pobreza
e
inequidad.
213
rea de estudio
Agricultura y apoyo
social
Land reform and its

Impact on Livelihoods:
Evidence from eight land
reform groups in the
Northern Cape Province of
South Africa
Educacin
A Longitudinal Study of
the Impact of Integrated
Literacy
and
Basic
Education Programs on
Womens Participation in
Social and Economic
Development in Nepal
Autores / lugar de
aplicacin / ao
Institucional
Bradstock, A. (2005)
Sudfrica
Muestra
118 Familias beneficiarias

provenientes de ocho grupos de
reformas de tierras.
Institucional
Burchfield S, Hua H,
Baral D. & Rocha V.
(2002)
1000 mujeres
Se
determin
grupo de
Nepal
Metodologa
Conclusiones
bienestar y comportamiento.
La muestra fue obtenida de
manera aleatoria.
Informantes clave, entrevistas de
grupos focales y clasificacin
socio-econmica.
No se encontr evidencia de
un impacto favorable del
programa en el ingreso
familiar.
Ingreso per cpita

Diseo
de
investigacin
cualitativa y cuantitativa de tipo
longitudinal pre post.
Entrevistas a profundidad a una
sub muestra de 20 mujeres.
Institucional
Se
utiliz
triangulacin.
Convivencia social
Jamaa Wazima Project: A

Household
Livelihood
Security Project in Siaya
and Busia Districts
Se encontr que participaron

de los programas obtuvieron
mayores puntuaciones que las
del grupo control.
CARE (2004)
800 personas, se determin

grupos de tratamiento y grupo
control.
Kenya
mtodos
de
Diseo
de
investigacin
cualitativo y cuantitativo.
Se utiliz una seleccin de
muestra sistemtica y por estratos.
Institucional

tuvo efectos positivos en las
actividades que implic el
trabajo
en
grupo
con
entidades: agua y agricultura.
Grupos de discusin Focal,

entrevistas a informantes clave,
visitas de campo y cuestionarios.
Salud
Evaluation
of
GAVI
Immunization
Services
Support Funding
Chee G, Fields R, Hsi

N. & Schott W, (2004)
Multinacional:
pobres
pases
Seis pases elegidos

estudios de caso
como
Anlisis de contenido, criterios y

de tendencias.
Revisin de documentos de
GAVI,
estudio
de
casos
profundos.
No se obtuvo una diferencia

significativa entre los pases
beneficiarios y los que
conformaron el grupo control
Institucional
214
rea de estudio
Pobreza
social
Community Programs and

Women`s
Participation:
The Chinese Experience
apoyo
Autores / lugar de
aplicacin / ao
Coady D, Dai X. &
Wang L. (2001)
Muestra
Metodologa
Conclusiones
6,628 familias distribuidas en

57 aldeas. Se determin grupo
Se seleccion aleatoriamente las

aldeas de tratamiento y control.

increment substancialmente
la participacin e ingreso
familiar de las mujeres y
tambin gener beneficios
sociales positivos.
Se encontr evidencia del
efecto positivo del programa
en el desempeo de la
enseanza.
China
Educacin
Salud y
educacin
Monetary Incentives for

Teachers
and
School
Performance.
The
evidence for chile
Evidence of behaviour
change
following
a
hygiene
promotion
programme in Burkina
Faso
Institucional
Contreras D, Flores L.
& Lobato F. (2003)
5, 044 escuelas. Se determin

control
Chile
Institucional
Curtis V, Kanki B,
Cousens S, Diallo I,
Kposehouen A, Sangar
M. & Nikiema M.
(2001)
Tcnicas
de
regresin
multivariada
de
mnimos
cuadrados ordinarios.
Se utiliz un modelo de
evaluacin economtrico.
Suma de cuadrados de dos etapas
500 madres de nios de 0 a 35

meses de edad.
Evaluacin pre post.

Observacin estructurada de los
comportamientos de higiene.

es efectivo respecto a los
cambios
de
conducta
generados.

logstica, The
HuberWhite sandwich estimator
Burkina Faso (frica)

Journal
Apoyo social
Access to Credit and Its

Impact on Welfare in
Malawi
Diagne A. & Zeller M.

(2001)
4.699 familias distribuidas en

45 aldeas. Se determin grupos
Malawi (frica)
Empleo
Evaluacin del Impacto de

los Programas de Bolsa
Escolar en el Trabajo
Infantil en Brasil
Institucional
Ferro,
Andrea
Rodrigues
y
Ana
Kassouf (2004)
Anlisis economtricos
tendencia.
nios.
Brasil
Randomized trial of a
statewide home visiting
program to prevent child
abuse: impact in reducing
Duggan A, Fuddy L,
Burrell L, Higman SM,
McFarlane E, Windham
A. & Sia C. (2002)
Cuestionario sobre crditos y

ahorros.
643 familias. Se determin

control
de
Se utiliz el mtodo experimental

probit, en el cual la variable
dependiente es la decisin de
trabajar, que asume el valor uno
cuando el nio trabaja y cero
cuando no trabaja.
Entrevista anual de evaluacin
clnica a madres.
Se encontr un gran efecto

positivo,
aunque
no
estadsticamente significativo,
del programa en el bienestar
de las familias.
Tuvo impacto significativo.
El programa de visita a
hogares no disminuy los
factores de riesgo mayores
hacia el abuso infantil.
215
rea de estudio
Autores / lugar
aplicacin / ao
de
Muestra
Metodologa
Conclusiones
Cinco haciendas comerciales en

el Este y Oeste de Mashonaland
Diseo de evaluacin de estudio

de caso.
Los efectos de la reforma

vari de manera significativa
segn
las
haciendas
estudiadas.
parental risk factors

Estados Unidos
Agricultura y apoyo
social
The Impact
Reform on
Farm
Livelihoods
of Land
Comercial
Workers
Institucional
Farm Community Trust
of Zimbabwe (2001)
Zimbawe
La metodologa del Enfoque de

Economa Familiar.
Institucional
Grupos de discusin focal y
entrevistas a informantes clave.
Gua
de
entrevista
estructurada.
Pobreza
social
Educacin
Apoyo
Do
Microfinance
Programs Help Families
Insure
Consumption
Against Illness?
Empowering parents to
improve
education:
evidence
from
rural
mexico
Gertler P, Levine DI. &

Moretti E. (2002)
Estudio
familias.
panel
de
7,000
Institucional
Gertler P, Patrinos H.
& Rubio-Codina M.
(2006)
6,038 escuelas primarias rurales

no indgenas.
Se
determin
grupo de
Institucional
An Evaluation of Postcampaign Knowledge and
Practices of Exclusive
Breastfeeding in Uganda

de la Vida Familiar en Indonesia
(IFLS).
Indonesia
Mxico
Salud
semi-
Gupta N, Katende C. &

Bessinger R. (2004)
Uganda
1,766 mujeres y 1, 057 varones.
Aplicacin de cuestionario, auto

reportes.
Se
utiliz
la
informacin
administrativa de la cobertura de
CONAFE (1991-2003), del Censo
Escolar Mexicano
diferencia en las diferencias.
Estudio de evaluacin post test.
La informacin se obtuvo del
Estudio de Evolucin DISH
(1999).
Journal
Se sigui un proceso de muestreo
Se hall la importancia de las

instituciones de prstamos
bancarios en ayudar a las
familias para asegurarse ante
los riesgos a su salud.
positivo en la promocin de
resultados a travs la gestin
basada en la escuela.

tuvo un significativo efecto
sobre el conocimiento de los
adultos respecto a la lactancia
materna
exclusiva,
sin
embargo, no se encontr lo
mismo respecto a su prctica.
216
rea de estudio
Autores / lugar
aplicacin / ao
de
Muestra
Metodologa
Conclusiones
de dos etapas.
Entrevistas personales.
Tcnicas de regresin logstica
mltiple.
Nutricin
Pobreza y poltcas
de apoyo social
Change in Food and

Nutrient
Consumption
Among the Ultra Poor: Is
the
CFPR/TUP
Programme Making a
Difference?
Wage
Legislation
in
Developing
Countries
where
Coverage
is
Incomplete
Haseen, F. (2006)
400 familias: 200 muy pobres y

200 no muy pobres.

Cuestionario
Entrevista
significativo del programa en
la calidad de dieta de las
familias beneficiarias.
Se utiliz informacin de:

Yearbook of Labour
Statistics, African Employment
Report (1990), Penn World
Tables 5.6.

de salario mnimo en Ghana
durante 1970 y 1980 llevaron
a la reduccin del sector
formal
Bangladesh
Institucional
Jones, P.(1997)
No se menciona.
Ghana
Institucional
Anlisis transversal y de series de

tiempo.
Infraestructura
pobreza
Pobreza
social
apoyo
Meta-Analysis to Assess
Impact
of
Watershed
Program and People's
Participation
Do the poor benefit from

devolution
policies?
Evidence from Malawis
forest
co-management
program.
Joshi PK, Jha AK,

Wani SP, Joshi L. &.
Shiyani RL. (2005)
311 estudios de caso sobre

programas de divisorias de
aguas
Diseo de
analtico.
evaluacin
meta-

de divisorias de aguas estn
rejuveneciendo
y
revolucionando las regiones
lluviosas.
hogares de las reservas forestales
de Chimaliro y Liwonde.
Se encontr una fuerte

evidencia del impacto del
programa en el incremento de
la ganancia econmica de las
mujeres y de los participantes
de bajos ingresos.
Anlisis costo beneficio.

Multinacional
Institucional
Jumbe
Ch.BL..
&
Angelsen A. (2006)
404 familias
Malawi
Journal
La muestra se seleccion de
manera aleatoria.
217
rea de estudio
Autores / lugar
aplicacin / ao
de
Muestra
Metodologa
Conclusiones
entrevista a informantes clave.
Salud y educacin
Educacin
Empleo
Impact of Sex and HIV

Education Programs on
Sexual Behaviors of Youth
in
Developing
and
Developed Countries
Evaluacin del Impacto en
las Instituciones Escolares
de los Proyectos apoyados
por el Instituto para la
Investigacin Educativa y
el Desarrollo Pedaggico
IDEP, de Bogot
The Impact of Training on

Women's Micro-Enterprise
Development.
Kirby D, Laris BA. &

Rolleri L. (2005)
83 evaluaciones del programa
Propensity Score Matching y las

Tcnicas de Descomposicin.
Estudio de evaluacin metaanaltico.
Multinacional
Institucional
Torres G, Isaza L, &
Chvez LM. (2004)
Colombia
Journal
Leach, F, Abdulla S,
Appleton H, El-Bushra,
Cardenas N, Kebede K,
Lewis V. & Sitaram S.
(2000)
Se estableci un marco
muestral de 140 proyectos de
los 151 financiados entre 1997
y 2001.
Se estableci como fuente de

informacin el investigador, el
director
del
proyecto
o
coordinador del proyecto.
estratificados segn ao de
convocatoria, modalidad de
convocatoria, sujetos que se
convocan y rea temtica.
Instrumentos: guas de anlisis

documental de las convocatorias y
proyectos, guas de entrevista
individual, guas para entrevistas
en grupo focal y cuestionario para
evaluar procesos cognitivos
La muestra final es de 18
proyectos
78 mujeres
Se utiliz una metodologa de

estudio de casos.
Entrevista estructurada
observacin.
la

tuvieron
mucho
ms
probabilidad de tener un
impacto positivo que negativo
en el comportamiento de sus
participantes.
Existe
impacto
de
los
proyectos
en
la
fundamentacin
de
las
prcticas
pedaggicas
e
investigativas de la mayora
de los participantes.

impacto positivo que tiene el
entrenamiento o capacitacin
de las mujeres en el
incremento de sus ingresos y
de su valoracin personal.
Multinacional (Etiopa,
India, Per y Sudan)
Pobreza
Does Foreign Aid Reduce

Poverty?
Empirical
Evidence
from
Nongovernmental
and
Bilateral Aid
Journal
Masud N. & Yontcheva
B. (2005)
Multinacional
Dos muestras para cada sub

estudio
(87 pases y 76 pases)
Anlisis de Regresin
Diseo meta-analtico
Se encontr que la ayuda de

las
ONG
disminuye
significativamente
la
mortalidad infantil pero no se
encontr lo mismo respecto al
218
rea de estudio
Pobreza
Policy Expectations and

Programme Reality: The
Poverty Reduction and
Labour Market Impact of
Two
Public
Works
Programmes in South
Africa.
Salud
The impact on condom

use of the 100% Jeune
social marketing program
in Cameroon
Medio ambiente
The social impacts of

payments
for
environmental services in
Costa Rica: A quantitative
field survey and analysis
of the Virilla watershed
An examination of Public
Sector subsidies to the
Private Health Sector: A
Zimbabwe Case Study
Autores / lugar de
aplicacin / ao
Institucional
McCord, A. (2004)
Sud frica
Muestra
Metodologa
4,792 personas pertenecientes a

676 familias. Se determin
control
Diseo de evaluacin de estudios

de caso de dos programas:
Limpopo y KwaZulu.
Se utiliz informacin de Labour
Force Survey (2003)
aleatoria
Aplicacin de cuestionario.
Diferencia en la Diferencia.
Anlisis de regresin logstica
Institucional
Meekers D, Agha S. &

Klein M. (2004)
Camer
Journal
Miranda M, Porras IT.
& Moreno IL. (2003)
Dos muestras de jvenes de 15

a 24 aos evaluados en los aos
2000 (n = 2,097) y 2002 (N =
3,536)
45 terratenientes. Se determin
control
Costa Rica
Institucional
Mudyarabikwa,
(2000)
5 gerentes
Zimbabwe
Journal
Pobreza
social
apoyo
NAV Evaluation Report The

Integrated
Rural
Development
Program
1994 2004
Irene Norlund,
Thu Nhung Mlo Duon
Du,
Ngo Huu Toan
(2004)
Thua Thien Hue Province.
Se evalu el programa a travs del

enfoque de Sustentos Sostenibles.
Aplicacin de cuestionario
travs de visitas de campo.
O.
17 comunidades beneficiarias.
Conclusiones
analfabetismo.
Se
encontr
impactos
positivos de ambos programas
La campaa de salud a travs

de
los
medios
de
comunicacin e interpersonal
tuvo un impacto positivo en la
promocin del uso del condn
y la prevencin de las ETSs.
positivo del programa en el
presupuesto familiar
Anlisis cualitativo de la literatura

y los documentos polticos sobre
los sectores pblicos y la salud
privada.
Entrevista
a
gerentes
de
instituciones
Revisin de los documentos e
informes de NAV.
Evaluacin participativa de las
comunidades beneficiarias.
Se encontr evidencia de un
mayor
impacto de los
subsidios sobre la equidad y
los beneficios del consumidor
si
son
directamente
proporcionados
al
consumidor.
El impacto del programa ha
sido considerable y mayor de
lo que se haba esperado.
Cuestionario cualitativo.
Vietnam
Journal
219
rea de estudio
Educacin
Impact Study of the New

Horizons Program in
Egypt
Autores / lugar de
aplicacin / ao
North
South
Consultants Exchange
(2003)
Muestra
Metodologa
Conclusiones
73 personas:
19 participantes para los grupos
de discusin focal y 64 para las
entrevistas.
Cuestionarios cualitativos.
Grupos de discusin focal
Entrevistas a profundidad.
positivo del programa
17,701 nios
Se utiliz informacin del

Sistema
de
Vigilancia
Demogrfica
de
Navrongo
(1993).

de inmunizacin tiene efectos
positivos en la aumentar la
sobre vivencia infantil en
regiones de alta mortalidad
infantil.
Egipto
Salud
Immunization Status and

Child Survival in Rural
Ghana
Institucional
Nyarko P, Pence B. &
Debpuur C. (2001)
Ghana
Se consider la informacin
respecto a los nios nacidos entre
octubre el 1 de 1994 y el 31 de
diciembre de 1999.
Institucional
Salud
Paying Health Personnel

in the Government Sector
by Fee-For-Service: A
Challenge to Productivity
and Quality, and a Moral
Hazard
Pannarunothai, S. &
Kittidilokku, S. (1997)
2,943 profesionales de salud
Tcnicas de regresin
Grupos de discusin focal,
entrevistas a profundidad.
Tailandia
Se seleccion una muestra a
travs de una tcnica multietpica.
Journal
Cuestionario
administrado.
Educacin
Evaluating a Targeted
Social Program When
Placement is Decentralized
Ravallion, Martin, and

Quentin Wodon (1998)
postal
auto
No se menciona
Deferencia de medias, variables

instrumentales, otros mtodos de
emparejamiento.
La asistencia a la escuela se
en 24% como resultado del
programa
4,072 personas.
Estudio
de
prospectivo.

de provisin basada en la
comunidad foment la sobre
vivencia infantil en las
Bangladesh
Salud
Impact of a Communitybased
Comprehensive
Primary
Healthcare
Programme on Infant and
Institucional
Perry HB, Shanklin
DS. & Schroeder DG.
(2003)
Se encontr que el sistema de

pago
por
servicios
de
honorarios increment la
productividad
de
los
profesionales de servicios de
salud.
Se
determin
grupo de
evaluacin
220
rea de estudio
Child Mortality in Bolivia
Salud, agua potable y

sanidad
Nutricin y apoyo
social
Social Returns From

Drinking Water, Sanitation
and Hygiene Education: A
Case Study of Two
Coastal Villages in Kerala
Food Aid and Child
Nutrition in Rural Ethiopia
Autores / lugar
aplicacin / ao
Bolivia
de
Journal
Pushpangadan,
K.(2002)
Muestra
Dos aldeas
Metodologa
Conclusiones
registros del programa.
regiones pobres.
Diferencia de grupos
Evaluacin a travs del estudio de
caso.
Anlisis costo beneficio
India
Institucional
Quisumbing
(2003)
AR.

15 aldeas
Etiopa

de las Familias Rurales en
Etiopa.
Se utiliz el panel de datos.
Los beneficios del programa

son mayores si se toma en
cuenta el enfoque de las
competencias.
Se encontr que ambos

programas tuvieron un efecto
positivo en el peso y talla de
los beneficiarios-
Institucional
Pobreza
social
y apoyo
Salud y educacin
Impact Assessment of
CFPR/TUP: A Descriptive
Analysis Based on 20022005 Panel Data
The Impact of Life Skills

Education on Adolescent
Sexual Risk Behaviors
Rabbani M, Prakash
VA,
Sulaiman
M.
(2006)
5,626 familias. Se determin

control.
Anlisis
de
tendencia,
puntuaciones Z y anlisis de
regresin
Se estableci un panel de las
familias
Bangladesh
Se utiliz el enfoque del sustento

sostenible
Institucional
Magnani,
(2003)
R.
et
al.
2,222 jvenes de 14 a 22 aos
No se menciona
3,930 personas
Se
determin
grupo de
tratamiento (n =655) y grupo
control (n =3.275).

por el Instituto Nacional de
Estadstica y Censos acerca de los
Estudios
de
Hogares
Permanentes.
Sudfrica
Institucional
Pobreza y empleo
Poverty
and
Employability Effects of
Workare Programs in
Argentina
Ronconi L, Sanguinetti
J, Fachelli S, Casazza
V. & Franceschelli I.
(2006)
definitivo del programa sobre
la base de recursos de la
familia
participante
del
programa.
substancial del programa a
corto y mediano plazo
respecto a reas tales como
conocimiento, confianza en el
uso del condn y uso del
condn.
Se encontr que para una gran
fraccin de los beneficiarios el
programa gener dependencia
y no increment su capital
humano.
221
rea de estudio
Autores / lugar
aplicacin / ao
Argentina
de
Muestra
apoyo
Does subsidized childcare

help poor working Women
in urban areas? Evaluation
of
a
Governmentsponsored program in
Guatemala city
Ruel MT, De la Brire

B,
Hallman
K,
Quisumbing A. & Coj
N. (2002)
Conclusiones
Propensity
Score
Matching,
Diferencia en las diferencias y
anlisis de regresin
Institucional
Pobreza
social
Metodologa
500 nios
y 1,400 familias
Diseo de control de caso del

grupo de nios
Se
determin
grupo de
Seleccin aleatoria de la muestra

de familias.
Se encontr que el impacto

nutricional del programa es
positivo y significativo
Guatemala
Se utiliz mtodos de anlisis
cuantitativos y cualitativos.
Institucional
Entrevistas estructuradas
Observacin en hogares
Pobreza
social
apoyo
Evaluation of Echos 1999

to 2002 Funded Actions in
Sudan
Schuftan C, Van der

Veen A. & Lothe P.
(2003)
25 proyectos de desarrollo
social financiados por la
European
Comisin
Humanitarian Office (ECHO)
Revisin
exhaustiva
de
documentos y entrevistas personal
de ECHO y de las organizaciones
socias.
47 exportadores distribuidos en
35 aldeas
La seleccin de la muestra fue a

travs de tcnicas aleatorias e
intencionales.
Sudan
Empleo y derechos
humanos
The Impact of Social

Labelling on Child Labour
in Indias Carpet Industry
Institucional
Sharma AN, Sharma R.
& Raj N. (2000)
India
Se aplic un cuestionario
Institucional
Apoyo
empleo
social
Conditional
Cash
Transfers, Adult Work
Incentives, and Poverty
Los proyectos Echo han

logrado desarrollar a las
poblaciones vulnerables en
diferentes aspectos. Dicho
impacto
es
difcil
de
cuantificar debido a la
ausencia de una lnea base.
limitado de la intervencin a
travs del etiquetamiento
social.
Skoufias E. & Di Maro

V. (2006)

506 localidades.
Mxico
Se
determin
grupo de
Diseo
de
evaluacin
Encuesta
de
Caractersticas
Socioeconmicas de los Hogares).

no tiene efectos significativos
en la participacin de la fuerza
laboral adulta y el tiempo
libre.
222
rea de estudio
Autores / lugar
aplicacin / ao
Institucional
de
Muestra
Metodologa
Conclusiones
Estimador de diferencias en las

diferencias.
Salud
Pobreza
An
experimental
evaluation of recovery
management
checkups
(RMC) for people with
chronic substance use
disorders
Evaluating of the Impact

of
Conditional
Cash
Transfers on Schooling:
An Experimental Analysis
of
Hondura's
PRAF
Program
Dennis M, Scott CK,

Funk R. (2003)
448 personas adultas.
Estados Unidos
Diseo
de
investigacin
experimental.
La seleccin de los grupos de
tratamiento y de control se realiz
Journal
Glewwe, Paul; Olinto,

Pedro (2004)
Honduras
Institucional
Se
seleccionaron
70
municipalidades de manera
aleatoria para la formacin de
cuatro grupos (uno de ellos el
grupo control). Se obtuvo un
total de 5,748 familias
Los datos se adquirieron a travs

de diversas fuentes: entrevista
estandarizada, prueba de orina y
prueba de saliva.
La informacin se obtuvo a travs
de la aplicacin de cuestionarios
escolares.
Se realiz anlisis de simulacin a
travs del modelo del proceso de
transicin escolar de Harkov.
Se demostr la importancia
del protocolo de intervencin
Recovery
Managment
Checkups como medio de
favorecer resultados a largo
plazo en personas con
desordenes crnicos en el
consumo de sustancias
estadsticamente positivo del
impacto de la demanda de
intervencin pero no en la
entrega de la intervencin.
Seleccin aleatoria
Salud
The healthy brothel: the

context of clinical services
for sex workers in
Hillbrow
Stadler J. & Delaney S.

(2004)
Trabajadoras sexuales
Sudfrica
Se
realizaron
estimaciones
economtricas
Diseo de evaluacin cualitativo
entrevistas a profundidad a
trabajadoras sexuales.

(Clnica mvil) tuvo un efecto
positivo en la bsqueda de un
comportamiento saludable de
las trabajadoras sexuales.
Diseo
Institucional
Salud
Increased protected sex
Stanton
BF,
et
al.
515 jvenes.
de
evaluacin
223
rea de estudio
and abstinence among
Namibian youth following
a
HIV
risk-reduction
intervention:
a
randomized, longitudinal
study
Salud
Impact of the Heart

Campaign: Findings from
the youth surveys, 19992000
Autores / lugar
aplicacin / ao
(1998)
de
Muestra
Metodologa
Conclusiones
Se
determin
grupo de
My future is My Choice
redujo el comportamiento de
riesgo de VIH entre los
participantes
sexualmente
inexpertos.
Namibia (frica)
La asignacin a los grupos de

tratamiento
y
control
fue
aleatoria.
Chi Cuadrado.
Journal
Underwood
Hachonda
Serlemitsos
E.
Bharath U. (2001)
C,
H,
&
901 jvenes (368 hombres y

533 mujeres)
Diseo de evaluacin
cuasi-

del programa.
Cuestionarios de lnea base y post

test.
Zambia
Pobreza
social
apoyo
Poverty
Alleviation
Programmes from Human
Rights Perspective
Institucional
Bandyopadhyay KR. &
Mukherjee AN. (2005)
Distrito de Bolangir, Orissa.
India
Institucional
Calidad de vida
An
Assessment
of
Community-Based Health
Financing Activities in
Uganda
Derriennic Y, Wolf K.
& Kiwanuka-Mukiibi
P.
(2005)
No se especifica
Anlisis estadsticos bivariados y

multivariados.
Estudio de Caso.
desde el enfoque de los Derechos
Humanos, se estableci los
siguientes cuatro principios: nodiscriminacin, participacin y
empoderamiento, transparencia y
evaluacin,
y
realizacin
progresiva de los derechos
humanos.
Estudio de evaluacin cualitativo.
Entrevista semi-estructuradas a
informantes claves y grupos de
discusin focal.
No se especifica
Se encontr que el proyecto

gener
un
desarrollo
significativo en la calidad de
vida de sus beneficiarios.
Uganda
Educacin,
salud,
nutricin y poblacin
Evaluating
Preschool
Programs when Length of
Exposure to the Program
Varies: A Nonparametric
Institucional
Behrman, Jere; Cheng,
Yingmei; Todd, Petra
(2003)
Tres grupos de comparacin:

nios de la comunidad que
fueron presentados el programa
pero no participan, nios de
Estudio
de
experimental.
diseo
cuasi-

acumulado
positivo
y
significativo
sobre
las
puntuaciones de las pruebas
224
rea de estudio
Approach
Autores / lugar
aplicacin / ao
Bolivia
de
Institucional
Educacin,
proteccin
social,
sanidad
Evaluating Social Funds:

A Cross-Country Analysis
of
Community
Investments
Rawlings,
Laura;
Sherburne-Benz,
Lynne; Van Domelen,
Julie (2004)
Muestra
comunidades similares en las
que el programa no ha sido
presentado y nios que estn en
el programa por menos de un
mes.
Familias beneficiarias de los
programas
(grupo
de
tratamiento) y familias no
beneficiarias (grupo control)
Armenia,
Bolivia,
Honduras, Nicaragua,
Per
y
Zambia,
(multinacional)
Metodologa
Conclusiones
Otros
mtodos
Emparejamiento.
Anlisis
de
multinacional.
de
impacto
Se utiliz el mtodo de Diferencia

de medias, Propensity Score
Matching.
Se realizaron los correspondientes
anlisis de regresin
para los nios de 37 a 64

semanas. El impacto marginal
es positivo y significativo para
los nios mayores de 42
meses.
asistencia
escolar,
un
descenso significativo de las
familias que informan una
incidencia de enfermedad y la
probabilidad de informar
desocupacin
debido
a
enfermedad fue menor.
Banco Mundial (Libro)

Informacin
(infraestructura)
Educacin
Evaluating the impact of

an electronic business
system in a complex
organizational setting: the
case of Central Contractor
Registration
Evaluating the Impact of
Conditional Cash Transfer
Programs: Evidence from
Latin America
Morel, JA. (2002)
Caso nico
Caso nico
Queda demostrado que la

evaluacin de impacto del
programa puede ser obtenido,
y que puede ser de un costo
razonable
Nios entre las edades de 7 a

14 aos.
Diseo cuasi experimental

Uso de la Encuestas de Familias.
Existe una clara evidencia del

xito
del
programa
al
incremental la tasa de
matrculas,
favorecer
el
cuidado de la salud preventiva
e aumentar el consumo
familiar.
Estados Unidos
Journal
Rawlings, Laura B.,
and Gloria M. Rubio.
(2003)
Diferencia de medias y otros

Brasil,
Mxico,
Honduras, Jamaica, y
Nicaragua
(multinacional)
Institucional
Educacin,
transporte,

Infrastructure
Rehabilitation Projects on
Lokshin, Michael and

Ruslan Yemtsov (2003)
La seleccin de la muestra no
fue aleatoria, incluyendo 249
aldeas de poblacin rural
Los anlisis se basan en dos

fuentes de datos: a) El estudio
oficial de familias en Georgia
El nmero de aldeas que

informan un incremento en el
nmero de estudiantes de
225
rea de estudio
sanidad
Household Welfare
Rural Georgia
in
Autores / lugar
aplicacin / ao
Georgia
de
Muestra
Institucional
Educacin
Educacin: gestin
del sector pblico

PETI on Child Labor
Supply and Schooling
Demand
in
Rural
Northeastern Brazil: The
Case of Pernambuco,
Bahia and Sergipe
School Decentralization on
Educational Quality
Sedlacek G, Yap, Y. &

Orazem P. (2000)
Brasil
Municipalidades con familias

beneficiarias
(grupo
de
tratamiento) y Municipalidades
con familias no beneficiadas
(grupo de tratamiento.)
Metodologa
Conclusiones
(SGHH, 1996) y del Estudio de

Infraestructura Comunitraia Rural
(2002).
secundaria se increment
significativamente
en
comparacin
con
las
comunidades en control.
Se utiliz el estudio de hogares.
No se report hallazgos con

niveles significativos.

Institucional
Galiani,
Sebastian;
Schargrodsky, Ernesto
(2002)
Argentina
Alumnos del quinto de

secundaria de Escuelas pblicas
(grupo de tratamiento) y
escuelas
privadas
(grupo
control)

por a partir de las evaluaciones
que realiz
Sistema de
Evaluacin
de
la
Calidad
Educativa de los nios del quinto
de secundaria (1994-1998).
Se encontr que el desempeo

en las escuelas pblicas se
promueve significativamente
con la descentralizacin.
Institucional
Salud
Evaluating the impact of

training in psychosocial
interventions:
a
stakeholder approach to
evaluation part II
Forrest S, Masters H.
& Milne V. (2004)
Reino Unido
Journal
16 participantes
Se utiliz en mtodo de
evaluacin de diferencia en la
diferencia.
Diseo cualitativo
Se utiliz la entrevista semiestructurada.
El anlisis de los datos fue
conducido sobre una base
temtica y comparativa y el
programa de anlisis cualitativo
NUDIST.
El
estudio
mostr
la
importancia del proceso de
reconstruccin
de
la
Intervencin Psicolgica en
los participantes para la
prctica cotidiana y la
importancia de los resultados
de capacitar en actitudes y
enfoques.
Existe
poca
evidencia
de
que
los
encuestados perciban el uso
extensivo de la Intervencin
Psicolgica como el objetivo
final de los cursos de
capacitacin.
226
rea de estudio
Suministro de agua
y sanidad
Evaluating the Impact on

Child Mortality of a Water
Supply
Project
and
Sewerage Expansion in
Quito: Is Water Enough?
Autores / lugar de
aplicacin / ao
Galdo,
Virgilio;
Briceno, Bertha (2004)
Muestra
Metodologa
Conclusiones
Las unidades de anlisis son las

mujeres de 15 a 49 aos de
edad

de los censos 1990 y 2001,
realizado por el
Instituto
Nacional de Estadstica y Censos.
Tambin se utiliz la informacin
obtenida a travs de la Encuestas
de Condiciones de Vida (1998).
negativo significativo en la
mortalidad infantil
Ecuador
Institucional
Salud
An impact evaluation of
student teacher training in
HIV/AIDS education in
Zimbabwe
Chifunyisea T, Benoyb
H, & Mukiibi B. (2002)
Zimbabwe
Journal
Salud
Evaluation of a Model
Self-Help
Telephone
Program:
Impact
on
Natural Networks
1572 estudiantes de educacin

participaron en el llenado de los
cuestionarios.
Diferencia en la diferencias
Propensity score matching.
Se utiliz cuestionarios de lnea
base y seguimiento, y guas para
grupos de discusin focal.
Goodman, C. (1990)
Canad
Journal
207 estudiantes de educacin

participaron en los grupos de
discusin focal
81
participantes
fueron
seleccionados aleatoriamente
para conformar una red
telefnica o a una serie de
lecturas
profesionales
accesibles a travs del telfono,
y luego fueron reasignados al
componente alternativo luego
de tres meses.
Estudio experimental pre post en

su modalidad de diseo en serie
de tiempos.
40 cuidadores de pacientes con
Alzheimer fueron mantenidos en
el estudio para la recoleccin la
informacin.
Hubo un incremento en el
conocimiento de la prevencin
del
Virus
de
Inmunodeficiencia Humana
(VIH) y en la habilidad de los
profesores para temas de salud
reproductiva y sexual. Sin
embargo,
como
los
estudiantes
estuvieron
expuestos a otro material de
VIH fuera del programa, no
todos los cambios se deben al
programa.
Seis meses de aplicado el
programa
dej
a
los
participantes
con
una
acrecentada informacin y
apoy la satisfaccin y
desarrollo el compromiso de
las familias y amigos como
apoyos emocionales.
Instrumentos: a) The Memory and

Problem Behavior Checklist, b)
The Brden Interview, c) The
Mental Health Index, d) Percieved
Social Support for Caregiving and
227
rea de estudio
Autores / lugar
aplicacin / ao
de
Muestra
Metodologa
Conclusiones
Social Conflict.
Salud
Evaluation of a Peer
Assessment Approach for
Enhancing
the
Organizational Capacity of
State Injury Prevention
Programs
Hunter WH, Schmidt

ER, & Zakocs R.
(2005)
Siete directores de programas

de evaluacin de impacto
Revisin documentaria.
Criterios del Programa State
Techinical
Assesment Team
(STAT)
Holanda
Journal
Pobreza
Evaluation of Rhode
Islands
Family
Independence
Program
(FIP)
Dryden A, Queral M. &

Tauchen H. (2001)
29253 familias lideradas por

padres o madres soleteros.
Reino Unido
Institucional
Desarrollo urbano
Evaluation of Sites and

Services Projects: The
Evidence from El Salvador
Bamberger, Michael;
Gonzalez-Polio,
Edgardo;
Sae-Hau,
Umnuay (1982)
El Salvador
Los datos fueron sometidos al

ANOVA
Entrevista
telefnica
semi
estructurada.
El grupo de tratamiento estuvo

integrado por 196 familias
Se
utiliz
informacin
administrativa
de
diversas
fuentes, incluyendo informacin
del estado del registro de apoyo
en efectivo, y de los informes de
empleo e ingresos del programa
de Seguro de Desempleo.
Se sigui un diseo de estudio
longitudinal,
utilizndose
asimismo los estimadores de
efectos combinados y de efectos
aleatorios.
Estudio
de
diseo
cuasi
experimental.
La evaluacin de impacto
revel que luego de un ao,
los siete programas estatales
para la prevencin de daos
haban actuado sobre 81% de
las recomendaciones recibidas
durante las visitas de STAT.
Todos
los
programas
reportaron
ganancias
en
visibilidad y credibilidad
dentro del departamento de
salud estatal con otras
unidades y agencias.
Se encontr que el mayor
impacto del FIP fue el
incremento de la probabilidad
de que el apoyo corriente y en
efectivo a los beneficiarios s
funcionara. Sin embargo, el
ingreso estimado en la
ganancia trimestral debido al
FIP
fue
relativamente
modesto.
El proyecto tuvo un impacto

la ganancia por trabajador.
Para compensar la falta de

equivalencia del grupo control se
utiliz el anlisis de regresin que
control las diferencias iniciales.
Institucional
228
rea de estudio
Salud
Evaluation of the impact

of the
Baby-Friendly
Hospital Initiative on
Rates of Breastfeeding
Autores / lugar de
aplicacin / ao
Braun M.; Giugliani E,
Matos M, Giugliani C,
Proenco A, & Machado
A, (2003)
Muestra
Metodologa
Conclusiones
bebs
Estudio observacional pre-post de

dos cohortes.
Segundo cohorte: 250 bebs

nacidos en 1999.
Entrevista personal y a travs del

telfono acerca de la dieta usual
de sus nios.
El estudio muestra un
significativo incremento de la
tasa de lactancia materna,
especialmente la de tipo
exclusiva, luego de la
implementacin de la BavyFiendly Hospital Initiative
(BHFI).
Primer cohorte:
nacidos en 1994
187
Brasil
Journal
Salud
Evaluation
of
the
Pharmaceutical Industry
Investment Program
Productivity
Commission (2003)
Participantes del programa de

los aos 1998-99 a 2001-02
Australia
La informacin fue sometida a

anlisis de regresin coxial y la
prueba Chi cuadrada para la
diferencia de grupos.
Diseo de evaluacin cuasi
Anlisis del error de prediccin.
Institucional
Empleo
Evaluation the impact of

SENA on earnings and
employment
Gaviria A. & Nez

JA. (2003)
Colombia
Institucional
10000
jefes
de
hogar
localizados alrededor de 75
municipalidades, tanto del rea
rural como urbana.
Diseo
de
estudio
post
tratamiento, sin comparacin.
Se utilizaron dos fuentes de datos:
la Encuestas Nacional de Calidad
de Vida (1997) y el estudio
conducido por el Servicio
Nacional de Aprendizaje (SENA).
La comparacin del nivel de

produccin entre quienes
participaron y no participaron
en el programa evidencia un
efecto positivo del programa.
Sin embargo, el anlisis de
prediccin, la comparacin
entre la actividad producida
antes y luego de la aplicacin
del
programa,
y
la
comparacin entre empleo,
inversin y exportaciones,
todos
estos
revelan
debilidades o ausencias en el
impacto del programa.
Los resultados muestran de
manera consistente que el
impacto de SENA para los
servicios de capacitacin es
negativo:
ganancias
de
participacin menores a 0.13
veces del sueldo mnimo.
Se escogi un grupo control para

cada participante a travs del
promedio de aproximacin por
229
rea de estudio
Autores / lugar
aplicacin / ao
de
Educacin,
Salud,
Nutricin
y
poblacin,
sanidad
Ex-post Evaluation of the

Honduran
Social
Investment Fund (FHIS 2)
Walker, Ian; Del Cid,

Rafael; Ordonez, Fidel;
Rodriguez,
Florencia
(1999)
Muestra
El grupo de tratamiento estn

conformado
por
los
beneficiarios del programa y el
grupo control
Honduras
Institucional
Salud, Nutricin y
Poblacin
The
Impact
of
PROGRESA on Health
Gertler, Paul. (2000)

Mxico
Institucional
Salud
Findings
from
a
retrospective
process
evaluation of five HIA
studies
Jackson N, Taylor L, &

Quigley R. (citados por
Quigley et al, (2003)
Una muestra 506 comunidades,

distribuidas aleatoriamente para
conformar los grupos de
tratamiento (320) y control
(186)
Estudios previos
Hanssen C., Gullickson

A. & Lawrenz, F.
(2003)
semejanzas.
La informacin es de fuente
secundaria, proveniente del Biannual Household Survey de la
Oficina de Estadstica y Censos
de Honduras y de los estudios de
hogares.
Se utiliz en anlisis multivariado

para controlar las diferencias entre
grupo de tratamiento y control.
Diseo experimental.
Estimador Diferencia en la
Diferencia para evaluar los
cambios producidos por el
programa.
Diseo exploratorio
Entrevistas cualitativas detalladas
fueron tomadas a informantes
clave en los estudios de
evaluacin de impacto en salud
(Health Impact Asessment = HIA)
Journal
Assessing the Impact and

Effectiveness
of
the
Advanced Technological
Education (ATE) Program.
Conclusiones
comparacin Pipeline.
Inglaterra
Educacin
Metodologa
128 Directores o responsables

de los proyectos.
Se
utiliz
estructurada.
una
encuesta
Se midieron los indicadores en

proporcin de nios entres 8 y
9 aos que cursan el grado
escolar de acuerdo a su edad,
existi mayor probabilidad en
la bsqueda de atencin
mdica
en
casos
de
enfermedad y un menor y
significativo ndice de diarrea.
El
programa
increment
significativamente
la
utilizacin de las clnicas de
salud pblica para el cuidado
de prevencin, asimismo,
existen significativos avances
en la salud de los nios y
adultos.
Los principales hallazgos
muestran preocupacin por la
necesidad del seguimiento y
evaluacin de las actividades
relacionadas. Sin embargo,
ninguno de los cinco estudios
de
HIA,
y
de
los
entrevistados, haba estado
incluido o haba sido sujeto a
una evaluacin externa o
independiente.
El programa est impactando
en gran nmero de estudiantes
a travs de los esfuerzos de
promocin del programa.
230
rea de estudio
Autores / lugar
aplicacin / ao
Estados Unidos
de
Muestra
Metodologa
dos dimensiones: estado actual
del programa y tendencia del
programa.
Institucional (Liibro)
No se utiliz grupo control.
Suministro de Agua
y sanidad
Has Private Participation

in Water and Sewerage
Improved
Coverage?
Evidence
from
Latin
America
George RG.; Kosec, K.;

Wallsten, SJ. (2004)
Argentina
(multinacional)
Institucional
Salud, Nutricin y
Poblacin
Health Behavior and the

Design of Public Health
Programs: Evidence from
Randomized Evaluations
Miguel,
Kremer,
(2003)
Edward;
Michael
Kenya
Familias de Argentina, Bolivia

y Brasil residentes en 18
ciudades donde se privatiz el
sistema de agua y alcantarillado
(grupo de tratamiento) y 28
ciudades donde no hubo
privatizacin (grupo control)
Se emparej las regiones en

funcin de las poblaciones.
75 escuelas primarias divididas

aleatoriamente en tres grupos.
Diseo experimental pre post.
tratamiento y control segn
etapa de la evaluacin
Estimador de Diferencia en la
diferencia
Se utiliz el estimador Diferencia

en la diferencia
Hidden Impact? Ex-Post

Evaluation of an AntiPoverty Program
Chen S. & Ravallion

M. (2003)
China
2000 hogares
El programa ATE est

estableciendo
exitosas
relaciones de colaboracin
con otro tipo de instituciones
u otros programas ATE.
Los proyectos de ATE estn
utilizando la evaluacin para
guiar las actividades del
programa, pero existe todava
un significativo vaco en la
informacin acerca de la
calidad de los productos del
proyecto.
El programa Participacin del
Sector Privado incrementa la
proporcin de habitantes con
conexiones de agua por
tubera y de alcantarillado. Sin
embargo, este incremento deja
de ser significativo si se le
hace una comparacin en el
tiempo y con el grupo control.
Las tasas de tratamiento
fueron
reducidas
significativamente a un 62%.
La
intervencin
de
compromiso verbal redujo
significativamente el consumo
de frmacos por casi seis
puntos porcentuales.
Journal
Pobreza
Conclusiones
Evaluacin pre post en serie de

tiempos a travs del mtodo de
emparejamiento por similitudes
para el anlisis del grupo control
Se encontr un retorno
promedio del desembolso del
programa de 9 a 10%,
superior al impacto de la
231
rea de estudio
Autores / lugar
aplicacin / ao
de
Muestra
Institucional
Pobreza
Hidden
Impact?
Household
Saving in
Response to a Poor-Areas
Development Project.
Ravallion, Martin and

Shaohua Chen. (2005)
China
Institucional
Pobreza
Household Effects of
African
Community
Initiatives: Evaluating the
Impact of the Zambia
Social Fund
Chase, Robert S., and

Lynne Sherburne-Benz
(2001)
35 aldeas pobres de tres

provincias de Chinas: Guangxi,
Guizhou y Yunan. El grupo
control lo integraron aquellas
aldeas que no estn en el
programa pero se encuentran
dentro de la provincia donde
interviene el programa.
La muestra es de 20950
familias que pertenecen a 99
comunidades
donde
al
programa ha intervenido.
Zambia
Metodologa
Conclusiones
y grupo que particip en el

programa y anlisis de la
diferencia entre la diferencias.
asistencia del gobierno para

reas pobres. Sin embargo, se
encontr que la mitad del
ingreso obtenido es ahorrado,
de modo que el impacto del
programa es mucho menos
evidente en el consumo de los
participantes.
Se encontr un incremento
significativo en el ingreso y
ahorro.
La lnea base se estableci a partir

de los estudios realizados por el
Rural Household Survey Team
(RHS de 1996 -2000) en 2000
familias distribuidas en 200
aldeas.
Mtodo de Diferencia en la
Diferencias para evaluar el
impacto del programa sobre
pobreza e ingreso.
disminuir la heterogeneidad entre
las aldeas en tratamiento y las de
conrtrol.
Se utiliz la informacn de
hogares del Estudio de Monitoreo
sobre Condiciones de Vida.
Se utiliz dos diseos de
evaluacin:
a)
Comparacin
Pipeline y b) Propensity Score
Matching.
Institucional
Diferencia de Medias
Pobreza
Impact Evaluation of a
Conditional Cash Transfer
Maluccio, John A.;

Flores, Rafael (2004)
Se
seleccionaron
a
42
comarcas, de las cules se
La seleccin de comarcas control

y tratamiento fueron a travs de

alcance del programa hacia las
familias
pobres,
particularmente en las reas
rurales. En comparacin con
el grupo control, el programa
increment
de
manera
significativa la asistencia
escolar y el gasto familiar en
educacin. Asimismo, su
impacto fue mayor en la zona
rural que la urbana.
Al
comparar
varias
dimensiones
de
capital
232
rea de estudio
Autores / lugar
aplicacin / ao
Program: The Nicaraguan

Red de Proteccion Social
de
Nicaragua
Muestra
Metodologa
Conclusiones
obtuvo 21 para el grupo de

tratamiento y 21 para el grupo
control.
un ndice de marginalidad basado

en el National Population and
Housing Census.

aleatoria estratificada de 1585
familias.
Se tomaron en cuenta para esta

evaluacin tres estudios de
familia: La lnea Base
humano, incluso de estatus

nutricional, salud y educacin,
estos programas han sido
capaces de influir en muchos
de los indicadores destacados
dentro de las estrategias de
reduccin de la pobreza.
Instituccional
Educacin,
salud,
nutricin
y
poblacin,
sanidad
Social funds. An Impact
Evaluation of Education,
Health, and Water Supply
Investments
by
the
Bolivian Social Invesment
Fund
Newman, John, Meno

Pradhan, Laura B.
Rawlings,
Geert
Riddder, Ramiro Coa,
and Jose Luis Evia.
(2002)
Muestra aleatoria de 200

escuelas fueron, 86 para el
grupo de intervencin y 124
para el grupo control.
La evaluacin utiliz un diseo

aleatorio y midi el impacto
utilizando el estimador Diferencia
en la Diferencia.
Diferencia en la diferencia,
Propensity Score Matching, Otros
Mtodos de Emparejamiento.
Bolivia
Journal
Educacin,
Salud,
Nutricin
y
Poblacin,
Suministro de Agua
y Sanidad
Social Funds. The Impact
and Targeting of Social
Infrastructure Investments:
Lessons
from
the
Nicaraguan Social Fund
Pradhan, Menno, and

Laura B. Rawlings.
(2002)
Se seleccion una muestra no

aleatoria. Se determin grupo
de tratamiento y grupo control.
Nicaragua
Diferencia.
Otros
mtodos
de
emparejamiento.
Journal
Educacin
Impact
Evaluations
of
Los datos analizados provienen

del estudio del Fondo de
Inversin de Emergencia Social
de Nicaragua (1998) y
Chase,
Robert
S.
Se
obtuvo
una
muestra
El programa Social Investment

Fund (SIF) tuvo in impacto
parte de las escuelas con
facilidades
de
sanidad,
nmero de textos por alumno,
la cifra de salones en buenas
condiciones. Sin embargo, el
programa tuvo un efecto
significativo negativo en la
tasa de desercin escolar y el
nmero
de
alumnos
matriculados por colegio.
significativo en la matrcula
escolar primaria. Por otro
lado, el impacto de la
intervencin en salud no es
conclusivo y el programa tuvo
un significativo impacto en la
proporcin de familias con
bao.
El programa Armenia Social
233
rea de estudio
Social Funds. Supporting
Communities
in
Transition: The Impact of
the
Armenian
Social
Investment Fund
Autores / lugar
aplicacin / ao
(2002)
de
Armenia
Muestra
Metodologa
Conclusiones
estratificada de las familias

segn zona de residencia:
ssmica, en conflicto y no
especificada.
Se utiliz el mtodo Propensity

Score matching para disminuir
sesgos de seleccin.
Investment Fund tuvo un

efecto positivo y significativo
en el gasto familiar de la
escuela, as como un efecto
matrcula escolar.
Journal
Se determin grupo de familias
en tratamiento y grupo de
familias aspirantes (control).
La informacin proviene de un
estudio de familias integrado
(1998-1999)
que
incluye
informacin de ingreso, gasto,
educacin y salud familiar.
Se realizaron los correspondientes
Educacin
Impact of a vocational
counselor on employmentrelated outcomes among
methadone patients
Appela PW, Smith R,

Schmeidlera JB, &.
Randell J (2000)
Estados Unidos
619 pacientes de dos clnicas.

Clnica donde se mantuvo la
metadona (Clnica 1; N = 364)
y la clnica con la que se realiz
la comparacin (Clnica 2; N =
358)
Journal
Diseo cuasiexperimental.
La informacin adicional acerca
de los servicios de educativovocacionales brindados a los
pacientes fueron obtenidos de los
reportes ingresados al Servicios
de Alcoholismo y Abuso de
Sustancias por el Consultor de
Rehabilitacin Vocacional.
Se utilizaron anlisis de regresin
logstica.
Educacin
Assessing the Impact and

Effectiveness
of
the
Advanced Technological
Education (ATE) Program.
Coryn CL, Gullickson

AR, & Hanssen CE
(2004) Estados Unidos.
Institucional
Se evalu a 16 centros del

programa
El impacto se determin a travs

de la comparacin entre el
nmero de estudiantes que
completan el programa y los
estudiantes que no lo concluyen.
Se
concluy
que
el
establecimiento
de
un
consejero de rehabilitacin
vocacional en la clnica que
mantuvo la metadona es una
intervencin
educativa
vocacional de costo efectivo.
Los servicios educativosvocacionales se acrecentaron
significativamente
en
la
Clnica 1; la presencia
educativa-vocacional
se
increment de 53 a 56% en la
clnica 1 y disminuy en la
clnica 2, 45-43%.
Los centros del programa ATE
impactan
preactiva
y
positivamente
en
los
estudiantes y la fuerza
tecnolgica de los Estados
Unidos. El nmero de
alumnos que completan el
programa exceden a los que lo
abandonan.
234
rea de estudio
Justicia
Impact of Legislation
Requiring Moped and
Motorbike Riders to Wear
Helmets
Autores / lugar de
aplicacin / ao
Ballart X. & Riba C.
(1995)
Espaa
Journal
Pobreza
Salud
Will
welfare
reform
influence marriage and
fertility? Early evidence
from
the
ABC
demostration
Impact of Prooviding a
Medical Home to the
Uninsured Evaluation of a
Statewide Program
Fein, D. (2001)
Estados Unidos
Muestra
Metodologa
Conclusiones
La muestra comprende el
nmero de accidentes en
pequeas motocicletas y casco
(grupo de tratamiento) y en
motocicletas grandes (grupo
control).
Se realizaron tres observaciones

de series de tiempo con grupo
control no equivalente.
El impacto de la adopcin de
la medida legislativa grande y
permanente pero el hbito de
uso de casco de los
motociclistas no ha sido
influido por lo campaa a
travs de los medios ni por las
posibles sanciones.
1547 mujeres para el anlisis de

matrimonio y 1027 para el
anlisis de la fecundidad.
Journal
Gill JM, Bittner H,

Townsend
B,
&
Mainous AG. (2005)
Estados Unidos
Journal
Se eligieron a 795 personas que

participan del programa.
El grupo control no equivalente

permite medir los efectos de la
medida de legislativa respecto al
uso obligatorio del casco a los
motociclistas y el nmero de
daos serios y el de muertes.
Se utiliz la tcnica de Anlisis de
Series ARIMA con el fin de
estimar cambios significativos en
la tendencia del nmero del
nmero de vctimas con daos
graves en el grupo de tratamiento.
Evaluacin
de
diseo
experimental.
Se
asign
aletoriamente a los beneficiarios y
nuevos postulantes de cinco
oficinas piloto, tanto hacia el
grupo de tratamiento como al
grupo control.
Se realiz una evaluacin
aleatoria de las participantes en el
programa.
Se estableci un diseo de cohorte
retrospectivo donde se compara el
cuidado de la salud de una lnea
base a seis meses luego de
haberse integrado al programa.
Se utiliz la entrevista personal o
por telfono.
Se
desarrollaron
anlisis
de
Se encontr evidencia de que

los cambios polticos en un
estado s tienen efectos en el
matrimonio y el cuidado de
los nios. El programa A
Better Chance (ABC) tuvo
impactos positivos en la
cohabitacin
marital
en
mujeres menores de 25 aos y
aquellas con menos de 12
aos de instruccin.
Se encontr una disminucin
en la proporcin respecto a las
visitas del departamento de
emergencias pero no de
hospitalizacin, as como un
incremento significativo en la
satisfaccin con el cuidado.
El programa CHAP de
Delaware est asociado con
235
rea de estudio
Educacin
Improving Primary School

Education in India: An
DPEP-Phase I
Autores / lugar
aplicacin / ao
Jalan,
Glinskaya,
(2004)
de
Joytsna;
Elena
India
Institucional
Educacin
Incentives to Learn
Kremer M, Edward M,
Thornton R. & Ozier
O. (2004)
Kenya
Muestra
La
seleccin
de
los
beneficiarios al programa no
fue aleatoria, constituyndose
una muestra total integrada por
las familias de 40 distritos.
Asimismo, el impacto fue
evaluado a travs de dos submuestras: grupo de tratamiento
y grupo control.
Se seleccion una muestra
aleatoria de 127 escuelas
primarias, 63 fueron invitados a
participar en el programa y 64
sirvieron como grupo control.
Institucional
Salud y nutricin
Increased Weight Gain

with Mass Deworming
Given
During
Child
Health Days In Uganda
Alderman,
Harold;
Seubuliba,
Isaac;
Konde-Lule,
Joseph;
Hall, Andrew (2003)
aleatorio de grupos con tres
estratos,
obtenindose
50
parroquias.
Uganda
Se
determin
grupo de
Institucional
Educacin
Investing In Children
Through The Food For
Ahmed, Akhter, Carlo

Del Ninno, and Omar
930 nios en edad escolar de 6

a 13 aos de edad.
Metodologa
Conclusiones
tendencia y comparacin de
resultados a travs de la prueba de
McNemar`s
un importante desarrollo a
travs de muchas mediciones
de la utilizacin del cuidado
de la salud y representa un
mtodo exitoso y fcilmente
financiable para que los
estados fomenten el cuidado
de la salud de sus poblaciones
no aseguradas..
la asistencia a la escuela y
sobre el mayor nivel de
educacin lograda.
Evaluacin del programa District

Primary
Education
Program
(DPEP, fase I.)
el control del sesgo de seleccin.
La
informacin
sobre
las
puntuaciones en los exmenes
fueron obtenidas del District
Education Offices (DEO) en los
Distritos de Busia y Teso.
Se utiliz el Diseo de Regresin
Discontinua para evaluar el
Se utiliz el mtodo de evaluacin
de Diferencia en la Diferencia.
Un cuestionario de lnea base fue
aplicado a 2250 familias por
Instituto de Salud Pblica.
Se aplic el anlisis de regresin
multivariado.
Variables instrumentales y otros

las puntuaciones del examen,
la asistencia escolar y la
asistencia de los profesores a
clases.
La provisin peridica de
frmacos antihelmnticos tuvo
un impacto significativo sobre
el ndice de ganancia de peso
en los nios menores de cerca
de 10% sobre lo esperado si el
tratamiento se realiza dos
veces al ao.
positivo significativo en la
236
rea de estudio
Education Program
Autores / lugar de
aplicacin / ao
Haider
Chowdhury.
(2004)
Muestra
Jamaica's Food Stamp

Program:
Impacts
on
Poverty and Welfare
Institucional
Ezemenari,
Kene;
Subbarao, K (1998)
Jamaica
Diferencia
de
medias
estadsticas descriptivas.
El panel de estudio estuvo
integrado por 986 familias.
Se
determin
grupo de
Institucional
Limiting Child Labor

Through Behavior-Based
Income Transfers: An
Experimental Evaluation
of the PETI Program in
Rural Brazil
Yap,
Yoon-Tien,
Guilherme
Sedlacek,
and Peter Orazem.
(2002)
Brasil
Institucional
Salud, Nutricin y
Poblacin
Longitudinal Evaluation
of Uganda Nutrition and
Early Child Development
Program
Alderman,
Harold;
Britto, Bia; Siddiqi,
Arjumand (2004)
Seis municipalidades divididas

en grupo de tratamiento y
grupo control.
Se seleccion de manera
aleatoria de cada municipalidad
a 200 familias con al menos un
nio. Lo cual hace un toral de
1200 familias.
aleatorio de grupos con tres
estratos, obtenindose una
muestra de 50 parroquias.
Uganda
Institucional
Se
determin
grupo de
Los datos considerados provienen

del Jamaican Survey of Living
Conditions (JSLC, 1989-1991)
Diferencia en la diferencias y
simulacin contrafactual
Anlisis
estocstica.
Educacin
Conclusiones
Con grupo control
Bangladesh
Pobreza
Metodologa
de
matrcula escolar. Las mujeres

tienen una mayor probabilidad
de matricularse que los
varones.
El
programa
redujo
significativamente las brechas
de pobreza. Sin embargo no
sucede lo mismo con la
incidencia de la pobreza.
dominancia
Marginal propensity to consume.

Se realiz una evaluacin

longitudinal de anlisis profundo.
Se utiliz el estimador Diferencia
en la Diferencia.
Se hicieron anlisis de regresin y
de comparacin a travs de las
puntuacioes Z.

incrementa
de
manera
significativa el tiempo de
permanencia en la escuela en
los tres Estados. Asimismo,
reduce la probabilidad de
trabajo infantil.
Las comunidades beneficiarias

tienen
un
significativo
descenso en la probabilidad de
abandono temprano de la
lactancia con pecho.
consumo
de
alimentos
nutritivos.
Asimismo,
el
programa
237
rea de estudio
Autores / lugar
aplicacin / ao
de
Muestra
Metodologa
Conclusiones
increment el consumo de
medicinas antiparasitarias.
Transporte
de
Energa Elctrica y
otras Energas.
Assessing the Impact of

Transport and Energy
Infrastructure on Poverty
Reduction
Cook, Cynthia C.,

Tyrrell
Duncan,
Somchai
Jitsuchon,
Anil K. Sharma, Wu
Guobao. (2004)
India
Institucional
Salud, Nutricin y
Poblacin
Medium and Long Run

Effects of Nutrition and
Child Care: Evaluation of
a Community Nursery
Programme
in
Rural
Colombia
Attanasio, Orazio P.,

and A. Marcos VeraHernandez. (2004)
Se estratificaron cuatro grupos

de estudio en trminos de la
distancias de la carretera (a
menos de 0.5 km est el grupo
de tratamiento y a ms de 0.5
km, el grupo control ) y de
acuerdo al acceso de los
hogares a la electricidad
(Aquellos con acceso fueron el
grupo de tratamiento, y
aquellos sin acceso fueron el
grupo control)
No informa.

de la Nacional Simple Survey
(1987/88, 1993/94 y 1999/2000).
Tambin
se
aplicaron
cuestionarios y entrevistas.
Diferencia en la Diferencia y
Uso del modelo probit para
analizar la intervencin individual
sobre la pobreza.
Se utiliz la prueba T para evaluar
la significancia de las medias de
consumo entre los subgrupos
maestrales.
Se us de informacin de tipo
secundaria
proveniente
del
programa Familias en Accin
(2002).
Colombia
Institucional
Por ltimo, existe un efecto

educacin
y
relaciones
sociales de los nios.
El acceso a la electricidad tuvo
un negativo y significativo
impacto sobre la pobreza en
las provincias de Panchmahal
y Kuchchh.
Se
aplicaron
cuestionarios
detallados
para
obtener
informacin de la Lnea Base.
Variables
instrumentales
(distancia de la residencia de la
familia al programa y la distancia
La participacin en el
programa
Hogares
Comunitarios de Bienestar
Familiar tiene un efecto
positivo significativo sobre la
altura de los nios, sobre la
probabilidad de estar en la
escuela, as como sobre la
probabilidad de que sus
madres estn empleadas y con
ms horas laborales.
238
rea de estudio
Desarrollo
Microcrdito, Evaluacin
de impacto. Caso: Brasil y
Chile
Autores / lugar
aplicacin / ao
de
Aroca, P. (2002)
Brasil Chile
Muestra
796 observaciones (81= grupo

tratamiento y 715= grupo
control)
Metodologa
de la residencia de todas las
familias del pueblo hacia el
programa)
Otros
mtodos
de
emparejamiento.
Anlisis de puntuaciones Z,
desviacin estndar,
Se definieron dos grupos: las
personas
que
recibieron
microcrdito y las que no (grupo
control).
Institucional
Se utiliz los puntajes de
predisposicin y las tcnicas de
emparejamiento.
Salud
Suministro de Agua
y
Sanidad
con
efectos en educacin
Multi-media
campaign
exposure
effects
on
knowledge and use of
condoms for STI and
HIV/AIDS prevention in
Uganda
Nicaragua Ex-Post Impact

Evaluation
of
the
Emergency
Social
Bessinger R, Katende
C, & Gutpa N (2004)
Este estudio comprendi una

muestra de 1697 mujeres y 900
hombres.
Uganda
Journal

Nicaragua

estudio de evaluacin Delivery of
Improving Service for Health de
los aos 1997 y 1999.
Para evaluar la asociacin entre la
exposicin a la campaa se utiliz
el anlisis de regresin logstica.
Se obtuvo una
muestra
constituida por 1312 familias
que conformaron el grupo
La evaluacin se realiz a partir

de tres fuentes de datos
principales: Living Standards
Conclusiones
Los resultados para los datos

brasileos muestran un alto
impacto positivo de los
programas de microcrdito,
especialmente para aquellos
asociados con los bancos. En
el caso Chileno, la evidencia
es ms dbil para el
microcrdito administrado por
los bancos. En lo referente a
los programas de las ONG, la
evidencia sugiere que su
impacto sobre el ingreso
promedio de sus clientes es
realmente negativo.
La exposicin a la campaa
Behavior
Change
Communication estuvo ms
fuertemente asociada con el
mayor
conocimiento
del
condn.
Las campaas que utilizan
mltiples
canales
de
comunicacin de masa seran
ms efectivas en la promocin
del conocimiento de la salud
sexual.
Los
resultados
de
la
evaluacin
del
impacto
familiar
demuestra
un
239
rea de estudio
Autores / lugar
aplicacin / ao
de
Investment Fund (FISE)

Institucional
Muestra
Metodologa
Conclusiones
beneficiado y no beneficiado
con el programa.
Measurement Survey (1998), La

FISE Facilities Survey, y The
Qualitative
Beneficiary
Assesment.
significativo
y
robusto
impacto de las inversiones en
educacin
primaria
del
programa sobre los resultados
e indican un significativo
impacto de la inversin en
agua del programa sobre los
resultados en salud.
La
comparacin
de
los
beneficiarios y no beneficiarios de
FISE se realiz a travs de la
comparacin contrafactual.
Diferencia.
Otros
mtodos
de
emparejamiento.
Educacin
Nicaragua's
School
Autonomy Reform: Fact
or Fiction?
King, Elizabeth M.;

Ozler, Berk; Rawlings,
Laura B. (1999)
Se evalu cerca de 200 escuelas

del nivel primario y secundario.
Se utiliz informacin de estudios

de escuelas y hogares (1995 y
1997), en el mismo grupo de
escuelas.
Nicaragua
Un Cuestionario especial fue
diseado para conocer acerca de
la toma de decisiones en la
escuela.
Institucional
Educacin
Organizational learning: A
cross-national pilot-test of
effectiveness in childrens
services
Ortner DK, Cook P,

Sabah Y, & Rosenfeld
J. (2005)
Israel - Estados Unidos
(multinacional)
Journal
131 nios americanos y 132

nios de Israel participaron en
la lnea base. Mientras que 153
nios de norteamericanos y 153
nios de Israel participaron al
final del perodo de estudio.
Se
utiliz
un
modelo
economtrico para comparar las
escuelas
beneficiarias
del
programa de las no beneficiarias.
Se utiliza un diseo cuasiexperimental y longitudinal.
El aprendizaje organizacin fue
medido con la Organizational
Learning
Assesment
Scale
(OLAS);
mientras
que
la
percepcin
de
la
eficacia
La participacin en el
programa tuvo un impacto
la toma de decisiones para la
escuela primaria y secundaria.
influencia percibida de los
directores tanto en los asuntos
pedaggicos
como
administrativos.
Los resultados indican que los

mejoramientos
en
el
aprendizaje
organizacional
ocurrieron en el caso de
recibir el tratamiento y no en
los otros. Hubo tambin una
relacin significativa entre las
puntuaciones en las escalas de
240
rea de estudio
Educacin
Philippines:
Student
Outcomes in Philippine
Elementary Schools: An
Evaluation
of
Four
Experiments
Autores / lugar
aplicacin / ao
de
Tan, Jee-Pang, Julia

Lane,
and
Gerard
Lassibille (1999)
Filipinas
Muestra
Se seleccionaron 40 escuelas
ubicadas en reas con bajos
ingresos. De estas, 20 fueron
integraron
el
grupo
de
tratamiento
y 20 el grupo
control.
Journal
Pobreza y desarrollo
Primed by the Euro: The

Impact of a Referendum
Campaign
on
Public
Opinion and Evaluations
of
Government
and
Political Leaders
De Vreese, CH.(2004)
Holanda
Journal
Metodologa
Conclusiones
organizacional de los trabajadores

fue medida con la Worker
Empowerment Scale (WES), y la
estimacin del comportamiento
individual que tiene el profesor
del alumnos se evalu mediante la
Behavioral Rating Index for
Children.
aprendizaje organizacional y
las
mediciones
de
satisfaccin
laboral
y
emponderamiento entre el
personal.
Los
resultados
fueron confirmados slo para
el caso de los programas de
Estados unidos.
Se
utilizaron
anlisis
de
correlacin no-paramtrica y
paramtrica.
aleatorio.
de
El control de diferencias entre los

grupos de tratamiento y control se
realiz a travs del anlisis
multivariado.
962 encuestados
23 noticias obtenidas de manera
aleatoria.
Anlisis de contenido de las

noticias en los medios y un
estudio panel.
Las tasas de desercin

disminuyeron
significativamente en las
escuelas
que
recibieron
material de aprendizaje de
diferente grado.
La alimentacin escolar con la
relacin
padre-profesor
tuvieron un impacto positivo y
significativo
sobre
las
puntuaciones alcanzadas en
matemtica.
El inconveniente del gobierno
para manejar el referndum
pobremente fue penalizado
por el referndum. La
exposicin a los titulares de
medios de comunicacin que
cubran extensivamente el
referndum
y
ofrecieron
evaluaciones negativas de los
lderes polticos estimularon la
disminucin del nivel de
aprobacin de los lderes
polticos
por
ciudadanos
241
rea de estudio
Salud
Educacin,
Nutricin
Poblacin.
Empleo
Salud,
y
Autores / lugar
aplicacin / ao
Program evaluation with

unobserved heterogeneity
and
selective
implementation:
the
mexican
PROGRESA
impact on child nutrition
Behrman
JR.
Hoddinott J (2001)
Progresa and its Impacts

on the Human Capital and
Welfare of Households in
Rural Mexico: A Synthesis
of the Results of an
Evaluation by IFPRI
Skoufias,
(2001)
Assisting the Transition

from Workfare to Work: A
de
&
Mxico
Muestra
Grupo de nios que recibe el

tratamiento (n=336) y grupo de
nios que no recibe el
tratamiento (n=325)
Diseo comparativo transversal

en su primera fase.

de 24,000 familias de 506
localidades,
stas
fueron
distribuidas para forma el grupo
de tratamiento y el grupo
control.
Se utiliz el diseo aleatorio

controlado del programa y la
disponibilidad de informacin de
panel antes y despus de la
intervecin.
Institucional
Emmanuel
Mxico
Institucional
Galasso,
Emanuela;
Ravallion,
Martin;
Salvia, Agustin (2001)
Un total de 953 familias

participaron en la lnea base del
estudio. Dos grupos de
tratamiento y un grupo control
Argentina
Institucional
Educacin
Progressing
Through
Progresa:
An
Impact
Assessment of a School
Subsidy Experiment
Behrman,
Jere;
Sengupta, Piyali; Todd,
Petra (2001)
Mxico
Metodologa
506 aldeas rurales fueron

asignadas aleatoriamente para
participar en el programa o
servir como grupo control.
Comparacin de Medias entre

control.
Se emple el estimador Diferencia

en la Diferencias para medir el
La evaluacin utiliz un diseo de
medicin experimental.
Se aplic el Permanent Household
Survey.
Mtodo de evaluacin diferencia
en la diferencia, variables
instrumentales
y
grupos
aleatoriosLa informacin fue obtenida de la
lnea base de los estudios de
hogares (1997 y 1998).
El impacto del subsidio del
progresa se midi a travs del
Conclusiones
polticamente
menos
involucrados.
Las estimaciones indican que
PROGRESA no tuvo efectos
en el estado nutricional del
nio preescolar. Sin embargo,
a travs del anlisis de
regresin se encontr que el
programa est relacionado
significativamente con el
crecimiento en estatura y
disminuye las probabilidades
de atrofio en la niez.
PROGRESA increment de
manera
significativa
la
matrcula escolar, asimismo
redujo la tasa de desercin
escolar y la probabilida de
trabajar en los escolares.
Existe un efecto significativo

para los participantes del
grupo de tratamiento respecto
a la posibilidad de ser
empleados en el sector
privado.
Se hall que el programa

reduce
efectivamente
la
desercin escolar y favorece
el paso hacia el siguiente nivel
de estudios, particularmente
de la primaria ha la
242
rea de estudio
Autores / lugar
aplicacin / ao
Institucional
de
Muestra
Metodologa
Conclusiones
Modelo de Transicin Escolar de

Markov aplicado a la informacin
experimental.
secundaria.
Simulacin
programa.
sanidad.
Reforming Urban Water

Supply: The Case of Chile
Shirley, Mary M.,

Colin Xu L., and Ana
Maria Zuluaga (2000)
No se menciona
Chile
Institucional
Educacin
Remedying
Education:
Evidence
from
Two
Randomized Experiments
in India
Banerjee,
Abhijit,
Shawn Cole, Esther
Duflo & Leigh Linden.
(2004)
India

aleatoria estratificada de la
muestra segn lengua de
instruccin,
gnero
y
proporcionalidad
alumnosprofesores. El estudio evalu
62 escuelas en total.
Institucional
Educacin
Retrospective
Vs.
Prospective Analyses of
School Inputs: The Case of
Flip Charts in Kenya
Glewwe, Paul; Kremer,

Michael;
Moulin,
Sylvie; Zitzewitz, Eric
(2000)
Kenya
Institucional
Se
determin
grupo de
Muestra integrada por 89
escuelas que recibieron de
manera aleatoria los rota folios
(grupo de tratamiento) y 89
escuelas que no los recibieron
(Grupo control).
del
impacto
del
Diferencia
de
medias
simulacin contrafactual.
Para la elaborar la comparacin

contrafactual de los aos 1989 y
1998,
se
proyectaron
los
parmetros clave en base a sus
tendencias lineales desde 1981 a
1988.
Diseo
de
evaluacin
experimental.
Se analiz el efecto de los
programas Balskakhi y Mumbai.
en la diferencias, variables
instrumentales.
Evaluacin experimental de tipo
restrospectiva y prospectiva.
Si los nios participaran en el

programa a edades de 6 a 14
aos, experimentaran un
incremento de 0.6 aos en el
promedio
de
logro
educacional y un incremento
de 19% en el porcentaje de
jvenes que asisten a la
escuela secundaria
No se inform sobre ganancias
significativas respecto a la
privatizacin del agua.

Balskakhi y Mumbai tienen
efectos
positivos
y
significativos tanto en las
puntuaciones de las pruebas
de matemticas como de
lenguaje.
Las estimaciones prospectivas

acerca del uso de rota folios
en el desempeo acadmico
de los nios en Kenya no
muestran impacto en el
aprendizaje.
El anlisis sugiere que las
243
rea de estudio
Educacin
School
Meals,
Educational Achievement,
and School Competition:
Evidence
from
a
Randomized Evaluation
Autores / lugar
aplicacin / ao
Vermeersch,
Kremer,
(2004)
de
Christel;
Michael
Kenya
Muestra
50 escuelas fueron divididas

aleatoriamente en dos grupos
de 25 cada una: grupo de
tratamiento
y grupo
de
comparacin.
Institucional
Educacin
Mercado laboral y
Empleo
Schooling and Labor

Market Consequences of
School Construction in
Indonesia: Evidence from
an
Unusual
Policy
Experiment
Social Protection in a
Crisis: Argentina's Plan
Jefes y Jefas
Duflo, Esther (2001)

Indonesia
Institucional
Galasso, Emanuela and

Martin
Ravallion.
(2003)
Argentina
Metodologa
Conclusiones
Se utiliz un diseo de seleccin

aleatorio.
Estimacin de impacto utilizando
un intention-to-treat-estimator.
Se analiz a dos grupos: la

muestra total integradas por
152,989 varones con edad
promedio de 9.98 aos de
educacin completa, y el grupo
de quienes reciben salario: que
suman un total de 60.633.
Se
utiliz
la
informacin
provinientes
del
Intercensal
Survey of Indonesia (SUPAS,
1995).
Se
determin
grupo de
Se dividi la muestra entre los
que se benefician del programa
(grupo de tratamiento) y los
que solicitaron pero no se
benefician del tratamiento
(grupo control)
Anlisis de Regresin
Variables instrumentales,
Stage Least Squares
Two
Se utiliz la informacin de la
Encuesta Permanente de hogares
(2001 y 2002)
regresiones ms retrospectivas
tendran
mayor
sobrestimacin de los efectos
de un programa que brinda
rotafolios a gran escala.
el promedio de participacin
escolar y en su desempeo en
los exmenes de evaluacin;
asimismo
se
encontr
influencia
positiva
significativa en el peso de los
estudiantes varones
El
programa
increment
significativamente los aos de
educacin de los nios de 2 a
6 aos de edad en 0.12 aos
para la muestra troal y en 0.20
aos para la muestra de
quienes perciben salario. El
salario
se
increment
significativamente en 1.5%
como resultado del programa.
ingreso familiar e individual.
Diferencia de medias. Diferencia

en diferencia.
Institucional
Salud
Social
Support
and
Psychological Functioning
Among High-Risk Mother:
The impacto f the Baby
Love Maternal Outreach
Worker Program
Navaie-Waliser
M,
Martin SL, Tessaro I,
Campbell MC, & Cross
AW. (2000)
Estados Unidos
419 madres embarazadas, 221

pertenecen
al
grupo de
tratamiento y 198 al grupo
control.

Se
utilizaron
entrevistas
estructuradas cara a cara.
Escala
de
autoestima
Ronsenberg (1981)
de
El estudio sugiere que la

intensidad del apoyo es un
componente importante de los
programas
de
visita
a
domicilio que se centran en
desarrollar
las
funciones
244
rea de estudio
Educacin
Educacin
South Africa: A Review of

Two Evaluations of the
Application of the READ
Primary Schools Program
in the Eastern Cape
Province of South Africa.
Systemic
Education
Evaluation Evaluating the
Impact of Systemwide
Reform in Education
Autores / lugar
aplicacin / ao
de
Journal
Schollar, Eric (2001)
Sudfrica
Journal
Jonathan A. Supovitz
(2005)
Muestra
Se utiliz una muestra de

tratamiento de 850 escolares y
una muestra control de 360
escolares. La seleccin de la
muestra fue a travs del mtodo
de conteo por intervalo simple.
20,000 estudiantes de las 14
provincias ms grandes del
estado de Florida.
Estados Unidos
Journal
126 directores de escuela., 96

de escuelas elementales y 25 de
nivel secundario.
Metodologa
Conclusiones
psicolgicas de las madres.
Diseo pretest postest.

lectura y escritura.
Se utiliz el mtodo de evaluacin

Estudio de tipo no experimental.

La medicin del impacto del
programa Duval se bas en el
logro
obtenido
por
los
estudiantes., el promedio de
puntuacin alcanzado en lectura y
matemticas
as
como
la
comparacin entre las escuelas
fue a travs de la observacin de
cinco aos: 1999, 2000, 2001,
2002 y 2003.
Las estimaciones de impacto

podran
no
reflejar
el
verdadero
impacto
del
programa Duval. Aunque
utilizar un modelo de efectos
de correccin reduce el monto
de
desviacin
de
las
caractersticas estables de la
escuela,
el
monto
que
permanece luego aplicar los
controles basados en los
modelos es desconocido
Se aplicaron anlisis descriptivos,

modelos de regresin de mnimos
cuadrados.
Visitas estructuras a centros
educativos para la observacin de
temas particulares.
245
Tal como se observa en la Tabla N3.3, se han realizado evaluaciones de

impacto en distintos mbitos, siendo necesario, por tanto, resumir la informacin
de las mismas utilizando la va estadstica. Los resultados se presentan en el
siguiente subttulo.
3.2.2.1. Revisin sistemtica de las tendencias de evaluacin de impacto
En esta seccin se presenta la revisin sistemtica de las tendencias de
evaluacin de impacto de los programas sociales en el mundo. De una muestra no
aleatoria de 437 informes de evaluacin, se realiza un anlisis estadstico de sus
principales caractersticas, tendencias metodolgicas, reas de aplicacin e
impacto. En una primera seccin se presenta la descripcin de los estudios, en
general, mientras que en una segunda se realiza una comparacin entre las
Evaluaciones de Impacto (EI) realizadas en el Per, frente a las realizadas en el
resto del mundo.
3.2.2.1.1. Evaluacin de impacto: Perspectiva global
Segn el continente o regin donde tuvo lugar el estudio de evaluacin de
impacto (n=433), el mayor porcentaje de ellos se realiz en Latinoamrica
incluyendo Mxico- (37.4%), frica (18.7%), Asia (16.1%), Amrica del Norte
(13.2%) y Europa (8.8%). Al respecto, los tres primeros continentes estn
comprendidos principalmente- por pases pobres o en vas de desarrollo; mientras
que los dos ltimos estn integrados por pases desarrollados. Por otro lado, 4.2%
de los estudios de impacto se han realizado en diversos continentes y 0.2% no
especifican el lugar de evaluacin.
8.5%
16.4%
13.4%
18.5%
37.4%
1.4%
Diversos continentes (4.2%)
No se especifica (0.2%)
Figura N 3.1. Distribucin porcentual de la evaluacin de impacto de los programas sociales segn
continente (Fuente: Elaboracin propia).
246
Respecto a los pases en donde se realizaron las evaluaciones de impacto, se

destacan Mxico y Per, para el caso de Latinoamrica; Kenya para el caso del
continente africano; Bangladesh e India para Asia; Estados Unidos para Amrica
del Norte; Reino Unido para Europa y Australia para Oceana. Estos valores se
presentan en la Tabla 3.4.
Tabla N. 3.4. Pases donde se realizaron las evaluaciones de impacto (Valores expresados en
frecuencias) (Fuente: Elaboracin propia).
Latino Amrica
frica
Mxico (33)
Chile (3)
Kenya (16)
Per (33)
Argentina (16)
Costa Rica (3)

El Salvador (3)
Colombia (15)
Brasil (14)
Jamaica (2)
Repblica
Dominicana (2)
Hait (1)
Panam (1)
Paraguay (1)
Multinacional
(13)
Honduras (7)
Nicaragua (6)
Bolivia (5)
Ecuador (4)
Guatemala (4)
Reino Unido
(19)
Suecia (4)
Holanda (3)
Espaa (2)
Alemania (2)
Europa
Dinamarca (1)
Italia (1)
Polonia (1)
Rusia (1)
Multinacional
(2)
Asia
Bangladesh
(15)
India (12)
Indonesia (10)
Armenia (2)
Sudfrica (7)
Uganda (6)
Burkina Faso
(2)
Camern (2)
Liberia (2)
Ghana (5)
Marruecos (5)
Mozambique (2)
Egipto (1)
Filipinas (8)
China (4)
Nepal (2)
Singapur (1)
Malawi (4)
Tanzania (4)
Tnez (4)
Zambia (4)
Eritrea (1)
Magadascar (1)
Namibia (1)
Sierra Leona (1)
Israel (4)
Tailandia (1)
Pakistn (3)
Turqua (1)
Vietnam (3)
Multinacional (1)
Etiopa (3)
Guinea (3)
Zimbabwe (3)
Sudn (1)
Turqua (1)
Zaire (1)
Amrica del norte

Estados Unidos (53)
Georgia (2)
Korea (2)
Oceana
Australia (6)
Canad (4)
Multinacional (1)
Bulgaria (1)
En cuanto a la fuente de publicacin de los artculos o informes de

evaluacin de impacto, solamente el 23.6% proviene de revistas cientficas
internacionales; la gran mayora (75.8%) proviene de informes institucionales
(Working Papper) de organismos tales como el Banco Mundial, Banco
interamericano de Desarrollo, Institutos de Investigacin de Universidades, entre
otros.
Tabla N 3.5. Fuente de publicacin de los artculos o informes de evaluacin de impacto (Fuente:
Elaboracin propia).
Tipo
Institucional
Journal
No se especifica
Total
Frecuencia
328
103
2
433
Porcentaje
75.8
23.8
0.4
100.0
Segn se muestra en la Figura 3.2, los estudios de evaluacin de impacto de

programas se han incrementado significativamente hacia fines de las dcada de los
247
noventa y principios de la presente dcada. Por tanto, la gran mayora (77.3%) de

estos estudios han sido publicados en los ltimos seis aos; 15.2% durante la
dcada de los noventa y slo 7.4% desde 1976 hasta 1989. Este dato demuestra que
la tendencia creciente de la evaluacin de impacto es geomtrica.
80
7.4%
(1976-1989)
15.2%
(1990-1999)
77.3%
(2000- Ag.2006)
Frecuencia
60
40
20
0
1981
1985
1993
1997
2001
2005
Figura N 3.2. Ao de publicacin de los artculos o informes de evaluacin de impacto (Fuente:

Elaboracin propia).
Tal como se aprecia en la Tabla 3.6, las principales reas de estudio e

inters de las evaluaciones de impacto son los programas educativos (26.3%), de
salud (21.5%), de pobreza extrema (14.6%) y de empleo (11.4%). En menor
porcentaje se han centrado en la evaluacin de programas alimentarios,
infraestructura y electrificacin, agricultura y ganadera, entre otros.
Tabla N 3.6. rea donde se realiz la evaluacin de impacto (Fuente: Elaboracin propia).
reas
Educacin
Salud
Pobreza extrema
Empleo
Alimentacin
Infraestructura y electrificacin
Agricultura y ganadera
Agua y sanidad
Justicia
Micro crdito e ingresos familiar
Calidad de vida, convivencia social y medio ambiente
Desarrollo urbano (ttulos propiedad)
No se especifica
Total
Frecuencia
113
94
64
49
19
18
18
16
14
13
8
4
3
433
Porcentaje
26.1
21.7
14.8
11.3
4.4
4.2
4.2
3.7
3.2
3.0
1.8
.9
.7
100.0
248
Por otro lado, segn se observa en la Tabla 3.7, que entre las poblaciones
beneficiadas por los programas sociales se destacan las familias (48.1%) y los
estudiantes de educacin bsica (11.4%). La eleccin de estas poblaciones
beneficiarias guarda correspondencia con las reas de estudios preponderantes en
las evaluaciones de impacto sealadas anteriormente: educacin, salud y pobreza
extrema.
Tabla N 3.7. Poblacin beneficiaria de los programas considerados en los artculos o informes de
evaluacin de impacto (Fuente: Elaboracin propia).
Tipo
Familias
Estudiantes de educacin bsica
Nios e infantes
Adultos y ancianos
Jvenes
Mujeres
Profesionales o expertos
Pases
Pacientes o personas discapacitadas
Estudiantes de educacin superior
No se especifica
Total
Frecuencia
210
50
41
38
28
26
13
10
8
5
8
437
Porcentaje
48.1
11.4
9.4
8.7
6.4
5.9
3.0
2.3
1.8
1.1
1.8
100.0
Segn se observa en la Tabla 3.8, los datos requeridos para el proceso de

anlisis cuantitativo o cualitativo del impacto de los programas, fueron obtenidos
principalmente de personas (51.9%) o familias (18.9%). Otros tipos de unidades de
anlisis considerados lo constituyen las delimitaciones territoriales o
gubernamentales (distritos, comunidades, pases), organizaciones o instituciones,
programas o proyectos sociales; incluyndose, tambin, estudios previos sobre
evaluacin de impacto de programas sociales, bajo un enfoque revisionista.
Tabla N 3.8. Unidad de anlisis considerada por los artculos o informes de evaluacin de impacto
(Fuente: Elaboracin propia).
Tipo
Personas
Familias
Distritos, comunidades, localidades o pases
Centros, instituciones u organizaciones
Programas o proyectos sociales
Estudios previos
No se especific
Total
Frecuencia
227
79
36
36
28
12
19
437
Porcentaje
51.9
18.1
8.2
8.2
6.4
2.7
4.3
100.0
De acuerdo con la naturaleza de la recoleccin de datos, se encontr que

49.9% de evaluaciones han usado datos primarios, mientras que 37.5% han usado
datos secundarios. Se demuestra as la importancia de los datos secundarios en el
desarrollo de estos estudios. Estos valores se presentan en la Tabla 3.9.
249
Tabla N 3.9. Origen de los datos utilizados para el anlisis de la evaluacin de impacto (Fuente:
Elaboracin propia).
Tipo
Primarios
Secundarios
No se especific
Total
Frecuencia
218
164
55
437
Porcentaje
49.9
37.5
12.6
100.0
Segn se muestra en la Tabla 3.10, los medios o instrumentos de

recoleccin de datos empleados para el proceso de EI comprenden, principalmente,
los registros de datos secundarios (35.9%) y los cuestionarios (32%). Asimismo,
un porcentaje importante hizo uso de la entrevista (13.7%). Estos dos ltimos
instrumentos se han utilizado exclusivamente para la recoleccin de datos
primarios.
Tabla N 3.10. Instrumento utilizado para la recoleccin de datos en los artculos o informes de
Tipo
Registros de datos secundarios
Cuestionario
Entrevista
Fichas de observacin
No se precis
Total
Frecuencia
157
140
60
10
70
437
Porcentaje
35.9
32.0
13.7
2.3
16.0
100.0
Por otro lado, el mayor porcentaje de artculos o informes de evaluacin de

impacto reportan el empleo de la metodologa cuasi-experimental (41%). Tambin
es significativo el porcentaje de artculos que siguen el mtodo pre-experimental
(19%) y de anlisis cualitativo (14.2%). Aquellos informes de evaluacin que han
utilizado la metodologa experimental propiamente dicha solamente constituyen
slo el 9.4%. Se observa tambin la aparicin de informes de metodologa metaanaltica (1.6%), siendo estas muy recientes. Se verifica, entonces, la primacia del
diseo cuasi-experimental en la EI.
Tabla N 3.11. Metodologa de investigacin empleada en los artculos o informes de evaluacin de
impacto (Fuente: Elaboracin propia).
Tipo
Cuasi-experimental
Pre-experimental
Anlisis cualitativo
Experimental
Meta-anlisis
No se especifica
Total
Frecuencia
179
83
62
41
7
65
437
Porcentaje
41.0
19.0
14.2
9.4
1.6
14.9
100.0
En la Tabla 3.12 se muestra que los informes de evaluacin de impacto que

han usado grupo control superan en gran medida a aquellos que no lo han hecho
(n=225 vs. n=84). Al respecto, como era de esperarse, son ms frecuentes los
estudios con grupo control que han utilizado la metodologa experimental (n=40) o
cuasi-experimental (n=172), mientras que es menor si se trata de artculos que
siguen la metodologa pre-experimental, de anlisis cualitativo o meta-anlisis.
250
Por otro lado, los estudios experimentales refieren, en primer lugar, el uso
de muestreo probabilstico (n=36), mientras que los estudios cuasi-experimentales
reportan con mayor frecuencia el muestreo tanto probabilstico (n=48) como no
probabilstico (n=54). Los estudios pre-experimentales, de anlisis cualitativo y
meta-anlisis fueron los que, en mayor nmero, no utilizaron muestreo
probabilstico. Estos valores se presentan en la Tabla 3.13.
Tabla N 3.12. Metodologa de investigacin empleada segn el uso de grupo control en los
artculos o informes de evaluacin de impacto (Fuente: Elaboracin propia).
Uso de grupo control
Metodologa
No (Fr)
1
6
54
20
3
84
Experimental
Cuasi-experimental
Pre-experimental
Anlisis cualitativo
Meta-anlisis
Total
Total (Fr)
S (Fr)
40
172
7
5
1
225
41
178
61
25
4
309
Tabla N 3.13. Frecuencia de artculos o informes de evaluacin de impacto segn la metodologa

de investigacin y el tipo de muestreo empleado
Metodologa
Experimental
Cuasi-experimental
Pre-experimental
Anlisis cualitativo
Meta-anlisis
Total
Probabilstico
36
48
11
7
102
Tipo de muestreo empleado

No probabilstico
Sin muestreo
2
2
54
26
10
15
2
15
1
2
69
60
Total
Censo
40
131
37
24
3
235
3
1
Segn el tamao de las muestras empleadas, un alto porcentaje de informes

de EI no informan al respecto (23.6%), no obstante, se observa que es mayor la
tendencia de utilizar muestras superiores a los 1,000 sujetos (33.4%). Estos valores
se presentan en la Tabla 3.14.
Tabla N 3.14. Tamao de muestras reportadas en los informes de evaluacin de impacto (Fuente:
Elaboracin propia).
Intervalos
Menos de 49
50 99
100 299
300 499
500 999
1000 a 2999
3000 a ms
No se especifica
Total
Frecuencia
46
28
51
22
41
45
101
103
437
Porcentaje
10.5
6.4
11.7
5.0
9.4
10.3
23.1
23.6
100.0
Entre los diseos de evaluacin se destacan, en primer lugar, el uso de la

diferencia en las diferencias (24.3%), seguido por los diseos pretest- postest
(15.3%) y de diferencias slo postest (15.1%). Llama la atencin que uno de los
diseos cuasi-experimentales ms robustos (discontinuidad de la regresin) sea uno
de los menos usados (0.9%).
251
Tabla N 3.15. Diseos de evaluacin reportados en los informes de evaluacin de impacto (Fuente:
Elaboracin propia).
Tipo
Diferencias en diferencias
Pretest - postest
Diferencias slo postest
Series de tiempo interrumpidas
Costo beneficio
Estudio de caso
Descripcin de medias y porcentajes
Discontinuidad de la regresin
No se especifica
Total
Frecuencia
106
67
66
38
18
16
12
4
110
437
Porcentaje
24.3
15.3
15.1
8.7
4.1
3.7
2.7
.9
25.2
100.0
Respecto al uso de la tcnica de variables instrumentales, se encontr que

dicha tcnica fue sealada solamente en 7.6% de informes de EI vase la Tabla
3.16. A pesar que es una tcnica poderosa para controlar sesgos por efectos de
variables endgenas, su uso se ve restringido.
Tabla N 3.16. Uso de variables instrumentales en los informes de evaluacin de impacto (Fuente:
Elaboracin propia).
Uso
No
S
No se especifica
Total
Frecuencia
392
33
12
437
Porcentaje
89.7
7.6
2.7
100.0
De igual manera, es reducido el porcentaje de artculos o informes de

evaluacin de impacto donde se seal la utilizacin de tcnicas de
emparejamiento de grupos muestrales. As, slo el 19.7% de los artculos informan
del uso de esta tcnica para controlar sesgos de seleccin.
Tabla N 3.17. Uso de emparejamiento de grupos en los informes de evaluacin de impacto
Uso
No
S
Total
No se especifica
Total
Frecuencia
341
86
427
10
437
Porcentaje
78.0
19.7
97.7
2.3
100.0
No obstante existe un alto porcentaje de informes de evaluacin que no

hacen referencia a los anlisis estadsticos aplicados (45.3%), la mayora de
artculos que s informan, han utilizado ecuaciones de regresin (38%), estadsticas
de comparacin de medias (8.2%) y las estadsticas de tipo descriptivas (5.5%).
Definitivamente, las ecuaciones de modelamiento lineal (regresin) son las ms
populares en la EI, debido quiz por su flexibilidad y simplicidad.
Tabla N 3.18. Anlisis estadsticos empleados en los informes de evaluacin de impacto (Fuente:
Elaboracin propia).
Tipo
Ecuaciones de regresin
Frecuencia
166
Porcentaje
38.0
252
Estadsticas de comparacin de medias

Estadsticas descriptivas (correlacin, porcentajes, etc.)
Anlisis categrico cualitativo
ARIMAs
Ecuaciones estructurales
No se especific
Total
36
24
6
4
3
198
437
8.2
5.5
1.4
.9
.7
45.3
100.0
En cuanto a los resultados de la evaluacin, un porcentaje significativo de

informes de EI (79.2%) concluy que los programas sociales evaluados han
generado impacto en la calidad de vida de sus beneficiarios. No obstante, existe un
importante porcentaje (16.5%) que concluy la ineficacia del programa, en la
medida que no produjo impacto significativo. En trminos de proporcin, por lo
menos 2 de cada 10 programas sociales evaluados no han producido efecto
positivo alguno en los beneficiarios.
Tabla N 3.19. Impacto alcanzado por el programa o proyecto social evaluado (Fuente: Elaboracin
propia).
Impacto
Tuvo impacto
No tuvo impacto
No se especifica
Total
Frecuencia
346
72
19
437
Porcentaje
79.2
16.5
4.3
100.0
En sntesis, la principal fuente de difusin y produccin de EI en el mundo

son los Organismos Internacionales, quienes han aportado ms del 75% de la
produccin de informes. Esta es la razn por la cual los informes provienen ms de
pases en desarrollo y se centran en aspectos educativos, de salud, pobreza y
empleo, por cuanto son el objetivo e inters de estos organismos. Adicionalmente,
las EI han aumentado geomtricamente durante los ltimos 30 aos,
concentrndose ms del 77% en el periodo 2000-2006. En trminos
metodolgicos, un importante porcentaje de EI (37.5%) utiliza datos secundarios, y
en el caso de los primarios, el instrumento ms usado es el cuestionario. El diseo
ms usado es el cuasi-experimental (41%), principalmente el de diferencias en
diferencias. El tamao de la muestra es muy variable (33.4% supera las mil
unidades) y se centra principalmente en personas y familias. En cuanto al uso de
tcnicas de control especiales, su uso es muy limitado para el caso de las variables
instrumentales (7.6%) y limitado para el matching (19.7%). La tcnica estadstica
ms empleada es la regresin (38%). Finalmente, los resultados indican que por lo
menos 2 de cada 10 programas evaluados no muestran impacto positivo alguno.
3.2.2.1.2. Evaluacin de impacto: Per vs el mundo
A continuacin se presentan los diferentes anlisis comparativos entre los
estudios de EI realizados en nuestro pas y los correspondientes al resto del mundo.
De este modo, se observa que los primeros estn representados por el 7.6% del
total de informes sobre evaluacin de impacto; mientras que los segundos por el
91.5%. Asimismo, se tienen tres informes que no refieren el pas donde se ejecut
253
la evaluacin del respectivo programa social; por lo tanto, el anlisis comparativo

se limita a 433 informes. Estos valores se presentan en la Tabla 3.20.
Tabla N 3.20. Pas donde fueron realizados los programas sociales contenidos en los informes de
Pas
Per
Otros pases
No especifica
Total
Frecuencia
29
404
3
436
Porcentaje
7.6
91.5
0.9
100.0
Segn se muestra en la Tabla 3.21, todos los artculos o informes sobre

evaluacin del impacto aplicados en nuestro pas han sido publicados o archivados
en fuentes institucionales50. En el caso de los pases extranjeros, se encontr un
significativo porcentaje de informes que han sido publicados en revistas de
investigacin (25.3%). Esto hecho es un indicador del menor apoyo tanto
acadmico como econmico a la realizacin de estudios de evaluacin de impacto
en nuestro medio nacional.
Tabla N 3.21. Fuente de publicacin de los artculos o informes de evaluacin de impacto en el
Per y otros pases (Fuente: Elaboracin propia).
Fuente
Institucional
Revistas cientficas
No se especifica
Total
Otros pases (n = 404)

74.3
25.3
0.4
100.0
Per (n= 29)

100.0
100.0
Por otro lado, en la Figura N 3.3 se muestra que la tendencia histrica de

publicacin de artculos o informes de evaluacin de impacto es muy similar entre
el Per y el resto de pases. No obstante, llama la atencin la ausencia de estudios
de evaluacin de impacto en nuestro pas durante el intervalo de tiempo
comprendido entre fines de la dcada de los ochenta y mediados de los aos
noventa. Situacin coincidente con los graves problemas de ndole poltico y
econmico que atraves el pas, marcados por el terrorismo y la dictadura.
50
Ello no excluye que algunos autores nacionales han publicado sus informes va artculo de
investigacin en Working Pappers de instituciones extranjeras. Ejm: Chong A. & Galdo J. (2006) y
Valdivia M. (2004).
254
Porcentaje
20
10
Per
0
1976
Otros pases
1982
1988
1994
1998
2002
2006
Figura N 3.3. Ao de publicacin de los artculos o informes de evaluacin de impacto en el Per

y otros pases (Fuente: Elaboracin propia).
Respecto a la comparacin entre las reas de estudio de los artculos o

informes sobre EI tanto en el Per como en el mundo, se encontr que la
diversidad temtica es caracterstica en ambas circunscripciones; sin embargo,
existe diferencia en la jerarqua que ocupan dichas reas. As, en el caso de los
programas sociales de pases extranjeros, sobresale la evaluacin de impacto en
educacin (27.3%), salud (23%) y pobreza extrema (15%); mientras que en nuestro
pas se destac, en primer lugar, la evaluacin de programas sociales referentes a
empleo (18%) y, en segundo lugar, la pobreza extrema (15.2%). Vase la Tabla
3.22.
La informacin de la Tabla 3.23 nos indica que, tanto en el Per como en
otros pases, la EI de programas sociales est orientada hacia la poblacin en
general, ms especficamente a las familias (Per =54.5% y otros pases = 47.8%).
Asimismo, en nuestro pas, es mayor el porcentaje de artculos sobre programas
enfocados en poblaciones de nios y jvenes (15.2% y 9.1%) si lo comparamos
con los artculos del resto de pases (9% y 6.3%). Por otro lado, en nuestro medio
se carece de artculos o informes sobre la evaluacin de impacto de aquellos
programas sociales dirigidos a beneficiarios ancianos.
255
Tabla N 3.22. reas de evaluacin de impacto en el Per y otros pases (Fuente: Elaboracin
propia).
reas
Agua y sanidad
Empleo
Educacin
Salud
infraestructura y electrificacin
Justicia
Alimentacin
Pobreza extrema
Desarrollo urbano (Ttulos de propiedad)
Micro crdito e ingresos familiar
Calidad de vida, convivencia social y medio ambiente
Agricultura y ganadera
No se especifica
Total

3.5
11.0
27.3
23.0
3.5
3.5
3.5
15
1.0
2.8
1.8
3.8
0.5
100.0
Per (n =29)
6.1
18.2
12.1
6.1
12.1
--15.2
12.1
--6.1
3.0
6.1
3.0
100.0
Tabla N 3.23. Poblacin beneficiaria de los programas evaluados en el Per y otros pases (Fuente:
Elaboracin propia).
Beneficiarios
Poblacin en general (familias)
Nios y nias
Estudiantes de educacin bsica
Adultos mayores y ancianos
Jvenes
Pacientes o personas discapacitadas
Mujeres
Profesionales o expertos
Pases
No se especifica
Total

47.8
9.0
11.3
9.3
6.3
1.6
6.0
3.3
2.5
1.8
100.0
Per (n =29)
54.5
15.2
9.1
--9.1
3.0
6.1
----3.0
100.0
De manera coincidente, en nuestro pas y el resto del mundo, los artculos

indican, en mayor medida, que las evaluaciones de impacto de los programas
sociales utilizaron como unidades de anlisis a personas (51.5%) o familias
(18.2%). No obstante, para el caso de nuestro pas es significativamente mayor el
porcentaje de los artculos que no especifican dicha informacin (12.1%). Vase la
Tabla 3.24.
Tabla N 3.24. Unidad de anlisis considerada en los informes de evaluacin de impacto en el Per
y otros pases (Fuente: Elaboracin propia).
Unidades
Familias
Distritos, comunidades, Localidades o pases
Personas
Estudios previos
Centros, instituciones u organizaciones
Programas sociales
No se especifica
Total

18.3
8.5
51.5
3.0
8.5
6.5
3.7
100.0
Per (n =29)
18.2
6.1
51.5
--6.1
6.1
12.1
100.0
An cuando es alto el porcentaje de artculos de EI que no especifica la

procedencia de sus datos de anlisis, se encontr que en el Per la preponderancia
de los datos primarios sobre los secundarios es evidente, situacin parecida a los
256
estudios de impacto de otros pases. Sin embargo, que 30.3% de informes

nacionales no especifiquen la naturaleza del origen de sus datos es un indicador de
serias deficiencias metodolgicas. Vase la Tabla 3.25.
Tabla N 3.25. Origen de los datos utilizados para el anlisis segn se indica en los informes de
evaluacin de impacto en el Per y otros pases (Fuente: Elaboracin propia).
Tipo
Primarios
Secundarios
No se especifica
Total

50.3
38.5
11.3
100.0
Per (n =29)
39.4
30.3
30.3
100.0
Se encontr que tanto en los estudios de evaluacin de impacto de

programas sociales ejecutados en nuestro pas como en el resto del mundo existe
mayor preferencia por el uso de los registros de datos secundarios, en primer lugar;
y la utilizacin de cuestionarios y entrevistas, en segundo y tercer lugar. No
obstante, es significativamente alto el porcentaje de artculos que no brindaron
informacin al respecto, siendo mayor en el caso de las evaluaciones realizadas en
nuestro pas (33.3% vs. 14.8%).
Tabla N 3.26. Instrumentos utilizados para la recoleccin de datos segn los informes de
evaluacin de impacto en el Per y otros pases (Fuente: Elaboracin propia).
Instrumentos
Cuestionario
Fichas de observacin
Registros de datos secundarios
Entrevista
No se especifica
Total

32.0
2.3
36.8
14.3
14.8
100.0
Per (n =29)
27.3
3.0
30.3
6.1
33.3
100.0
Asimismo, el porcentaje de informes de evaluacin de impacto nacionales

que no hacen mencin a su metodologa empleada es alto en comparacin a los
artculos del resto de pases (36.4% vs. 13.3%). No obstante, tanto en nuestro pas
como en el resto del mundo las EI siguieron principalmente la metodologa cuasiexperimental. Adems, es significativo el porcentaje de artculos sobre
evaluaciones de impacto realizadas en nuestro pas donde se utiliz una
metodologa pre-experimental (24.2%). De igual forma, nuestro pas carece de la
publicacin de artculos o informes respecto a evaluaciones de impacto con
metodologas experimental o de meta-anlisis.
Tabla N 3.27. Metodologa de investigacin empleada en la evaluacin de impacto en el Per y
otros pases (Fuente: Elaboracin propia).
Mtodos
Experimental
Cuasi-experimental
Pre-experimental
Anlisis cualitativo
Meta-anlisis
No se especifica
Total

10.3
41.8
18.5
14.5
1.8
13.3
100.0
Per (n =29)
--30.3
24.2
9.1
--36.4
100.0
257
En la Tabla 3.28 se observa que los porcentajes de informes de evaluacin

de impacto donde no se menciona el diseo empleado son significativamente altos,
siendo mayor en nuestro pas (42.4%). Asimismo, son dos los diseos ms
frecuentes utilizados en nuestro pas: diseo de diferencia en diferencias (doble
diferencias) y diseo pretest-postest; mientras que en los informes internacionales
se agrega a estos dos el diseo de las diferencias slo postest. Por otro lado, se
observa la ausencia de informes nacionales con diseos de discontinuidad de la
regresin, descripcin de medias y porcentajes y los estudios de casos.
Tabla N 3.28. Diseos de evaluacin utilizados en la evaluacin de impacto en Per y otros pases
Tipos
Diferencias en diferencias
Discontinuidad de la regresin
Pretest postest
Series de tiempo interrumpidas
Diferencias slo postest
Descripcin de medias y porcentajes
Costo beneficio
Estudios de caso
No se especifica
Total

24.8
1.0
15.0
9.0
16.3
3.0
3.5
4.0
23.5
400
Per (n =29)
18.2
--18.2
6.1
3.0
--12.1
--42.4
100.0
La Tabla 3.29 muestra que el porcentaje de informes donde se menciona el

empleo de muestras probabilsticas es similar para el Per y el resto de pases
(21.2% y 24.3% respectivamente). Sin embargo, en el caso de nuestro pas, el
75.8% no contiene informacin al respecto.
Tabla N 3.29. Tipo de muestreo empleado en la evaluacin de impacto en Per y otros pases
Tipo
Probabilstico
No probabilstico
Sin muestreo
Censo
No se especifica
Total

24.3
18.0
14.8
1.0
42.0
100.0
Per (n =29)
21.2
--3.0
--75.8
100.0
Asimismo, se encontr que en nuestro pas un alto porcentaje de artculos

no informan sobre las tcnicas utilizadas para favorecer o determinar dicha
evaluacin; mientras que en el resto de pases slo se encontr una significativa
falta de referencias respecto al uso o no de grupo control. No obstante, los estudios
de evaluacin de impacto en nuestro pas como en el resto de mundo hacen
referencia, en un porcentaje significativo, al uso de grupos control en sus procesos
de anlisis (48.5% y 54% respectivamente).
258
Tabla N 3.30. Tcnicas de control de variables extraas utilizadas en la evaluacin del impacto de
los programas sociales del Per y otros pases (Fuente: Elaboracin propia).
Tcnicas
S
Grupo control
Emparejamiento
54.0
7.5
19.3

No
No especifica
22.3
91.3
80.0
23.8
1.3
0.8
S
48.5
9.1
27.3
Per (n =29)
No
15.2
69.7
51.5
No
especifica
36.4
21.2
21.2
Respecto a los tipos de anlisis estadsticos utilizados en las evaluaciones

de impacto, se encontr que tanto en nuestro pas como en el resto de pases existe
un alto porcentaje que no hacen mencin al respecto, siendo mayor para el caso de
nuestro pas (69.7% vs. 43.5%). No obstante, tanto las evaluaciones de impacto
realizadas en nuestro pas como en los otros pases emplearon, en su mayora,
ecuaciones de regresin (21.2% y 39.5% respectivamente).
Tabla N 3.31. Anlisis estadsticos empleados en la evaluacin de impacto en el Per y otros pases
Tipos
Ecuaciones de regresin
Ecuaciones estructurales
Estadsticas de comparacin de medias
ARIMAs
Estadsticas descriptivas (correlacin, porcentajes, etc.)
Anlisis categrico cualitativo
No se especifica
Total

39.5
0.8
8.8
1.0
5.0
1.5
43.5
100.0
Per (n =29)
21.2
------9.1
--69.7
100.0
Respecto al impacto obtenido por los programas sociales, se observa un

porcentaje significativamente alto de informes que no hacen mencin sobre este
aspecto (24.2%). No obstante, en nuestro pas el porcentaje de programas o
proyectos sociales evaluados que obtuvieron un impacto positivo es menor que en
el resto de pases (63.6% vs. 80.8%) o inespecfico (24.2% vs. 2.8%).
Tabla N 3.32. Impacto alcanzado por el programa social evaluado en Per y otros pases (Fuente:
Elaboracin propia).
Impacto
Positivo
Negativo
No se especifica
Total

80.8
16.5
2.8
100.0
Per (n =29)
63.6
12.1
24.2
100.0
En sntesis, las nicas fuentes de difusin y produccin de EI en el Per son

las Instituciones Nacionales y Organismos Internacionales, quienes han aportado el
100% de la produccin de informes. La principal rea de inters es el empleo y la
lucha contra la pobreza. Similar al mbito internacional, las EI en el Per han
aumentado geomtricamente durante la ltima dcada, con una disminucin en la
dcada del 90 quiz debido a la coyuntura poltica. En trminos metodolgicos, las
EI nacionales subinforman u omiten importantes aspectos metodolgicos en sus
informes, dando indicios de deficiencias. Igual que en el extranjero, el diseo ms
frecuente es el cuasi-experimental, aunque en nuestro pas no se han realizado
259
diseos experimentales ni meta-analticos; si se han empleado ms tcnicas de

control de sesgos como el matching o las variables instrumentales. En cuanto al
impacto de los programas evaluados, en el Per se reportan menos programas con
efectos negativos, pero 24.2% no especifica adecuadamente impacto alguno, hecho
debido a las deficiencias metodolgicas mencionadas.
3.2.2.2. Desarrollo metodolgico: Nuevas estrategias
Los mtodos de evaluacin clsicos basados en estudios costo-beneficio,
costo-eficiencia o de estudios de impacto, han sido utilizados principalmente por
gobiernos y organismos internacionales en su necesidad de evaluar intervenciones
de poltica, con la idea de brindar elementos objetivos sobre la racionalidad de los
programas y evitar su fracaso. Uno de los campos en donde estas evaluaciones han
sido ms utilizadas es precisamente el campo de las polticas activas de empleo y,
en particular, en los programas de capacitacin y formacin para el trabajo en
grupos objetivo vulnerables, como pueden ser los jvenes de bajos ingresos o los
desempleados de larga duracin. Sin embargo, desde medios acadmicos y,
posteriormente, desde su adopcin por organismos multilaterales y consultores
independientes, ha sido creciente la utilizacin de mtodos ms elaborados que
implican el uso de tcnicas estadsticas y mtricas ms avanzadas que los mtodos
ms clsicos. La localizacin de problemas serios de simultaneidad y de sesgos
importantes en las estimaciones de los indicadores que medan el impacto de los
programas, por parte de acadmicos y estudiosos del tema, llamaron la atencin
hacia problemas antes ignorados. La necesidad de contar con mtodos rigurosos de
validacin y, a la vez, los avances en la teora estadstica y de la medicin social,
pusieron al alcance de la prctica una cantidad de opciones metodolgicas que
prometan ser mtodos que aportaran mayor rigurosidad a la hora de discutir la
propia existencia de varios programas de empleo y formacin (Diez de Medina,
2003). Este es pues el origen de la metodologa cuasi-experimental.
Desde entonces, el uso de esta metodologa se ha extendido por todo el
mundo, tal como se ha demostrado en el subttulo anterior, establecindose una
etapa de desarrollo normal basado en los aportes originales de Campbell y
Stanley (1966) y sus modificaciones. Sin embargo, recientemente se han venido
publicando, en diversas revistas internacionales, aportes significativos que salen de
ese parmetro normal de la metodologa cuasi-experimental y que requieren una
revisin detallada para captar sus posibilidades de aplicacin en los mbitos de
evaluacin, los cuales requieren constantemente ser optimizados.
De lo dicho, a continuacin se resumen algunos aportes metodolgicos
novedosos tiles para la evaluacin de impacto de programas sociales publicados
en revistas internacionales.
Por ejemplo, Bustelo (2004) analiza la importancia del establecimiento de
las normas, estndares y cdigos en la creacin de una cultura de evaluacin, para
orientar a los profesionales sobre la prctica profesional y guiar la orientacin
tica. Segn Bustelo, es importante analizar cuestiones relacionadas con los
propsitos y la concepcin de la evaluacin, cuestiones relacionadas con la
naturaleza valorativa de la evaluacin, cuestiones relacionadas con la gestin de la
260
evaluacin: tipos y calendario, cuestiones relacionadas con la inversin en

evaluacin y cuestiones relacionadas con la comunicacin de los resultados.
Vivo (2006) muestra el uso de simulaciones estadsticas computarizadas
para analizar la inferencia causal de la evaluacin de impacto de los programas.
Estos procedimientos son tiles para comparar mediante simulacin las
limitaciones y bondades de los principales diseos de evaluacin de impacto. Se
usa la simulacin experimental computarizada (uso de datos simulados, inferencia
causal, aleatorizacin, diferencia en diferencias).
Michael, Schwerina, Michaelb, Glaserc & Farrar (2002), describen un
sistema de evaluacin de programas que puede ser aplicado a una amplia gama de
programas de Calidad de Vida, donde la visin es holstica y de objetivo nico. Las
medidas de evaluacin fueron diseadas especficamente para cada programa
consistiendo en un grupo clave de tems que evaluaron cmo cada programa
influye en los resultados especficos del programa.
Bifulco (2002) propone alternativas para determinar los sesgos de la
autoseleccin en las evaluaciones cuasi-experimentales de la reforma educativa. El
autor demuestra que desarrollar una estrategia de variable instrumental puede ser
utilizada para promover los estimadores comunes de valor agregado cuando slo se
tenga a disposicin, medidas post tratamiento. De esta forma, las amenazas
potenciales para la validez interna que poseera un programa con participantes
auto-seleccionados en comparacin con aqul donde los participantes fueron
obtenidos de manera aleatoria, se controlaran mediante la estrategia de la variable
instrumental, pues brindara estimaciones de los impactos del modelo similar a las
brindadas por el estimador diferencia en la diferencia.
Shu-Hong Zhu (1999) propone un mtodo para obtener un grupo control
aleatorio donde parece imposible. Segn el autor, aun en los trabajos de campo
aparecen alternativas que permiten al investigador obtener un grupo control
aleatorio sin comprometer los estndares ticos o afectar la probabilidad de una
potencial inclusin del participante en el estudio. Analizando el diseo utilizado en
un gran proyecto de salud en California, The California SmokersHelpli, demostr
la posibilidad de obtener grupos de control aleatorios en caso de programas de
intervencin social.
Curriea, Kinga, Rosenbaumb, Law, Kertoyc & Jacqueline (2005) proponen
un modelo de los impactos de las sociedades investigadores en servicios de salud
para ayudar a los investigadores, evaluadores, miembros de la comunidad, y a las
unidades de financiamiento a reflexionar sobre los impactos desde un modo amplio
y multidimensional. Este modelo de sistemas de procesos orientados representa
tres grandes dominios del impacto a medio plazo (incrementar el crecimiento,
favorecer el estudio de habilidades y utilizar la formacin). El modelo brinda a las
asociaciones investigadoras herramientas para demostrar su responsabilidad y para
facilitar las operaciones e impactos.
Madueo, M, Linares, J. & Zuria, A. (2004) han elaborado un instrumento
estandarizado de identificacin de beneficiarios para programas sociales en el Per.
El instrumento es estimado sobre la base de un conjunto de variables relacionadas
con el nivel de bienestar (proxy mean test) agrupadas en cuatro dimensiones de
anlisis: (a) caractersticas socio-demogrficas, (b) caractersticas de la vivienda,
261
(c) tenencia de activos durables y (d) de locacin. As, mediante el uso de tcnicas
multivariantes (basadas en el anlisis de componentes principales y escalas
ptimas), se define un sistema de puntuaciones por variables y categoras de
variables que posibilitan el clculo del IBEH y, por ende, un ordenamiento de la
poblacin. Finalmente, los autores plantean el uso del mtodo de conglomerados
para estratificar grupos homogneos al interior pero heterogneos entre s y
determinar los umbrales de bienestar para la elegibilidad de los hogares a los
subsidios pblicos. Los estimados muestran que el IBEH tiene una mejor
capacidad de discriminacin que otros indicadores tradicionales utilizados para la
segmentacin de la poblacin (Ej. gasto per cpita, nivel de pobreza, entre otros),
lo cual se traducira en resultados ms eficientes en trminos de reduccin de
errores de focalizacin. Asimismo, el menor costo relativo en la recopilacin de
informacin y el uso de informacin de mejor calidad y de fcil verificacin
favorecen su aplicacin como instrumento de focalizacin individual en mbitos
urbanos.
262
IV. ESTRATEGIAS METODOLGICAS DE

EVALUACIN DE IMPACTO: MODELO
ARYSIS
En la revisin sistemtica se ha encontrado que la principal fuente de
difusin y produccin de EI en el mundo son los Organismos Internacionales,
quienes han aportado ms del 75% de la produccin de informes, centrndose en
aspectos educativos, de salud, pobreza y empleo. Se ha encontrado tambin que las
EI han aumentado geomtricamente durante los ltimos 30 aos, concentrndose
ms del 77% en el periodo 2000-2006. Siendo en definitiva, un mtodo muy til y
cada vez de mayor aceptacin.
En trminos metodolgicos, se ha encontrado que el diseo ms usado es el
cuasi-experimental (41%), principalmente el de doble diferencias; asimismo, se
est empezando a usar tcnicas especiales de control, como el caso de las variables
instrumentales (7.6%) y el matching (19.7%). Estas estrategias estn vigentes y
tienen cada vez mayor aceptacin y desarrollo.
Por eso, tales estrategias metodolgicas se han integrado en un modelo de
evaluacin denominado ARYSIS, el cual intenta unificar los diversos
procedimientos metodolgicos dentro de una perspectiva terica uniforme.
El modelo de Evaluacin de Impacto ARYSIS se ha construido bajo el
enfoque de la Teora General de los Sistemas, el cual est caracterizado por ser
permanente, cclico, autorregulado y abierto. Se concibe al Modelo de Evaluacin
de Impacto ARYSIS como un conjunto dinmico de principios, parmetros
tericos, criterios metodolgicos y procedimientos estandarizados, organizados y
regulados en subsistemas, que se dirigen hacia la identificacin y obtencin de
datos pertinentes y vlidos.
El Sistema de Evaluacin ARYSIS tiene una lgica basada en la evaluacin
de resultados, el cual debe orientarse al aumento del conocimiento sustantivo como
herramienta clave en la gestin. Se persigue convertir los datos recogidos en
informacin til para la implantacin de los proyectos, buscando optimizar el
impacto y la eficiencia en la gestin futura. La siguiente figura comprende los
principales elementos constitutivos del Sistema ARYSIS, los cuales sern
presentados y analizados en los acpites siguientes.
263
Principios
Parmetros
tericos
Criterios
metodolgicos
Procedimientos
estandarizados
Evaluacin
de impacto
Figura N 4.1. Modelo de Evaluacin de Impacto ARYSIS (Fuente: Elaboracin propia).
Tal como se muestra en la Figura 4.1, el Modelo ARYSIS tiene un

contenido transversal, de naturaleza tica y actitudinal constituida por los
principios que rigen los dems componentes. En sentido programtico, se
encuentran los parmetros tericos, primer elemento constitutivo de naturaleza
cognoscitiva orientada a fundamentar las acciones del evaluador. Sin estos
parmetros tericos, los criterios metodolgicos no sern lo suficientemente
exhaustivos ni tendrn la suficiente garanta de validez. Los criterios
metodolgicos, por su parte, definen los procedimientos estandarizados que se
seguirn para realizar la evaluacin de impacto de la forma ms eficaz y eficiente
posible.
4.1. PRINCIPIOS
Todo modelo sistmico contiene principios que rigen sus elementos
constitutivos51. El modelo ARYSIS no es la excepcin y se basa en los principios
propuestos por la American Evaluation Asociation (AEA, 1994; 2004) y por otras
instituciones internacionales.
Debe recordarse que las normas, estndares, guas orientativas y/o cdigos
en evaluacin, surgen a partir de la dcada de los aos ochenta y noventa en
algunos pases, cumpliendo una doble funcin52: a) por un lado, orientan a los
51
Segn la XXII edicin del Diccionario de la Real Academia Espaola, el trmino "principio"
significa, entre otros, "punto que se considera como primero en una extensin o cosa", "base,
origen, razn fundamental sobre la cual se procede discurriendo en cualquier materia", "causa,
origen de algo", "cualquiera de las primeras proposiciones o verdades fundamentales por donde se
empiezan a estudiar las ciencias o las artes". As, los principios son ideas, postulados ticos o
escritos fundamentales que condicionan y orientan la accin evaluativa.
52
Los primeros cdigos en elaborarse en el campo de la evaluacin de programas y polticas fueron
en el mbito anglosajn. El primero y ms importante de todos, las normas del Joint Committee, en
su primera edicin en 1981 y su segunda en 1994. Luego le siguieron los cdigos de la Asociacin
Americana de Evaluacin, 1994; la Asociacin Canadiense de Evaluacin, 1996; y la Asociacin
Australiana de Evaluacin, 1997. Tambin se aprobaron en 2001 unas orientaciones de evaluacin
por parte de la Asociacin Africana de Evaluacin, que son una adaptacin a las normas del Joint
Committee y en las modifican aproximadamente un 40% de las normas previamente existentes. En
el mbito europeo, se han aprobado cdigos u orientaciones de las Sociedades de Evaluacin
francesa (2003), alemana (2001), suiza (2000) y britnica. Mientras los modelos suizo y alemn
siguen la estructura de las normas del Joint Committee, el francs est formulado en formato de
grandes principios ticos (pluralismo, independencia, competencia, respeto, transparencia y
responsabilidad), y el ingls hace una interesante separacin de normas segn vayan dirigidas a
264
Principios del
proceso
profesionales sobre la prctica profesional y son, adems, una gua de orientacin

tica; y b) por otro, son un indicador de la institucionalizacin de la funcin de
evaluacin en un determinado pas y, en parte, de la consolidacin de la evaluacin
como mbito acadmico y profesional (Bustelo, 2004).
Al respecto, ARYSIS tiene dos tipos bsicos de principios: a) los principios
del evaluador y b) los principios del proceso de evaluacin. Los principios del
evaluador son cinco interrelacionados y no jerrquicos, mientras que los principios
del proceso de evaluacin son cuatro principios jerrquicos (vase la siguiente
figura).
Principios del evaluador

Utilidad
Factibilidad
Rectitud
Precisin
Evaluacin
de impacto
Figura N 4.2. Principios de la Evaluacin de Impacto ARYSIS (Fuente: Elaboracin propia).
4.1.1. Principios del evaluador

La Asociacin Americana de Evaluacin (AEA, 2004) ha elaborado una
gua de principios para el evaluador. Estos principios han sido consagrados para
orientar a los evaluadores en el resguardo de su conducta tica y de sus
competencias como investigadores. De este modo, los principios sirven para
orientar a los evaluadores sobre la sistematicidad en la investigacin, las
competencias para desempearse como evaluador; la integridad y honestidad en
los estudios; el respeto a las personas; y la responsabilidad ante el bienestar general
y pblico de todos aquellos que participan de estos estudios. Estos principios se
relacionan constitutivamente tal como se muestra en la siguiente figura.
evaluadores, comanditarios, participantes, o implicados en una auto-evaluacin. Recientemente el

Grupo de Evaluacin de las Naciones Unidas (2005) ha elaborado los Standards for Evaluation in
the UN System.
265
Figura N 4.3. Principios bsicos del evaluador de impacto en ARYSIS (Fuente: Elaboracin
propia).
En estos principios no solo se reconoce la debida solidez cientfica que

debe poseer un evaluador, sino que tambin se destacan valores tales como la
honestidad, integridad, respeto y responsabilidad frente al acto de evaluar.
Debido a que tienen una relacin simtrica funcional, ninguno de estos
principios tiene supremaca sobre el otro, por el contrario, su integracin e
interrelacin contribuyen a marcar el componente tico de la evaluacin. A
continuacin se detalla cada principio incluido.
4.1.1.1. Principio de sistematicidad en la evaluacin
Este principio apunta al criterio valor de verdad y validez, indicando
que el evaluador debe adherirse a los ms exigentes estndares metodolgicos en la
conduccin de su estudio para incrementar as la validez, precisin y credibilidad
de la informacin producida por la evaluacin.
En la bsqueda de esta sistematicidad, el evaluador deber explorar con las
personas que requieren el estudio, cules son las fortalezas y debilidades de las
interrogantes que se pretenden resolver, de tal manera que oriente adecuadamente
el estudio para responder a dichas interrogantes. Lo anterior se complementa con la
formalidad de comunicar a los clientes y audiencias participantes, las tcnicas de
recoleccin y anlisis de datos para permitirles comprender, interpretar y criticar
266
los resultados de la evaluacin, procurando un lenguaje simple pero efectivo y con

el debido acercamiento al contexto donde tuvo lugar el estudio53.
4.1.1.2. Principio de las competencias para desempearse como evaluador
El evaluador deber poseer las habilidades, destrezas y experiencia
necesarias para conducir las tareas propias de una evaluacin. No es suficiente con
conocer el tema, se requiere experiencia en el desarrollo de una evaluacin. Sin
dejar de desconocer la experiencia, se requiere tambin de la debida capacitacin
como conductor de evaluaciones y especialista en las temticas centrales de dichas
evaluaciones.
La evaluacin de impacto es una actividad muy especializada y requiere,
por tanto, la confluencia de muchas competencias. Si por algn motivo el
evaluador reconoce que no posee alguna de las competencias requeridas para el
desarrollo del estudio, debe declinar su participacin en favor de su prestigio y de
la credibilidad de la evaluacin. Esto tambin lo debera impulsar a estar en
constante perfeccionamiento.
4.1.1.3. Principio de la integridad y honestidad frente a los estudios
El evaluador deber ser honesto frente a las negociaciones que debe
considerar respecto a los costos del estudio, las limitaciones de la metodologa a
emplear y las restricciones de los resultados para ser repetidos o aplicados a otros
participantes distintos al contexto donde se realiz el estudio.
Por otro lado, la integridad y honestidad del evaluador se prueba cuando
ste es capaz de expresar sus temores, dudas, inconvenientes frente a aquellos que
solicitaron la evaluacin (clientes), promoviendo las debidas instancias de
conversacin, con el fin de atenuar las posibles diferencias y as poder atender
mejor a los requerimientos de la evaluacin. Ahora, si no logra superar las
diferencias que tiene con los clientes o audiencias, antes de iniciar las etapas ms
cruciales de la evaluacin, debera dejar el estudio a tiempo. El evaluador no
deber, bajo ningn motivo, distorsionar los resultados para favorecer al cliente.
4.1.1.4. Principio de respeto a las personas
Este principio apela a la dignidad humana como valor esencial de toda
persona. Indica que el evaluador deber respetar a las personas que participan de la
evaluacin en su amplio sentido, cautelando la confidencialidad de los datos
individuales, el debido consentimiento informado de los entrevistados y la
53
Michel Patton (1997) es uno de los principales precursores del mejoramiento de la utilizacin de
los resultados de las evaluaciones. Indica que un factor que atenta contra el uso de los resultados, es
la casi nula o vaga explicacin de los procedimientos empleados para recoger los datos y la forma
en que se analizan, quedando muchas veces los clientes y audiencias con estudios que solo han
servido para incrementar el nmero de libros de una estantera o simplemente justifican que ha sido
tomada con anterioridad a la realizacin del estudio.
267
evitacin de daos y perjuicios morales producto de esa participacin. Entonces, el

evaluador deber buscar el mximo beneficio, reduciendo cualquier tipo de dao
innecesario que pueda ocurrir durante y despus de ocurrido el estudio.
Adicionalmente, el evaluador deber conducir su estudio y comunicar sus
resultados respetando la dignidad y valor intrnseco que tienen las personas, ms
all de buscar obsesivamente un resultado que tienda a beneficiar sus personales
intereses o los de su cliente. Lo anterior tambin implica respetar las naturales
diferencias entre los participantes, tales como la cultura, la religin, sexo,
discapacidades, edad, entre otras cosas ms.
4.1.1.5. Principio de responsabilidad ante el bienestar general y pblico
El evaluador deber ser responsable frente a los potenciales efectos
colaterales que pueda tener su estudio. Este principio invita a los evaluadores a
manejarse con una amplia perspectiva valrica al momento de comunicar los
resultados del estudio, evitando propiciar estereotipos raciales o poblacionales.
Adicionalmente, el evaluador no debe caer en la tentacin de responder a
los particulares intereses del organismo que solicita la evaluacin en detrimento del
grupo poblacional, es decir, no se debe prestar al desarrollo de evaluaciones que de
alguna u otra forma pueden daar el medio social o la integridad moral de algunos
grupos poblacionales sujetos de estudio.
4.1.2. Principios para el proceso de evaluacin

El Modelo ARYSIS tambin tiene principios que guan el proceso de la
evaluacin de impacto de los programas. Estos principios estn basados en los
propuestos por el Joint Committee on Standards for Educational Evaluation
(1994).
El cumplimiento de estos principios mejora sensiblemente la calidad de las
evaluaciones. En efecto, estos principios parten de la base de que la calidad de una
evaluacin est asociada a cuatro atributos bsicos: a) utilidad, b) factibilidad, c)
rectitud y d) precisin.
4.1.2.1. Utilidad
El principio de utilidad busca garantizar que una evaluacin ofrezca la
informacin y las condiciones necesarias para que las personas afectadas o
involucradas por la evaluacin usen sus resultados para mejorar. Este atributo
aparece deliberadamente en primer lugar, ya que sin utilidad ninguno de los otros
principios es relevante. Este principio tiene 7 indicadores:
1. Identificacin de los interesados. Las personas involucradas o
afectadas por la evaluacin deben ser identificadas para poder
considerar sus intereses.
268
2. Credibilidad del evaluador. Las personas que realizan la evaluacin

deben de ser tanto confiables como competentes para realizar la
evaluacin, con el fin de que los resultados de la evaluacin
alcancen el mximo de credibilidad y aceptacin.
3. Seleccin de la amplitud y profundidad de la informacin. La
informacin a colectar debe ser seleccionada para responder las
preguntas pertinentes acerca del programa y corresponder a los
intereses de los clientes y otros beneficiarios. Pero sin incluir
aspectos secundarios o irrelevantes.
4. Identificacin de los criterios de evaluacin. Los enfoques,
procedimientos y racionalidad utilizados para interpretar los
resultados deben ser claramente descritos, de manera que los
criterios que sustentan las conclusiones sean claros.
5. Claridad en los informes. Los informes de evaluacin deben
describir claramente el programa a evaluar, incluyendo su contexto,
los propsitos, los procedimientos y los resultados de la evaluacin,
de tal manera que se ofrezca la informacin esencial de manera
comprensible.
6. Puntualidad de los informes y difusin de resultados. Los resultados
intermedios relevantes y los informes de la evaluacin deben de ser
difundidos entre los usuarios potenciales, de tal forma que puedan
ser usados oportunamente.
7. Impacto de la evaluacin. Las evaluaciones deben ser planeadas,
ejecutadas y reportadas de manera que motiven una respuesta por
parte de los afectados, a fin de aumentar la probabilidad de que la
evaluacin sea de calidad ptima.
4.1.2.2. Factibilidad
El principio de factibilidad pretende asegurar que la evaluacin ser
realista, prudente, diplomtica y frugal. Bajo este principio se entiende que:
1. Los procedimientos de la evaluacin deben ser prcticos a fin de
reducir los contratiempos al mnimo durante los procesos de colecta
de informacin (practicidad).
2. El proceso de evaluacin debe ser planeado y ejecutado previendo
las diferentes posiciones de los grupos de inters, a fin de que se
pueda lograr su cooperacin y evitar hasta donde sea posible, los
intentos de estos grupos por dificultar o restringir el proceso de
evaluacin, as como desvirtuar y minimizar los resultados de la
misma (viabilidad poltica).
3. La evaluacin debe ser eficiente y producir informacin lo
suficientemente valiosa como para que los recursos utilizados en
ella puedan ser justificados (costo razonable).
269
4.1.2.3. Rectitud
El principio de rectitud est diseado para asegurar que la evaluacin sea
efectuada de manera legal y ticamente correcta, as como con el debido respeto
hacia el bienestar de los que estn involucrados en el proceso de evaluacin y de
todos aquellos que pudieran ser afectados por sus resultados. Tiene 8 indicadores:
1. Orientacin al servicio. Las evaluaciones deben ser diseadas para
ayudar a las organizaciones a dirigir y atender de manera efectiva
las necesidades del mayor nmero posible de participantes.
2. Acuerdos formales. Las obligaciones adquiridas por las partes
involucradas en el proceso de evaluacin (lo que ha de hacerse,
cmo, por quines y cundo) deben ser expresadas por escrito, de
manera que las partes involucradas se adhieran a todas las
condiciones de los acuerdos o puedan renegociar de manera formal.
3. Respeto a los derechos humanos. Las evaluaciones deben ser
diseadas y operadas para respetar y proteger los derechos y el
bienestar de las personas.
4. Interaccin humana. Los evaluadores deben respetar la dignidad
humana as como considerarla en su interaccin con otras personas
relacionadas con la evaluacin, de modo que los participantes no se
vean intimidados o perjudicados.
5. Dictmenes equilibrados y justos. La evaluacin debe ser ntegra y
equitativa en el examen y registro de las fortalezas y debilidades del
programa a evaluar, a fin de que las fortalezas y los problemas
puedan ser ponderados con buen juicio y prudencia.
6. Divulgacin de resultados. Los encargados del proceso de
evaluacin deben asegurarse que el conjunto de resultados, con las
limitaciones pertinentes, lleguen a las personas afectadas por la
evaluacin, as como cualquier otra que tenga derecho legal de
conocer sus resultados.
7. Conflicto de intereses. Los conflictos de intereses deben atenderse
de manera abierta y honesta, a fin de que esto no arriesgue el
proceso y resultados de la evaluacin.
8. Responsabilidad administrativa. El destino y gasto de los recursos
utilizados en el proceso de evaluacin deben reflejarse mediante
procedimientos contables transparentes; es decir, los encargados de
la evaluacin estn obligados a ser prudentes y ticamente
responsables, de que los recursos sean contabilizados y gastados
adecuadamente.
4.1.2.4. Precisin
Las normas de precisin estn diseadas para asegurar que la evaluacin
revele o muestre la informacin tcnica requerida, sobre los indicadores que
fundamentan el valor o mrito del programa que est siendo evaluado. Tiene 11
indicadores:
270
1. Descripcin del programa. El programa que est siendo evaluado

debe ser descrito y documentado de forma clara y precisa, de modo
que est plenamente identificado.
2. Anlisis contextual. El contexto en el que existe el programa debe
ser examinado con suficiente detalle, a fin de que los factores de
influencia puedan ser identificados.
3. Descripcin de propsitos y procedimientos. Los propsitos y
procedimientos de la evaluacin deben ser analizados y descritos
con suficiente detalle a fin de que estn perfectamente identificados.
4. Fuentes de informacin confiables. Las fuentes de informacin
utilizadas en la evaluacin de un programa deben ser descritas con
suficiente detalle a fin de que la pertinencia de la informacin est
sustentada.
5. Informacin vlida. Los procedimientos para recopilar la
informacin deben elegirse, desarrollarse e implementarse,
asegurndose as que la informacin obtenida sea vlida dentro del
propsito de la evaluacin.
6. Informacin confiable. Los procedimientos para recopilar la
informacin deben elegirse, desarrollarse e implementarse para que
se asegure que la informacin obtenida es lo suficientemente
confiable para el proceso de evaluacin.
7. Informacin consistente. La informacin recopilada, analizada y
reportada en la evaluacin debe ser verificada sistemticamente a
fin de detectar y corregir errores en forma oportuna.
8. Anlisis de informacin cuantitativa. La informacin cuantitativa
utilizada en una evaluacin debe ser analizada de manera apropiada
y sistemtica para que las preguntas de la evaluacin sean
efectivamente respondidas.
9. Anlisis de informacin cualitativa. La informacin cualitativa
utilizada en una evaluacin debe ser analizada de manera apropiada
y sistemtica para que las preguntas de la evaluacin sean
efectivamente respondidas.
10. Conclusiones fundamentadas. Las conclusiones a las que se llega en
un proceso de evaluacin deben estar fundamentadas explcitamente
para que los interesados en la evaluacin puedan apreciarlas y
estimarlas correctamente.
11. Informe imparcial. Los procedimientos para informar a los
interesados deben evitar las distorsiones ocasionadas por
sentimientos personales y sesgos en cualquier fase de la evaluacin,
a fin de que los informes (verbales o escritos) reflejen fielmente los
hallazgos de la evaluacin.
271
4.2. PARMETROS TERICOS

El Modelo de Evaluacin de Impacto ARYSIS se fundamenta en un nico
parmetro terico bsico. ste parmetro se refiere a la validez causal de los
resultados. Debido a que si la evaluacin de impacto mide los efectos producidos
por el programa, cmo se puede estar seguro o tener la certeza que los efectos
medidos corresponden causalmente al programa?, no podran ser, acaso,
consecuencia de otras situaciones y no del programa? Errneamente se puede
atribuir causalidad a un programa cuando en realidad los efectos medidos son
consecuencia de otras variables o circunstancias. As, el gerente social especialista
en evaluacin debe utilizar un parmetro terico que le permita controlar
previamente- el nivel de validez de su modelo de evaluacin.
4.2.1. La inferencia causal

Es evidente que no todos los diseos de investigacin social estn
orientados a determinar las causas de determinados fenmenos o las consecuencias
de ciertas intervenciones. Sin embargo, en una disciplina aplicada como la gerencia
social este tipo de planteamientos tienen una importancia fundamental. En efecto,
las preguntas de investigacin que motivan la mayora de los estudios en las
ciencias sociales son de naturaleza causal. Por ejemplo: Cul es la eficacia de un
medicamento en una poblacin dada?, Qu fraccin de muertes de una
enfermedad pudieron haberse evitado por un tratamiento o poltica dada?, La
descentralizacin de las escuelas mejora la calidad de las mismas?, son preguntas
motivadas por las preocupaciones polticas y por las necesidades gubernamentales
de decidir el destino de los programas sociales (Galiani, 2006).
El objetivo del anlisis estadstico estndar (tpicamente probabilidad y
otras tcnicas de estimacin) es inferir parmetros de una distribucin, a partir de
muestras obtenidas de esa distribucin. Con la ayuda de tales parmetros, uno
puede: 1) Inferir asociacin entre variables, 2) estimar la probabilidad de eventos
pasados y futuros, 3) actualizar la probabilidad de eventos a la luz de nueva
evidencia o nuevas mediciones. Sin embargo, el anlisis causal va un paso
adelante. Su objetivo es inferir aspectos del proceso de generacin de datos para
deducir no solamente la probabilidad de eventos bajo condiciones estticas, sino
tambin la dinmica de eventos bajo condiciones cambiantes. Esta capacidad
incluye: 1) predecir los efectos de intervenciones, 2) predecir los efectos de
cambios espontneos, 3) identificar las causas de eventos reportados; demostrando
que los conceptos causales y de asociacin no se mezclan (Galiani, 2006).
La palabra causa no est en el vocabulario de la teora de probabilidad
estndar. Toda teora de probabilidad permite decir que dos eventos estn
mutuamente correlacionados o son dependientes lo que significa que, si se
encuentra uno, se puede esperar encontrar el otro. De lo dicho, los cientficos que
buscan explicaciones causales para fenmenos complejos o racionales para
decisiones polticas deben, por tanto, suplir el trmino de probabilidad por
causalidad. Por ello, en los ltimos aos se han desarrollado procedimientos
272
diversos para intentar contrastar modelos causales a partir, incluso, de estudios de

carcter descriptivo, tales como el anlisis de ruta (path-analysis) o el anlisis de
modelos de ecuaciones estructurales lineales (Tuijman y Keeves, 1997; Cook y
Campbell, 1979; Julmes, 2004) o el modelo Neyman-Rubin potential outcome
(Rubin, 1974).
4.2.1.1. El problema de la validez de las evaluaciones
No es secreto que la investigacin sobre gerencia social y administracin de
programas ha tenido una serie de falencias y debilidades (Cordray, 1986; Wienert,
1997). Por ejemplo, en 1984, la Oficina de Auditoria General de los Estados
Unidos descart 55 de 61 informes de investigacin54 porque tenan serios
problemas metodolgicos y, consiguientemente, escasa validez (Cordray, 1986).
En otra rea, el Departamento de Educacin de Estados Unidos solicit al Consejo
Nacional de Investigacin que evaluara los principales estudios sobre educacin
bilinge, encontrando resultados frustrantes (Meyer y Conrad, 1992): "Los estudios
no autorizan la conclusin de que ningn tipo de programa sea superior a ningn
otro, ni que los programas sean igualmente efectivos. Incluso si alguno de los
programas hubiera sido superior, los estudios, tal y como se planificaron y
llevaron a cabo, podran haber fracasado en identificar tal circunstancia".
(p.104). "Los estudios [revisados] adolecen de una excesiva atencin al uso de
elaborados mtodos estadsticos para intentar solventar las deficiencias en los
diseos de investigacin. Los mtodos de anlisis estadstico no pueden corregir
los fallos en la conceptualizacin, diseo y ejecucin de los estudios". (p. 104).
Es claro que esta baja calidad de investigaciones amenaza la reputacin de
la evaluacin de programas (Aliaga, 2000; Cordray, 1986) y dispone que diversos
grupos polticos y acadmicos arremetan diversos argumentos contra la
evaluacin de impacto. Asi pues surgen algunas frases como estas:
Los mtodos de investigacin en ciencias sociales no son
adecuados (o capaces) de explicar la compleja realidad social y
humana. Este argumento es tpico de quienes creen nicamente en
modelos alternativos, tales como la investigacin cualitativa o
interpretativa (Keeves, 1997; Walker y Evers, 1997). Aunque estos
planteamientos parecen prometedores, an no se ha demostrado su
utilidad y validez para la medicin de impacto. En efecto, aunque
desde la perspectiva cualitativa se han desarrollado criterios de
calidad, su aceptacin an es desigual; y a lo mucho se la considera
como complemento de la investigacin cuasi-experimental de
impacto y no como su reemplazo (Campbell, 1974; Cronbach,
1974).
Los mtodos de investigacin en ciencias sociales estn an poco
evolucionados y no se han desarrollado suficientemente como para
ser capaces de detectar la eficacia de los distintos tratamientos. El
desarrollo de cierta proporcin de investigaciones bien controladas
54
Analizaban la influencia de los programas sociales sobre el peso de los nios al nacer.
273
y fiables (como, por ejemplo, en el caso de 6 de los 61 estudios

revisados por la Oficina de Auditoria General de los Estados
Unidos, 1984) permite descartar esta alternativa. En todo caso, el
problema no es la falta de mtodos de investigacin evolucionados,
sino su inadecuada utilizacin y carencia de conocimientos
especializados sobre los mismos (Sez et al, 1994; Surez et al,
1995).
El trabajo emprico en ciencias sociales supone complicaciones
especficas que hacen muy difcil llevar a cabo investigaciones
vlidas. Algunos de los problemas de este tipo han sido analizados
en los ltimos treinta aos, bsicamente gracias al trabajo de
Campbell y sus colaboradores (Campbell & Stanley, 1966; Cook &
Campbell, 1979; Campbell, 1986; Cook, Campbell & Peracchio,
1990), instigados por planteamientos crticos como los de Cronbach
(1982), de tal modo que se han desarrollado procedimientos
especficos, como es el caso de los diseos cuasi-experimentales,
que posibilitan, cuando menos, una comprensin global del proceso
de investigacin en las particulares circunstancias que se dan en las
ciencias sociales.
A mi entender, todos estos argumentos son superficiales y desconocen el

nivel de desarrollo actual de la teora evaluativa, por cuanto la rechazan con
creencias poco fundadas y ms cargadas de sesgos dogmticos. De lo dicho, pienso
que la principal razn por la cual se encuentran evaluaciones de impacto de baja
calidad es porque los profesionales e investigadores no han comprendido o
aplicado adecuadamente los conocimientos desarrollados sobre evaluacin de
impacto; y, ms an, desconocen los condicionantes de su validez que,
conjuntamente con el desarrollo de los procedimientos de investigacin
(particularmente la cuasi-experimentacin), se han desarrollado en las ltimas
dcadas. Recurdese que ya Campbell & Stanley (1966) sostenan que "una
capacitacin ms a fondo de los investigadores educacionales en tcnicas
modernas de estadstica experimental permitira elevar la calidad de la
experimentacin pedaggica" (pg. 14).
Centrarse en el tema de la validez es importante porque el conocimiento de
sus tipologas puede ayudar a comprender mejor las ventajas y desventajas de cada
tipo de diseo a la hora de aplicarlo a una cuestin determinada (Mark, 1986; Vara,
2006). Ahora, hablar de validez de una evaluacin de impacto es otro tema
complejo y muchas veces, por desgracia, la literatura la trata de una forma confusa
y heterognea (Aliaga, 2000). A modo de ejemplo:
Buenda, Cols & Herndez Pina (1997), cuando se refieren a la
validez de la investigacin experimental, distinguen dos grandes
tipos, la validez interna y la validez externa, dentro de la cual
engloban la validez de poblacin, la validez ecolgica, y la validez
de constructo.
Por su parte Latorre, Del Rincn & Arnal (1996) plantean que hay
que tener en cuenta tres tipos de validez: la interna, que exige el
274
control; la externa (generalizacin) y la conceptual (coherencia)

(p. 127).
Cols & Buenda (1994) sealan que los diseos experimentales
deben responder a tres clases de validez: validez interna, validez
externa, y validez ecolgica.
Bisquerra (1989) distingue por un lado entre validez interna y
validez externa, aadiendo un apartado residual de "otros tipos de
validez, en los que incluye la validez ecolgica, la validez de
poblacin, la validez de conclusin estadstica y la validez de
constructo.
Lpez-Barajas, Lpez Lpez & Prez Juste (1987) distinguen
tambin entre validez interna y validez externa, dentro de la cual
distinguen entre validez de muestras, de variables y ecolgica.
Prez Juste (1985), en su revisin de los diseos experimentales,
hace referencia slo a la validez interna y a la validez externa,
siguiendo el primer modelo planteado por Campbell y Stanley
(1966).
As, existe una enorme variedad de planteamientos sobre validez,

generando mayor confusin en los lectores. Sin embargo, es importante resaltar
que casi todas estas propuestas estn basadas en el modelo original de Campbell y
Stanley (1966), por lo que su estudio se torna obligatorio, principalmente desde
una perspectiva histrica. Por ello, a continuacin se analizar brevemente la
evolucin en el campo de la validez e inferencia causal.
4.2.1.2. Modelos de la validez causal
En trminos funcionales, una relacin causal existe cuando hay tres
condiciones: a) precedencia temporal (las causas han de acontecer antes que las
consecuencias), b) covariacin de causas y efectos (los cambios de una vayan
acompaados de cambios en la otra)55 y c) se eliminen otras explicaciones
alternativas a las relaciones causa-efecto.
Estas tres condiciones, necesarias pero no suficientes, constituyen una
definicin operativa de la causacin. Sin embargo, la ltima condicin es la ms
difcil de verificar, por cuanto exige control de variables alternativas (extraas). Al
respecto, la obra original de Campbell y Stanley (1966), fue la primera que ofreci
un marco general para guiar la consecucin del cumplimiento de esta tercera
condicin. Por ello, su estudio se torna obligatorio para cualquier gerente social.
De lo dicho, a continuacin se revisan los principales modelos de causacin, desde
el modelo original de Campbell y Stanley (1966) hasta sus modificaciones y
modelos alternativos (Cronbach, 1982).
55
Esta condicin es necesaria, pero no suficiente, por lo que las conclusiones causales de los
diseos correlacionales, por s solos, no son vlidas.
275
4.2.1.2.1. Modelo original de Campbell y Stanley (1966)

La obra original de Campbell y Stanley (1966) supuso un impulso notable a
la investigacin causal, quizs la ms importante desde las aportaciones de Fisher
(creador de los diseos experimentales estadsticos) en la dcada de 1920. Antes de
Campbell, se asuma de modo general que la mera asignacin aleatoria de los casos
a las distintas situaciones experimentales (segn propona el modelo fisheriano del
anlisis de varianza) permita controlar los errores de la investigacin y llegar a
conclusiones "slidas". Por tanto, se supona que el nico control posible a la hora
de disear una investigacin era el aleatorio (Campbell, 1986).
Sin embargo, Campbell y Stanley identificaron dos grandes grupos de
sesgos posibles (Campbell, 1986), algunos de los cuales podan ser controlados
mediante la asignacin aleatoria, denominados Amenazas a la validez Interna
mientras que otro grupo de amenazas o sesgos no quedaban controladas aunque se
utilizara este procedimiento azaroso, las Amenazas a la Validez Externa56. As,
Campbell y Stanley diferencian entre amenazas de validez interna y de validez
externa, recomendando que en cualquier investigacin se deberan separar ambos
conjuntos de amenazas, de tal modo que se pueda identificar si cada uno de ellos
esta controlado o no y, por tanto, precisar si la investigacin es vlida o no.
Adems de este aporte conceptual, el mayor crdito de Campbell y Stanley
fue la creacin de los "diseos cuasi-experimentales", para referirse a aquellas
investigaciones en las que, por diversas razones, las amenazas a la validez interna
no se pueden controlar mediante la aleatorizacin (Coyle, Boruch & Turner, 1991).
Los diseos cuasi-experimentales son entendidos como una aproximacin
imperfecta (por lo que hace referencia a su validez interna) a los diseos
experimentales, pero ambos diseos, experimentales y cuasi experimentales,
carecen, en principio, de validez externa, que habra que planificar separadamente.
La Validez Interna de una investigacin causal representa el nivel de
seguridad de que el programa aplicado provoca algn cambio significativo en la
variable dependiente (Campbell, 1957; Campbell & Stanley, 1966). Dicho de otro
modo, y basndonos tanto en el principio de falsacin popperiano como en el
tercer criterio de causacin expuesto por Stuart Mill, puede entenderse a la Validez
Interna como la inversa de la "admisibilidad relativa de las teoras rivales"
(Campbell & Stanley, 1966, p. 74), de tal modo que cuanto menos probables sean
las otras explicaciones alternativas, mayor ser la validez interna del estudio. As,
de ningn modo, se puede llegar a alcanzar una validez interna plena, es decir, no
se podra confirmar (o demostrar) absolutamente que un determinado programa es
causa de los cambios registrados. Por ello, los procedimientos cuasiexperimentales han de prestar particular atencin a la eliminacin de las
explicaciones alternativas. As, precisamente porque se carece de control
experimental total, es imprescindible que el investigador tenga un
conocimiento a fondo de cuales son las variables especficas que su diseo
particular no controla" (Campbell y Stanley, 1966, Pg. 71).
56
Campbell (1986) "el fin principal que se persigue con la aleatorizacin (...) es la validez
interna, no la externa" p. 52.
276
Tabla N 4.1. Tipos de Validez y sus amenazas segn Campbell y Stanley (1966)
Validez
Interna
Amenazas
Historia
Maduracin
Otras interacciones con el

tratamiento
Definicin
Acontecimiento especfico entre el pretest y el post-test
Cambios debidos al mero paso del tiempo e independientes
del tratamiento
Efecto de la administracin de un test sobre los resultados en
otro posterior
Cambios en los criterios de evaluacin o atribuibles a las
caractersticas del instrumento
Tendencia a aproximarse a la media que ocurre en los grupos
seleccionados por sus valores extremos
Diferencias entre los grupos provocadas por una asignacin
sesgada de los sujetos a los tratamientos
Prdida diferencial de participantes entre los grupos de
comparacin
Interaccin entre seleccin y otras amenazas
Cambio en la sensibilizacin de los sujetos experimentales
provocado por el pretest
Se refiere a aquellos casos en los que los resultados
observados pudieran ser especficos de la situacin
investigada
Referidas a los factores que podan afectar a la Validez
Interna, tales como maduracin, historia, mortalidad, etc.
Efectos reactivos de los

dispositivos experimentales
Interferencia
entre
tratamientos mltiples
Cambios en la reaccin de los sujetos como consecuencia de

las condiciones experimentales
Efectos que pueden ejercer antiguos tratamientos aplicados al
grupo experimental cuando se le aplican varias intervenciones
Administracin de test
Instrumentacin
Regresin estadstica
Seleccin
Mortalidad experimental
Validez
Externa
Seleccin
Interaccin entre las pruebas
y el tratamiento
Interaccin entre seleccin y
tratamiento
El segundo concepto fundamental que proponen Campbell y Stanley es el

de validez externa, trmino que hace referencia a la posibilidad de generalizacin
de los resultados obtenidos en un estudio determinado a otras condiciones
(poblaciones, situaciones, variables de tratamiento y variables de medicin).
Puesto que esta generalizacin siempre parte de datos concretos, se basa en un
proceso inductivo57. Como indican Campbell y Stanley (1966), "Desde el punto de
vista lgico no podemos generalizar ms all de dichos lmites (las caractersticas
especficas de la investigacin original); es decir, no podemos generalizar en
absoluto" (Pg. 39). Sin embargo, la generalizacin se ha basado, generalmente, en
la experiencia y el sentido comn, y en lo que los autores denominaron una "ley
general emprica": "cuanto ms cercanos se hallan dos acontecimientos en
tiempo, espacio y valor (...) ms tienden a ajustarse a las mismas leyes" (Pg. 40).
Tngase en cuenta que para resolver los problemas de validez externa no siempre
es posible acudir a procedimientos probabilsticos, ya que los mismos slo son
aplicables a algunos de sus componentes (por ejemplo, a la muestra de casos), pero
no a todos (por ejemplo, el instrumento de medida o el tiempo).
La concepcin de validez externa planteada por Campbell y Stanley es
menos homognea que la de validez interna, lo que ha llevado a muchos autores a
subdividirla en diversos componentes independientes entre s. As, la validez
externa ha sido dividida en validez de poblacin (representatividad de casos o
sujetos) y validez ecolgica (representatividad de la situacin). Para Snow (1979),
la validez externa es el resultado conjunto de la validez de poblacin, de la validez
57
Procedimiento denunciado desde hace siglos como particularmente poco fiable.
277
ecolgica y de la "generalidad referente". Para Kratochwill (1978) los

componentes de la validez externa seran la validez de poblacin, la generalizacin
de grupos a individuos y la validez ecolgica. Por su parte, Cone (1977) y Wiggin
(1966), consideran como validez externa a la generalizacin de las puntuaciones,
de los elementos, temporal, de las situaciones, del mtodo y de las dimensiones.
Otros autores han hablado de validez de variables, generalizacin del instrumento
de medida, validez de constructo, validez de tratamiento, etc. En fn, se han
propuesto diversas subdivisiones, sin embargo, no se ha llegado a un consenso al
respecto.
Para verificar la generalizacin de las conclusiones causales, Campbell y
Stanley proponen dos vas. Por un lado la representatividad de las muestras y, por
el otro, la replicacin de los estudios. Otro aspecto de gran relevancia en el modelo
de validez de Campbell y Stanley se refiere a la prioridad de la validez interna
(considerada como una condicin sine qua non) sobre la validez externa, ya que
sin seguridad en la existencia de una determinada relacin causal no tiene sentido
considerar su posible generalizacin. Debe advertirse que est concepcin ha sido
duramente criticada por Cronbach (1982).
4.2.1.2.2. Modelo de Cook y Campbell (1979)
Una dcada despus, Cook & Campbell (1979) reformularon el modelo
planteado por Campbell y Stanley (1966). En este caso, se hizo una clasificacin
ms minuciosa de la validez causal. Cook & Campbell (1979) dividieron cada uno
de los dos tipos de validez en otros dos nuevos subtipos, produciendo una nueva
tipologa de cuatro tipos de validez: a) validez de la conclusin estadstica, b)
validez interna, c) validez de constructo de las causas y efectos y d) validez
externa. La siguiente figura esquematiza la evolucin conceptual de estos tipos de
validez.
Validez de la investigacin
Validez interna
Validez de la
conclusin
estadstica
Validez interna
Validez externa
Validez externa
Validez del
constructo
causa efecto
Figura N 4.4. Evolucin desde Campbell & Stanley (1966) a Cook & Campbell (1979) (Fuente:
Basado en Aliaga, 2000).
278
Las amenazas especficas contra los tipos de validez son presentadas en la

tabla siguiente. Posteriormente, se analizar cada uno de estos tipos de validez.
Tabla N 4.2. Amenazas a la validez en Cook y Campbell, 1979. (Fuente: Anguera et al, 1995).
Tipo de validez
Amenazas contra la validez
Validez de la
conclusin
Estadstica
Baja potencia estadstica

Violacin de los supuestos de las pruebas estadsticas
Violacin del error tipo I
Fiabilidad de la medicin de la respuesta
Fiabilidad de la administracin de los tratamientos
Irrelevancias aleatorias del contexto de investigacin
Heterogeneidad aleatoria de las unidades de respuesta
Validez Interna
Historia
Maduracin
Administracin de pruebas
Instrumentacin
Regresin estadstica
Seleccin
Mortalidad Selectiva
Interacciones con la seleccin
Ambigedad en la direccin de la relacin causa-efecto
Difusin e imitacin de tratamientos
Igualacin compensatoria de tratamientos
Rivalidad compensatoria de los sujetos
Desmoralizacin de los sujetos
Validez de
constructo
Explicacin pre operacional inadecuada.

Sesgos derivados del uso de una operacin nica
Sesgos derivados del uso de un solo mtodo
Adivinacin de hiptesis
Recelo de evaluacin
Expectativas del experimentador
Confusin de constructos y niveles de constructo.
Interaccin de tratamientos intra sujeto
Interaccin de administracin de pruebas y tratamiento
Generalidad restringida entre constructor
Validez externa
Interaccin seleccin-tratamiento (validez de poblacin)

Interaccin contexto-tratamiento (validez ecolgica)
Interaccin historia-tratamiento (validez histrica)
a) Validez de la conclusin estadstica:

Puesto que la covariacin es una condicin necesaria para poder determinar
una relacin causal, el nivel de seguridad de que tal variacin existe, es de
considerable importancia, lo que justifica que este concepto se desligue del resto
del concepto de "validez interna", tal y como haba sido definido originalmente por
Campbell y Stanley (1966).
De hecho, los problemas de la validez de la conclusin estadstica se haban
considerado previamente como amenazas a la validez interna. Sin embargo, la
covariacin no siempre implica relacin causal y los procedimientos para
determinar la existencia y magnitud de tal covariacin, suelen ser estadsticos
independientes del diseo. Por ello, Cook y Campbell (1979) decidieron aadir
279
esta categora como diferenciada del resto del concepto de la validez interna,
dndole un significado ms especfico. As, las amenazas a la validez de la
conclusin estadstica estn relacionadas fundamentalmente con las fases de
medicin y anlisis de datos.
Tabla N 4.3. Amenazas a la validez de la conclusin estadstica segn Cook & Campbell, 1979
Amenazas
Violacin de los supuestos de las
pruebas estadsticas
Fiabilidad de la medicin de la
respuesta
Fiabilidad de la administracin
de los tratamientos
Irrelevancias
aleatorias
del
contexto de investigacin
Heterogeneidad aleatoria de las
unidades de respuesta.
Descripcin
El nmero muestral y el clculo de la probabilidad son inadecuados,
disminuyendo la potencia del contraste estadstico.
Se aplican estadsticos sin verificar el cumplimiento de sus supuestos.
Concluir que existen efectos del programa cuando de hecho no existe.
Las medidas pretest y postest no son fiables, no tienen consistencia
interna, homogeneidad o estabilidad temporal.
Los tratamientos no se aplican estandarizadamente. Se viola el principio
de homogeneidad de situaciones.
Diferencias aleatorias ambientales no controladas entre grupos,
producidos posteriormente a la seleccin. Puede aumentar la varianza
artificialmente en algn grupo.
Diferencias aleatorias intrasujeto no controladas entre grupos, producidos
posteriormente a la seleccin. Puede aumentar la varianza artificialmente
en algn grupo.
b) Validez interna:
El concepto de validez interna en la reformulacin de Cook y Campbell
(1979) se centra, especficamente, en determinar si la relacin entre variables
(suponiendo que tal relacin tenga una buena validez de conclusin estadstica) es
de tipo causal, y en tal caso, cal es la direccin de dicha relacin causal. Ha de
tenerse presente que las conclusiones sobre esta posible relacin causal se
establece exclusivamente, como ya mantena el modelo anterior, entre las variables
tal y como han sido operativizadas en la prctica de la investigacin (Campbell y
Stanley, 1966).
A las amenazas de validez interna ya conocidas en el modelo anterior, se
suman algunas ms, tales como la ambigedad sobre la direccin de la relacin
causal, la difusin o imitacin de tratamientos, la igualacin compensatoria de
tratamientos (cuando dejar "sin nada" al grupo control parece inadecuado y se les
concede algn bien o servicio), la rivalidad compensatoria de los sujetos (esto es,
el efecto competencia que se puede desatar en el grupo control) o la
desmoralizacin o resentimiento de los sujetos que reciben menor cantidad de
tratamiento deseable58.
58
Curiosamente, algunas de estas nuevas amenazas introducidas por Cook, con la aprobacin de
Campbell, en el nuevo modelo - particularmente la desmoralizacin- no cumplen con la
caracterstica original que haba definido los sesgos de la denominada validez interna, es decir, que
no pueden ser controlados mediante la asignacin aleatoria. Esto hace que posteriormente Campbell
(1986) considere que alguna de estas amenazas (incluso puede que todas) no sean especficamente
de la validez interna, sino de la validez de constructo.
280
Tabla N 4.4. Amenazas a la validez interna segn Cook & Campbell, 1979. (Fuente: Elaboracin
propia).
Amenazas
Historia
Maduracin
Administracin
pruebas
de
Instrumentacin
Regresin estadstica
Seleccin
Mortalidad selectiva o
diferencial
Interacciones
seleccin
con
Ambigedad
en
la
direccin de la relacin
causa-efecto
Difusin e imitacin de
tratamientos
Rivalidad compensatoria
de los sujetos
Desmoralizacin de los
sujetos
Descripcin
Eventos especficos que ocurren al mismo tiempo que el tratamiento y que se
asocian a los resultados. La ocurrencia de acontecimientos externos que afecten al
comportamiento del individuo, es decir, cualquier tipo de hecho que le ocurra en
su vida diaria podra afectar a la Variable dependiente (VD). Si esos
acontecimientos ocurren, y el gerente social no los detecta, podra atribuir la
mejora al programa, cuando en realidad podra ser efecto de otras variables.
Procesos internos que operan a corto plazo (hambre, fatiga, etc.) o largo plazo
(envejecimiento) y que afectan los resultados.
Efectos de administrar una prueba sobre las puntuaciones obtenidas en una
administracin posterior. Los datos obtenidos con una primera prueba pueden
cambiar al repetir la aplicacin de esa misma prueba, por efecto de la prctica o el
recuerdo. Aunque no se produzca ninguna intervencin, la repeticin de las
pruebas de evaluacin puede mostrar cambios.
Cambios en la calibracin de un instrumento de medida (humano o mecnico). Se
asocia a la fiabilidad. Tambin se incluyen en este tipo de amenazas los errores de
instrumentacin, o errores en los propios procedimientos de evaluacin. Un
aparato no calibrado, con errores no sistemticos, o procedimientos con poca
fiabilidad, no validados, etc., impide llegar a conclusiones seguras sobre los
resultados.
Tendencia hacia la centralidad producida en grupos con unidades directa o
indirectamente seleccionadas sobre la base de sus puntuaciones extremas. Es un
concepto matemtico y se refiere al efecto de las puntuaciones extremas que
tienden a "regresar a la media" de grupo. Cuando en la VD parecen existir efectos
de techo o suelo, es decir, las puntuaciones son extremas y poco podran aumentar
o disminuir, respectivamente, entonces la tendencia en la siguiente medicin es a
obtener datos ms cercanos a media, o al menos ms estables, y no reflejaran el
posible cambio de la Variable Independiente (VI).
Efectos producidos por la no equivalencia inicial de los grupos tratamiento y
control. Se refiere a las diferencias sistemticas en la comparacin de grupos que
pueden ser resultado de una seleccin sesgada, no completamente aleatoria, en la
que persiste alguna diferencia especfica entre los grupos que podra explicar
tambin los resultados.
Reduccin del tamao y/o naturaleza original de los grupos durante el proceso de
medicin. Es la prdida de sujetos a lo largo de una experimentacin con grupos,
que hace cambiar la composicin o caractersticas de los grupos comparados.
Interaccin de la seleccin con otras fuentes de sesgo anteriormente mencionadas
produciendo efectos espurios. Las ms comunes son la seleccin-maduracin, que
ocurre cuando grupos no equivalentes maduran a diferente ritmo; la seleccin por
historia cuando los acontecimientos ocurridos en los dos grupos son diferentes.
Efecto producido cuando la presencia temporal de la causa no es clara. Suele
aparecer en diseos no experimentales de tipo correlacional.
Las condiciones del grupo experimental son extendidas al grupo control por
accin directa de los sujetos, por imitacin o por solidaridad. Es posible que
ocurra intercambio de informacin sobre los procedimientos, condiciones u
objetivos de una investigacin a travs de sujetos en varios grupos. La validez
dejara bastante que desear pues no habra independencia entre los grupos a
comparar.
Los sujetos del grupo control se enteran de las diferencias de trato con el grupo
tratamiento e ingresan en una rivalidad que compensan las diferencias, los
sabotean o generan obstculos posteriores.
Los sujetos desertan por razones de motivacin personal. Cuando los sujetos
conocen su pertenencia a un determinado grupo, que recibir tratamientos con
resultados menos deseables, esta informacin puede actuar para cambiar su
comportamiento. Por lo que los sujetos podran actuar por "rivalidad" o "dejadez"
si conocen los resultados esperados de ese experimento. Estos efectos de
reactividad impediran conocer el efecto especfico de un determinado tratamiento,
independiente de esa reactividad.
281
c) Validez de constructo de las causas y los efectos:

Cuando Campbell y Stanley (1966) se refieren a la validez externa afirman
que sta se ocupa de la posibilidad de generalizar a "otras poblaciones,
situaciones, variables de tratamiento y variables de medicin" (p. 16). En la
reformulacin planteada por Cook y Campbell (1979) las dos ltimas
generalizaciones se independizan y toman entidad propia. En efecto, ya Campbell
& Stanley haban insistido repetidamente en que las relaciones causales
encontradas en una investigacin determinada se limitaban, exclusivamente, a las
operacionalizaciones especficas de la variable dependiente y la variable
independiente "en este caso experimental concreto" (Campbell y Stanley, 1966,
Pg. 16). Por tanto, la generalizacin desde esas operacionalizaciones concretas a
otras formas de entender (operacionalizar) dichas variables era un proceso que no
deba asumirse sin ms de modo automtico. Debe resaltarse que mientras que la:
"validez interna tiene que ver con la eliminacin de
explicaciones alternativas de la supuesta relacin causal
entre X tal y como es manipulada y O tal y como es medida,
la Validez de Constructo se ocupa de eliminar las
explicaciones alternativas de las supuestas categoras de X
y O" (Cook, Campbell & Peracchio, 1990, Pg. 495).
La validez de constructo est ntimamente relacionada con el concepto de
"confundido", que hace referencia a la circunstancia de que un mismo hecho o una
misma operacionalizacin, puede ser entendida como perteneciente a dos
categoras o constructos tericos diferentes, de tal modo que las variables que
realmente mantienen una relacin causal pueden estar enmascaradas o confundidas
con otras que no tienen ese tipo de relacin, pero que son coherentes con las
operacionalizaciones utilizadas en la investigacin.
Shadish, Cook & Houts (1986) informan, por ejemplo, de los resultados
obtenidos por Coleman (1972) en su anlisis sobre la igualdad de oportunidades
educativas. Dependiendo del modo en que se hubiera operacionalizado en cada
investigacin la variable "calidad escolar" (como tamao de la clase, gastos por
alumno, antigedad de las instalaciones y el material, aislamiento acstico, etc.)
encontraba resultados diferentes de dicha variable. Otros ejemplos del efecto
confundido son el efecto Hawthorne, el efecto Pigmalin o el efecto placebo
(Ball, 1997).
Para solventar este problema de generalizacin desde las causas o las
consecuencias tal y como se ha medido y/o manipulado a los conceptos, Cook &
Campbell (1979) proponen un doble proceso, basado en la matriz multirrasgomultimtodo de Campbell & Fiske (1959):
a) Comprobar la convergencia a travs de diferentes medidas o
manipulaciones del mismo constructo (Cook & Campbell, 1979:
61).
b) Comprobar la divergencia respecto de los resultados obtenidos con
medidas o manipulaciones de constructo parecidos pero distintos.
282
La validez de constructo tiene un amplio listado de amenazas identificadas

(ver tabla anterior) que Ato (en Anguera et al., 1995) ha dividido en dos grandes
grupos59. En la siguiente tabla se resume estas amenazas.
Tabla N 4.5. Amenazas a la validez de constructo segn Cook & Campbell, 1979 (Fuente:
Elaboracin propia).
Sesgos de
operacionalizacin
de las causas y
efectos
Amenazas
Explicacin
preoperacional
inadecuada
Sesgos por el
empleo de una
nica operacin
Sesgos derivados
de utilizar un
solo mtodo
Confusin entre
constructos
y
niveles
de
constructo
Interaccin entre
diferentes
tratamientos
Interaccin entre
la administracin
de pruebas y el
tratamiento
Generalizabilidad
a travs de los
constructos
Sesgos de
reactividad de las
unidades de
respuestas (sujetos
59
Adivinacin de la
hiptesis
Descripcin
Puede estar presente cuando la eleccin de la definicin operativa
de una variable no se realiza a partir de un cuidadoso anlisis
conceptual de la misma, y por tanto no se adecua exactamente a la
definicin constitutiva (Kerlinger, 1975) del constructo.
Puesto que definir operativamente un constructo o variable puede
ser inadecuado (no tener validez de contenido o ser incompleta,
estar sesgada, ser incorrecta) siempre es preferible utilizar diversos
procedimientos, lo que nos permitir triangular los datos y captar
mejor el significado de la variable. Esta es una amenaza derivada
de no comprobar la convergencia a la que hacamos referencia
anteriormente.
Esta amenaza puede presentarse cuando, independientemente de
que se operacionalice de una o varias formas, todas ellas utilizan un
mismo procedimiento (slo tcnicas de lpiz y papel o slo
procedimientos para evaluar la reactividad fisiolgica). En tales
casos, el propio mtodo puede conllevar un sesgo sistemtico que
nos impida aprehender adecuadamente el constructo que nos
interesa.
Ocurre en aquellos casos en que un determinado constructo slo se
relaciona con otro cuando alcanza un determinado nivel, pero el
investigador no es capaz de descubrirlo porque no llega a
sobrepasar dicho umbral. Un ejemplo simplificado podra ser el de
un presunto investigador que concluyese que la temperatura no
afecta al estado fsico del agua, porque lo ha modificado desde los
10 centgrados hasta los 90 sin obtener resultados. En el mismo
sentido, puede existir problemas para generalizar los efectos de la
utilizacin de un sistema de educacin compensatoria (o la
ausencia de los mismos) si stos consistan exclusivamente en una
hora semanal de apoyo, cuando hubiera sido necesaria una mayor
intensidad del tratamiento para conseguir algn resultado
apreciable.
Se refiere a la posibilidad de que los efectos de un determinado
tratamiento aplicado con anterioridad al grupo experimental
interfieran con los del tratamiento actual, por lo que
malinterpretemos los efectos producidos por este ltimo, que no
podrn generalizarse a otras condiciones.
Se refiere a los sesgos que la aplicacin de un pretest puede
provocar en los sujetos (sensibilizacin), consiguiendo efectos
diferentes a los que se conseguiran en una situacin natural,
diferente de la investigacin en que carece de esos controles
previos.
Se refiere a los posibles efectos, no considerados en el diseo
previo, que un tratamiento puede tener entre las variables o
constructos distintos a la variable dependiente.
Los sujetos que participan en una investigacin con frecuencia

pretenden adivinar qu es lo que el investigador pretende de ellos, y
en un proceso que la psicologa social ha denominado deseabilidad
social, adaptarse a dichas expectativas, ms que a responder
Ato slo clasifica siete de las diez amenazas citadas por Cook y Campbell en 1989.
283
Amenazas
o casos)
Aprensin a la
evaluacin
(o
efectos reactivos
de
la
observacin)
Expectativas del
experimentador
Descripcin
directamente al tratamiento que, realmente, se le administra.
Indica la propensin de los sujetos a cambiar su comportamiento
cuando saben que estn siendo evaluados u observados (es la
aplicacin blanda en las Ciencias Humanas del Principio de
Incertidumbre de Heisenberg en la Fsica).
Tambin conocido con el nombre de efecto Rosenthal (por su
descubridor), efecto Pigmalin o, en sentido inverso, efecto Golem
(Ball, 1997). Aunque su autntico alcance ha sido puesto en duda,
est relacionado con los sesgos que de modo ms o menos
inconsciente puede intentar auto-cumplir sus predicciones.
d) Validez externa:
En la reformulacin de Cook & Campbell (1979) la validez externa est
referida a la generalizacin de los resultados a travs de diversos componentes,
bsicamente los sujetos y las situaciones, a los que se ha aadido la dimensin
temporal. Las amenazas de validez externa son:
Interaccin de seleccin y tratamiento: Posible limitacin de la
generalizacin de resultados a sujetos o poblaciones no
directamente incluidas en la investigacin, es decir, mantienen
presente la posibilidad de que las relaciones causales identificadas
sean especficas slo para los sujetos directamente analizados.
Interaccin de situaciones y tratamiento: En este caso las
limitaciones a la generalizacin de los resultados de la investigacin
puede venir de la especificidad de la relacin causal en la situacin
especficamente considerada.
Interaccin de historia y tratamiento: En este caso se considera
que las limitaciones a la generalizacin de las relaciones causales
pueden estar directamente vinculadas con el momento temporal, de
modo que suponer que tal relacin causal existi en el pasado o se
mantendr en el futuro, al ir ms all de lo expresamente
descubierto, tiene una alta dosis de suposicin no contrastada.
Tabla N 4.6. Amenazas a la validez externa segn Cook & Campbell de 1979. (Fuente:
Elaboracin propia).
Amenazas
Interaccin seleccin-tratamiento
Interaccin contexto-tratamiento
Descripcin
Se conoce tambin por validez de poblacin. Se refiere a la generalizacin
de la muestra a la poblacin. Supone que haya algunos efectos de la
seleccin de los grupos, de forma que impida la generalizacin a otros
grupos en que no haya ocurrido esa seleccin inicial, los sujetos de uno de
los grupos podra mostrar efectos de reaccin diferenciales a la
manipulacin de la VI.
Corresponde a la denominada validez ecolgica. Se refiere a la
generalizacin del contexto de aplicacin a otros contextos. Los sujetos
suelen cambiar su comportamiento cuando se encuentran ante una
situacin estructurada, que exige un rendimiento determinado, con una
gran directividad; frente a situaciones ms naturales, donde no hay altas
exigencias de la situacin. Se han definido distintos tipos de reactividad a
la situacin experimental, por un lado, la reactividad observacional, que se
produce cuando el sujeto cambia su comportamiento por el hecho de ser
284
Amenazas
Interaccin historia-tratamiento
Interaccin administracin de
pruebas-tratamiento
Interaccin
instrumentacintratamiento
Interaccin
de
tratamientos
intrasujeto
Descripcin
actor de una investigacin y tiende a reaccionar ms a las caractersticas
generales de la investigacin que a las variables independientes
efectivamente manipuladas. Por otro, el efecto de predisposicin o
sensibilizacin del sujeto a tratamientos posteriores, es decir, si el sujeto
no es novato en las tareas experimentales puede que reaccione de forma
diferente a otro que s lo sea, y ello dificulte la generalizacin. Y, adems,
el denominado efecto de novedad, la reaccin del sujeto a cambiar
inmediatamente tras la introduccin del tratamiento, sea cual sea ste, lo
que impedira la generalizacin de esos resultados a largo plazo.
La inferencia se ve limitada por acontecimientos especficos ocurridos en
alguno de los grupos y que generan diferencias no controladas.
Generalizacin del resultado a otras condiciones de instrumentacin
diferentes de la utilizada.
Generalizacin del resultado a otras condiciones de instrumentacin
diferentes a la utilizada.
Generalizacin del resultado de la situacin en que los sujetos reciben ms
de un tratamiento a la situacin (hipottica) en que slo reciben uno.
Son varios los procedimientos que Cook & Campbell (1979) analizan para
procurar aumentar la validez externa de una investigacin. En primer lugar se
consideran diversos tipos de muestreo, que incumben tanto a sujetos como a
situaciones, pero que no considera, obviamente, la dimensin temporal:
a) Muestreo aleatorio: este muestreo aleatorio es el que mejor
procura la representatividad de los resultados, y por tanto, el que
nos ofrece mayores garantas para generalizar los resultados a otras
situaciones o sujetos pertenecientes a la poblacin global. Sin
embargo, plantea serios problemas prcticos, fundamentalmente
debido a que las circunstancias no siempre permiten hacer un
muestreo de este tipo, o a que cuando se realiza, las muestras suelen
estar muy dispersas.
b) Muestreo heterogneo deliberado: consiste en incluir en el
estudio un amplio rango de sujetos y circunstancias de tal modo que
abarquen la mayor amplitud posible. Esta idea no debe entenderse
como seleccin exclusiva de los casos extremos, sino que han de
incluirse tambin casos "tpicos". Este procedimiento es mucho ms
asequible que el aleatorio, y aunque tcnicamente no se puede
generalizar a partir de sus resultados, la amplia gama considerada
nos permite hacernos una idea global de las relaciones estudiadas en
las diversas modalidades posibles.
c) Muestreo impresionista de categoras o modos: Consiste en
determinar las clases o categoras a las que queremos generalizar y
elegir elementos de cada una de esas modalidades, a fin de obtener
una impresin general. Este tipo de procedimiento es til en
aquellos casos en los que las pretensiones de generalizacin son
limitadas, y particularmente en investigacin aplicada, ya que no es
til para establecer un conocimiento terico ampliamente
generalizable. Es el procedimiento menos poderoso de los tres tipos
de muestreo, pero tiene como ventajas principales su simplicidad y
economa.
285
Hay, sin embargo, un ltimo procedimiento para asegurar la generalizacin

de los resultados: la replicacin. Mediante este mtodo se consigue establecer si
los datos avalan la generalizacin de los resultados cuando algunas de las
condiciones (sujetos, situaciones o tiempo) es modificada. Por tanto, es un
procedimiento con respaldo emprico, en lugar de acudir a la justificacin terica o
racional ms propia de los tipos de muestreo.
4.2.1.2.3. Modelos alternativos: UTOS de Cronbach
Aunque los modelos ms influyentes sobre validez causal han sido los
creados por Campbell & colaboradores, existen otros modelos alternativos. De
ellos el que ha tenido un mayor eco en la comunidad cientfica ha sido el de
Cronbach, un modelo de notable complejidad de anlisis. Otras aportaciones
interesantes son las de Krathwoll (1985), Kruglanski & Kroy (1976) o el de
Reichardt (1986, citado en Mark, 1986), que es una variacin del modelo de
Cronbach (Mark, 1986).
El modelo de Cronbach (1982), es probablemente el modelo sobre validez
ms elaborado y de mayor inters entre los que se han construido como alternativa
a los de Campbell & colaboradores (Campbell & Stanley, 1966; Cook &
Campbell, 1979). Cronbach (1982) distingue cuatro tipos de elementos diferentes
en una investigacin:
Unidades: Se refiere a los sujetos experimentales, ya sean estos
individuos, grupos, centros escolares, etc.
Tratamiento: Es la presunta causa, es decir, aquello que manipula
(o selecciona) el investigador.
Observacin: Se refiere al presunto efecto en la relacin causal,
que no se manipula sino que nicamente se mide.
Situacin: Se refiere al "contexto social, entendido en un sentido
amplio, en el que el estudio tiene lugar" (Cronbach, 1982, p. 79).
Por tanto, incluye desde el clima social, econmico, ideolgico o
poltico hasta el momento temporal especfico60.
Cronbach utiliza las iniciales de estos elementos de distintas maneras segn
el grado de especificidad. As, por ejemplo, utiliza el trmino UTOS, en
maysculas, para referirse a los constructos que son objeto de investigacin, bien
entendido que en un nivel abstracto al aadir el momento temporal en uno de los
elementos relevantes de la investigacin. Cook, Campbell & Peracchio (1990)
convierte esas iniciales en UTOSCH, al representar el tiempo como CH, del griego
60
Algunos autores (por ejemplo, Cook, Campbell y Peracchio, 1990, Ato en Anguera et al., 1995)
han dividido este concepto en dos diferentes, uno sobre las condiciones en las que se realiza
propiamente la investigacin (el contexto o situacin) y otro referido especficamente al momento
temporal, en el sentido dado por Cook y Campbell (1979) a este concepto, aspecto que comparto,
ya que puede darse el caso de que una misma investigacin se realice en un mismo contexto (por
ejemplo, en un mismo colegio pblico entre alumnos de la misma asignatura) pero que los
resultados sean distintos debido a los cambios ms intangibles que puedan deberse al paso del
tiempo (cambios en la ideologa, la legislacin, etc.).
286
chornos. Manuel Ato, (Anguera et al., 1995) ha traducido ingeniosamente los

trminos al castellano dando lugar al acrnimo TRUCO -Tratamiento, Respuesta,
Unidades, Contexto y Ocasin o momento temporal.
Cook & Campbell (1979) resaltaron las dificultades de interpretacin que
pueden presentarse al operativizar, en la prctica, los distintos constructos.
Cronbach (1982) profundiza en esta idea y utiliza el trmino UTOS para referirse a
los elementos concretos incluidos en la investigacin. As, la u hace referencia a la
muestra de unidades (generalmente se refiere a los sujetos concretos) que son
directamente analizados en la investigacin; la t se refiere al modo especfico en
que se ha operacionalizado la variable tratamiento y la o a la forma en que se ha
medido la variable dependiente. Cronbach (1982) siempre utiliza la S de la
situacin en maysculas ya que, atendiendo a la clasificacin fisheriana de los
trminos de un anlisis de varianza, la situacin (y habra que incluir tambin el
tiempo) es un factor fijo, en el sentido de que slo hay uno en cada estudio,
mientras que los dems trminos pueden ser factores aleatorios.
En un tercer nivel de especificidad, Cronbach utiliza los *UTOS para
referirse a aquellas condiciones donde se puede generalizar los resultados
obtenidos al investigar los utoS especficos de una investigacin, pero que difieren
de las poblaciones de referencia (los UTOS) en alguna o algunas caractersticas
(por ejemplo, otras poblaciones, contextos diferentes, efectos distintos, o
tratamientos parecidos).
Puesto que existen tres niveles diferentes de concrecin-generalizacin,
Cronbach (1982) plantea dos tipos deferentes de inferencia, segn las relaciones
que se desee establecer a partir de las posibles relaciones causales identificadas en
una investigacin concreta. En primer lugar, el establecimiento de relaciones que
puedan existir entre los utos y los UTOS (es decir, las operaciones o muestras con
los constructos o poblaciones que pretenden representar) son denominadas por
Cronbach inferencias internas, y la seguridad que se puede tener en tal relacin es
denominada validez interna. En segundo lugar, la relacin entre los utoS y los
*UTOS (o sea, entre los casos especficos y los constructos o poblaciones
ligeramente diferentes a aquellos que pretendan representar) recibe el nombre de
inferencias externas, y el grado de credibilidad o seguridad en tal relacin es
denominada validez externa.
Cronbach (1982) concede una importancia prioritaria a estos dos tipos de
inferencias, particularmente en las inferencias externas, ya que como seala
"normalmente slo una pequea fraccin de la audiencia est interesada en los
UTOS que define el estudio" (p. 99). En efecto, para ser aplicado, los lectores de la
investigacin normalmente habrn de preguntarse cosas como funcionar este
programa de lecto-escritura en nuestro idioma (*S), con nuestros alumnos (*U),
tal y como nosotros evaluamos el rendimiento (*O) y adaptado para que lo
apliquen nuestros profesores (*T)? Es decir, las aplicaciones de los resultados han
de hacerse con frecuencia a condiciones diferentes de las estudiadas y, en el caso
de la investigacin aplicada, este proceso es el prioritario, ya que los responsables
de tales tomas de decisin no suelen ser tan minuciosos respecto a la seguridad con
que se haya establecido la relacin causal, sino que estn ms bien interesados en
la aplicabilidad de los descubrimientos.
287
Cronbach utiliza algunos conceptos acuados por Campbell & sus

colaboradores (fundamentalmente el trmino de validez interna) en un sentido
distinto, lo que ha producido cierta confusin, que aadido a la complejidad del
modelo, ha propiciado su poca difusin. Otra de las crticas que se han realizado
contra este modelo se refiere al excesivo esquematismo dado al tema de la
generalizacin (Mark, 1986). Es bien cierto que Cronbach tiene razn al plantear
que las aplicaciones prcticas de las investigaciones con frecuencia requieren su
generalizacin a situaciones o condiciones que varan, en mayor o menor grado, de
las poblaciones o condiciones analizadas inicialmente. Sin embargo, no hay razn
alguna para mantener que esa mayor diversidad deba plantearse en slo dos niveles
(UTOS y *UTOS), sino que, ms bien, debe ser concebida como un continuo
(Mark, 1986).
4.2.1.2.4. Evolucin posterior de las tipologas de validez
A pesar de la complejidad del modelo de Cronbach (1982) y de su limitada
difusin, su contribucin a la aclaracin del tema fue importante, bsicamente
porque oblig a reflexionar sobre los modelos existentes y a introducir algunos
cambios que permitiesen aclarar el campo.
Entre las reacciones ms importantes que produjo el modelo de Cronbach
(1982), aunque hubo algunas otras razones que justificaron el cambio (Cook &
Shadish 1994), cabe citar la reformulacin que hizo Campbell (1986) de algunos
de los conceptos incluidos en sus propios modelos. As, como una reaccin al
hecho de que muchos autores solan considerar, errneamente, (a pesar de lo
indicado por l de modo explcito) que el trmino de validez interna se refera al
nivel de seguridad que podamos tener en que exista una relacin causal entre dos
conceptos, Campbell propone cambiar el nombre de validez interna por otro que
especifique, de modo ms detallado, las caractersticas que tiene dicho concepto.
La alternativa que ofrece es la de pasar a denominarla validez Causal local
molar. Con esta nueva denominacin pretende hacer hincapi en algunos aspectos
esenciales, representados por cada uno de los trminos empleados:
Causal: se refiere a que este tipo de validez ha de centrarse
fundamentalmente en que las relaciones analizadas sean realmente
de tipo causal.
Local: hace referencia exclusivamente a que el nivel de relacin
causal se establece exclusivamente entre la t y la o del modelo de
Cronbach (la t y la r en el modelo traducido del esquema truco). Ya
en Campbell & Stanley (1966, p. 16), se referan a la validez interna
como los cambios que introducan "los tratamientos empricos en
este caso experimental concreto". Existe en esta nueva
conceptualizacin, por tanto, un rechazo implcito a la postura de
Cronbach (1982) que no slo incluye en el concepto de validez
interna los constructos T y O, sino incluso los de U y S.
Molar: implica que las relaciones causales identificadas en el nivel
ms bajo de operacionalizacin han de entenderse como el resultado
de la interaccin global entre todos los elementos implicados
288
(sujetos, contexto, forma de manipular el tratamiento, modo de

observar los resultados, etc.) ms que como el efecto de alguno o
algunos de dichos microelementos aisladamente. Dicho de otro
modo, lo que se determina no es si esta causa provoca esta
consecuencia, sino si tal relacin acontece para estos sujetos
determinados en estas circunstancias concretas y en este preciso
momento temporal.
Campbell (1986) no slo propuso cambiar el nombre de la validez interna,
sino que su afn clarificador de conceptos le hizo proponer igualmente un cambio
de denominacin para la validez externa. Como respuesta a los dos niveles de
inferencia (interna y externa) planteados por Cronbach (1982), Campbell propone
modificar el concepto de validez externa y sustituirlo por el de gradiente de
semejanza (Proximal Similarity), como parte de un proceso de reflexin que le
lleva a alejarse cada vez ms de los procedimientos basados en procurar la
representatividad a travs del muestreo. Por un lado debido a que tal tipo de
muestreo es impracticable para algunos componentes de la investigacin, como el
tiempo. Por otro porque esa misma dimensin temporal, aparte de otras, afecta a la
representatividad del resto de componentes: un muestreo aleatorio de sujetos - o
de escuelas, o de aulas- puede seguir considerndose representativo de cmo es la
poblacin de referencia diez o quince aos despus de realizado el estudio? Por
ltimo, razones de tipo prctico (econmicas, geogrficas, etc.) recomiendan la
utilizacin de muestreos ilustrativos (impresionistas, tal y como los denominaban
Cook y Campbell, 1979) orientados por alguna teora especfica en lugar de los
muestreos aleatorios de poblaciones amplias, cuyo abandono formalmente
recomienda Campbell (1986). Mark (1986) y, de modo especial, Shadish, Cook y
Houts (1986) abogan por una planteamiento semejante, en el que las inferencias no
se construyan a travs de procedimientos de estadstica inferencial sino a travs de
la integracin de la informacin proveniente de diversas fuentes.
Por tanto, y como resumen, Campbell reformula en 1986 su tipologa de la
validez de la investigacin causal de tal modo que decanta su antigua Validez
Interna (ahora denominada Validez Causal Local Molar) hacia una concepcin ms
emprica y menos terica, mientras que impulsa su antigua Validez Externa (ahora
Gradiente de Semejanza) hacia un modelo ms guiado por la teora especfica de
cada estudio y menos por procedimientos aleatorios ms o menos automatizados.
Otros planteamientos han puesto de manifiesto algunos problemas con los
que se enfrenta la investigacin causal. Por ejemplo, Mark (1986) en su excelente
trabajo integrador de las diversas tipologas de validez, seala que el intentar
asegurar una alta validez en el establecimiento de las relaciones causales puede
carecer de utilidad prctica, tal y como ya haba sealado anteriormente la postura
de Cronbach, mucho ms interesado por la trascendencia prctica de las
investigaciones que por el nivel de seguridad en las conclusiones.
Cook y Shadish (1994) sealan que las tipologas de validez no estn (ni
probablemente puedan llegar a estar) completas. Siguiendo a Dunn (1982)
reconocen que la cantidad de tipos de validez es ilimitada: Por qu separar la
validez de constructo de la validez externa, como hacen Cook y Campbell en 1979,
289
y no hacer lo propio con la validez de poblacin, o la ecolgica o la temporal, por

ejemplo? Cook, Campbell y Peracchio (1994) presentan un listado de amenazas a
la validez de investigacin que, aunque basada en las propuestas anteriores de
Campbell y Cook (1979), que a su vez se basaban en la de Campbell y Stanley
(1966), presenta ciertas modificaciones, fundamentalmente respecto a la categora
a la que se asigna cada tipo de amenaza, lo que nos sugiere es que ste tampoco es
un campo completamente cerrado.
Tabla N 4.7. Evolucin de las clasificaciones de amenazas a la validez en los diversos modelos de
Campbell & Cols (Basado en Aliaga, 2000).
Tipo de
validez
Validez
Interna
Campbell & Stanley

(1966)
Historia
Maduracin
Administracin de tests
Instrumentacin
Regresin
Seleccin
Mortalidad experimental
Interaccin entre seleccin
y otras amenazas
Validez de
Conclusin
Estadstica
Validez
Externa
Validez de
Constructo de
Causas y
Efectos
Efecto reactivo o de
interaccin de los tests
Interaccin
seleccintratamiento
Efectos reactivos de
dispositivos
experimentales
Interaccin
entre
tratamientos mltiples
Cook & Campbell (1979)

Historia
Maduracin
Instrumentacin
Regresin estadstica
Seleccin
Mortalidad
Ambigedad en la direccin
de la relacin causa-efecto
Difusin o imitacin de
tratamientos
Igualacin compensatoria de
tratamientos
Rivalidad compensatoria de
los sujetos
Violacin de los supuestos de
las pruebas estadsticas
respuesta
de los tratamientos
Irrelevancias aleatorias del
contexto de investigacin
Heterogeneidad aleatoria de
las unidades de respuesta
Interaccin seleccintratamiento
Interaccin contextotratamiento
Interaccin
historiatratamiento
Explicacin preoperacional
inadecuada.
Sesgos derivados del uso de
una operacin nica
un solo mtodo
Adivinacin de hiptesis
Recelo de evaluacin
Expectativas del
Cook, Campbell & Peracchio

(1990)
Historia
Maduracin
Instrumentacin
Regresin estadstica
Seleccin
Mortalidad
Ambigedad en la direccin de
la relacin causa-efecto

Fiabilidad de las medidas
de los tratamientos
Irrelevancias aleatorias del
contexto
unidades de respuesta
Interaccin entre tratamientos

mltiples
Interaccin
medicintratamiento
Interaccin
seleccintratamiento
Interaccin
contextotratamiento
Explicacin preoperacional
inadecuada.
una operacin nica
Sesgos derivados del uso de un
solo mtodo
Interaccin
entre
el
procedimiento y el tratamiento
Difusin o imitacin de
290
Tipo de
validez
Campbell & Stanley

(1966)
Cook & Campbell (1979)

experimentador
Confusin de constructos y
niveles de constructo.
Interaccin de tratamientos
intrasujeto
Interaccin de administracin
de pruebas y tratamiento
Generalidad restringida entre
constructos
Cook, Campbell & Peracchio

(1990)
tratamientos
tratamientos
Rivalidad compensatoria de los
sujetos
Adivinacin de hiptesis en de
las condiciones experimentales.
Recelo de evaluacin
Expectativas del
experimentador
Confusin de constructos y
niveles de constructo.
La utilidad de los modelos de validez ha sido indudable y ha permitido a

los investigadores sociales centrarse en aspectos que pasaban desapercibidos. Sin
embargo, hay una creciente complejidad y fragmentacin de los modelos, as como
la confusin con respecto al vocabulario empleado (con distinto significado segn
los autores, y con diversidad terminologa para un mismo concepto).
Adicionalmente, ya Cronbach ha sealado que muchas investigaciones se han visto
innecesariamente complicadas al plagarse de controles para algunas amenazas.
Reichardt (1985), por su parte, seala algunos ejemplos en los que algunas
amenazas no se han detectado por acogerse demasiado rgidamente a los esquemas
de validez planteados. Estos excesos no son, sin embargo, achacables a los
modelos planteados, sino ms bien a la utilizacin ciega (o excesivamente rgida)
que se ha realizado de los mismos. Al respecto, Campbell y Stanley (1966)
previenen sobre la utilizacin rgida de los modelos o tablas por ellos planteados:
"ms bien habra que estimular una actitud abierta hacia
la indagacin de los nuevos mecanismos de obtencin de
datos, y un nuevo anlisis acerca de algunas de las
imperfecciones que acompaan a la aplicacin rutinaria de
los (diseos) tradicionales (...) hemos llamado la atencin
sobre la posibilidad de utilizar creativamente las
caractersticas peculiares de cualquier situacin concreta
de investigacin al disear pruebas especficas de hiptesis
causales" (pp. 138-139).
4.2.1.3. La validez causal en ARYSIS
El modelo ARYSIS utiliza las diversas modalidades de validez,
preocupndose por determinar, previamente, cul es el nivel de inferencia de la
relacin causal entre el programa y el impacto. Basado en una serie de aspectos
algortmicos, la evaluacin de cada una de las 33 amenazas contra la validez no
tiene otro objeto que contribuir a que el investigador (o, posteriormente, el
evaluador o gerente social) descarte todas las fuentes de sesgo que pueden afectar
291
la investigacin, y en el caso de no asegurar el descarte, utilizar los procedimientos

estadsticos necesarios para que controlar las fuentes de sesgo sospechosas.
Tabla N 4.8. Amenazas a la validez y tratamiento en ARYSIS (Fuente: Elaboracin propia).
Validez de la
conclusin
Estadstica
Amenazas
Violacin de los supuestos de las

pruebas estadsticas
respuesta
Fiabilidad de la administracin de
los tratamientos
Irrelevancias aleatorias del contexto
de investigacin
Validez
Interna

unidades de respuesta
Historia
Maduracin
Instrumentacin
Regresin estadstica
Seleccin
Mortalidad Selectiva
Ambigedad en la direccin de la
relacin causa-efecto
Difusin e imitacin de tratamientos
tratamientos
Rivalidad compensatoria de los
sujetos
Tratamiento en ARYSIS
Calcular adecuadamente el tamao de la muestra. En
su defecto, utilizar remuestreo con mtodos Bootstrap.
El anlisis del poder estadstico es un modo til de
asegurar que la muestra propuesta sea lo
suficientemente grande para los fines del anlisis.
Utilizar el estadstico posteriormente al anlsis del
cumplimiento de sus supuestos.
Fijar un valor alfa de acuerdo a la probabilidad de la
presencia del evento.
Realizar un estudio piloto para determinar la
fiabilidad por homogeneidad, consistencia interna y
estabilidad temporal de la medicin.
Establecer un protocolo estandarizado de aplicacin
del tratamiento y supervisar su ejecucin previa
capacitacin de los administradores.
Controlar con covariantes. Establecer una lista de
registro de covariantes posibles que se registrarn en
el monitoreo.
Evitar la aquiescencia del entrevistado y enfatizar en
la consigna consensuada.
Realizar un pretest comprehensivo. Controlar con
covariantes. Establecer una lista de registro de
covariantes ambientales posibles que se registrarn en
el monitoreo.
Realizar mediciones de control en el tiempo.
Controlar con covariantes. Establecer una lista de
registro de covariantes intrasujeto posibles que se
registrarn en el monitoreo.
Establecer un procedimiento estandarizado de
administracin de pruebas.
Utilizar pruebas de medida paralelas y con fiabilidad y
validez probadas.
Eliminar las puntuaciones extremas o controlar su
efecto mediante ecuaciones de regresin.
Utilizar
procedimientos
de
emparejamiento
matching.
Considerar un porcentaje adicional de mortalidad
selectiva y determinar su efecto en los resultados.
Utilizar procedimientos de seleccin paralelos.
Desarrollar un marco terico previo. Utilizar el path
anlisis.
Evitar la cercana socio-geogrfica de los grupos
control. Establecer estados contrafactuales utilizando
criterios de propensity score.
Disear mecanismos de motivacin incluidos en los
programas. Evitar la cercana socio-geogrfica de los
grupos control. Establecer estados contrafactuales
292
Amenazas
Validez de
constructo
Explicacin pre operacional

inadecuada.
Sesgos derivados del uso de una
operacin nica.
Sesgos derivados del uso de un solo
mtodo.
Adivinacin de hiptesis.
Interaccin de tratamientos intra

sujeto
Interaccin de administracin de
pruebas y tratamiento
Utilizar instrumentos (cuestionarios) paralelos.

Controlar la aquiescencia.
Establecer una consigna concertada.
Utilizar un evaluador externo. Incluir a los
administradores como sujetos de estudio.
Analizar previamente las dimensiones tericas del
constructo. Determinar la validez de contenido y
constructo.
Aplicar cuestionarios de control de estmulos
paralelos.
Entrenar cuidadosamente a los encuestadores y evitar
que sean los mismo promotores del tratamiento.
Generalidad restringida entre

constructos
Determinar la validez de contexto. Analizar la validez

de constructo de los indicadores.
Interaccin seleccin-tratamiento
(validez de poblacin).
Interaccin contexto-tratamiento
(validez ecolgica)
Garantizar la equivalencia de los grupos con tcnicas

de emparejamiento.
Contextualizar la seleccin de indicadores para
ponderar los impactos. Utilizar anlisis de variables
mltiples.
Utilizar marcadores de experiencia previa en
encuestas de control.
Recelo de evaluacin
Expectativas del experimentador
Confusin de constructos y niveles
de constructo.
Validez
externa
Tratamiento en ARYSIS
utilizando criterios de propensity score.
Disear el marco terico contextualizado a la realidad
y acorde al estado del arte. Utilizar estudios de
evaluacin rpida.
Utilizar operaciones paralelas. Utilizar mtodos
mixtos.
Utilizar el enfoque multimtodo y multirasgo.
(validez histrica)
Estas alternativas algortmicas se fundamentan procedimentalmente sobre

la base de tres conceptos que son aceptados en la comunidad cientfica de
evaluadores de impacto. Estos conceptos son los siguientes: a) estado de la
naturaleza, b) potenciales resultados y c) decisin de participar.
1. El primer concepto, estado de la naturaleza61, se usa
tpicamente en la evaluacin de programas sociales para describir
dos estados posibles: el estado de tratamiento y el estado de notratamiento: El primero hace referencia a una realidad en que un
individuo cualquiera ha participado efectivamente de un programa,
es decir si ha sido tratado por el programa. El segundo estado
hace referencia a una realidad en la que un individuo cualquiera no
ha participado efectivamente de un programa, es decir que no ha
sido tratado por el programa. Dentro de este concepto ingresa la
preocupacin por la validez de la conclusin estadstica, el control
del proceso de inferencia y otras amenazas contra la validez.
2. El segundo concepto, potenciales resultados que puede
experimentar un individuo cualquiera durante su vida, est referido
61
El concepto de estados de la naturaleza es ampliamente utilizado en teora de Finanzas. As, a

travs del precio de cada uno los estados de la naturaleza es posible valorar cualquier activo
financiero.
293
a distintas variables o aspectos de su vida y durante varios

momentos en el tiempo que pudieran verse afectados por el
programa. En la evaluacin de impacto interesa concentrarse en
aquellos aspectos en los cuales se espera que el programa tenga
alguna implicancia. As, por ejemplo, si se evala un programa de
desayunos escolares posiblemente se definir los resultados en
funcin del estado nutricional y del rendimiento acadmico. Dentro
de este concepto ingresa la preocupacin por la validez de
constructo, la fiabilidad de las medidas y la validez de contexto.
3. El tercer concepto se refiere a la decisin de participar en un
programa social. La mayora de los programas sociales suelen ser
voluntarios en el sentido de que todos aquellos individuos que
quieren participar (y cumplen con los requisitos para hacerlo)
pueden potencialmente hacerlo (Ej. Comedores populares o
programas de empleo juvenil). En algunos otros programas la
decisin de participar en el programa no est en manos de los
participantes sino de terceros (Ej. Construccin de caminos rurales
o electrificacin). Dentro de este concepto ingresa la preocupacin
por la validez de seleccin, el problema de los grupos control, las
amenazas de la historia, maduracin e interaccin entre grupos,
tratamientos y seleccin.
Estos conceptos previos, que resume en gran medida el aparato
fundamental del Modelo ARYSIS, son claves para definir los procedimientos
estandarizados de la evaluacin de impacto. Tal como se desarroll en el marco
terico (vase el punto 2.2.3.7), el procedimiento general de evaluacin de impacto
es el siguiente:
1. Determinar si realizar o no una evaluacin.
2. Aclarar los objetivos de la evaluacin.
3. Examinar la disponibilidad de datos.
4. Disear la evaluacin.
5. Formar el equipo de evaluacin.
6. Si se recopilan datos: disear y seleccionar muestras, elaborar
instrumentos de recopilacin de datos, reunir y capacitar personal
para trabajo en terreno, realizar pruebas piloto, recopilar datos y
administrar datos y acceder a ellos.
7. Recopilar datos actuales y analizar los datos.
8. Redactar los resultados y analizarlos con las autoridades
responsables y otras partes interesadas.
9. Incorporar los resultados en el diseo del proyecto.
A este procedimiento general, ya presentado y explicado, conviene
agregarle algunos aspectos caractersticos de ARYSIS- con suficiente desarrollo.
Con fines didcticos, se agruparn los nuevos procedimientos estandarizados
propuestos en tres grupos: a) exploracin inicial: contextualizacin, b) elaboracin
del diseo terico propio, c) elaboracin del diseo instrumental y estadstico.
294
En primer lugar, toda evaluacin de impacto exige, en primer lugar,

contextualizar el procedimiento. Puede resultar materialmente contraproducente
aplicar el mismo procedimiento de evaluacin de impacto as sea el mismo
programa- cuando se aplica en dos o ms contextos socioculturales distintos
(Youker, 2005; Bedi, Bhatti, Gine, Galasso, Goldstein & Legovini, 2006). La
contextualizacin es fundamental por cuanto, si se deja de tomar en cuenta,
afectara significativamente la validez de los resultados y producira sesgo en las
comparaciones inter-muestra.
La contextualizacin es un criterio de aplicacin mundial en las ciencias
sociales. En psicologa se usa para adaptar instrumentos de medicin; tanto en la
estructura de la prueba (para estandarizar su significativo) como en los baremos de
calificacin y comparacin. En educacin se usa el trmino de diversificacin,
entendiendo que los contenidos educativos deben adaptarse a la diversidad
sociocultural del pas.
La contextualizacin implica considerar la disponibilidad de los datos, la
ponderacin de la calificacin de las mediciones, la determinacin de covariantes y
variables no-observables que pueden generar efecto confundido y, finalmente, la
adaptacin de los instrumentos de medida.
En cuanto a la elaboracin del diseo terico nico, ste es de vital
importancia por cuanto genera el marco para la comprensin de los constructos, la
interpretacin de los resultados y el control de la validez de las medidas.
Recurdese que el marco terico es fundamental para la definicin de los
indicadores, para la sustentacin de la relacin causal entre variables y para la
identificacin de covariantes importantes que, si no se controlan, pueden afectar la
validez de los resultados.
En cuanto a la elaboracin del diseo estadstico apropiado, este se
desarrollar con detenimiento en el subttulo 4.3. Sin embargo, es importante dejar
claro cul es el procedimiento general que se usa para determinar los efectos de
impacto y el procedimiento ms comn para disminuir los sesgos de seleccin.
4.2.1.3.1. Estimacin de los efectos de impacto
En trminos analticos, la evaluacin de impacto busca conocer como
cambia el flujo de resultados de un individuo cualquiera cuando ste pasa de un
estado de no-tratamiento a un estado de tratamiento. Sin embargo, tal como se
ha mencionado con anterioridad, ser inviable conocer ese cambio con certeza
pues slo uno de esos estados ser el que se materializa, el otro no ser nada ms
que un estado hipottico sobre el cual uno puede elucubrar cmo hubiese sido.
En trminos formales el objetivo de la evaluacin de impacto de un
programa es determinar el cambio esperado en los flujos de resultados despus de
pasar por el programa que evidencia un beneficiario con determinadas
caractersticas. Dado que al grupo de beneficiarios slo se les observa en el estado
de tratamiento, el principal problema consiste en estimar el estado contrafactual.
Los distintos mtodos de evaluacin suelen resolver este problema utilizando un
grupo de comparacin o control, con individuos que no han participado en el
programa y que poseen similares caractersticas. As, dada la imposibilidad de
295
conocer el verdadero impacto de un programa para un individuo cualquiera, se

tiene que recurrir a un estimador de ese efecto, necesitando un grupo de control.
Al respecto, existen tres estimadores ampliamente usados en la literatura
sobre evaluacin para medir el impacto de un programa: estimador antes-despus,
estimador de diferencia en diferencias (tambin conocido como doble diferencia) y
estimador de corte transversal (opo & Robles, 2002). Para un mejor
entendimiento de estos tres estimadores se usa la figura siguiente. En ella se
representa el flujo de resultados para el grupo de beneficiarios y el grupo de
control en dos momentos del tiempo: antes del programa y despus del programa
(puede pensarse que ambos momentos abarcan uno o ms perodos). Asimismo se
representa el flujo de resultados en dos estados de la naturaleza (para el momento
despus del programa): estado de tratamiento y estado de no-tratamiento. La
nomenclatura utilizada es la siguiente:
A: flujo de resultados de los beneficiarios despus del programa en
estado de tratamiento.
B: flujo de resultados de los beneficiarios despus del programa en
estado de no-tratamiento.
C: flujo de resultados de los controles despus del programa en
estado de tratamiento.
D: flujo de resultados de los controles despus del programa en
estado de no-tratamiento.
E: flujo de resultados de los beneficiarios antes del programa.
F: flujo de resultados de los controles antes del programa.
Flujo de resultados
A: Estado de
tratamiento
E: Situacin antes del
programa
Grupo experimental
F: Situacin antes del

programa
Grupo control
B: Estado de no
tratamiento
C: Estado de
tratamiento
D: Estado de no
tratamiento
Figura N 4.5. Estados posibles para beneficiarios y controles (Fuente: opo & Robles, 2002, con
modificaciones)
296
De esta representacin debe quedar claro que el impacto sobre el grupo de

beneficiarios es igual a (A - B). Si lo que se quiere medir es el impacto sobre los
controles entonces se compara C y D.
El estimador antes-despus resulta de comparar la situacin de los
beneficiarios del programa antes del programa (E) con su situacin despus de
haber pasado por el programa (A). En este caso se usa como grupo de control a los
mismos beneficiarios en su situacin anterior al programa, siendo el estimador de
impacto el equivalente a A-E. El supuesto detrs de la utilizacin correcta de este
estimador es que (E) logra aproximar bien la situacin de los beneficiarios en caso
no hubieran participado en el programa (B). El principal problema de este
estimador es que la simple comparacin antes y despus puede llevar a atribuir
errneamente al programa cambios que se hubieran dado en ese grupo de
beneficiarios independientemente de su participacin en el programa, tal como se
ha demostrado en los fundamentos tericos de la validez causal.
Dado que se trabaja con medias y se asume que el promedio del error de
aproximacin tiende a cero, este estimador, como se mencion lneas arriba,
tambin se puede construir a partir de informacin sobre una misma poblacin (no
necesariamente conformada por los mismos individuos) en distintos momentos en
el tiempo. En este sentido, la ventaja de utilizar este estimador es que slo se
requiere de informacin de los participantes antes y despus del programa. Sin
embargo, la principal desventaja es el supuesto de que el error de aproximacin
tiende a promediar cero. Bajo este supuesto, el resultado promedio de los
participantes en el estado de no tratamiento es el mismo en t y t, lo cual
requerira que no se hubiesen dado cambios en el entorno econmico o cambios en
la posicin en el ciclo de vida del cohorte de participantes durante ese lapso, algo
difcil de imaginar (opo & Robles, 2002).
El estimador de diferencia de diferencias resulta de comparar las
situaciones antes-despus de los beneficiarios con aquella de los controles. As, el
impacto del programa se estima mediante la siguiente frmula (A-E) (D-F). El
supuesto detrs de este estimador es que el cambio en la situacin de los controles
(D-F) entre el momento previo al programa y el momento posterior al programa es
una buena aproximacin del cambio que hubiesen experimentado los beneficiarios
durante ese mismo perodo de no haber pasado por el programa (B-E). Una ventaja
que se atribuye a este estimador es que si existe un sesgo de seleccin en no
observables y ste es constante en el tiempo, entonces la doble diferencia permite
limpiarlo.
Advirtase que dado que no se puede observar el paso de un estado de notratamiento a un estado de tratamiento ser imposible observar el cambio para
cualquier individuo. Pero s se puede obtener ya sea uno o el otro de estos trminos
dependiendo de si el individuo es un beneficiario o un control. Ello implica que se
requieren supuestos adicionales para obtener una estimacin de toda la distribucin
del impacto a travs de este estimador. Con el estimador de doble diferencias slo
se podr estimar la media de esa distribucin.
El estimador de corte transversal slo toma en cuenta la situacin de
beneficiarios y controles despus del programa. Directamente el impacto se estima
a travs de A-D. Aqu, el supuesto es que D es una buena representacin de B. Esta
297
metodologa se utiliza en los casos en los que no hay informacin acerca del
programa al inicio del mismo, es decir no se cuenta con una lnea de base, y slo se
puede recoger informacin luego del programa. Ntese que si las situaciones de los
beneficiarios y controles son similares en el perodo anterior al programa, el
estimador de diferencia en diferencias es equivalente al estimador de corte
transversal.
Es importante sealar que tanto el estimador de diferencia en diferencias
como el de corte transversal utilizan como grupo de control a individuos distintos a
los beneficiarios. En general, el grupo de control est conformado por individuos
que por alguna razn no participan del programa o que si quisieron entrar lo
hicieron tarde, o es un grupo explcitamente identificado. Lo crucial es lograr que
el grupo de control y el de beneficiarios sean lo ms similares posibles. Para ello
existen diversos procedimientos, siendo el ms popular el matching, seguido de
la seleccin economtrica.
Habiendo estimado el impacto del programa por cualquiera de los enfoques
previamente mencionados, es posible desagregar el mismo en dos componentes:
uno atribuible a cambios en las caractersticas individuales de los beneficiarios y el
otro a cambios en los retornos que estas caractersticas tienen. As por ejemplo, en
un programa de capacitacin laboral, uno de los principales cambios en las
caractersticas observables de los beneficiarios se observara en la capacitacin
ocupacional que ellos obtienen al participar del programa, pero a su vez, esta
capacitacin ocupacional adicional podra generar una mejora en los retornos a la
experiencia que ellos tengan.
Para esto, se hace necesario estimar por separado ecuaciones de cambio
en la variable de impacto tanto para los beneficiarios como para sus respectivos
controles. Esto es, se necesita estimar un modelo economtrico en el que la
variable explicada sea el cambio en la variable resultado del individuo, explicada
en funcin de una serie de caractersticas individuales relevantes.
De esta manera se obtiene un estimador de retornos para los beneficiarios
y otro para los controles, as como estimadores de las caractersticas medias de
ambos grupos. As, el estimador de diferencias en diferencias para el impacto del
programa es desagregado en dos componentes aditivos, uno explicando cambios en
las caractersticas individuales de los participantes, y el otro, cambios en los
retornos a dichas caractersticas.
La metodologa de evaluacin propuesta puede ser considerada como una
metodologa de anlisis de equilibrio parcial. Ello se debe al hecho de que se
concentra en la evaluacin de los beneficiarios y los correspondientes controles
(contrafactuales) sin tomar en consideracin la manera en que ellos interactan con
el entorno socio-econmico.
En general, todo programa social tiene un efecto directo sobre los
beneficiarios del mismo, pero tambin tendr efectos indirectos sobre otros agentes
de los mercados donde tales beneficiarios operan, generando as reacciones que
afectarn a su vez las relaciones econmicas de los mismos en el futuro. Analizar
los efectos de un programa social en un contexto en el que se presume que existen
efectos indirectos no despreciables requiere un enfoque de equilibrio general, para
el cual es necesario afinar y complementar las herramientas de medicin.
298
La descomposicin de los efectos del programa, en trminos de cambios en

las caractersticas individuales y cambios en los retornos a estas caractersticas,
podra ser considerada como un primer paso hacia una estimacin de equilibrio
general, en el sentido que los cambios a los retornos a las caractersticas implican
una interaccin en el mbito social. Sin embargo, un verdadero enfoque de
equilibrio general requiere de un nivel de sofisticacin aun mayor en la modelacin
de esos cambios en los retornos, pues en realidad corresponden a cambios en las
interacciones sociales (opo & Robles, 2002).
Finalmente, es conveniente analizar en detalle- algunos procedimientos
modernos para disminuir el sesgo de seleccin, una de las amenazas ms poderosas
contra la validez de los resultados del estudio de impacto.
4.2.1.3.2. Procedimientos para disminuir el sesgo de seleccin
Un concepto recurrente en la literatura sobre evaluacin de impacto es el
sesgo de seleccin. Esta idea hace referencia al hecho que quienes deciden
participar en un programa lo hacen porque poseen algunas caractersticas
particulares en comparacin a quienes deciden no participar. Supngase que se
inaugura un comedor popular en un distrito de la ciudad y que puede acudir todo
aquel que quiera hacerlo, a condicin de que resida en el mismo distrito. Lo que
vamos a observar es que entre los adultos que acuden a ese comedor popular la
proporcin de mujeres es mayor que la de hombres, cuando se compara con la
proporcin de mujeres adultas al nivel de todo el distrito. Supngase que la
explicacin a ese fenmeno radica en el hecho de que la mayor parte de los
hombres del distrito trabajan lo suficientemente lejos de ese comedor popular
como para que sea costo-eficiente asistir a l. En este caso, la poblacin que decide
participar en el comedor popular presenta un sesgo a ser mayoritariamente
poblacin que trabaja lo suficientemente cerca del lugar o que no trabaja. Ello es
ms comn entre las mujeres.
Como regla general, puede pensarse que quienes deciden participar en un
programa son aquellos para quienes luego de una evaluacin costo-beneficio el
programa representa su mejor opcin, quienes deciden no hacerlo es porque tienen
mejores opciones de accin disponibles. La pregunta que surge es por qu para
algunos individuos el programa puede ser una buena opcin y para otros no. Ello
se explica por el hecho de que para un individuo cualquiera su flujo de
resultados en un determinado estado de la naturaleza depende de sus propias
caractersticas o las de su entorno. Por tanto, el impacto del programa sobre ese
individuo depender tambin de esas caractersticas.
Un ejemplo de lo anterior sera pensar cmo ser el impacto del programa
de vaso de leche si ste se lleva a colegios privados. Sin duda que el impacto sera
menor que el potencial impacto que se puede alcanzar en colegios pblicos, ya que
los ingresos familiares, acceso a agua, educacin de los padres, etc. es mayor entre
este ltimo grupo de nios y por tanto es mucho ms probable que cuenten con un
mejor nivel nutricional. El programa vaso de leche poco les aportar a estos nios,
pero s mucho a los nios de colegios pblicos. Una distincin adicional que vale
la pena establecer es el sesgo de seleccin sobre variables observables del sesgo
299
de seleccin sobre variables no observables. La primera se da cuando los que

deciden participar en un programa lo hacen sobre la base de contar con
caractersticas que pueden ser observadas por el evaluador o investigador. En el
ejemplo del comedor popular sera muy sencillo preguntar a una muestra de
personas del distrito si asisten o no al comedor popular y cun lejos se encuentra su
centro de trabajo. En este caso podremos observar que lo asistentes al comedor se
seleccionan de entre quienes trabajan cerca y los que no asisten se seleccionan
de entre quienes trabajan lejos.
En otros casos no ser posible observar la caracterstica que produce el
sesgo de seleccin. Por ejemplo, si los individuos que deciden participar en un
programa son aquellos que cuentan una cualidad de liderazgo difcilmente el
evaluador dispondr de una variable que mida esa cualidad. Buena parte de la
literatura sobre evaluacin de impacto conviene en usar el trmino sesgo de
seleccin para referirse nicamente al sesgo de seleccin en variables no
observables.
Adems, toda tcnica de emparejamiento va acompaada de un nivel de
tolerancia en la mnima distancia a considerar. Segn esto, si para cierto
beneficiario sucede que el control que minimiza la distancia (Euclideana,
Mahalanobis, Propensity o cualquier otra) an se encuentra muy alejado, es decir,
la distancia entre ambos es mayor al nivel de tolerancia, el emparejamiento no se
realiza. As, el beneficiario a evaluar deja de ser considerado en el analisis por falta
de un adecuado control.
A medida que el nivel de tolerancia se hace ms exigente, dos efectos
interesantes (y correlacionados) son observados: por un lado la probabilidad de
encontrar beneficiarios no emparejados aumenta, pero por el otro, el grado de
semejanza entre la muestra de beneficiarios y controles tambin aumenta. Se
conoce a esta coexistencia de efectos como el balance entre el emparejamiento
incompleto y el imperfecto. El emparejamiento incompleto es no deseado porque
eventualmente implica sesgos (o falta de representatividad) en la muestra de
beneficiarios emparejados. El emparejamiento imperfecto es no deseado porque
implica diferencias en caractersticas observables entre los beneficiarios y sus
respectivos. La eleccin del nivel de tolerancia requiere de un adecuado balance
entre estos dos efectos.
Un problema en el emparejamiento sobre el cual no se tiene control es el de
la existencia de diferencias en caractersticas no-observables. Un supuesto
modelstico en el que se basa la literatura de evaluacin es que la minimizacin de
las diferencias en caractersticas observables estar ligada a mnimas diferencias en
caractersticas no-observables. Este supuesto, aunque razonable, es imposible de
validar empricamente. En la medida que se pueda trabajar con un vasto conjunto
de caractersticas observables y bajos niveles de tolerancia en las diferencias en
dichas caractersticas entre beneficiarios y controles, se podr suponer que las
diferencias en caractersticas no-observables estn bajo control. Este punto ser
tratado posteriormente.
4.2.1.3.2.1. El matching
300
El mtodo del matched comparisons" consiste en asignar para cada

beneficiario un respectivo individuo-control. Dicha asignacin se realiza sobre la
base de emparejar aquel beneficiario con aquel control que sean lo ms
parecidos. Una vez establecidas las parejas de beneficiarios y controles
emparejados se podr estimar el impacto promedio del programa como el
promedio del impacto para cada pareja. La idea de encontrar un match o pareja
para cada beneficiario apunta a reducir potenciales sesgos de seleccin,
especialmente en variables observables. Existen diversas maneras de realizar el
proceso de emparejamiento y de entender la nocin del ms parecido62. A
continuacin se revisan algunos mtodos particulares de matching.
1. Minimizacin de Distancia Euclideana. Se asigna a cada beneficiario
aquel control que tenga la mnima distancia euclideana entre sus
caractersticas y las del control. Operativamente, primero se
estandarizan las variables que representan aquellas caractersticas en las
cuales queremos que beneficiarios y controles sean parecidos; ello evita
el problema de trabajar con variables que se encuentren en distintas
unidades de medida. En segundo lugar se computa la distancia entre un
beneficiario y cada uno de los controles disponibles. Se asigna como
control para ese beneficiario al control que arroje la menor distancia. Se
repite el mismo procedimiento para cada uno de los beneficiarios.
2. Minimizacin de Distancia Mahalanobis. Una variante a la medicin
de distancias euclideanas consiste en utilizar como mtrica de distancia
la propuesta por Mahalanobis, que es similar al de la distancia
euclideana pero adems de corregir por las varianzas, lo hace tambin
por la covarianzas entre las variables. Es superior al mtodo de las
distancias euclideanas en un doble sentido: en primer lugar no hace
falta tomar en cuenta el problema de las distintas unidades de medida
porque la correccin es hecha automticamente y, por otro lado, corrige
por la posible correlacin entre las variables consideradas. Ahora bien,
como sucede muy a menudo, dichas ventajas traen un costo, en este
caso computacional: es necesario computar la matriz de varianzascovarianzas de las variables consideradas en el emparejamiento y luego
realizar transformaciones lineales sobre las variables originales.
3. El mtodo del propensity score. El propensity score es una medida
que trata de establecer el grado en que un individuo cualquiera hubiese
tendido a participar en el programa que se est evaluando. As, se
utiliza un modelo de regresin del tipo probit o logit para estimar la
propensin a participar en el programa utilizando la muestra disponible
de beneficiarios y controles. Como variable dependiente se usa una
variable dicotmica (1 si se trata de beneficiarios y 0 si se trata de
control) y como variables predictoras de la regresin se utilizan todas
aquellas variables en las que se desea similitud entre beneficiarios y
controles y aquellas que puedan afectar la decisin de participar o no en
el programa. Una vez estimada la regresin se computa para cada
62
Para aplicar este procedimiento es muy importante determinar las potenciales fuentes de sesgo de
un estimador de impacto y cmo el mtodo de matching logra evitarlos.
301
individuo la propensin predicha por el modelo, es decir el llamado

propensity score. Luego se asigna como pareja de un beneficiario a
aquel control que posea el propensity score ms cercano al de ese
beneficiario. Originalmente desarrollado por Rosenbaum y Rubin
(1983), ste es un mtodo de emparejamiento que se basa en las
probabilidades de participacin (propensity scores) en vez de variables
especficas. Este tipo de metodologa ha sido utilizada intensivamente
en los ltimos aos a nivel internacional y, por tanto, ha estado en el
centro del debate metodolgico reciente63. Sin embargo, a pesar de sus
ventajas aparentes, existen algunas desventajas serias que deben ser
tomadas en cuenta para evitar confusiones y nuevos errores
(Yanovitzky, Zanutto & Hornik, 2005).
Tabla N 4.9. Ventajas y desventajas del Propensity Score Matching (Basado en Cueto & Mato,
2004, con modificaciones).
-
Ventajas
Menor costo que los diseos experimentales,
ya que generalmente las muestras proceden
de otras fuentes diferentes a las de la
administracin del programa.
Puede dar respuesta a todos los parmetros de
inters. En particular puede dar los
indicadores de distribucin del impacto.
Implica la utilizacin de modelos de
comportamiento social en la modelizacin, lo
que deja de lado el enfoque nicamente
estadstico prevaleciente en los diseos
experimentales.
No hay limitaciones ticas como en la
experimentacin social.
No se incurre en el sesgo de aleatorizacin, ni
hay efectos del tratamiento pues los
individuos no saben si estn en el grupo de
tratamiento o control ya que son datos que se
observan y no se inducen.
Generalmente las muestras que se utilizan son
grandes.
Inconvenientes
Si no se logra conformar un grupo de tratamiento
que se comporte como si hubiera sido asignado
aleatoriamente, el mtodo fracasara, puesto que
toda evaluacin de impacto tendra estimaciones
inconsistentes.
Se necesita una elaboracin estadstica muy afinada
para evitar dar resultados diferentes utilizando el
mismo conjunto de datos. El desarrollo de estos
instrumentos ha sido muy importante en la ltima
dcada pero la proliferacin de mtodos han vuelto
confuso contar con un resultado fiable, ya que los
resultados diferentes pueden dar lugar a que la
utilizacin de los mtodos se haga en funcin de
querer mostrar mejores o peores resultados de un
programa.
El conjunto de datos disponible, no forzosamente
llena los requisitos que el evaluador necesita que
cumpla. Como se necesita que los individuos se
comporten como si fueran participantes o grupo de
control, a veces los datos no se adecuan a los
perfiles de uno u otro grupo.
Se necesita ineludiblemente abordar con
rigurosidad la estimacin del sesgo de seleccin
mediante diferentes estrategias que pueden dar
diversidad de resultados.
Es posible que exista sesgo de contaminacin, en
el sentido de que en los datos como grupo de
control puede haber individuos que hayan pasado
por capacitacin similar a la del programa a
evaluar.
Una variante en los mtodos de emparejamiento consiste en construir

controles ficticios. As, ya sea que se haya usado el mtodo de distancias
euclideanas o propensity score se sugiere utilizar como control de un
63
Desde las propuesta iniciales de Rosenbaum y Rubin (1983, 1984) se han desarrollado numerosas
aplicaciones econmicas por autores diversos Heckman, Ichimura y Todd (1997); Dehejia y Wahba
(1999); Hotz, Imbens y Mortimer (1999); Lechner (1999); Heckman, LaLonde y Smith (1999);
Sianesi (2001); y Bryson, Dorsett y Purdon (2002).
302
beneficiario el promedio de los 5 o 10 controles ms cercanos a l. As, se puede

obtener un promedio para la(s) variable(s) resultado de los controles ms cercanos.
Otra modificacin es construir la pareja de un beneficiario a partir de promedios
ponderados de todos los controles disponibles. En este caso se dar mayor
ponderacin al control ms cercano y menor ponderacin al control ms lejano. El
valor de las ponderaciones se puede determinar a partir de lograr estimaciones de
la distribucin de las distancias entre un beneficiario dado y todos los controles.
Una vez hecho el proceso de emparejamiento o matching, es decir una
vez que se cuente ya con una pareja (verdadera o ficticia) para cada beneficiario, se
puede estimar el estimador de impacto de corte transversal o el de doble
diferencias.
Todos estos mtodos de emparejamiento surgen para disminuir la presencia
de un sesgo de seleccin debido a variables observables. Sin embargo, cuando el
sesgo de seleccin proviene por variables no observables, una manera de abordar
este problema es a travs del uso del ratio inverso de Mills. Ello supone correr
una regresin primero para explicar la participacin en el programa, teniendo
cuidado de incluir entre los regresores alguna variable que explique la
participacin pero que no explique la variable resultado que se est evaluando.
Luego se puede construir el ratio inverso de Mills para cada individuo, que es un
indicador que aporta informacin sobre las caractersticas no observables de los
individuos. Posteriormente, se puede estimar una ecuacin slo para la muestra de
no beneficiarios para predecir la variable resultado (por ejemplo, ingresos)
empleando el ratio inverso de Mills como un regresor adicional. Finalmente, para
cada beneficiario se puede estimar el impacto como la resta del resultado
efectivamente alcanzado por l, menos una prediccin de su resultado utilizando
los parmetros estimados mediante el ltimo modelo de regresin.
4.2.1.3.2.1. El uso de variables instrumentales
Existen algunos programas en los cuales los beneficiarios son elegidos bajo
ciertos procedimientos o por razones motivacionales. En este caso, la participacin
es una variable de eleccin endgena y casi siempre afecta el proceso de eleccin.
En este caso, el proceso de seleccin contiene errores que se confunden con
los efectos del tratamiento, sobreestimndolo o mitigndolo. El problema entonces
ocurre cuando la correlacin entre el Tratamiento (T) y los errores () es diferente
de cero (Corr T , 0). Tal correlacin es casi inevitable en los programas de
participacin voluntaria (Ej. Programas de Capacitacin Laboral, ProJoven, etc.),
pues la motivacin para participar es diferente, la habilidad es diferente, la
informacin disponible es diferente, el costo de oportunidad de participar es
distinto y existe distinto nivel de acceso (Vermeersch, 2006).
Una de las estrategias para controlar o limpiar la correlacin entre T y
es mediante el uso de variables instrumentales. El procedimiento busca aislar la
variacin en T que no est correlacionada con . Una variable instrumental es una
variable que est correlaciona (tericamente) con T (corr Z , T 0) y no
correlacionada con (corr Z , = 0). La primera etapa consiste en identificar la
variable instrumental; la segunda etapa consiste en regresionar la variable
303
endgena sobre la variable instrumental y otros regresores exgenos, calculando el

valor predicho para cada observacin. Finalmente, se regresiona el resultado y
sobre la variable predicha (y otras variables exgenas).
Es importante advertir que la variable instrumental elegida debe tener
suficiente poder en predecir T. De otro modo, tenemos instrumentos dbiles que
llevan estimaciones de variables instrumentales sesgadas (Vermeersch, 2006).
4.3. CRITERIOS METODOLGICOS

En concordancia con el parmetro terico de la causacin, el Modelo de
Evaluacin de Impacto ARYSIS se fundamenta tambin en un criterio
metodolgico esencial: los diseos cuasi-experimentales. Esto debido a que la
historia de la metodologa cuasi-experimental es inseparable del desarrollo de la
teora de la validez de la inferencia causal.
Campbell & Stanley (1966) han sido los pioneros en definir y delimitar la
naturaleza de estos mtodos. Para ellos, los diseos cuasi-experimentales se ubican
entre los diseos pre-experimentales y los experimentales. El diseo cuasiexperimental se caracteriza porque emplea escenarios sociales y porque carece de
un control experimental completo, resultando imposible controlar ciertas variables
extraas. Los diseos cuasi-experimentales suelen utilizar diversas estrategias
como sustitutivos del control experimental aleatorizado. De este modo, se consigue
minimizar y, en algunos casos, eliminar los efectos de numerosas fuentes de
invalidez interna.
Al igual que los diseos experimentales, en los diseos cuasiexperimentales tambin existe, al menos, una variable independiente (siempre es el
programa social) para observar su efecto y relacin con una o ms variables
dependientes (el impacto esperado). En todo caso, difieren de los experimentos en
el grado de seguridad que se tiene sobre la equivalencia inicial de los grupos; pues,
en este caso, los participantes no se asignan al azar ni se emparejan, sino que
dichos grupos ya estaban formados antes del experimento64.
As, los diseos cuasi-experimentales se utilizan cuando no es posible
asignar a los participantes en forma aleatoria, como comnmente se hace en los
diseos experimentales. Por tanto, la falta de aleatorizacin introduce posibles
problemas de validez interna si, por ejemplo, varios elementos pueden influenciar
en la formacin de los grupos y que no estn bajo el control del evaluador. Por eso,
dada que la validez interna de estos diseos es menor a la de los experimentos,
reciben el nombre de cuasi-experimentos; por eso el evaluador debe intentar
establecer semejanzas entre los grupos utilizando diversos procedimientos
(Schoeni & Blank, 2001; Trochim, 1986).
64
A este tipo de grupos se les llama grupos intactos porque la razn por la que surgen y la manera
como se formaron fueron independientes del experimento.
304
4.3.1. Definicin de cuasi-experimento

Shadish, Cook & Campbell (2002) explicitan que los diseos cuasiexperimentales se caracterizan por la manipulacin de cuatro elementos bsicos,
con sus respectivas alternativas:
Asignacin
Medicin u observacin de la variable de inters (O).
Grupos de comparacin (GE y GC)
Tratamientos (X)
Por asignacin se entiende la distribucin de los participantes y de los
tratamientos (programas) en el grupo experimental (GE) y eventualmente tambin
entre los otros grupos de control (GC)65.
En casi todos los cuasi-experimentos la asignacin no es controlada por el
evaluador. Al contrario, los participantes ya estn distribuidos en grupos formados
o algn otro agente hace la asignacin mediante criterios no probabilsticos.
Justamente, tal como se mencion, la diferencia esencial entre el diseo
experimental y el cuasi-experimental es la ausencia de la asignacin aleatoria66.
Por ello, los diseos cuasi-experimentales han sido inventados para suplir a los
experimentales cuando no es posible asignar grupos aleatoriamente. Y esto es muy
comn en las ciencias sociales, donde los estudios no aleatorizados son, a veces, el
nico medio tico y posible de realizar investigacin, pues son usualmente ms
baratos, polticamente sensibles y se aproximan en mayor medida a las situaciones
cotidianas.
Cuando hay varios grupos, la asignacin puede frecuentemente controlarse
a travs de otras formas no aleatorias. El matching y la estratificacin, por
ejemplo, pueden incrementar la similaridad entre los grupos. El ocultamiento
(masking) a los evaluadores, a los participantes o a otros integrantes del staff,
respecto de cules son los grupos de tratamiento y cules los de comparacin suele
tambin disminuir la reactividad y la intrusividad.
Varias amenazas contra la validez que operan mediante la temporalidad
(historia, maduracin, regresin a la media), el trabajo de registro (administracin
de test, instrumentacin), la seleccin (efecto seleccin, mortalidad, interacciones),
pueden anularse hasta cierto punto incluyendo un pretest, tanto en la variable
dependiente, como en otras variables de inters pero no equivalentes entre s, o en
variables relacionadas entre s (covariantes). Es de notar que este puede ser
efectivamente realizado por el evaluador, pero tambin en forma retrospectiva (sea
65
Existen tres procedimientos de asignacin de grupos control y experimental (Judd & Kenny,
1981): a) asignacin aleatoria (en el caso de todos los diseos experimentales) la cual garantiza la
equivalencia inicial de los grupos, b) no aleatoria pero conocida; es decir, cuando se asigna a uno de
los grupos en funcin de la puntuacin obtenida en un pretest de la misma medida utilizada para
evaluar el impacto del tratamiento y c) no aleatoria ni conocida, cuando no se conoce exactamente
sobre qu variables se constituyen los grupos.
66
La aleatorizacin es la clave para la equivalencia inicial de los grupos experimental y control. La
aleatorizacin implica una distribucin similar de las caractersticas de un sujeto en cada grupo y
facilita la inferencia causal. Elimina, tambin, los sesgos de seleccin y proporciona la base segura
para la inferencia estadstica.
305
produciendo directamente el dato o relevndola de informacin secundaria

disponible).
Los grupos de comparacin (GC) son elementos del diseo destinados a
proporcionar evidencia respecto de la plausibilidad de las inferencias
contrafactuales (hubiera sucedido O si X no se hubiera verificado? Se
pueden descartar las otras hiptesis alternativas Z, para aquellos casos en que X
no est presente?). Es de precisar, sin embargo, que una parte importante de los
diseos cuasi-experimentales carecen de grupo de control, circunstancia que ha
generado desarrollos metodolgicos muy particulares para contrarrestar esta
carencia. Un posible sub-tipo de diseo muy importante y de gran utilidad son las
series temporales interrumpidas, donde la reiteracin de mediciones sobre las
O antes y despus de la X sustituyen la carencia de grupo de comparacin.
Otros diseos, sin llegar a la alternativa de las series, son los diseos pretest y
postest, con mltiples variables dependientes sustantivamente interesantes,
vinculadas hipotticamente a la presencia, ausencia o variaciones en la X.
En los cuasi-experimentos, los grupos de comparacin son del tipo no
equivalentes en la medida en que los sujetos no han sido asignados aleatoriamente
a ellos. En muchos casos se trata de grupos (organizaciones, pequeos grupos,
territorios, comunidades) pre-existentes a la investigacin.
Una primera forma de eleccin de los grupos de comparacin se puede
realizar mediante el proceso de matching o equiparacin. El objetivo es
encontrar grupos semejantes entre s respecto de un conjunto de variables
sustantivamente importantes, pero que no forman parte de la explicacin.
Actualmente este proceso se hace ajustando un modelo de regresin logstica o
regresin probit, cuyas variables explicativas sean ese conjunto de variables
importantes, independientes de las variables X (programa). Se terminan
eligiendo aquellos casos que tienen similares probabilidades de haber sido grupos
de tratamiento. Esto es, que si hubiera existido asignacin aleatoria de
tratamientos, cualquiera de ellos hubiera sido buen candidato para tal fin
(Przeworski & Teune, 1970).
4.3.2. Tipologa cuasi-experimental

En este subttulo se presentar a los diseos cuasi-experimentales ms
conocidos, as como una breve referencia a las amenazas contra la validez interna,
de conclusin estadstica, de constructo y externa ms comunes en cada uno de
ellos (Cook, Campbell & Peracchio, 1990). Para cada diseo se presenta, tambin,
una tabla donde se identifican varios aspectos de inters para su valoracin, entre
ellos:
1. El nmero de grupos existentes, si es nico o mltiple y, en este caso, la
especificacin de los grupos. La situacin ms comn distingue entre
grupo experimental (GE) en donde se aplica el programa social y grupo
de control (GC) en donde no se aplica.
2. La regla o variable de asignacin que se utiliza: si no existe, porque se
trata de un grupo nico (NE), si es aleatoria (A), si no es aleatoria ni
conocida (NA), o si no es aleatoria pero s conocida (NAC).
306
3. Finalmente, la secuencia de tratamiento seguida, donde las Y se refieren

a las medidas registradas, medidas pretest si se efectan antes de la
administracin de programa y medidas postest si se efectan con
posterioridad. El orden de registro de las medidas y el grupo al que
pertenecen la observacin determina el subndice que acompaa a cada
Y. La administracin del programa a un grupo se simboliza con X, la no
administracin con guin continuo (--) y su retirada, tras haber sido
administrada, con noX. Una gradacin del programa se simboliza
numricamente (X1, X2, X3, etc.) y un programa invertido (positivo para
unos y negativo para otros) con los smbolos apropiados (X+ y X-).
En este contexto, es posible distinguir dos grupos de diseo cuasiexperimentales clsicos, que se refieren entre s por la secuencia de registros de
observaciones previa y posterior a la introduccin del tratamiento o intervencin.
Los diseos de grupo pretest-postest se caracterizan por la existencia
de una medida (o unas pocas medidas) obtenidas antes del programa
(Pretest), una medida post-intervencin (Postest) que refleja el efecto
del programa, y una variable de asignacin que determina la
pertenencia a (al menos) uno de los grupos: un grupo experimental
(GE) que recibe el programa y un grupo de control (GC) que no lo
recibe. Dependiendo de la naturaleza, conocida o desconocida, pero no
aleatoria de la variable de asignacin, cabe a su vez designar dos tipos
de diseos de grupos pretest-postest: a) los diseos con grupo de control
no equivalente forman una amplia clase de diseos caracterizados por el
uso de una variable de asignacin desconocida frente a b) los diseos de
discontinuidad de la regresin, caracterizados por el uso de una variable
de asignacin conocida.
Los diseos de series temporales interrumpidas constituyen una
clase alternativa cuya caracterstica fundamental es la existencia de
mltiples medidas previas y mltiples medidas posteriores a la
introduccin del programa social, el cual tambin puede ser mltiple.
En la siguiente figura se presenta la tipologa general de los diseos cuasiexperimentales.
307
Diseos cuasiexperimentales
Con variable de
asignacin
desconocida
CG no equivalente
De cohortes
Intercambio de
tratamientos
Con variable de
asignacin conocida
Tratamiento
invertido
Sin grupo control
Discontinuidad de
la regresin
Series temporales
interrumpidas
Pre-post no
equivalente
Bsico
Retirada de
tratamiento con
pre y postest
Simple
Varios pretest
Con pretest
Tratamiento
repetido
Con grupo
control no
equivalente
Pre-post y
muestras
separadas
Tratamiento
dividido
Con
replicaciones
mltiples
Con VD no
equivalente
Con
replicaciones
intercambiables
Figura N 4.6. Tipologa del diseo cuasi-experimental (Fuente: Elaboracin propia).
308
4.3.2.1. Los mdulos bsicos ms empleados en la EvPro tradicionales.

Los diseos pretest-postest y solamente postest, son los mdulos ms
empleados en la evaluacin de impacto de los programas sociales en el Per. Estos
dos diseos son pre-experimentales y, aunque no permiten establecer con
suficientes garantas la relacin causa-efecto, sin embargo presentan mdulos
bsicos a partir de los cuales se configuran diseos ms complejos.
4.3.2.1.1. Diseos pretest-postest sin grupo control
El primero es el diseo pretest-postest sin grupo control (Cook &
Campbell, 1979; Kish, 1987; Cook, Cambell & Peracchio, 1990; Mohr, 1992) el
cual requiere una observacin antes de la aplicacin del programa (X) registrada en
un grupo nico de individuos (Y1); y otra observacin post-intervencin (Y2).
Puesto que solo existe un grupo de participantes, la asignacin de grupos no existe
(NE). La siguiente tabla resume el diseo:
Tabla 4.10. Diseo pretest-postest sin grupo control
Grupos
nico
Asignacin
No Existe
Pretest
Y1
Secuencia de registros
Tratamiento
X
Postest
Y2
Con este diseo, la inferencia causal se obtiene a travs de la comparacin

entre pretest y postest, que al implicar los mismos sujetos es de carcter intrasujeto.
A pesar que este modelo es an uno de los ms usados en la evaluacin de los
programas sociales, la carencia de grupo de control hace difcil establecer la
causalidad del impacto del programa (X).
Por ejemplo, un programa de asistencia alimentaria ha tomado la medida de
ndice nutricional antes y despus de distribuir los alimentos en una poblacin de
200 familias de un pueblo joven. Intenta evaluar el impacto del programa y tiene
los siguientes resultados:
Tabla 4.11. Representacin de resultados del diseo pretest-postest sin grupo control
Grupo
nico
N
200
Pretest
5.28 (D.E.=1.79)
Postest
7.41 (D.E.=2.73)
En este caso, el efecto del programa alimentario es la diferencia entre las

medidas de postest y pretest (7.41 5.28 = 2.13). La hiptesis nula que se somete a
comprobacin es que ambos promedios son iguales y la diferencia encontrada es
debido al azar. La prueba estadstica que se usa frecuentemente para evaluar el
efecto del programa es la t de Student para grupos relacionados. Generalmente
aqu termina el asunto y se asume que el programa ha sido efectivo, sin embargo,
existen demasiadas amenazas que no han sido consideradas.
En efecto, aunque aparentemente ha aumentado el ndice nutricional de la
poblacin asistida, no se tiene total certeza de que esto haya ocurrido por causa del
309
programa asistencial. Tal como se ha explicado en el parmetro terico, existen

explicaciones alternativas que no han sido controladas. Adems es posible la
existencia de algunas amenazas contra la validez interna involucradas en
comparaciones intra-sujeto, tales como:
La historia (eventos diferentes del programa, ocurridos entre pretest y
postest, que afectaron el ndice nutricional, por ejemplo, la instalacin
de un comedor popular),
la regresin estadstica (los ndices nutricionales pudieron alcanzar
valores extremos, produciendo efectos techo-suelo y un promedio
aparente),
la maduracin (los ndices nutricionales pudieron estar en aumento por
razones biolgicas temporales),
otras amenazas tales como la administracin de pruebas y la
instrumentacin.
Todas estas amenazas producen sesgos significativos en los resultados y
aumentan la incertidumbre sobre la relacin causal entre el programa y su impacto
en la poblacin. En las simulaciones se demostrar los efectos perniciosos de estas
amenazas en este tipo de diseo.
En general, el diseo pretest-postest no permite argumentos vlidos de
causalidad, a menos que se trabaje con cortos o muy cortos intervalos de tiempo
entre pretest y postest y, por tanto, no resulta recomendable en situaciones donde
se evala un programa social a mediano o largo plazo. Solo se aconseja si se utiliza
con propsito puramente exploratorio o ampliado con un grupo de control.
4.3.2.1.2. Diseos solamente postest con grupo control
El diseo solamente postest utiliza dos grupos: un grupo experimental (GE)
que recibe el programa social (X) y un grupo de control (GC) que no lo recibe
(Cook & Campbell, 1979; Judd & Kenny, 1981; Kish, 1987; Cook, Campbell &
Peracchio, 1990; Mohr, 1992). La asignacin a los grupos se establece como en
todos los diseos cuasi-experimentales, mediante el empleo de una regla de
asignacin no aleatoria (NA). La siguiente tabla resume el diseo:
Tabla 4.12. Diseo solamente postest
Grupos
Experimental (GE)
Control (GC)
Asignacin
NA
NA
Pretest
-
Tratamiento
X
-
Postest
Y1
Y2
En este diseo, la inferencia causal se obtiene de la comparacin entre

grupo experimental y grupo control, que al implicar a diferentes sujetos es de
carcter intersujeto. Sin embargo, este diseo tambin adolece de la ausencia de
una regla de asignacin aleatoria y, adems, carece de medidas pretest,
imposibilitando el uso de procedimientos de ajuste estadstico para compensar la
no equivalencia inicial de ambos grupos. Como consecuencia, las amenazas contra
310
la validez interna limitan la inferencia casual (amenazas involucradas en

comparaciones intrasujeto y, particularmente, la seleccin). Pese a todo, este
diseo se utiliza profusamente en contextos aplicados, bajo la denominacin de
investigacin ex post facto.
A modo de ejemplo, un programa de educacin sexual ha sido desarrollado
en una comunidad educativa. El programa ha sido dirigido a 1300 adolescentes
escolares de diversos centros educativos (grupo experimental), mientras que otros
dos centros educativos cercanos a los primeros han sido omitidos de la
capacitacin (grupo control con 1,300 alumnos). El efecto del programa es ahora la
diferencia entre las medidas de ambos grupos (16.45 11.60 = 4.85) y la hiptesis
nula es que sta diferencia no es estadsticamente significativa. La prueba
estadstica aplicada, comnmente, es la t de Student para grupos independientes.
Tabla 4.13. Representacin de resultados en diseo solamente postest
Grupo
GE
GC
N
1300
1300
Postest
11.60 (3.19)
16.45 (5.07)
En el diseo solamente postest, la ausencia de pretest suele compensarse

utilizando algn tipo de medida previa, bien sea procedente de archivos existentes
o directamente de los sujetos, por uno de los procedimientos siguientes (Cook,
Campbell y Peracchio, 1990):
Utilizando pretests retrospectivos (Hutton & McNeil, 1981). Es
preciso suponer en este caso que el programa no posee ninguna
influencia en la memoria de los sujetos afectando as a las medidas
retrospectivas.
Formando los grupos experimental y control a posteriori mediante
emparejamiento (Anderson et al., 1980; Ato, 1991; Levy et al.,
1985).
Empleando variables delegadas (Proxy variables), que son
variables que sustituyen a las variables originales y correlacionan
con el postest dentro de cada uno de los grupos pero no se miden en
la misma escala (Rao & Miller, 1971). Las ms populares variables
delegadas son las demogrficas "edad", "sexo", "clase social",
"raza", "lugar de nacimiento", etc.
4.3.2.2. Diseos con variable de asignacin no conocida
4.3.2.2.1. Diseo con grupo control no equivalente
El prototipo de todos los diseos cuasi-experimentales de grupo pretestpostest con variable de asignacin no conocida es el diseo con grupo control no
equivalente. Bsicamente, consta de un grupo experimental (GE) que recibe algn
tipo de tratamiento, y un grupo de control (GC) no tratado y sus unidades son
evaluadas con el mismo instrumento de medida, al menos en dos ocasiones en el
311
tiempo: un pretest, antes de administrar el tratamiento y, un postest, con

posterioridad a su administracin.
Tabla N 4.14. Diseo con grupo de control no equivalente.
Grupos
Experimental
Control
Asignacin
NA
NA
Pretest
YE1
YCl
Secuencia de registro
Tratamiento
X
-
Postest
YE2
YC2
Como consecuencia de no utilizar una regla de asignacin aleatoria, el

problema esencial del diseo con grupo de control no equivalente es que, en
ausencia de efectos de tratamiento, GE y GC no obtienen puntuaciones
equivalentes en el postest. Y con la finalidad de evaluar la no equivalencia y
permitir la utilizacin de algn tipo de ajuste estadstico que equilibre los grupos,
se toman medidas pretest.
Tabla N 4.15. Presentacin de resultados del diseo con grupo de control no equivalente.
Grupo
GE
GC
N
51
60
Pretest
4.16 (1.11)
3.09 (0.95)
Postest
5.42 (1.84)
3.95 (1.57)
La hiptesis nula plantea que la diferencia de medias existente entre grupos

en el postest (5.42 - 3.95 = 1.47) es fruto del azar. Sin embargo, en este caso se
puede tener en cuenta la no equivalencia inicial ya que las diferencias de grupo en
el pretest no son nulas (4.16 - 3.09 = 1.07). En este caso, el anlisis estadstico es
ms complicado y requiere del Anlisis de Covarianza.
Judd y Kenny (1981) han destacado varios procedimientos para configurar
los dos grupos:
El ms sencillo consiste en utilizar grupos naturales ya formados antes
de comenzar la investigacin. La formulacin original de Campbell y
Stanley (1966) contempl dos grupos intactos que se asignaban al azar
a las dos condiciones de tratamiento y control.
Ms usual es hacer un esfuerzo para asegurar que el GC sea
aproximadamente equivalente al GE, por lo general mediante alguna
forma de emparejamiento sobre variables relevantes, en la medida de lo
posible relacionadas con la variable de asignacin (Anderson et al.,
1980; Cochran, 1983; Ato, 1991). Otra frmula consiste en disponer de
un amplio nmero de sujetos para participar en un programa, de donde
se selecciona un grupo de voluntarios (GE) y el resto forma el GC.
Una ltima frmula consiste en examinar nicamente los sujetos
sometidos al tratamiento y comparar sujetos con alta exposicin al
tratamiento con los que reciben baja exposicin. Este enfoque es
necesario en investigaciones donde, tarde o temprano, todos los sujetos
terminan recibiendo el tratamiento.
312
Cook & Campbell (1979) y Cook, Campbell & Peracchio (1990) han
destacado cinco diferentes pautas de resultados de las cuales depende la calidad de
la inferencia causal, a saber:
1. No hay cambio en GC. Mientras que
el GE alcanza un notable aumento en
el postest, el GC no obtiene ningn
cambio. Cuando aparece esta pauta
GE
de resultados, la atribucin causal al
tratamiento (X) es difcil, y pasa
primero por determinar las tasas de
crecimiento de GE y de GC durante
el perodo temporal pretest-postest.
Las amenazas contra la validez
GC
interna ms comunes en todas las
pautas son las siguientes:
Interaccin
seleccinPretest
Postest
maduracin: el GE, como
consecuencia
de
la
no
equivalencia en el pretest con el GC, madura o cambia a diferente ritmo
como consecuencia del tratamiento.
Instrumentacin: GE y GC parten de puntos diferentes de la escala de
medida y sus diferencias se agudizan en funcin de la distancia inicial
(pretest), de la distancia a cubrir entre pre y postest y de la proximidad a los
valores extremos (efectos techo y suelo).
Regresin estadstica: el GC representa en el pretest un rango extremo de
valores de la escala de medida respecto al GE que se aproxima al centro de
la escala en el postest.
Historia: eventos locales que tuvieron lugar diferencialmente en uno de los
dos grupos han podido cambiar su trayectoria respecto del otro.
2. Grupo Experimental (GE) y Grupo
Control (GC) cambian en la misma
direccin pero a diferente ritmo. Esta
pauta tiene ms apariencia de normal
que la anterior: GE y GC obtienen
sendas mejoras en el postest, pero el
aumento producido en el GE es mayor
que en el GC. Las amenazas contra la
validez interna son las mismas que en el
caso anterior.
GE
GC
Pretest
Postest
313
3. Las diferencias entre Grupo

Experimental y Grupo Control en el
pretest disminuyen en el postest.
Esta pauta presenta una situacin
similar a la primera y es tpica de
contextos de investigacin donde se
persigue la igualacin del Grupo
Experimental al Grupo Control en el
postest sobre la base de alguna
caracterstica especfica. Presenta
las mismas amenazas contra la
validez interna que las pautas
anteriores.
4. GE con tratamiento compensatorio
con interaccin ordinal. Esta pauta
se presenta en contextos de
investigacin
sobre
educacin
compensatoria y se caracteriza
porque los grupos exhiben grandes
diferencias en el pretest. Una
caracterstica de este caso es la
presencia de una interaccin ordinal
(las pautas para ambos grupos
tienden a la convergencia pero no se
cruzan en ningn punto) entre
tratamiento y administracin de
pruebas. Las amenazas contra la
validez interna son las mismas que
en casos anteriores.
5. GE con tratamiento compensatorio
con interaccin no ordinal. Esta
pauta, tambin tpica de contextos
de investigacin sobre educacin
compensatoria, difiere de la anterior
nicamente por el hecho de que el
GE obtiene puntuaciones medias
por encima del GC en el postest. Sin
embargo, el cambio de tendencia, o
sea, la presencia de una interaccin
no ordinal (las pautas se cruzan en
algn punto), la hace ms
susceptible de interpretacin en
trminos causa-efecto que las
GE
GC
Pretest
Postest
GE
GC
Pretest
Postest
GE
GC
Pretest
Postest
314
anteriores, porque en gran medida se disipan las amenazas de instrumentacin,

interaccin seleccin-maduracin y regresin estadstica, aunque todava
persiste la amenaza de la historia.
El diseo con grupo de control no equivalente se utiliza habitualmente en
su forma bsica, es decir, con dos grupos y dos registros de medicin. Sin
embargo, tcnicamente ya no es aconsejable emplearlo bajo esta forma (Moffitt,
1991). Hay dos opciones, no excluyentes, en que el diseo puede mejorar sus
condiciones para la inferencia causal. La primera consiste en ampliar el nmero de
grupos, o bien mediante una gradacin de tratamientos, o bien por la incorporacin
de uno o ms grupos de control. La segunda consiste en ampliar el nmero de
registros de medicin, usualmente incorporando ms pretests. Esta ltima solucin
origina el diseo con doble pretest, que se abordara a continuacin.
4.3.2.2.2. Diseo con doble pretest
Este diseo es una variante ms conveniente del diseo con grupo de
control no equivalente, del que se diferencia porque se registra una observacin
ms en el pretest para cada uno de los dos grupos (Cook & Campbell, 1979;
Peracchio & Cook, 1988; Cook, Campbell & Peracchio, 1990). El diagrama del
diseo aparece en la tabla siguiente.
Tabla N 4.16. Diseo con doble pretest.
Grupos
Experimental
Control
Asignacin
NA
NA
Pretestl
YE1
YC1
Pretest2
Tratamiento
YE2
X
YC2
-
Postest
YE3
YC3
El tratamiento estadstico de este diseo debe considerar el ajuste del

postest respecto de las puntuaciones obtenidas en el pretest y ser objeto de un
epgrafe posterior. La presentacin de resultados es muy similar al diseo con
grupo de control no equivalente. Utilizando nuevamente datos hipotticos, con los
mismos promedios de grupo y desviaciones tpicas entre parntesis del diseo
anterior, un resultado tpico de este diseo es el que aparece en la tabla.
Tabla N 4.17. Presentacin de resultados del diseo con doble pretest.
Grupo
N
Pretest
Pretest2
GE
51
3.85 (1.16)
4.16 (1.11)
GC
60
3.04 (1.20)
3.09 (0.95)
Postest
5.42 (1.84)
3.95 (1.57)
El diseo con doble pretest fue empleado por Wortman, Reichard y St

Pierre (1976) para evaluar el efecto del programa de crdito educativo Alumn
Rock sobre la lectura. Bajo este programa, los padres seleccionaban una escuela
para su hijo y sta reciba un crdito equivalente al coste de la educacin del nio.
El objetivo del programa era fomentar la competicin entre escuelas para mejorar
as la educacin recibida. Y aunque las evaluaciones iniciales haban encontrado
que el programa disminua las puntuaciones en lectura, Wortman y colegas
315
registraron el rendimiento lector de un grupo de alumnos desde primero hasta

tercer grado, en escuelas sin sistema de crdito (control) y con sistema de crdito
(experimental). Dentro de stos, examinaron un sistema de crdito tradicional y un
sistema no tradicional. Los resultados mostraron que la disminucin de las
puntuaciones era debida al grupo entrenado con el sistema no tradicional con
crdito, que era afectado negativamente por el programa. Los otros grupos,
tradicional con crdito y sin crdito presentaban tasas de desarrollo similares.
Una de las ventajas de este diseo es que permite la evaluacin de la
amenaza de la interaccin seleccin-maduracin bajo el supuesto de que la tasa de
cambio entre=Yj3 YZ se encontrar tambin entre Y2 y Y3. Sin embargo,
conviene ser cauteloso para calcular diferencias entre tasas de desarrollo, ya que
dichas tasas de desarrollo se estiman con error de medida y, por otra parte, ciertos
cambios de escala pueden hacer que el crecimiento entre Yl e Y2 no sea
representativo de lo que se espera entre Y2 e Y3.
Otra ventaja deriva del hecho de que es posible detectar la presencia de
valores extremos en la escala en alguna de las observaciones pretest y por tanto
tambin puede evaluarse con rigor si la regresin estadstica es una amenaza
autntica. En consecuencia, la inclusin de dos observaciones pretest puede
contribuir a interpretar relaciones causa-efecto. Sin embargo, este diseo no se
emplea con frecuencia, quiz debido a que no se conoce suficientemente, pero
probablemente la razn ms slida es la dificultad de obtener pretests. Si casi
siempre se tropieza con problemas institucionales para obtener un pretest, qu
decir cuando se programa obtener dos?
4.3.2.3. Diseos de cohorte
El trmino cohorte se emplea para indicar un grupo de individuos que
experimentan un determinado evento en un mismo perodo (Visser, 1985) y son
muy tiles en investigacin (sobre todo, en investigacin educativa) porque:
Determinadas cohortes experimentan un tratamiento particular (por
ejemplo, una reforma del sistema educativo), mientras que otras no lo
experimentan.
Existe, por lo general, abundante informacin sobre caractersticas de
los sujetos de una cohorte en archivos institucionales.
Es razonable suponer que una cohorte difiera en pequeos aspectos de
matiz de cohortes previas o posteriores.
Una caracterstica crucial que hace estos diseos particularmente tiles es
que, con frecuencia, puede suponerse que existe cuasi-comparabilidad (una forma
de sesgo de seleccin atenuado) entre, una segunda cohorte, o cohorte
experimental (CE), sometida a tratamiento, y una primera cohorte, o cohorte de
control (CC), no sometida a tratamiento. Aunque no cabe nunca esperar la
equivalencia que se consigue con diseos aleatorizados, el grado de
comparabilidad se evala usualmente analizando las variables que puedan ser
mediadoras de los efectos de tratamiento.
316
4.3.2.3.1. Diseo bsico de cohortes

Minton (1975) intent probar si la primera serie del conocido programa de
televisin Plaza Ssamo afectaba a las puntuaciones en el MRT (Metropolitan
Readiness Test) de una muestra de nios de jardn de infancia. Utiliz como
cohorte experimental los nios de un jardn de infancia que sigui Plaza Ssamo,
a quienes administr el MRT al final del primer ao. Como cohorte de control
utiliz las puntuaciones obtenidas por los hermanos mayores de los nios cuando
tenan la misma edad y no haban visto Plaza Ssamo. Este diseo se representa
en la siguiente tabla.
Tabla N 4.18. Diseo de cohortes bsico.
Cohortes
Primera (Control)
Segunda (Experimental)
Asignacin
NA
NA
Pretest
Y1
--
Tratamiento
-X
Postest
-Y2
En este diseo, Y1, y Y2 son los dos momentos en que se registran las
medidas y la lnea punteada indica un grado restringido de no equivalencia. Por lo
dems, el diseo bsico de cohortes representa, en esencia, la misma idea que el
diseo con grupo de control no equivalente.
Aunque muchas de las amenazas contra la validez interna quedan
eliminadas en este diseo (entre otras, maduracin, regresin estadstica,
mortalidad e interacciones con seleccin, en particular la interaccin entre
seleccin y maduracin), todava pueden ser importantes algunas amenazas. Dos
de las ms importantes son la seleccin y la historia.
La seleccin es la amenaza ms severa, puesto que entre los hermanos
mayores existe una mayor proporcin de primognitos, que se ha
demostrado que alcanzan mejores puntuaciones en desarrollo intelectual
que sus hermanos menores (Zajonc & Marcus, 1975). Una forma de
superar este problema sera analizar los datos considerando nicamente
pares contiguos en el orden de nacimiento (por ejemplo, nacidos en
primero y segundo lugar por un lado, nacidos en segundo y tercer lugar
por otro, etc.).
La historia es tambin otra amenaza importante, puesto que la cohorte
de control puede haber tenido experiencias alternativas a Plaza
Ssamo cuya influencia se hace imposible evaluar.
4.3.2.3.2. Variaciones del diseo bsico de cohortes
Diseo de cohortes con pretests. En un estudio que comparaba la
efectividad relativa de profesores ordinarios de un centro con la de educadores
externos contratados para estimular el rendimiento de los nios, Saretsky (1972)
observ que los profesores ordinarios realizaban esfuerzos especiales y alcanzaban
un rendimiento mayor de lo esperado en comparacin con el de aos anteriores.
Aunque no est claro en su informe cmo comprob Saretsky esta hiptesis, lo
ms lgico es comparar la ganancia media de la clase objeto de experiencia con la
317
ganancia obtenida por los mismos profesores en aos anteriores. El diagrama de

este diseo sera el que aparece en la tabla.
Y1 Y2 representan las observaciones pre y postest de la cohorte anterior a la
experiencia y Y3 e Y4 son observaciones pre y postest de la cohorte que fue objeto
de la experiencia. Y1 Y2 e Y3 sirven en realidad en este contexto como
puntuaciones pretest. Obsrvese que Y2 e Y3 no son normalmente registradas en el
mismo momento temporal: la primera puede registrarse al final de un curso escolar
y la segunda al comienzo del siguiente, pero ambas en el mismo ao natural. La
hiptesis nula que se somete a prueba es que las puntuaciones de cambio Y2 Y1
Y4 - Y3, son iguales. Este diseo se denomina por ello diseo de ciclos
institucionales (Cook, Campbell & Peracchio, 1990) y su similaridad con el
diseo con grupo de control no equivalente es evidente. Adems, incrementa su
potencia estadstica cuando incluye cohortes previas (o sea, incorpora mayor
nmero de pretests) en la misma lnea que el diseo con grupo de control no
equivalente con doble pretest.
Tabla N 4.19. Diseo de cohortes con pretest.
Cohortes
Primera (Control)
Segunda (Experimental)
Asignacin
NA
NA
Pret
Y1
Secuencia de tratamiento
Trat.
Post
Pret
Trat.
Y2
Y3
X
Post
Y4
Una presentacin tpica de resultados (con datos hipotticos) es la que

aparece en la tabla siguiente.
Tabla N 4.20. Presentacin de resultados del diseo de cohortes con pretest.
Cohorte
Cohorte 1982
Cohorte 1983
N
100
124
Pretest(1982)
6.10 (1.51)
--
Postest(1983)
6.72 (1.89)
--
Pretest(1983)
-6.34 (1.46)
Postest(1984)
-8.45 (2.09)
En cualquier caso, la principal amenaza del diseo es la historia, como en el

diseo bsico, aunque la incorporacin de mayor nmero de pretests puede servir
de gran ayuda. Si las puntuaciones de cambio entre todos los pretests son
comparables (en este caso, las diferencias 6.72 - 6.10, 6.34 - 6.10 y 6.72 - 6.34), la
amenaza de historia se reduce sensiblemente. Sin embargo, la amenaza de la
historia puede tambin ser examinada si se puede programar un estudio con tres
cohortes, tal y como se presenta en la tabla siguiente.
En el diseo con tres cohortes, Y1 e Y2 no se registran simultneamente
porque pertenecen al final de un curso/ciclo y comienzo del siguiente,
respectivamente. Se trata, como el diseo anterior, de un ciclo institucional que se
repite con la observacin Y3 e Y4 y por esta razn se denomina diseo de ciclo
institucional recurrente o diseo de retazos (Cook & Campbell, 1979; Judd &
Kenny, 1981; Cook, Campbell & Peracchio, 1990). Como en el diseo con grupo
de control no equivalente, el tratamiento puede demostrarse efectivo si Y1 e Y3 son
mayores que Y2 e Y4 y si Y2 e Y4 (y tambien, por la misma razn, Y1 e Y3) no
difieren entre s.
318
Tabla N 4.21. Diseo con tres cohortes.

Cohortes
Primera
Segunda
Tercera
Asignacin
NA
NA
NA
Cohorte1
Postest
Pretest
(X)Y1
Y2
Cohorte 2
Cohorte 3
Tratamiento
Postest
Pretest
X
Y3
Y4(X)
El control (parcial) de la amenaza de historia se obtiene si se cumple que

Y3 > Y2, Y, > Y2 e Y3 > Y4, puesto que con ello se demuestra que el tratamiento
ha sido efectivo en dos momentos diferentes y que adems ha tenido que ocurrir
dos veces el evento histrico causante de la amenaza para explicar que Y1 > Y2 e
Y3 > Y4.
Por supuesto, la amenaza de seleccin tambin puede descartarse en este
diseo, porque las mismas personas estn involucradas en algunas de las
comparaciones (en particular, Y3 - Y2).
Sin embargo, la amenaza de la administracin de pruebas no puede
descartarse porque todas las comparaciones contrastan puntuaciones pretest (Y2 e
Y4) con puntuaciones postest (Y1 e Y3). Por esta razn, en el trabajo original de
Campbell & Stanley (1966) se recomendaba extender este diseo dividiendo la
segunda cohorte en dos mitades aleatorias, una de las cuales recibe la secuencia
pretest-tratamiento-postest mientras la otra recibe la misma secuencia sin pretest.
El diagrama de este diseo aparece en la siguiente tabla.
Tabla N 4.22. Extensin del diseo de tres cohortes.
Cohortes
Primera
Segunda (A)
Segunda (B)
Tercera
Asignacin
NA
A
A
NA
Cohorte 1
Postest
Pretest
(X)Y1
Y2
Cohorte 2
Cohorte 3
Tratamiento
Postest
Pretest
X
X
Y3
Y4
Y5(X)
En este caso, cualquier diferencia entre Y3 e Y4 slo puede ser atribuida a la

administracin de las pruebas. Si la diferencia es nula, entonces la validez de la
inferencia causal en este diseo es alta, y slo puede quedar oscurecida si se
emplean medidas poco fiables (o tamaos muestrales escasos) que directamente
afecten a Y2, una medida involucrada en varias comparaciones.
4.3.2.3.3. Diseo de cohortes con tratamiento dividido.
En un estudio original de Minton (1975), una formulacin alternativa para
superar la amenaza de historia y fortalecer el diseo de cohortes bsico podra ser
dividir a los nios de la segunda cohorte (cohorte experimental) en funcin del
grado de exposicin a la experiencia objeto de evaluacin (por ejemplo, si se
trataba de asistente asiduo o asistente no asiduo) y efectuar la misma divisin en la
primera cohorte (cohorte de control). As, en ausencia de un efecto de tratamiento,
no sera admisible pensar que existieran diferencias entre nios asiduos y no
asiduos ya que ambos experimentan la misma historia.
319
Este diseo se denomina diseo de cohortes con tratamiento dividido y,

suponiendo tres niveles de exposicin al tratamiento, exposicin fuerte (X1), dbil
(X2) y nula (X3), se presenta en la tabla siguiente.
La divisin de los sujetos en grupos de tratamiento aporta otra ventaja a la
validez interna. En el diseo bsico, si las condiciones de administracin de
pruebas difieren entre la primera y sucesivas cohortes, la administracin puede
resultar una amenaza por s misma. Dividir a los sujetos en funcin de la
exposicin al tratamiento contribuye a eliminar esta amenaza.
En general, los diseos de cohorte son una alternativa interesante en
contextos institucionales (sobre todo, educativos) donde existen intervenciones
cclicas de algn tipo de tratamiento. Pueden alcanzar un alto nivel inferencial en
la medida en que se acompaen de caractersticas tales como la incorporacin de
tratamientos divididos (y la consiguiente particin de las cohortes en subgrupos)
y/o la ampliacin con cohortes de control no equivalente.
Tabla N 4.23. Diseo de cohortes con tratamiento dividido.
Cohortes
Asignacin
Pretest
Subgrupo 1
Cohorte 1 (Control)
Cohorte 2 (Experimental)
Subgrupo 2
Cohorte 1 (Control)
Subgrupo 3
Cohorte 1 (Control)
NA
NA
Yc1
NA
NA
YC2
NA
NA
Yc3
Tratamiento
Postest
X1
YE1
X2
YE2
X3
YE3
4.3.2.4. Diseos de intercambio de tratamiento

El diseo cuasi-experimental de intercambio de tratamiento es una
combinacin adosada de un diseo con grupo de control no equivalente y un
diseo solamente postest con el tratamiento permutado (Basadur, Graen y
Scandura, 1986), tal y como se presenta en la tabla siguiente.
Tabla N 4.24. Diseo de intercambio de tratamiento.
Grupos
Asignacin
Experimental
NA
Pretest
YE1
Control
NA
YC1
Tratamiento
Post/Pret
Tratamiento
X
YE2/YC2
X
Postest
YC3
YC2/YE2
YE3
Este diseo (switching replications design) parece una combinacin

porque, entre el primer y el segundo registro de medicin un grupo sirve como
experimental y el otro como control (de ah su semejanza con el diseo con grupo
de control no equivalente) mientras que entre el segundo y el tercer registro los
papeles de experimental y control se invierten (y de ah su semejanza con el diseo
solamente postest).
320
4.3.2.5. Diseos con tratamiento invertido

Hackman, Pearce & Wolfe (1978) investigaron los efectos que los cambios
en las propiedades motivacionales del trabajo tienen sobre las actitudes y la
conducta en el trabajo. Como resultado de la innovacin tecnolgica, se transform
el trabajo administrativo tpico de la banca para convertirlo en un trabajo ms
complejo y exigente para algunos sujetos (trabajo enriquecido) y menos complejo
para otros sujetos (trabajo empobrecido) sin informar al personal de las posibles
consecuencias motivacionales. Las puntuaciones pretest del grupo con trabajo
enriquecido fueron inferiores a las del otro grupo, indicando una diferencia inicial
en seleccin. En este trabajo se utiliz un diseo denominado diseo pretestpostest con tratamiento invertido (reversed-treatment control group design with
pretest and posttest) y se ha representado en la siguiente tabla.
Tabla N 4.25. Diseo con tratamiento invertido
Grupos
Experimental
Control
Asignacin
NA
NA
Pretest
Y1
Yl
Tratamento
X+
X-
Postest
Y2
Y2
En este caso, X+ representa un tratamiento que se espera que produzca un

efecto en direccin positiva y X- un tratamiento conceptualmente opuesto que se
espera que invierta la pauta del efecto.
Este diseo tiene una ventaja especial de validez de constructo. El
constructo causa tiene que ser rigurosamente operacionalizado para crear una
prueba sensible que dependa de una versin de la causa (en el ejemplo, trabajo
enriquecido) afectando a un grupo en un sentido, mientras su opuesto conceptual
(trabajo empobrecido) afecta al otro grupo en sentido invertido.
Adems de los problemas ticos que en ocasiones plantea la administracin
de un tratamiento invertido, un serio problema interpretativo aparece cuando la
pauta de cambio es diferente entre tratamientos, pero en la misma direccin.
4.3.2.6 Diseos sin grupo control
Hay situaciones cuando resulta imposible contar con un grupo de control.
Los de mayor inters son los diseos de grupo nico y los diseos de lnea-base no
causal.
4.3.2.6.1. Diseos de grupo nico
Se caracterizan por disponer de un solo grupo de unidades de respuesta.
Como contrapartida, el investigador prolonga la secuencia de registro con la
intencin de encontrar algn equivalente funcional que compense la ausencia de un
grupo comparativo. Los dos diseos de grupo nico ms importantes son el diseo
de un solo grupo con tratamiento y control y el diseo de tratamiento repetido.
321
Diseo de un solo grupo con tratamiento y control.

Este diseo se utiliza cuando no es factible obtener un grupo de control no
equivalente y el investigador desea obtener un equivalente funcional. Una forma
tpica es la que aparece en la tabla.
Tabla N 4.26. Diseo de grupo con tratamiento y control ms tpico.
Grupos
nico
Asignacin
NE
Pret
Y,
Trat
X
Pret/Post
Trat
Pre/Post
Y2
X
Y3
Trat
X
Post
Y4
Se caracteriza porque utiliza un solo grupo (muestra) pre-post, repetido en

dos ocasiones (Y, - Y2 e Y2 - Y3) tras el cual se convierte en un grupo de control
(Y3 - Y4). En general, este diseo plantea diferentes problemas a los que es
preciso atender para producir inferencias vlidas:
Se requiere utilizar medidas con alta fiabilidad y grandes tamaos
muestrales. Muchos tratamientos son intervenciones sociales de carcter benfico y
su eliminacin puede plantear problemas ticos. Adems, suele plantear una tasa
de mortalidad elevada.
Es conveniente que las observaciones se registren a intervalos igualmente
espaciados. Se consigue as un control para cambios lineales espontneos que
tienen lugar en un determinado espacio de tiempo. Una simple comparacin de las
diferencias Y3 - Y2 e Y4 - Y3 no tendra sentido si el intervalo temporal entre Y3
e Y2 fuera diferente del intervalo entre Y4 e Y3.
Diseo de tratamiento repetido.
Cuando el investigador slo tiene acceso a una poblacin, ser posible en
ocasiones introducir, eliminar y despus volver a introducir el tratamiento en
fechas diferentes. Esta situacin es nicamente viable cuando el efecto inicial de
tratamiento tiene carcter transitorio. Un diseo tpico de esta naturaleza es muy
similar al anterior y se aborda en el la tabla siguiente.
El resultado ms interpretable se produce cuando Y, difiere de Y2, Y3
difiere de Y4 y la diferencia Y3 Y4 se presenta en la misma direccin que la
diferencia Y, - Y2. El diseo tiene muchas caractersticas en comn con los diseos
de N = 1 del anlisis experimental de la conducta.
Tabla N 4.27. Diseo de tratamiento repetido.
Grupos
nico
Asignacin
NE
Pret
Y,
Trat
X
Pret/Post
Trat
Pre/Post
Y2
Y3
Trat
X
Pos
Y4
Entre los problemas de validez interna destacan las amenazas de

maduracin e historia. Pero los problemas fundamentales proceden de la
sensibilidad (porque suele ser muy escaso el nmero de sujetos empleado) y de la
validez de constructo (derivadas de la introduccin y retirada del tratamiento).
322
4.3.2.6.2. Diseos de lnea-base no causal

Cuando no se dispone de grupo control y se desea desarrollar algn
equivalente funcional que sirva de lnea-base no causal, es posible elegir una de
dos alternativas para evaluar los efectos de un tratamiento: el diseo de
extrapolacin de la regresin y el diseo de control baremado.
Diseo de extrapolacin de la regresin.
Cook et al. (1975) evaluaron las mejoras en aprendizaje de nios que vean
Plaza Ssamo en varias reas de EEUU. Tras administrar un pretest, se examin
el diagrama de dispersin de la edad (en meses) contra las puntuaciones obtenidas
en el pretest. Las rectas de regresin por reas eran fundamentalmente lineales y
los investigadores calcularon una ecuacin de regresin para determinar cunta
mejora poda esperarse por mes de edad en cada rea.
El diseo resultante se denomina por ello diseo de extrapolacin de la
regresin y consiste en comparar la puntuacin de un grupo de tratamiento en el
postest con su puntuacin pronosticada teniendo en cuenta las amenazas contra, la
validez interna la ms importante de tales amenazas, aunque no la nica, es la
maduracin.
El diseo puede utilizarse tambin en una situacin en la que existan
mltiples predictores, en lugar de un nico predictor, como en el ejemplo. En uno y
en otro caso, los datos y el fenmeno objeto de estudio han de presentar cierta
estabilidad a lo largo del tiempo para que la prediccin de regresin sea lo ms
exacta posible.
Diseo de control baremado.
Este diseo se utiliza tambin, particularmente en contextos educativos,
cuando no se dispone de un grupo de control. Siguiendo a Tallmadge (1982), uno
de sus principales proponentes, la ejecucin obtenida en el/los grupos
experimental/es en pretest y postest se expresa en funcin de baremos de una
poblacin similar a la estudiada. Por ejemplo, supngase que la puntuacin media
en un pretest de lenguaje para un grupo de tratamiento equivale al percentil 50 de
un test estandarizado. Despus de ser sometido a un programa de mejora de
vocabulario, la puntuacin que se obtiene en el postest equivale al percentil 55 del
mismo test.
La hiptesis es que la diferencia de 5 puntos de percentil se debe al
programa de mejora que, en esencia, ha sido contrastado contra los baremos
nacionales durante el perodo pretest-postest, y constituye el efecto de tratamiento.
El diseo de control baremado parte de dos supuestos cruciales. El primero
es que, cuando no hay efecto de tratamiento, los percentiles de pretest y postest son
iguales. El segundo es que debe disponerse de datos de una poblacin baremada
que sea similar a la poblacin bajo estudio y cuyas edades cubran el mismo rango,
un requisito que se cumple con frecuencia en el campo educativo.
Los principales problemas que plantea este diseo se refieren a
instrumentacin, regresin estadstica y seleccin.
323
Respecto a la primera, el modelo supone que un cambio en percentil se

relaciona sistemticamente con un cambio en las puntuaciones directas, y por tanto
el error aleatorio puede tener consecuencias diferentes en puntos distintos de la
escala original.
La regresin estadstica puede sesgar el diseo de control baremado cuando
la prueba de seleccin para entrada al programa se acerca a las puntuaciones
pretest o postest. Sin embargo, es la seleccin la amenaza ms problemtica,
porque se supone que la poblacin bajo estudio y la poblacin baremada son
equivalentes en composicin y tasa de cambio. Pero muy probablemente las
poblaciones utilizadas para la baremacin no son equivalentes.
Cuando no se dispone de normas publicadas, los investigadores pueden
incluso construir grupos de control ad hoc con datos de archivo que se registraron
con otros propsitos. Jackson y Mohr (1986), en su anlisis de los efectos de un
programa experimental de subvencin de viviendas, utilizaron un grupo de control
a partir de los datos registrados durante los dos aos anteriores de la encuesta anual
de vivienda que se administr a toda la poblacin.
4.3.2.7. Diseos con variables dependientes no equivalentes
Un diseo de dudosa interpretabilidad, pero utilizado en ocasiones, es un
diseo con grupo de control no equivalente que utiliza diferentes medidas para
grupo experimental y grupo de control. Llamando A y B a las medidas diferentes
para cada grupo, el diagrama de este diseo es el que aparece en la tabla siguiente.
Tabla N 4.28. Diseo con grupo control no equivalente.
Grupos
Experimental
Control
Asignacin
NA
NA
Pretest
Y1A
Y1B
Tratamento
X
-
Postest
Y2A
Y2B
Este diseo precisa para su consideracin variables medidas con alta

fiabilidad y una potente teora sustantiva que justifique la utilizacin de los
constructos. Las amenazas ms importantes suelen especificarse en trminos de
diferencias relativas a los constructos en tasas de maduracin, historia o
instrumentacin.
4.3.2.8. Diseos con variable de asignacin conocida
Cuando la variable de asignacin no es aleatoria, pero s conocida, la
rigurosidad del diseo aumenta considerablemente y se aproxima a la de un diseo
experimental autntico. El diseo tpico es el diseo de discontinuidad de la
regresin, un diseo que goza de gran prestigio, pero que es escasamente utilizado
en la prctica (Trochim & Cappelleri, 1992; Cook & Shadish, 1994).
La caracterstica bsica del diseo de discontinuidad de la regresin es que
la asignacin, aunque no es aleatoria, s es al menos conocida. Suelen haber dos
324
grupos, uno experimental (GE) y el otro control (GC). El investigador conoce

exactamente bajo qu condiciones los sujetos se asignan a los dos grupos.
La estructura de este diseo es, desde este punto de vista, muy similar a la
del diseo con grupo de control no equivalente. En la notacin que se presenta
aqu, la distincin esencial es que el investigador no sabe a qu grupo ser
asignado un sujeto hasta no conocer su puntuacin en el pretest, que se utiliza
generalmente- como variable de asignacin. Por ello, la nica diferencia con el
grupo de control no equivalente es la naturaleza de la variable de asignacin.
Imagine una situacin en la que cada sujeto de una amplia muestra de
escolares de enseanza primaria pueda ser clasificado de acuerdo con su
puntuacin en un continuo generado por la administracin de una prueba de
rendimiento en solucin de problemas (pretest) y que la institucin ha determinado
la existencia de un punto de corte por encima del cual los sujetos pueden mejorar
notablemente con ayuda de un determinado programa y por debajo del cual la
mejora que se produce es prcticamente insignificante, no mereciendo la pena el
esfuerzo econmico que se precisa.
Tabla N 4.29. Diseo con variable de asignacin conocida.
Grupos
Asignacin
Experimental
Control
NAC
NAC
Pretest
Tratamento
YEi
X
Yci
-
Postest
YEZ
YE2
Sobre estos supuestos, los sujetos que obtienen puntuaciones en la prueba

por encima del punto de corte recibirn el
tratamiento (por ejemplo, son sometidos a un
intenso entrenamiento durante un mes con el
objeto de prepararse para participar en unas
pruebas de rendimiento a nivel nacional)
mientras que los que obtienen puntuaciones
en la prueba por debajo del punto de corte no
reciben tal tratamiento (por ejemplo, siguen
el curso habitual de entrenamiento hasta
entonces recibido).
Supngase que se administra de
nuevo la misma prueba de rendimiento una
semana antes de participar en las pruebas
nacionales a todos los sujetos inicialmente
probados (postest). Se construye a
continuacin un diagrama bidimensional
tomando las puntuaciones del pretest en la
abscisa, fijando tambin la puntuacin que
sirvi de punto de corte, las puntuaciones del
postest en la ordenada. Si el tratamiento no
resulta efectivo, la nube de puntos aparecera
de forma ordenada, y las rectas de regresin
para cada grupo no revelaran ninguna
325
discontinuidad en el punto de corte (Figura derecha superior). Si, por el contrario el

tratamiento resulta efectivo, la nube de puntos se presentar de forma desordenada,
y las rectas de regresin para cada grupo revelarn la existencia de una
discontinuidad sobre el punto de corte (Figura derecha inferior).
El diseo de discontinuidad de la regresin es til cuando se desea estudiar
un programa que se administra sobre la base de alguna necesidad o mrito. As
sucede, por ejemplo, en el caso de la educacin compensatoria donde los nios con
mayor necesidad de instruccin adicional (medida en algn pretest) reciben
servicios compensatorios del Gobierno, o en el caso de la seleccin de deportistas
para su preparacin en algn campeonato. La presentacin de resultados sigue las
pautas anteriormente apuntadas. Un ejemplo aparece en la tabla siguiente.
Tabla N 4.30. Presentacin de resultados del diseo de discontinuidad de regresin.
Grupos
GE
GC
N
246
282
Pretest
7.49 (2.36)
6.03 (1.95)
Postest
9.61 (3.54)
7.58 (3.57)
La historia del diseo de discontinuidad de la regresin ha discurrido en

torno a dos tradiciones paralelas (Trochim, 1984). La primera es la tradicin
acadmica, la cual describe el desarrollo tcnico que ha sufrido el diseo67; la
segunda es la tradicin aplicada y describe el uso del diseo para evaluar
programas de intervencin de diversa naturaleza68.
4.3.2.9. Diseos de series temporales interrumpidas
Los diseos de series temporales interrumpidas consisten en una serie de
observaciones y una intervencin aplicada en un determinado punto del tiempo.
Dicha intervencin interrumpe la serie y el objetivo es hallar el patrn de cambio
entre el perodo pre-tratamiento y post-tratamiento. En los ltimos aos, estos
diseos se muestran muy apropiados para evaluar programas sociales o
comunitarios (Galster et al, 2004), intervenciones educativas (Bloom, 2003),
67
El diseo de regresin discontinua fue inicialmente propuesto por Thistlethwaite y Campbell

(1960) ms como alternativa analtica del clsico diseo pretest-postest que como un diseno
propiamente dicho. Campbell lo llam por primera vez diseo en un artculo de 1969.
Posteriormente fue tratado en profundidad en varios artculos (Rubin, 1977; Boruch y Gmez,
1977; Visser & De Leeuw, 1984) y textos de metodologa avanzados (Cook y Campbell, 1979;
Judd y Kenny, 1981; Visser, 1985) y de forma monogrfica en un texto de Trochim (1984). La
aceptacin actual de este diseo es elevada: Msteller (1990) lo acepta como un diseo
experimental autntico y Rubin ( ) proporciona pruebas fehacientes que permite obtener
estimaciones insesgadas de los efectos de tratamiento.
68
Pese a su excelente consideracin acadmica, el diseo es escasamente utilizado. Cook y Shadish
(1994) argumentan entre las razones, adems de motivos menores de orden profesional, el que la
asignacin a tratamientos no siempre puede hacerse de acuerdo con reglas estrictas y precisa de
mltiples criterios, y la dificultad aadida que presenta el anlisis estadstico. El principal contexto
de aplicacin del diseo ha sido la educacin compensatoria. Una extensa literatura, analizada
parcialmente en el texto de Trocchim (1984) y en Cook & Shadish (1994), muestra la consideracin
que en este rea ha recibido el diseo. Otras reas en las que se ha aplicado son la justicia criminal
(Berk & Rauma, 1983), los servicios de salud (Lohr, 1972, citado en Cook y Campbell, 1979) y
otras temticas menores (Seaver & Quarton, 1976).
326
efectos de leyes o regulaciones legales (Sverdrup, 2003; White, 2003) o beneficios

teraputicos (Campbell, 1996).
En la actualidad se considera a los diseos de series temporales
interrumpidas como uno de los ms poderosos diseos cuasi-experimentales. Sin
embargo, de su empleo se derivan tres problemas fundamentales que ningn
investigador debiera pasar por alto a la hora extraer inferencias:
1. Al carecer de un principio bsico similar al acto fsico de la
aleatorizacin no existe un adecuado grado de control sobre algunas de
las principales amenazas que atentan contra la validez interna y, muy en
especial, de la amenaza historia. Consecuentemente, se puede
formular la hiptesis rival de que el efecto del tratamiento puede
deberse a la accin de otros eventos que han ocurrido al mismo tiempo
y que son de hecho los verdaderos responsables de los cambios
observados. Como es obvio, la posibilidad de que esta explicacin rival
prospere depender, en buena medida, de lo cuidadoso que sea el
evaluador a la hora de verificar la existencia de factores extraos, de lo
complejo que sea el diseo que se elija y del nmero de puntuaciones
que efecte.
2. Los procedimientos estadsticos tradicionales, tales como la prueba t
de Student o el anlisis de la varianza de Fisher, han jugado un
importante papel durante bastantes dcadas a la hora de estimar y
probar cambios entre las medias de diferentes grupos. Sin embargo,
estas pruebas solamente son vlidas si las observaciones registradas con
anterioridad y con posterioridad al evento de inters varan en torno a
las medias de las respectivas fases no slo, normalmente y con varianza
constante, sino tambin independientemente (Box & Tiao, 1975). Ahora
bien, por lo general, los datos registrados sucesivamente a lo largo del
tiempo carecen de la gracia que habitualmente confiere la
aleatorizacin, y son usualmente dependientes y frecuentemente no
estacionarios. Consecuentemente, todos aquellos procedimientos
estadsticos, tanto paramtricos como no paramtricos, que requieren
para su correcta aplicacin el supuesto de independencia no deberan
emplearse, pues la presencia de autocorrelacin puede distorsionar
sustancialmente los resultados de las pruebas que no lo tienen en
cuenta69. A raz de las crticas surgidas con la aplicacin rutinaria de las
69
Durante bastantes aos se ha operado como si la presencia de dependencia serial encontrada en

los diseos de series temporales interrumpidas slo tuviera implicaciones negativas para los anlisis
estadsticos convencionales, sobre todo, a raz de que Scheff (1959) pusiera de relieve cmo la
presencia de correlacin serial positiva converta a la prueba de F en excesivamente liberal,
mientras que la presencia de correlacin serial negativa la volva excesivamente conservadora, pero
no para los clsicos anlisis visuales, pues exista la creencia de que stos eran ms conservadores
que los anlisis estadsticos y, por ende, los analistas slo responden a efectos de gran tamao. No
obstante, Matyas y Greenwood (1990), tras llevar a cabo varios experimentos y una exhaustiva
revisin de la literatura existente en torno a la tcnica de anlisis visual, presentan datos originales
en los que demuestran cmo la tcnica del trauma ocular, alias acertadamente empleado por Kazdin
(1984), adems de no ser fiable, es en exceso liberal. En concreto, los autores citados descubrieron
que los analistas visuales reivindicaban en numerosas ocasiones intervenciones significativas
cuando de hecho no se haban producido; por el contrario, raramente fallaban en detectar efectos
327
tcnicas visuales y con los intentos de aplicacin de las pruebas

estadsticas convencionales, a lo largo de las dos ltimas dcadas han
aparecido diversos mtodos estadsticos tendientes a paliar los
problemas reseados70.
3. El problema de la induccin y de la evaluacin de la generalidad. Ante
la pregunta hasta que punto los resultados experimentales obtenidos
con un nico sujeto son representativos de los logrados con otros
sujetos? Cowles (1989) afirma que la representatividad es un asunto de
carcter conductual ms que lgico y, por tanto, es un problema de
constatar hechos; es decir, se tratara de aadir vigor al rigor mediante
algn programa de replicacin sistemtica. Pues bien, en vez de
efectuar replicas adicionales mediante diseos de series temporales
simples se puede utilizar diseos transversales, como por ejemplo, la
serie temporal interrumpida con replicaciones intercambiables (vase el
punto 4.3.2.9.5.)
A continuacin se describen los diseos de series temporales interrumpidas
ms significativos.
4.3.2.9.1. Diseo simple
Las series temporales interrumpidas pueden entenderse como una mejora
del diseo pre-experimental con pretest y postest. La mejora implica efectuar
mltiples replicaciones en el tiempo con anterioridad y con posterioridad a la
introduccin del programa o intervencin.
El diseo de series temporales interrumpidas ms bsico o diseo simple de
series temporales interrumpidas puede ser esquematizado as:
verdaderos, aunque el tamao de tales efectos fuese relativamente modesto. Ms an, si la

autocorrelacin est presente en la serie temporal, los problemas con los que usualmente se
encuentran los partidarios de los anlisis visuales no slo no permanecen estables, sino que la
evidencia existente se ha encargado de poner de manifiesto que, generalmente, stos se suelen
acentuar (Matyas y Greenwood, 1990, 1991). Por consiguiente, este descubrimiento debilita
enormemente la postura de aquellos investigadores que abogan por utilizar rutinariamente la tcnica
visual a la hora de evaluar el impacto ocasionado por una intervencin planificada.
70
Con todo, debemos manifestar que la solucin ms prometedora y tambin ms practicada en el
campo de las ciencias socio-comportamentales ha consistido en la adaptacin efectuada por Glass,
Willson y Gottman (1975) de la tcnica de las series temporales, desarrollada inicialmente por Box
y Tiao (1965) y Box y Jenkins (1976). Este enfoque se basa en la adaptacin e integracin dentro de
una teora comprensiva del anlisis espectral utilizado en las ciencias fsicas con datos de carcter
continuo al anlisis de datos de corte longitudinal, pero de carcter discreto. En los trabajos de estos
autores, adems de presentarse las aportaciones ms novedosas en torno al tratamiento estocstico
de las series temporales, se propone una metodologa que permite llegar a modelar adecuadamente
la estructura que sigue la parte sistemtica (parte responsable de la dependencia serial) del
componente estocstico de la serie bajo estudio. Modelamiento que se encuadra dentro de una clase
paramtrica de procesos estocsticos lineales y discretos formados por los denominados
autorregresivos, integrados y de medias mviles; procesos que reciben el nombre genrico de
modelos ARIMA.
328
Tabla N 4.31. Serie de tiempo interrumpida de diseo simple

Grupos
Experimental
Asignacin
Natural
O1 O2 O3 O4 O5 X O6 O7 O8 O9 O10
Donde las observaciones anteriores a X son pretest y las observaciones

posteriores al tratamiento son el postest. En este diseo la inferencia sobre la
efectividad del programa se basa en comprobar si existen cambios en el nivel de la
serie entre las fases pre y post programa, cambios en la direccin de las tendencias,
o cambios en ambos patrones conjuntos. Este diseo nos permite analizar si los
cambios son demorados, temporales o permanentes; adems, si son abruptos o
graduales.
En efecto, este diseo tiene la ventaja de detectar con mayor facilidad la
posible presencia de efectos maduracionales e inclusive evaluar el papel de las
variaciones estacionales que en ocasiones se confunde con los efectos del
programa. Sin embargo, a pesar de lo dicho, existen algunas amenazas que afectan
la validez interna de este diseo: a) la instrumentacin, b) la seleccin, c) la
regresin estadstica y d) la historia.
Las tres primeras amenazas se pueden controlar utilizando procedimientos
estandarizados de recoleccin de datos, contando con observaciones muestrales
inalteradas y si las medidas son numerosas y no muy espaciadas. Sin embargo, la
amenaza ms seria es la historia, la cual slo puede ser mitigada en este diseo si
se mantiene un registro de sucesos tericamente relacionados a los efectos del
programa (Cook & Campbell, 1979; Cook et al, 1990).
En el diseo simple es posible
encontrar, mediante el anlisis visual de
los valores, cuatro soluciones tpicas
(Anguera et al, 1996):
1. Situaciones donde las tendencias
estn ausentes, si bien existe cambio
de nivel. Es decir, a partir del
programa se ha incrementado el nivel
de la media, pero no existe ninguna
tendencia creciente o decreciente.
Ocasiones
2. Situaciones en las que existe un

cambio de nivel y tendencia, pero
que no exhiben cambio alguno entre
las fases pre y post programa. En este
caso, la cuestin a resolver es si la
aplicacin del programa produce
algn impacto en los beneficiarios, al
margen de la curva evolutiva que
siguen los datos.
Ocasiones
329
3. Situciones en las cuales no existe cambio de nivel, la tendencia es distinta de

cero y existe un cambio en la
orientacin de esta. En este caso, a
diferencia de lo ocurrido en la
situacin
anterior,
no
existe
interrupcin entre las dos fases del
diseo, si bien existen patrones de
cambio que pueden manifestar una
variacin en la direccin del mismo,
bien sea en el mismo sentido o bien
X
sea en sentido opuesto, con una
Ocasiones
mayor o menor inflexin en la
tendencia
dependiendo
de
la
significacin del programa.
4. Situaciones en las que existe un cambio de nivel, la tendencia es distinta de
cero y se da un cambio en la
direccin de sta a travs de las fases
pre y post-programa. En este diseo
se debe verificar no slo si la
presentacin del programa produce
una discontinuidad en el punto de
intervencin de la serie temporal,
sino tambin si como consecuencia
de la introduccin del impacto se
X
produce interaccin programa x
tendencia, o si se prefiere algn
Ocasiones
cambio en el sentido u orientacin de
las tendencias a travs de las fases.
4.3.2.9.2. Diseo con grupo control no equivalente
Este diseo es superior al diseo simple anteriormente analizado, pues
incluye un grupo control o un estado contrafactual.
Tabla N 4.32. Serie de tiempo interrumpida con grupo control
Grupos
Experimental
Control
Asignacin
Natural
Natural
O1 O2 O3 O4 O5 X O6 O7 O8 O9 O10
O1 O2 O3 O4 O5 X O6 O7 O8 O9 O10
A diferencia del diseo simple, este permite controlar ms amenazas contra

la validez interna: maduracin, instrumentacin, medicin, regresin a la media y,
principalmente, historia (Cook & Campbell, 1979). Los efectos de la historia se
controlan gracias a que cualquier evento o circunstancia ajena al programa que
pueda alterar los resultados del grupo beneficiado, deber tambin existir en el
grupo control. Sin embargo, a pesar de lo dicho, este diseo no es invulnerable a la
330
interaccin entre seleccin con maduracin; es decir, que en virtud de la seleccin

de grupos, la maduracin pueda ser mayor en un grupo que en otro.
Los anlisis pueden realizarse visualmente (de forma exploratoria) y luego
estadsticamente. En este caso puede aplicarse el enfoque de la regresin (Manly,
1992), incluyendo a la serie temporal correspondiente al grupo control dentro del
modelo regresivo como una variable predictora ms.
4.3.2.9.3. Diseo con variables dependientes no equivalentes
Tal como se mencion previamente, la principal amenaza contra el diseo
de series temporales interrumpidas es la historia. Se ha dicho ya que dicha
amenaza puede controlarse disminuyendo el tiempo entre los sucesivos registros y,
sobre todo, complicando el diseo a travs de la incorporacin de un grupo control
(vase el diseo anterior). Sin embargo, existe otra forma de controlar tal amenaza:
controlando el impacto del programa en dos mediciones dependientes no
equivalentes.
Tabla N 4.33. Serie de tiempo interrumpida con variables dependientes no equivalentes
Grupos
Experimental
Asignacin
Natural
OA1 OA2 OA3 OA4 OA5 X OA6 OA7 OA8 OA9 OA10
OB1 OB2 OB3 OB4 OB5 X OB6 OB7 OB8 OB9 OB10
En este caso, A y B representan medidas diferentes registradas en el mismo

grupo y afectadas diferencialmente por el tratamiento. Debe advertirse que B no es
una covariante, sino una variable independiente del de los efectos del programa.
As, mientras se espera que A cambie producto del impacto del programa, en B se
espera que esta no tenga ningn cambio. Si se encontrase alguna correlacin
temporal entre A y B, entonces ese sera el efecto de la historia.
4.3.2.9.4. Diseo con replicaciones mltiples
Puede ocurrir que el investigador est interesado en el anlisis de mltiples
intervenciones (bien sean estas debidas a la introduccin, retirada, reintroduccin y
as sucesivamente de un tratamiento o bien sean debidas a diversas condiciones de
tratamientos consecutivos). En este caso, el diseo consiste en cuatro o ms
periodos de observacin repetidos, de un solo grupo poblacional intacto en donde
se aplica un programa (X), se lo retira despus (noX), y se implementa
posteriormente (X), y as sucesivamente.
Tabla N 4.34. Serie de tiempo interrumpida con replicaciones mltiples
Grupos
Experimental
Asignacin
Natural
O1 O2 O3 O4 O5 X O6 O7 O8 O9 O10 noX O11 O12 O13 O14 O15 X O16 O17 O18
O19 O20
Dado que dos fases del diseo coinciden con la presentacin del programa,
existen tres oportunidades para demostrar su efectividad:
331
1. Introduccin del programa (Observaciones 1 al 10).

2. Retiro del programa (Observaciones 6 al 15).
3. Reintroduccin del programa (Observaciones del 11 al 20).
Por tanto, este diseo es superior al diseo simple de series temporales
interrumpidas; pues garantiza ms la validez interna al controlar los efectos de la
historia. Sin embargo, an persisten algunas limitaciones: En primer lugar, este
diseo slo puede ser aplicado cuando el evaluador puede asumir que los efectos
del programa son provisionales y, por tanto, se disipan en el tiempo; as pues, este
diseo est condicionado a la reversibilidad de los efectos del programa. En
segundo lugar, se requiere cierto grado de control sobre las respuestas de los
beneficiarios, para evitar las amenazas de desmoralizacin de los sujetos cuando
se les retira el programa (Anguera et al, 1995).
4.3.2.9.5. Diseo con replicaciones intercambiables
En este diseo, existen dos grupos que reciben el mismo programa en dos
tiempos diferentes. As, cuando un grupo recibe tratamiento, el otro sirve de
control y viceversa.
Tabla N 4.35. Serie de tiempo interrumpida con replicaciones intercambiables
Grupos
Experimental
Experimental
Asignacin
Natural
Natural
O1 O2 O3 O4 O5 X O6 O7 O8 O9 O10
O1 O2 O3 X O4 O5 O6 O7 O8 O9 O10
Existen varias razones para emplear este diseo (Cook et al, 1990; Anguera
et al, 1995), entre ellas:
Porque controla muchas de las amenazas que atentan contra la validez
interna, sobre todo, de los efectos de la historia; pues al presentarse el
tratamiento a travs de los grupos en momentos diferentes es factible
rechazar la hiptesis de que los cambios debidos a los efectos de la
historia se confunden con los derivados de la introduccin del
tratamiento (a no ser que dichos efectos operen en distintos ambientes y
momentos temporales).
Porque se ve potenciada la validez interna y reforzada la validez
externa, por causa de que el efecto del tratamiento puede observarse en
dos muestras distintas en al menos dos lugares y tiempos distintos.
Porque es til para detectar impactos, que si bien son de cierta
intensidad sin embargo su accin tan slo se manifiesta tras un periodo
de tiempo ms o menos prolongado.
Sin embargo, a pesar de estas ventajas, an es posible que existan amenazas
contra la validez como la interaccin entre seleccin con historia.
332
4.4. SIMULACIONES EXPERIMENTALES

La mejor forma de demostrar la importancia de los criterios de validez en el
diseo de la evaluacin de impacto de los programas sociales, es mediante la
simulacin experimental estadstica. Utilizando el software estadstico MINITAB
14, el mtodo que se seguir corresponde a una demostracin estadstica de los
efectos perniciosos de la falta de control de algunas amenazas contra la validez de
la inferencia causal. Se utilizar el modelo lineal general (anlisis de regresin y
derivados), por ser el ms flexible para estos casos (Maxwell & Delaney, 1990;
Pedhazur, 1982).
4.4.1. El modelo ideal

Se dijo que los diseos cuasi-experimentales son aplicaciones intermedias
entre el diseo experimental y el pre-experimental. Al primero se lo defini como
un estudio en el cual se tiene, por lo menos, dos grupos (experimental y control),
los cuales han sido asignados aleatoriamente, y con medidas pretest y postest. Al
ltimo (pre-experimental) se lo defini como un estudio sin grupo control o sin
medidas pre-post. El diseo cuasi-experimental, por tanto, es un estudio que se
caracteriza por tener, al menos dos grupos, pero sin asignacin aleatoria (que
puede ser desconocida o conocida) y con medidas pretest y postest.
Por tanto, con los diseos experimentales se controla las diferencias entre
grupos, producto de variables extraas al programa, ya que la asignacin aleatoria
disipa esas diferencias en equivalencias indistintas en el pretest. De lo dicho,
cualquier diferencia en las medidas postest de los grupos es producto del impacto
del programa. Este es pues el modelo ideal, el diseo experimental, en donde la
aleatorizacin es la norma y en donde se puede estar seguro de la equivalencia
inicial de los grupos control y experimental. Para demostrar lo dicho, se simular
un diseo experimental clsico pretest-postest con grupo control.
SUBC> normal 50 5.
SUBC> normal 0 5.
SUBC> normal 0 5.
MTB > add c1 c2 c4
MTB > add c1 c3 c5
MTB > name c1='puntaje verdadero' c2='error pretest' c3='error
postest' c4='pretest' c5='postest'
MTB > set c6
DATA> 1:1000
DATA> end
MTB > code (1:500) 0 c6 c6
MTB > code (501:1000) 1 c6 c6
MTB > tabl c6
Rows: grupo
Count
333
0
1
All
500
500
1000
MTB > sign c6

0 Negative values
500
MTB > tabla c6;
SUBC> means c4 c5.
Rows: grupo
pretest postest
Mean
Mean
0
1
All
50.50
49.70
50.10
Zero values
500
Positive values
50.45
49.48
49.96
En este caso, se han creado 1000 observaciones con un promedio terico de

50 y una desviacin estndar de 5. A estas observaciones se les ha agregado un
error de medicin (siempre existentes en la realidad) con un promedio de 0 y una
desviacin estndar de 5. La suma de estas variables ha configurado una
puntuacin de pretest y postest. Las observaciones han sido divididas en dos
grupos (control = 0 y experimental=1), ambos grupos son aleatorios y, por tanto no
tienen diferencias significativas entre ellos, es decir, son equivalentes. Adems, el
programa no tiene ningn impacto terico en el postest. La siguiente figura
demuestra lo dicho.
Diseo experimental: postest vs pretest
grupo
0
1
70
postest
60
50
40
30
20
20
30
40
50
pretest
60
70
80
Figura 4.7. Relacin entre postest y pretest cuando no existe impacto alguno del programa (Fuente:
Elaboracin propia).
334
Tal como se aprecia en la Figura 4.7, tanto el pretest como el postest tienen
una distribucin aleatoria entre los grupos experimental y control, no existiendo
ninguna diferencia entre ellos. Este el caso terico en que el programa no ha sido
efectivo en absoluto.
Ahora, supongamos que se ha aplicado el programa y despus de un ao se
ha medido el postest, con un impacto terico de 10 puntos a favor del grupo
experimental.
MTB >
MTB >
MTB >
SUBC>
Rows:
let c7=c5+(10*c6)
name c7='postest 2'
table c6;
mean c4 c7.
grupo
pretest postest 2
Mean
Mean
0
50.50
50.45
1
49.70
59.48
All
50.10
54.96
MTB > Plot 'postest 2'*'pretest';
SUBC>
Symbol 'grupo';
SUBC>
Regress 'grupo';
Como consecuencia de la ecuacin, la diferencia de 10 puntos a favor del

grupo experimental se demuestra tanto en las estadsticas promedio como en la
Figura 4.8.
Diseo experimental: postest 2 vs pretest
grupo
0
1
80
70
postest 2
60
50
40
30
20
20
30
40
50
pretest
60
70
80
Figura 4.8. Relacin entre postest y pretest cuando existe impacto del programa en 10 puntos
335
En este caso, se observa con claridad dos rectas de regresin, en la cual la

del grupo experimental se muestra mayor en puntuacin postest. Al ser
equivalentes los dos grupos (debido a su asignacin aleatoria), el efecto est limpio
de sesgos de seleccin. Para demostrarlo se realizar una ecuacin de regresin.
Ecuacin a
postest 2 = 50.5 + 9.02 grupo
Predictor
Constant
grupo
S = 7.01242
Coef
50.4516
9.0239
SE Coef
0.3136
0.4435
T
160.88
20.35
R-Sq = 29.3%
Source
DF
SS
Regression
1 20358
Residual Error 998 49076
Total
999 69433
P
0.000
0.000
R-Sq(adj) = 29.2%
MS
20358
49
F
413.99
P
0.000
Ecuacin b
postest = 50.5 - 0.976 grupo
Predictor
Constant
grupo
S = 7.01242
Coef
50.4516
-0.9761
SE Coef
0.3136
0.4435
R-Sq = 0.5%
T
160.88
-2.20
P
0.000
0.028
R-Sq(adj) = 0.4%
Source
DF
SS
Regression
1
238.19
Total
999 49313.86
MS
238.19
49.17
F
4.84
P
0.028
Tal como se aprecia en la primera ecuacin de regresin, los 10 puntos

tericos de impacto del programa en el grupo experimental se han convertido, por
efectos del azar en 9.02 puntos. El ajuste de la ecuacin es alto, tal como lo indica
el determinante de la regresin (29.3% de prediccin). Caso contrario ha ocurrido
con la ecuacin de regresin cuando el programa no ha tenido ningn impacto. En
este caso, los cero puntos tericos del impacto del programa en el grupo
experimental se han convertido, por efectos del azar, en -0.97 puntos. En este caso,
el ajuste de la ecuacin es bajo (0.4% de prediccin). Debe advertirse que en estos
ejercicios el impacto nulo no ha sido cero ni el impacto ha sido 10, por una sencilla
razn: error de medida. En efecto, si bien los diseos experimentales controlan
336
muchas amenazas de validez interna, no controlan en absoluto amenazas de validez

de constructo. Eso corresponde al terreno de la psicometra. Recurdese que al
generar los datos se agreg un error de medida de 5 puntos de dispersin. En este
caso, para demostrar lo afirmado, se reducir el error de medida a 2 puntos de
dispersin.
MTB >
SUBC>
MTB >
SUBC>
MTB >
MTB >
MTB >
random 1000 c9;

normal 0 2.
random 1000 c10;
normal 0 2.
add c1 c9 c11
add c1 c10 c12
let c13=c12+(10*c6)
Ecuacin c

postest 2 2p = 50.5 + 9.20 grupo
Predictor
Constant
grupo
S = 5.49265
Coef
50.5343
9.1991
SE Coef
0.2456
0.3474
R-Sq = 41.3%
Source
DF
SS
Regression
1 21156
Residual Error 998 30109
Total
999 51265
T
205.73
26.48
P
0.000
0.000
R-Sq(adj) = 41.2%
MS
21156
30
F
701.24
P
0.000
Obsrvese como se ha reducido el residual de error de 49075 (ecuacin b) a

30109 (ecuacin c), repercutiendo positivamente en la prediccin de la ecuacin
(el modelo explica ahora el 41.2% de la varianza de los datos y ya no 29.2% del
modelo anterior). En este caso, una mejora en la fiabilidad de las mediciones ha
repercutido en la sensibilidad de los resultados. Incluso en la representacin visual
se observa la mejora.
337
Diseo experimental: postest 2 2p vs pretest 2p

80
grupo
0
1
postest 2 2p
70
60
50
40
30
30
40
50
60
70
pretest 2p
Figura 4.9. Relacin entre postest y pretest cuando existe impacto del programa en 10 puntos y con
una reduccin del error de medida (Fuente: Elaboracin propia).
Frente a lo demostrado, es importante reiterar la necesidad de controlar las

amenazas contra la validez segn el parmetro terico del Modelo Arysis. A pesar
que se tenga un diseo experimental, no se garantiza con ello la validez de
constructo ni la validez de contexto. Recurdese que los diseos experimentales
solamente controlan la validez interna, es decir, la validez de relacin causal. Por
eso, una revisin de las propiedades psicomtricas (fiabilidad y validez de
constructo) de los instrumentos de medida del pretest y postest son totalmente
necesarios; porque postular un modelo de anlisis que omita variables relevantes o
que incorpore variables con baja fiabilidad puede arruinar la estimacin del efecto
del programa, produciendo conclusiones errneas.
4.4.2. El modelo comn: Grupos no equivalentes

Los diseos cuasi-experimentales se crearon porque en la evaluacin de
programas es comn que los grupos control y experimental no sean equivalentes,
es decir, que no sean semejantes. Al no tener una asignacin aleatoria, no existe
seguridad de equivalencia inicial entre grupos, y la validez interna se ve
amenazada. Por eso, se requieren medidas pretest y, de ser posible, ajustes
posteriores de covarianza, emparejamiento de grupos o uso de variables
instrumentales para corregir la falta de equivalencia entre los grupos control y
experimental. Recuerdese que estos ajustes deben ser planificados previamente y
no dejados a posteriori. El Modelo Arysis propuesto es un modelo analtico y se
centra en la planificacin del diseo ms que en el ajuste posterior. No debe
olvidarse que el diseo es prioritario sobre el anlisis estadstico. La validez interna
338
se fortalece adoptando soluciones basadas en el control experimental y no en el

control estadstico. Es preferible descartar amenazas contra la validez a priori,
mediante una planificacin adecuada del diseo que minimice la actuacin de
variables extraas.
En este ejemplo de simulacin, se han creado 1000 observaciones con
parmetros similares al modelo anterior (promedio terico de 50 y una desviacin
estndar de 5; sumado a un error de medicin con un promedio de 0 y una
desviacin estndar de 5). As, se tiene una puntuacin pretest y postest. Las
observaciones han sido divididas en dos grupos (control = 0 y experimental=1),
ambos grupos no son equivalentes, por tanto tienen diferencias significativas entre
ellos, en este caso, de cinco puntos a favor del grupo experimental.
MTB >
SUBC>
MTB >
SUBC>
MTB >
SUBC>
MTB >
MTB >
MTB >
DATA>
DATA>
MTB >
MTB >
MTB >
Rows:
0
1
All
random 1000 c1;

normal 50 5.
random 1000 c2;
normal 0 5.
random 1000 c3;
normal 0 5.
add c1 c2 c4
add c1 c3 c5
set c6
1:1000
end
code (1:500) 0 c6 c6
code (501:1000) 1 c6 c6
table c6
grupos
Count
500
500
1000
MTB > sign c6

0 Negative values
500
Zero values
500
Positive values
MTB > table c6;

SUBC> mean c4 c5.
Rows: grupos
pretest postest
Mean
Mean
0
49.84
50.08
1
50.33
50.03
All
50.08
50.05
MTB > let c4 = c4 + (5*c6)
MTB > let c5 = c5 + (5*c6)
MTB >
SUBC>
SUBC>
Rows:
table c6;
mean c4 c5;
stdev c4 c5.
grupos
pretest postest
Mean
Mean
pretest
StDev
postest
StDev
339
0
1
All
49.84
55.33
52.58
50.08
55.03
52.55
7.399
7.327
7.857
7.374
7.157
7.674
pretest
StDev
7.399
7.327
7.857
postest
StDev
7.374
7.157
10.425
MTB > let c5 = c5 + (10*c6)

MTB >
SUBC>
SUBC>
Rows:
0
1
All
table c6;
mean c4 c5;
stdev c4 c5.
grupos
pretest postest
Mean
Mean
49.84
50.08
55.33
65.03
52.58
57.55
MTB > Plot 'postest'*'pretest';

SUBC>
Symbol 'grupos';
SUBC>
Regress 'grupos';
SUBC>
Overlay.
En este ejemplo de simulacin, se ha previsto un impacto del programa de

10 puntos. La siguiente figura grafica el impacto.
Grupos no equivalentes: postest vs pretest
90
grupos
0
1
80
postest
70
60
50
40
30
20
20
30
40
50
pretest
60
70
80
Figura 4.10. Relacin entre postest y pretest cuando existe impacto del programa en 10 puntos y
cuando los grupos no son equivalentes (Fuente: Elaboracin propia).
Tal como se aprecia en la Figura 4.10, el grupo experimental tiene un

efecto positivo producto de la aplicacin del programa, sin embargo, se observa
340
tambin una no-equivalencia inicial en el pretest (el crculo discontinuado), lo que

dara a entender que los datos estn sesgados positivamente a favor del grupo
experimental, incrementando artificialmente el impacto.
Para demostrar el efecto de la no-equivalencia de los grupos en la validez
de los resultados, se realizan dos ecuaciones de regresin. En la primera se somete
a prueba el efecto del programa sin ajuste alguno. En la segunda, se ajusta la noequivalencia del grupo.
Ecuacin d
postest = 50.1 + 15.0 grupos
Predictor
Constant
grupos
Coef
50.0786
14.9515
S = 7.26638
SE Coef
0.3250
0.4596
R-Sq = 51.5%
Source
DF
SS
Regression
1
55887
Residual Error 998
52695
Total
999 108581
T
154.11
32.53
P
0.000
0.000
R-Sq(adj) = 51.4%
MS
55887
53
F
1058.46
P
0.000
Ecuacin e
MTB > regress c5 2 c6 c4
postest = 25.2 + 12.2 grupos + 0.499 pretest
Predictor
Constant
grupos
pretest
Coef
25.201
12.2072
0.49920
S = 6.27125
SE Coef
1.373
0.4234
0.02696
R-Sq = 63.9%
Source
DF
SS
Regression
2
69371
Residual Error 997
39211
Total
999 108581
Source
grupos
pretest
DF
1
1
T
18.36
28.83
18.52
P
0.000
0.000
0.000
R-Sq(adj) = 63.8%
MS
34685
39
F
881.94
P
0.000
Seq SS
55887
13484
Tal como se aprecia en la primera ecuacin de regresin (ecuacin d), los

10 puntos tericos de impacto del programa en el grupo experimental se han
convertido, por efectos de la no-equivalencia, en 14.95 puntos (con un ajuste de
ecuacin del 51.4%). En la segunda ecuacin (ecuacin e), cuando ya se controla
341
los efectos de la no-equivalencia de los grupos, se encuentra que el impacto del

programa se reduce a 12.20, mejorando el ajuste de la ecuacin (63.8% de
prediccin) en casi el 12%. Esta mejora tambin se ve reflejada en el residual de
error, el cual reduce la suma cuadrtica de 52695 a 39211. Tngase en cuenta
tambin que en este caso tambin se ha usado un error de medicin alto, por lo que
si se mejora la validez de constructo y la fiabilidad de la medida, la prediccin
mejora sustancialmente.
En el ejemplo anterior se demuestra como la no-equivalencia inicial de los
grupos control y experimental pueden sesgar positivamente los resultados, y
hacernos concluir errneamente- que el programa ha tenido un fuerte impacto,
cuando en realidad el impacto es mucho menor. En el caso contrario, es decir,
cuando la no-equivalencia inicial es en detrimento del grupo experimental, puede
subestimarse el impacto del programa. Vase el ejemplo de simulacin siguiente:
MTB >
MTB >
MTB >
MTB >
MTB >
SUBC>
SUBC>
Rows:
0
1
All
MTB >
MTB >
SUBC>
SUBC>
Rows:
0
1
All
add c1 c2 c10
add c1 c3 c11
let c10 = c10 - (5*c6)
let c11 = c11 - (5*c6)
table c6;
mean c10 c11;
stdev c10 c11.
grupos
pretest 2 postest 2 pretest 2
Mean
Mean
StDev
49.84
50.08
7.399
45.33
45.03
7.327
47.58
47.55
7.697
postest 2
StDev
7.374
7.157
7.689
let c11 = c11 + (10*c6)

table c6;
mean c10 c11;
stdev c10 c11.
grupos
pretest 2 postest 2 pretest 2
Mean
Mean
StDev
49.84
50.08
7.399
45.33
55.03
7.327
47.58
52.55
7.697
postest 2
StDev
7.374
7.157
7.674

SUBC>
Symbol 'grupos';
SUBC>
Regress 'grupos';
SUBC>
Overlay.
MTB > Plot 'postest 2'*'pretest 2';
SUBC>
Symbol 'grupos';
SUBC>
Regress 'grupos';
SUBC>
Overlay.
342
Grupos no equivalentes: postest 2 vs pretest 2

80
grupos
0
1
postest 2
70
60
50
40
30
20
30
40
50
pretest 2
60
70
80
cuando los grupos no son equivalentes en perjuicio del GE (Fuente: Elaboracin propia).
Tal como se observa en la Figura 4.11, existe una no-equivalencia inicial

(pretest) en detrimento del grupo experimental, es decir, el grupo control tena
mayor puntuacin que el grupo experimental antes de iniciar el tratamiento, por
eso el efecto del tratamiento (de 10 puntos) se ve ms pequeo de lo que realmente
es, es decir, se subrepresenta.
En efecto, cuando el grupo control tiene una puntuacin pretratamiento
sesgada positivamente, entonces es muy probable que el impacto del programa se
subrepresente. Si se observa la siguiente ecuacin (f), se ver que el impacto
predicho del programa es de slo 4.9515 puntos y no 10 como se estipul
tericamente. Esa reduccin de ms de 5 puntos es producto de la no-equivalencia
inicial. Al hacer el ajuste del sesgo inicial que produce la no-equivalencia, el
impacto del programa predicho se aproxima ms al real (7.1992). La mejora ocurre
en ms del 23%; pero siempre est presente el error de medicin.
Ecuacin f
postest 2 = 50.1 + 4.95 grupos
Predictor
Coef SE Coef
T
Constant
50.0786
0.3250 154.11
grupos
4.9515
0.4596
10.77
S = 7.26638
R-Sq = 10.4%
Source
DF
Regression
1
SS
6129.3
P
0.000
0.000
R-Sq(adj) = 10.3%
MS
6129.3
F
116.08
P
0.000
343
Residual Error
Total
998
999
52694.6
58823.9
52.8
Ecuacin g

postest 2 = 25.2 + 7.20 grupos + 0.499 pretest 2
Predictor
Constant
grupos
pretest 2
Coef
25.201
7.1992
0.49920
S = 6.27125
SE Coef
1.373
0.4148
0.02696
R-Sq = 33.3%
Source
DF
SS
Regression
2 19613.3
Total
999 58823.9
Source
grupos
pretest 2
DF
1
1
T
18.36
17.36
18.52
P
0.000
0.000
0.000
R-Sq(adj) = 33.2%
MS
9806.7
39.3
F
249.35
P
0.000
Seq SS
6129.3
13484.0
Con estos ejemplos de simulacin se demuestra, entonces, la importancia

del control en el diseo cuasi-experimental sobre todo cuando los grupos no son
equivalentes. Si no se controlan las variables extraas asociadas a la seleccin de
los grupos, el sesgo puede sobrerepresentar o subrepresentar drsticamente el
impacto del programa, llevando a conclusiones errneas. En estos ejemplos se han
controlado los sesgos de seleccin mediante el uso de una variable instrumental,
una covariante asociada a las puntuaciones iniciales (pretest) de los grupos. Pero
esto se ha podido hacer, porque ya estaba planificado desde el diseo, por eso se
recomienda planificar cuidadosamente el diseo, incluso cuando se tiene que
ajustar estadsticamente71. Por eso se recomienda la observacin directa del
proceso de seleccin para incorporar al modelo analtico todas aquellas variables
relevantes pero desconocidas- que estn influyendo en el proceso de seleccin de
los grupos. Adems, es conveniente practicar simulaciones previas mltiples bajo
diferente supuestos sobre los factores que pueden afectar directamente a los
grupos.
4.4.3. Discontinuidad de la regresin

En este subttulo se crea y analiza datos para un diseo de discontinuidad
de la regresin. Tal como se mencion previamente, este diseo, a pesar de ser
71
Las tcnicas de ajuste que aqu se han utilizado se han podido realizar porque han estado
planificadas, pero existen otros procedimientos que tambin podran utilizarse, como el
emparejamiento (matching) y la estratificacin.
344
escasamente utilizado, es muy recomendado por sus excelentes perspectivas

interpretativas. Incluso, muchos autores lo consideran a medio camino entre el
diseo experimental propiamente dicho y el diseo cuasi-experimental de control
no-equivalente (Anguera, et al, 1995).
No debe olvidarse que hay al menos tres variables a considerar en un
diseo de discontinuidad de la regresin: a) la variable de asignacin conocida a
partir del cual se define el punto de corte para asignar a los sujetos al GC y GE, b)
la variable tratamiento (el programa) y c) la variable dependiente (postest) el cual
registra los efectos.
En este caso, igual que en los ejemplos anteriores, se generan 1000 casos de
variables pretest y postest, con sus respectivos errores de medicin de cinco puntos
de desviacin; sin embargo, aqu la asignacin al grupo control se hace sobre un
criterio conocido, generalmente utilizando las puntaciones del pretest,
estableciendo un punto de corte entre grupo control y experimental, asignando
las puntuaciones superiores a un grupo y las puntuaciones inferiores al otro grupo.
MTB >
SUBC>
MTB >
SUBC>
MTB >
SUBC>
MTB >
MTB >
MTB >
random 1000 c1;

normal 50 5.0.
random 1000 c2;
normal 0 5.0.
random 1000 c3;
normal 0 5.0.
add c1 c2 c4
code (0:50) 1 c4 c5
code (50:100) 0 c5 c5
MTB > table c5

Rows: C5
Count
0
484
1
516
All
1000
MTB > let c6=c1+c3+(10*c5)
MTB >
SUBC>
SUBC>
Rows:
0
1
All
table c5;
mean c4 c6;
stdev c4 c5.
grupos
pretest postest
Mean
Mean
55.95
53.15
44.03
57.18
49.80
55.23
pretest
StDev
4.361
4.340
7.374
grupos
StDev
0.0000
0.0000
0.5000

SUBC>
Symbol 'grupos';
SUBC>
Regress 'grupos';
SUBC>
Overlay.
345
Tal como se observa en los comandos, se ha asignado al grupo

experimental aquellos individuos (n=516) con puntuaciones inferiores al promedio
de corte del pretest (50 puntos), mientras que el grupo control estara formado por
individuos con puntuaciones superiores al punto de corte (n=484). En este
experimento simulado, se ha aplicado el programa al grupo con menores
puntuaciones en el pretest (variables que mida, p.e. calidad de vida). Esta
asignacin es vlida en la medida que una de las polticas gubernamentales es
dirigirse a los ms necesitados.
Posteriormente se ha supuesto que el programa aplicado ha sido efectivo en
10 puntos tericos. De lo dicho, el siguiente grfico demuestra el punto de corte
existente entre ambos grupos y el impacto del programa. El impacto del programa
se mide a travs de la diferencia (en unidades del postest) de las intercepciones de
ambas lneas de regresin en el punto de corte.
Discontinuidad de la regresin: postest vs pretest
grupos
0
1
80
postest
70
60
50
40
30
30
40
50
pretest
60
70
cuando los grupos no tienen asignacin conocida (Fuente: Elaboracin propia).
Si el programa no hubiese sido efectivo (impacto=0), entonces la grfica de

dispersin hubiese sido como la siguiente:
346
Grfico de dispersin: postest sin impacto vs pretest

grupos
0
1
postest sin impacto
70
60
50
40
30
20
30
40
50
pretest
60
70
Figura 4.13. Relacin entre postest y pretest cuando no existe impacto del programa y cuando los
grupos son de asignacin conocida (Fuente: Elaboracin propia).
En este caso (Figura 4.13) no se observa ninguna discontinuidad de la

regresin, por lo que se deduce la inexistencia de impacto a favor de alguno de los
grupos.
En el modelo de la discontinuidad de la regresin, se utiliza una variable de
asignacin conocida para formar los grupos control y experimental. En la ecuacin
(h), se presenta la regresin sin incluir la variable de asignacin. En este caso,
aparentemente el programa ha tenido un impacto de 4 puntos, pero el porcentaje de
ajuste es bajo (9.1%). Como se conoce la variable de asignacin, entonces se
ingresa a la ecuacin como covariante (ecuacin i), aumentndose el ajuste en
19.9% y estimando el impacto del programa con un margen de error mnimo
(impacto= 10.0437). Por eso, muchos autores consideran que el diseo de
discontinuidad de la regresin es tan robusto como un diseo experimental puro,
porque las diferencias de estimacin son casi prximas a cero.
Ecuacin h
postest = 53.2 + 4.03 grupos
Predictor
Coef SE Coef
T
Constant
53.1515
0.2899 183.33
grupos
4.0318
0.4036
9.99
S = 6.37824
R-Sq = 9.1%
Source
DF
Regression
1
SS
4059.6
P
0.000
0.000
R-Sq(adj) = 9.0%
MS
4059.6
F
99.79
P
0.000
347
Residual Error
Total
998
999
40600.6
44660.2
40.7
Ecuacin i
postest = 50.2 + 0.505 pre-corte + 10.0 grupos
Predictor
Coef SE Coef
T
P
Constant
50.1506
0.3760 133.39 0.000
pre-corte 0.50473 0.04360
11.58 0.000
grupos
10.0437
0.6430
15.62 0.000
S = 5.99142
R-Sq = 19.9%
R-Sq(adj) = 19.7%
Source
DF
SS
Regression
2
8870.9
Total
999 44660.2
MS
4435.4
35.9
F
123.56
P
0.000
Ecuacin j
postest sin impacto = 53.2 - 5.97 grupos
Predictor
Coef SE Coef
T
P
Constant
53.1515
0.2899 183.33 0.000
grupos
-5.9682
0.4036 -14.79 0.000
S = 6.37824
R-Sq = 18.0%
Source
DF
SS
Regression
1
8895.8
Total
999 49496.4
R-Sq(adj) = 17.9%
MS
8895.8
40.7
F
218.67
P
0.000
Ecuacin k
postest sin impacto = 50.2 + 0.044 grupos + 0.505 pre-corte
Predictor
Coef SE Coef
T
P
Constant
50.1506
0.3760 133.39 0.000
grupos
0.0437
0.6430
0.07 0.946
pre-corte 0.50473 0.04360
11.58 0.000
S = 5.99142
R-Sq = 27.7%
Source
DF
SS
Regression
2 13707.0
Total
999 49496.4
R-Sq(adj) = 27.5%
MS
6853.5
35.9
F
190.92
P
0.000
En el ejemplo de simulacin donde no existe impacto del programa, la

estimacin es similar. Cuando se predice el impacto sin controlar la variable de
asignacin (ecuacin j), la estimacin indica un impacto negativo de -5.9682 con
una prediccin del 18%; sin embargo, incluyendo la covariante de asignacin
348
conocida (ecuacin k) la prediccin aumenta a 27.7% y la estimacin se aproxima

a la real (0.0437), demostrando ausencia de impacto del programa.
En consecuencia, se demuestra el enorme poder de los diseos de
discontinuidad de regresin para controlar las diferencias de asignacin entre
grupos, conviertiendo variables de asignacin desconocidas y descontroladas en
variables de asignacin conocidas y ahora controladas.
4.4.4. Series temporales interrumpidas

Tal como se mencion en el subttulo 4.3.2.9.1, en el diseo simple de
series temporales, existen varios posibles resultados, algunos relacionados al
cambio de nivel (impacto del programa), otros relacionados al cambio de la
tendencia o de direccin.
Para que en un diseo simple slo se observe cambio de nivel, es suficiente
utilizar los siguientes comandos:
MTB >
DATA>
DATA>
MTB >
SUBC>
MTB >
DATA>
DATA>
MTB >
MTB >
MTB >
SUBC>
set c1
1:20
end
random 20 c2;
normal 50 5.
set c3
1:20
end
code (1:10) 0 c3 c3
code (11:20) 1 c3 c3
random 20 c4;
normal 0 1.
MTB > add c2 c4 c5.

MTB > let c6 = c5 + (5*c3)
MTB > TSPlot 'P. sin cambio de nivel';
SUBC>
Symbol 'grupos (antes-despus)';
SUBC>
Connect 'grupos (antes-despus)'.
MTB > TSPlot 'P. con cambio nivel';
SUBC>
Symbol 'grupos (antes-despus)';
SUBC>
Connect 'grupos (antes-despus)'.
En este caso, se han creado veinte observaciones continuas, con un

promedio de 50 y una desviacin estndar de cinco, distribuidos aleatoriamente en
10 observaciones anteriores a la aplicacin del programa y 10 observaciones
posteriores a la aplicacin del programa. Se le ha sumado un error de medicin
(media=0, D.E.=1) y al grupo de observaciones posteriores a la aplicacin del
programa se le ha sumado un impacto de nivel de 5 puntos.
Tal como se muestra en la Figura 4.14, el grupo de observaciones posterior
al tratamiento tiene un cambio de nivel superior al grupo anterior de observaciones.
349
Sin embargo, las observaciones sin cambio de nivel (triangulos) es

aparentemente tambin significativo, pero recurdese, que de antemano se
elabor los datos indicando ausencia de impacto, as que esa apariencia es
engaosa.
Series temporales: Tratamiento comparativo con cambio de nivel
70
Variable
65
P. con cambio nivel

P. con cambio nivel
0
1
P. sin cambio de nivel

P. sin cambio de nivel
0
1
Data
60
55
50
45
40
2
8 10 12 14
Observaciones
16
18
20
Figura N 4.14. Serie simple con cambio de nivel posprograma, en supuesto significativo y no
significativo (Fuente: Elaboracin propia).
Por ello, para controlar esos efectos azarosos, no es suficiente el anlisis

grfico, se requiere del anlisis estadstico de la regresin.
MTB > tabla c3;
SUBC> mean c5 c6.
Rows: grupos (antes-despus)
P. sin
cambio P. con
de cambio
nivel
nivel
Mean
Mean
0
48.78
48.78
1
53.50
58.50
All
51.14
53.64
Ecuacin l
P. sin cambio de nivel = 48.8 + 4.72 grupos (antes-despus)
Predictor
Coef SE Coef
T
P
Constant
48.783
1.693 28.81 0.000
4.720
2.395
1.97 0.064
350
S = 5.35434
R-Sq = 17.8%
Source
DF
SS
Regression
1 111.39
Total
19 627.43
R-Sq(adj) = 13.2%
MS
111.39
28.67
F
3.89
P
0.064
Ecuacin m
P. con cambio nivel = 48.8 + 9.72 grupos (antes-despus)
Predictor
Constant
S = 5.35434
Coef
48.783
9.720
R-Sq = 47.8%
Source
DF
SS
Regression
1 472.39
Total
19 988.43
SE Coef
1.693
2.395
T
28.81
4.06
P
0.000
0.001
R-Sq(adj) = 44.9%
MS
472.39
28.67
F
16.48
P
0.001
Tal como se observa en los resultados, aunque aparentemente existe una

diferencia promedio de 5 y 10 puntos para ambos grupos, slo existe cambio de
nivel para el segundo grupo de observaciones simuladas, pues slo en la ecuacin
(m) el coeficiente de grupos es significativo (p.=0.001), explicando 30% ms que
la ecuacin (l).
Puede ocurrir que durante la aplicacin de un programa social exista un
cambio de tendencia en los resultados, es decir, estos pueden incrementarse o
decrementarse a medida que pase el tiempo de aplicacin. En ese sentido, el
impacto del programa se mezcla con estas variaciones temporales de error. Si se
sospecha de esta posibilidad, es necesario ajustar el modelo simple de series
temporales.
Para crear una serie temporal sin cambio de nivel, pero con cambio de
tendencia, se requieren los siguiente comandos:
__________________________________________________________________
MTB >
DATA>
DATA>
MTB >
SUBC>
MTB >
SUBC>
MTB >
MTB >
DATA>
DATA>
MTB >
set c1
1:20
end
random 20 c2;
normal 50 5.
random 20 c3;
normal 0 1.
add c2 c3 c4
set c5
1:20
end
code (1:10) 0 c5 c5
351
MTB >
MTB >
MTB >
MTB >
SUBC>
SUBC>
SUBC>
code (11:20) 1 c5 c5
add c1 c3 c8
add c4 c8 c9
TSPlot 'P.sin cambio, con tendencia';
Symbol 'Grupo (antes-despus)';
Connect 'Grupo (antes-despus)';
Project 'Grupo (antes-despus)'.
__________________________________________________________________
Cuando una serie temporal no presenta cambio de nivel pero s de
tendencia, la representacin grfica es como sigue:
Series temporales: Tratamientos sin cambio de nivel pero s de tendencia
80
Variable
P.sin cambio, con tendencia
Grupo (antes-despus)
0
P.sin cambio, con tendencia
P. sin cambio ni tendencia

P. sin cambio ni tendencia
0
1
Data
70
60
50
40
2
8
10 12 14
Observaciones
16
18
20
Figura N 4.15. Serie simple sin cambio de nivel y con cambio de tendencia del posprograma, en
supuesto significativo y no significativo (Fuente: Elaboracin propia).
A simple vista se puede suponer que el programa ha sido efectivo, pero eso
no es as, porque el nivel no ha cambiado, slo ha cambiado la tendencia, y esta
est asociada a la maduracin o la estacionalidad de los datos. Las siguientes
ecuaciones de regresin demostrarn lo afirmado.
__________________________________________________________________
Ecuacin n
P. sin cambio ni tendencia = 49.4 + 1.27 Grupo (antes-despus)
Predictor
Coef SE Coef
T
P
Constant
49.448
1.956 25.28 0.000
1.267
2.767
0.46 0.652
S = 6.18666
R-Sq = 1.2%
R-Sq(adj) = 0.0%
352
Source
DF
SS
Regression
1
8.03
Total
19 696.98
MS
8.03
38.27
F
0.21
P
0.652
Ecuacin o
P.sin cambio, con tendencia = 54.7 + 11.7 Grupo (antes-despus)
Predictor
Constant
S = 7.67013
Coef
54.673
11.657
SE Coef
2.426
3.430
R-Sq = 39.1%
T
22.54
3.40
P
0.000
0.003
R-Sq(adj) = 35.7%
Source
DF
SS
Regression
1
679.48
Total
19 1738.43
MS
679.48
58.83
F
11.55
P
0.003
Ecuacin p
P.sin cambio, con tendencia = 46.4 - 3.47 Grupo (antes-despus) + 1.51
observacin
Predictor
Constant
observacin
S = 6.33189
Coef
46.355
-3.466
1.5123
R-Sq = 60.8%
DF
1
1
T
13.75
-0.61
3.07
P
0.000
0.550
0.007
R-Sq(adj) = 56.2%
Source
DF
SS
Regression
2 1056.85
Residual Error 17
681.58
Total
19 1738.43
Source
observacin
SE Coef
3.370
5.685
0.4929
MS
528.43
40.09
F
13.18
P
0.000
Seq SS
679.48
377.38
__________________________________________________________________
En la ecuacin (m) se demuestra que no existe impacto significativo (sin
cambio de nivel) del programa. Sin embargo, en la ecuacin (n) existe
aparentemente- un impacto de 11.657 puntos a favor del programa, lo cual es falso
porque previamente se supuso que no exista cambio de nivel alguno. Es el cambio
de tendencia historia de los datos, maduracin, eventos asociados no controladosla que est produciendo los resultados artificiales. Entonces, para controlar esta
tendencia se introduce una covariante (el nmero de observacin), demostrando en
la ecuacin (p) que no existe ningn impacto significativo del programa, es decir
que no existe ningn cambio de nivel.
Cuando existe cambio de nivel y cambio de tendencia, el impacto del
programa tiende a mezclarse con estos errores, sobre-estimndolo. Por ejemplo, si
353
se simula un programa efectivo en 10 puntos pero con la presencia de tendencia

ascendente en los datos, entonces, el impacto ser sobre representado.
__________________________________________________________________
MTB > let c11=c9+(10*c5)
Ecuacin q
P.con cambio, con tendencia = 54.7 + 21.7 Grupo (antes-despus)
Predictor
Constant
S = 7.67013
Coef
54.673
21.657
R-Sq = 68.9%
SE Coef
2.426
3.430
T
22.54
6.31
P
0.000
0.000
R-Sq(adj) = 67.2%
Source
DF
SS
MS
F
P
Regression
1 2345.2 2345.2 39.86 0.000
58.8
Total
19 3404.2
_________________________________________________________________________________________
En la ecuacin (q) se observa que el impacto del programa de 10 puntos ha

sido sobre-representado en 11.657 puntos adicionales. En la figura siguiente se
observa, sin embargo, la tendencia ascendente de los datos, por lo que se requiere
su control ingresndola como covariante.
Series temporales: Programa con cambio de nivel y cambio de tendencia
0
1
P.con cambio, con tendencia
90
80
70
60
50
40
2
8
10 12 14
Observaciones
16
18
20
Figura N 4.16. Serie simple con cambio de nivel y con cambio de tendencia del posprograma, en
supuesto significativo (Fuente: Elaboracin propia).
354
Si se incluye la tendencia como covariante (ecuacin r) se consigue un

ajuste al 80%, y el impacto del programa se reduce a 6.434 puntos. Pero en este
caso, no slo debe controlarse la tendencia global de los datos, sino tambin la
interaccin de la tendencia con el cambio de nivel. Por eso, en la ecuacin (s) se
incluye esta covariante adicional y se encuentra que el impacto del programa se ha
modificado a 11.40 puntos, un valor ms cercano al supuesto inicialmente.
__________________________________________________________________
Ecuacin r
+ 1.51 observacin
Predictor
Constant
observacin
S = 6.33189
Coef
46.355
6.534
1.5123
R-Sq = 80.0%
Source
DF
SS
Regression
2 2722.6
Residual Error 17
681.6
Total
19 3404.2
SE Coef
3.370
5.685
0.4929
T
13.75
1.15
3.07
P
0.000
0.266
0.007
R-Sq(adj) = 77.6%
MS
1361.3
40.1
F
33.95
P
0.000
Ecuacin s
MTB > regress c11 3 c5 c1 c10
+ 1.74 observacin
- 0.46 tendencia post tratamiento
Predictor
Constant
observacin
tendencia post tratamiento
S = 6.48430
R-Sq = 80.2%
Source
DF
SS
Regression
3 2731.44
Residual Error 16
672.74
Total
19 3404.17
Coef
45.082
11.40
1.7438
-0.463
SE Coef
4.430
12.09
0.7139
1.010
T
10.18
0.94
2.44
-0.46
P
0.000
0.360
0.027
0.653
R-Sq(adj) = 76.5%
MS
910.48
42.05
F
21.65
P
0.000
__________________________________________________________________
A estos diseos simples antes-despus, se puede agregar un grupo control,
mejorando las perspectivas del anlisis y el control de las amenazas contra la
validez, principalmente aquellas relacionadas a la maduracin, instrumentacin,
medicin, regresin a la media e historia.
En este ejemplo de simulacin se tiene dos grupos de datos, 20 de control
(GC) y 20 experimental (GE) con medidas antes (10 primeras observaciones) y
355
despus de la intervencin del programa (10 ltimas observaciones). Se ha

supuesto un impacto de 10 puntos para el GE y 0 puntos para el GC.
Los resultados de la simulacin se representan en la siguiente figura, donde
claramente se observa un cambio de nivel a favor del GE, pero como existe una
tendencia positiva para ambos grupos, el valor del impacto est confundido con
ellas.
Series tiempo: Con tendencia y cambios de nivel en GE y GC
90
Variable
PGC.sin cambio, con tendencia_1
0
PGE.con cambio, con tendencia_1

PGE.con cambio, con tendencia_1
0
1
80
Data
70
60
50
40
2
8
10
12
Observaciones
14
16
18
20
Figura N 4.17. Serie temporal con con cambio de nivel y con cambio de tendencia del
posprograma en GE, y sin cambio de nivel y con tendencia en GC (Fuente: Elaboracin propia).
En efecto, en la ecuacin (t) se observa el valor del impacto del programa

sobre-representado, pues est confundido con el error de tendencia. En la ecuacin
anterior (s), se logr reducir ese sesgo utilizando como covariantes la tendencia y
la interaccin de la tendencia con el tratamiento. En la ecuacin (s) el ajuste
logrado era del 80.2%. Sin embargo, utilizando en las ecuaciones de regresin a los
valores del grupo control como covariante, se puede corregir con mayor precisin
los sesgos en la estimacin del impacto. En efecto, en la ecuacin (u) se ha
incluido a los valores del grupo control como covariante y se ha logrado un ajuste
del 99.4%, reduciendo el valor del impacto de 21.657 a 10.3236, casi idntico al
supuesto tericamente.
En definitiva, el diseo de series temporales interrumpidas con grupo
control permite un mayor nivel de certeza del impacto del programa, pues se
controlan muchas amenazas contra la validez.
356
__________________________________________________________________
Ecuacin t
PGE.con cambio, con tendencia_1 = 54.7 + 21.7 Grupo (antes-despus)
Predictor
Constant
S = 7.67013
Coef
54.673
21.657
R-Sq = 68.9%
Source
DF
SS
Regression
1 2345.2
Total
19 3404.2
SE Coef
2.426
3.430
T
22.54
6.31
P
0.000
0.000
R-Sq(adj) = 67.2%
MS
2345.2
58.8
F
39.86
P
0.000
Ecuacin u
PGE.con cambio, con tendencia_1 = 3.50 + 10.3 Grupo (antes-despus)
+ 0.941 PGC.sin cambio, con tendencia_1
Predictor
Constant
S = 1.05276
R-Sq = 99.4%
Source
DF
SS
Regression
2 3385.3
Residual Error 17
18.8
Total
19 3404.2
Coef
3.498
10.3236
0.94075
SE Coef
1.703
0.5988
0.03071
T
2.05
17.24
30.63
P
0.056
0.000
0.000
R-Sq(adj) = 99.4%
MS
1692.7
1.1
Source
DF
1
1
F
1527.26
P
0.000
Seq SS
2345.2
1040.1
__________________________________________________________________
Estos han sido algunos experimentos simulados mediante computadora
sobre los posibles resultados que se pueden obtener si no se controlan las amenazas
contra la validez. Cada diseo cuasi-experimental se dirige al control de algunas
amenazas, y aunque existen procedimientos estadsticos para ajustar estos sesgos,
la propuesta del Modelo Arysis se fundamenta en la planificacin y previsin
analtica de la evaluacin de impacto.
4.5. CONTRASTACIN DE HIPTESIS

En la primera hiptesis se plante que Aunque existe un desarrollo
terico amplio sobre los programas sociales y la evaluacin de programas; no
existe un nivel terico comprehensivo de la evaluacin de impacto de los
357
programas sociales. Al respecto, los resultados de la investigacin permiten

confirmarla.
La teora de la evaluacin de impacto es dispersa y no tiene un referente
integrado. Generalmente, las publicaciones sobre el tema se centran en aspectos
propeduticos, introductorios, demasiado esquemticos y no abordan problemas
tericos-metodolgicos con la profundidad necesaria. La evaluacin de impacto es
analizada dentro del contexto general de la evaluacin de programas, pero no se le
dedica un apartado especial. Los pocos libros en habla hispana (Ej. Baker, 2000),
son limitados, se centran en casos, y estn un tanto desfasados con relacin al
desarrollo metodolgico actual. En efecto, la revisin biblio-integrativa nos
informa que ms del 77% de las publicaciones cientficas sobre el tema datan
posteriori al ao 2000, por lo que las publicaciones de habla hispana todas
anteriores a esa poca- estn desactualizadas.
La teora de la causacin en estos textos- se limita a unas cuantas lneas y
los diseos de investigacin se circunscriben a dos o tres de naturaleza cualitativa o
cuantitativa. Ni siquiera se consideran los principios del evaluador o de la
evaluacin. No se hace un anlisis de las bondades o desventajas de cada diseo ni
se demuestran sus limitaciones o alcances. El lector no adquiere una comprensin
suficiente para valorar las amenazas contra la validez de los resultados, la calidad y
criterios de este tipo de evaluacin; ni siquiera desarrolla una actitud positiva hacia
ella.
Por otro lado, estas limitaciones bibliogrficas contrastan con los
procedimientos metodolgicos presentes en los artculos e informes de evaluacin
de impacto publicados recientemente, donde tcnicas sofisticadas de anlisis, de
ajuste de sesgos, de supuestos causales, escapan a la comprensin del gerente
social por cuanto no ha obtenido la formacin suficiente para entenderlas.
En la segunda hiptesis se formul que Existe un desfase significativo
entre el estado actual del desarrollo acadmico-metodolgico de la evaluacin de
impacto en el mbito internacional y el desarrollo metodolgico nacional. Al
respecto, los resultados de la investigacin permiten confirmar la hiptesis.
En el Per la evaluacin de impacto de los programas no es un proceso tan
comn como en el extranjero, ni tampoco lo es el desarrollo acadmicometodolgico sobre el tema; sin embargo, para el caso de los programas
financiados por cooperacin internacional (Ej. BID, Banco Mundial, USAID, etc.)
existen informes bien estructurados. Ello es posible porque estos organismos
internacionales son exigentes con la evaluacin y, muchas veces, contratan a
expertos extranjeros o convocan a empresas nacionales especializadas para
realizarlas. En el caso de los programas financiados por el gobierno, la evaluacin
de impacto es casi inexistente. Salvo algunos programas de formacin laboral
juvenil, o de infraestructura vial, o de empleo temporal (A trabajar urbano, a
trabajar rural, gerenciados por FONCODES), el resto de programas sociales no ha
realizado evaluaciones de impacto. Los programas de salud, alimentarios,
seguridad, importantsimos para el desarrollo nacional, no tienen retroalimentacin
oportuna sobre el impacto de sus acciones; por el contrario, las pocas evaluaciones
358
en estos sectores son guardadas celosamente, catalogados como top secret y no se

difunden a la ciudadana.
En el extranjero la situacin es diferente. La revisin meta-analtica nos ha
demostrado que existe una poltica fuerte de evaluacin, principalmente en Europa
y Amrica del Norte. Pero Latinoamrica no se ha quedado atrs y durante la
ltima dcada ha impulsado significativamente la evaluacin de impacto, siendo
Mxico, Argentina y Brasil los pases donde se realizan ms evaluaciones de este
tipo. En el Per, con la implantacin del Sistema Nacional de Inversin Pblica
(SNIP) existe la esperanza de que una poltica de evaluacin fuerte se instale. Sin
embargo, tal proceso recin empieza y los manuales y reglamentacin que emite
an est a nivel de estudios de pre-inversin. Aun se guarda silencio sobre los
estudio de post-inversin y, dentro de ella, sobre la evaluacin de impacto.
Similar al mbito internacional, las EI en el Per han aumentado
geomtricamente durante la ltima dcada, con una disminucin en la dcada del
90 quiz debido a la coyuntura poltica.
En el aspecto metodolgico, el Per tambin est en desventaja. A pesar
que diversos especialistas nacionales que son pocos- dominan los procedimientos
de anlisis de evaluacin de impacto y lo han plasmado en informes detallados, es
innegable que la gran mayora de informes de evaluacin nacional adolecen de una
serie de falencias y deficiencias metodolgicas. En efecto, las EI nacionales
subinforman u omiten importantes aspectos metodolgicos en sus informes, dando
indicios de deficiencias. Igual que en el extranjero, el diseo ms frecuente es el
cuasi-experimental, aunque en nuestro pas no se ha realizado diseos
experimentales ni meta-analticos; si se ha empleado ms tcnicas de control de
sesgos como el matching o las variables instrumentales. En cuanto al impacto de
los programas evaluados, en el Per se reportan menos programas con efectos
negativos, pero 24.2% no especifica adecuadamente impacto alguno, hecho debido
a las deficiencias metodolgicas mencionadas.
Finalmente, en la tercera hiptesis se formul que Los fundamentos del
Sistema de Evaluacin de Impacto ARYSIS de los programas sociales en el Per
son: los principios internacionales de evaluacin, la teora de la causacin, el
diseo cuasi-experimental avanzado y la estadstica de simulacin va
montecarlo. Al respecto, los resultados de la investigacin permiten confirmarla.
Debido a que la teora de la evaluacin de impacto est bibliogrficamente
dispersa, se requera un modelo integrativo fundamentado en tales teoras. El
Modelo ARYSIS es resultado de ello. En la revisin bibliogrfica se encontr que
las Asociaciones Internacionales de Evaluacin, los Comits Cientficos de
evaluacin se guan siempre por principios rectores, los cuales son normas de
procedimiento que orientan la conducta del evaluador as como su quehacer. Por
eso el Modelo ARYSIS necesitaba fundamentarse en tales principios, reconocidos
y aceptados por la comunidad cientfica internacional.
Por otro lado, la teora general de la causacin era el nico parmetro
posible para fundamentar el Modelo. La teora de la inferencia causal, el anlisis de
las amenazas contra la validez de la inferencia, el anlisis de los diversos modelos
de causalidad y validez son aportes cientficos de naturaleza terica reconocida
359
mundialmente y que ya tiene un amplio desarrollo dentro de las ciencias

experimentales.
Finalmente, la metodologa cuasi-experimental, la cual fue creada para
medir causalidad en contextos sociales, fue el criterio metodolgico ineludible para
fundamentar el Modelo. Su versatilidad, flexibilidad, multiplicidad de diseos y
posibilidad analticas, fueron aspectos vlidos para su eleccin. A ello, se le suma
la ventaja de la simulacin experimental computarizada va Montecarlo, la cual
permite definir y probar el modelo a priori, modificarlo y optimizarlo, obteniendo
un modelo realista y con el mayor control de la amenazas contra la validez.
360
CONCLUSIONES
1. A pesar que cada ao el Per destina mayores recursos para el desarrollo

social, an no existe un sistema de evaluacin objetivo que permita conocer
el impacto preciso que tiene este gasto sobre la poblacin. Ejecutar
acciones sin conocer su real efecto trae consigo, con toda certeza, el
desperdicio de los recursos, la subcobertura de los programas y un bajo
impacto de los mismos sobre la poblacin objetivo. De hecho, aunque
existe evidencia de algunos indicadores positivos de la poltica social, no
puede negarse que se desconoce tanto el efecto preciso, como el impacto de
las acciones gubernamentales. Adems, hasta hoy la evaluacin de los
programas se ha concentrado en aspectos administrativos bsicos como la
cobertura y operacin, descuidando los objetivos y fines propios de la
intervencin. De nada sirve saber a cuntas personas atiende el programa o
qu se les entrega si no se sabe si realmente los beneficia en algo o por el
contrario- los perjudica. Solo la evaluacin de impacto proporciona esa
informacin.
2. La evaluacin de impacto identifica de manera sistemtica los efectos
(positivos o negativos, esperados o no) sobre las personas, hogares e
instituciones, generados por un programa de desarrollo social. Es
totalmente distinta a las evaluaciones de procesos, de gestin y de
resultados, pues es la nica que determina la causalidad entre la
intervencin y sus efectos observados. As, permite entender la magnitud
de los cambios generados por dicha accin sobre el bienestar y, en especial,
sobre la reduccin de la pobreza. La evaluacin de impacto apunta,
tambin, a retroalimentar y mejorar la efectividad de los programas
sociales, comparndolos con intervenciones alternativas; sus resultados
proveen informacin para la toma de decisiones relacionadas con mantener,
ampliar, reorientar o eliminar un programa existente o disear una nueva
poltica pblica; as como hacer posible la rendicin de cuentas al pblico.
361
3. La principal fuente de difusin y produccin de EI en el mundo son los

Organismos Internacionales, quienes han aportado ms del 75% de la
produccin de informes, centrndose en los pases en desarrollo y
evaluando aspectos educativos, de salud, pobreza y empleo. Las EI han
aumentado geomtricamente durante los ltimos 30 aos, concentrndose
ms del 77% en el periodo 2000-2006.
4. Existen diversas metodologas para evaluar el impacto de programas
sociales, sin embargo, el mtodo ms robusto es la evaluacin de diseo
cuasi-experimental. Este diseo usa tanto encuestas directas aplicadas a los
distintos actores involucrados en la ejecucin de los programas como
informacin secundaria. Complementariamente, usa las entrevistas a
profundidad, los grupos focales, la observacin no participante y la revisin
documental, para as entender los procesos y condiciones detrs de los
impactos observados, as como la percepcin y prioridades de los
individuos acerca de su bienestar.
5. Un importante porcentaje de EI internacionales (37.5%) utiliza datos
secundarios, y en el caso de los primarios, el instrumento ms usado es el
cuestionario. El tamao de la muestra es muy variable (33.4% supera las
mil unidades) y se centra principalmente en personas y familias. En cuanto
al uso de tcnicas de control especiales, su uso es muy limitado para el caso
de las variables instrumentales (7.6%) y limitado para el matching (19.7%).
La tcnica estadstica ms empleada es la regresin (38%).
6. Dada su riqueza en trminos de informacin y resultados, las evaluaciones
de impacto proveen elementos conceptuales y analticos que apoyan la
toma de decisiones relacionada con los programas evaluados. Considerando
que por lo menos 2 de cada 10 programas evaluados no muestran impacto
positivo alguno, la EI es una herramienta de gran utilidad para el gobierno
en materia de reingeniera de la poltica social, en la optimizacin de la
inversin y reduccin de la pobreza; destinando ms recursos a los
programas exitosos y redefiniendo aquellos sin impacto.
7. En el Per la escasa evaluacin de impacto de los programas sociales es
una constante. Sumado a ello, los pocos informes de evaluacin de impacto
que se registran en las instituciones pblicas tienen carcter de secreto y
son guardados recelosamente, atentando contra la naturaleza teleolgica de
este mtodo. Slo pocos estudios nacionales no adolecen de significativas
deficiencias metodolgicas, tericas y procedimentales, las cuales
cuestionan seriamente la validez de los resultados y conclusiones obtenidas.
Segn los resultados obtenidos, la nica fuente de difusin y produccin de
EI en el Per son las Instituciones Nacionales y Organismos
Internacionales, quienes han aportado el 100% de la produccin de
informes. La principal rea de inters es el empleo y luego la lucha contra
la pobreza. Similar al mbito internacional, las EI en el Per han
362
aumentado geomtricamente durante la ltima dcada, con una disminucin

en la dcada del 90 quiz debido a la coyuntura poltica. En trminos
metodolgicos, las EI nacionales subinforman u omiten importantes
aspectos metodolgicos en sus informes, dando indicios de deficiencias.
Igual que en el extranjero, el diseo ms frecuente es el cuasi-experimental,
aunque en nuestro pas no se ha realizado diseos experimentales ni metaanalticos; si se han empleado ms tcnicas de control de sesgos como el
matching o las variables instrumentales. En cuanto al impacto de los
programas evaluados, en el Per se reportan menos programas con efectos
negativos, pero 24.2% no especifica adecuadamente impacto alguno, hecho
debido a las deficiencias metodolgicas mencionadas.
8. En contraste, la literatura cientfica internacional se ha desarrollado
significativamente sobre la base de la metodologa cuasiexperimental (41%,
principalmente con el diseo de diferencias en diferencias). El avance
metodolgico en el sentido de mejorar los mtodos cuasi-experimentales es
muy importante a nivel acadmico y de la prctica de programas en pases
desarrollados. Es indudable su importancia con el fin de poder corregir a
tiempo o eliminar programas que no alcancen, o lo hagan parcialmente, los
objetivos fijados.
9. La aceptacin de la necesidad de evaluar los programas con tcnicas
cientficamente robustas es creciente a nivel mundial. De los mtodos
revisados se puede inferir que la necesidad de contrastar los resultados
obtenidos de un conjunto de participantes con un grupo de control, es vital
para poder llegar a una conclusin sobre la eficiencia de las intervenciones,
pero tambin para monitorear el cumplimiento de las metas a lo largo de la
ejecucin de los programas y no nicamente al final. La transparencia o
accountability de los mismos se logra con evaluaciones cientficas y
robustas desde el punto de vista tcnico.
10. La aparicin de novedosos desarrollos metodolgicos, dentro de los diseos
cuasi-experimentales, posibilitan una evaluacin de impacto vlida. En ese
contexto, el uso de la simulacin experimental permite la comprensin y
anlisis ex ante de las posibilidades analticas del diseo de evaluacin,
optimizndolo, sin mayores gastos. As, la simulacin experimental se
convierte en un aliado metodolgico en la planificacin del diseo de
evaluacin.
11. El Modelo ARYSIS hace uso de principios y supuestos tanto tericos como
metodolgicos. Utilizando la metodologa cuasi-experimental ms robusta,
presenta un sistema terico-metodolgico flexible para modelar los diseos
de evaluacin de impacto de los programas sociales. La ventaja del modelo
radica en su fundamentacin terica, de naturaleza integrativa, que evita
una aproximacin meramente intuitiva y restringe la arbitrariedad en los
resultados. Adems, permite una previsin deductiva de los posibles
363
escenarios en los cuales los resultados pueden acontecer, identificando

variables de sesgo, de seleccin, interacciones de confusin y proponiendo
variables instrumentales, control por emparejamiento y otros
procedimientos necesarios para evitar la sobreestimacin o subestimacin
de los resultados.
364
RECOMENDACIONES
1. Se recomienda la institucionalizacin de la evaluacin de impacto como
instrumento de apoyo a la toma de decisiones de poltica social. El Gobierno
puede incorporarla como poltica institucional dentro de la actual Reforma del
Estado y simplificacin de los Programas Sociales. Esta recomendacin es
necesaria en la medida que permite el logro de dos fines asociados: el
aprendizaje institucional y el uso racional de recursos escasos. De esta forma,
servir para generar aportes estratgicos de poltica, orientar y ajustar los
programas sociales. Los argumentos presentados indican la pertinencia de
utilizar la evaluacin de impacto como instrumento clave en el proceso de toma
de decisiones de la asignacin del gasto social. Su utilizacin contribuir en la
armonizacin de la oferta programtica, en su eficiencia y efectividad, y en la
orientacin de recursos del presupuesto nacional hacia aquellos programas que
generen los mejores resultados en trminos de reduccin de la pobreza.
2. Se recomienda la difusin del mtodo de evaluacin de impacto a travs de la
actualizacin curricular de la Gestin Pblica y la Gerencia Social. Los
gerentes sociales y administradores pblicos de programas de inversin
necesitan conocer aunque sea de modo propedutico- las caractersticas y
naturaleza de la evaluacin de impacto. El currculo de estas especializaciones
se debe orientar al desarrollo de una actitud positiva hacia la evaluacin de
impacto, as como a la formacin de criterios de calidad de la misma.
3. El Sistema Nacional de Inversin Pblica contempla dentro de su proceso de
post-inversin a la evaluacin de impacto; sin embargo, an no ha elaborado
guas ni manuales sobre su formulacin, ejecucin o informe. Por ello, se
recomienda la consideracin del Modelo ARYSIS para el diseo fundamentado
de tales manuales y documentos. No es suficiente que el SNIP provea de
material referencial centralizado en estudio de casos. Aparte de ello, debe
proveer referencia terica-metodolgica que fundamenten la eleccin de
diseos especializados de evaluacin de impacto apropiados para cada sector o
programa, pues lo que generalmente ocurre es que los documentos basados en
365
estudio de casos se usan como plantilla de copia y pega, con consecuencias

negativas obvias para la validez de la inferencia.
4. Finalmente, se recomienda la difusin institucionalizada de las evaluaciones de
impacto realizadas en el pas. En el extranjero existe una preocupacin por la
poltica de rendicin de cuentas, por ello se publican los informes de
evaluacin de impacto de los programas sociales, siendo de acceso libre para
los interesados. Esta situacin, lamentablemente, no ocurre en el pas, atentado
con el principio de transparencia gubernamental y con el acceso informativo de
la ciudadana. Los informes deben estar abiertos al pblico y a la prensa, y
servir tambin para la discusin en la Comisin de Presupuesto. Se requiere
promover su difusin activamente para fortalecer el proceso de toma de
decisiones y mejorar el gasto social.
5. La difusin de estos informes se puede realizar mediante bases de datos en los
portales web de cada Ministerio, o mediante la integracin de todos los
informes en el Sistema Nacional de Inversin Pblica, del Ministerio de
Economa y Finanzas. El pueblo tiene derecho a saber de la eficacia
gubernamental y los investigadores necesitamos esa informacin para proponer
nuevas estrategias y soluciones. Adicionalmente, la mejor forma de asegurar la
difusin de las lecciones y el conocimiento adquirido con la evaluacin de
impacto es mejorar tanto el contenido de los informes como la presentacin de
los mismos. Un paso en esta direccin sera establecer requerimientos
estandarizados a la hora de encomendar las evaluaciones y formatos para la
realizacin de informes, haciendo hincapi en el tipo de valoraciones
principales y globales discutidas en la investigacin.
366
REFERENCIAS
1. ABADIE A, ANGRIST J. & IMBENS G. (2002). Instrumental Variables
Estimates of the Effect of Subsidized Training on the Quantiles of Trainee
Earnings. Econometrica, Econometric Society, Vol. 70(1), Pp. 91-117, January.
2. ABDALA, E. (2001). Modelos de evaluacin para programas de capacitacin
de jvenes. Montevideo: Cinterfor/OIT.
3. ABDALA, E. (2004). Manual para la evaluacin de impacto en programas de
formacin para jvenes. Motevideo: Cinterfor/OIT.
4. ADATO M, COADY D. & RUEL M. (1999) Evaluacin de operaciones de
Progresa desde la perspectiva de los beneficiarios, las promotoras, directores de
escuela y personal de salud. Instituto Internacional de Investigacin sobre
Polticas Alimentarias, Washington, DC.
5. ADATO M, DE LA BRIRE B, MINDEK D. & QUISUMBING A. (2000).
The impact Progresa on women`s status and intrahousehold relations.
International Food Policy Research Institute. Washington. USA.
6. ADATO M. (2000). El impacto de Progresa sobre las relaciones sociales en la
comunidad. International Food Policy Research Institute. Washington. USA
Julio.
7. ADATO, M. (2000). Final report: The impact of PROGRESA on community
social relationships. September. Report submitted to PROGRESA.
International Food Policy Research Institute, Washington, D.C.
8. ADU-GYAMFI JJ, TWUM-AMPOFO K, AKUAMOAH J. & KWAKU A.
(2006) ADRA/Ghanas Food Security Program (PL 480 Title II). En. Base de
Datos USAID
9. AEDO, C. & NEZ, S. (2004). The Impact of Training Policies in Latin
America and the Caribbean: The Case of Programa Joven. Research Network
Working Paper N 483. Bases de datos electrnica BIF.
10. AGUILAR, M. & ANDER-EGG, E. (1992). Evaluacin de servicios y
programas sociales. Madrid: Siglo XXI.
11. AHMED, A. & DEL NINNO, C. (2002). The Food for Education Program in
Bangladesh: An Evaluation of its impact on Educational Attainment and Food
Security. Food Consumption and Nutrition Division Discussion Paper N138.
367
International Food Policy Research Institute, Food Consumption and Nutrition

Division, Washington, D.C.
12. AHMED, A., DEL NINNO, C. & CHOWDHURY, H. (2004). Investing in
Children through the Food for Education Program. En DOROSH, P., DEL
NINNO, C. & SHAHABUDDIN, Q. (Eds.). The 1998 Floods and Beyond:
Towards Comprehensive Food Security in Bangladesh. Dhaka: The University
Press Limited.
13. AKHTER U. AHMED & MARY ARENDS-KUENNING (2003). Do Crowded
Classrooms Crowd Out Learning? Evidence From the Food for Education
Programme in Bangladesh, prximo a publicarse. Instituto Internacional de
Investigacin sobre Politicas Alimentarias, Washington, D.C.
14. AKUOKO-ASIBEY, A. (1997) Views of selected government officials on the
impact of a rural water supply program in Ghana. Evaluation and Program
Planning, Vol. 20, No. 2, pp. 225-230.
15. ALATAS, V. & CAMERON, L. (2003). The Impact of Minimum Wages on
Employment in a Low Income Country: An Evaluation using the Differencein-Differences Approach. World Bank Policy Research Working Paper N
2985. Banco Mundial. Washington.
16. ALCAZAR, L., XU LIXIN, C. & ZULUAGA, A. (2000). Institutions, Politics
and Contracts: The attempt to privatize the Water and Sanitation utility of
Lima, Peru. World Bank Policy Research Working Paper N 2478. The World
Bank, Development Research Group, Regulation and Competition Policy,
Washington D.C.
17. ALCAZAR, L.; ABDALA, M. & SHIRLEY, M. (2000). The Buenos Aires
Water Concession. World Bank Policy Research Working Paper N. 2311.
Development Research Group, Regulation and Competition Policy, World
Bank, Washington D.C.
18. ALDERMAN, H., BRITTO, P., ENGLE, P. & SIDDIQI, A. (2004).
Longitudinal Evaluation of Uganda Nutrition and Early Child Development
Program. Working Paper. World Bank. Washington D.C.
19. ALEXIEVA A, ALEXIEVA K. & VASEV I.(2003) Impact evaluation of the
peace corps small project assistance (SPA) project. En: Base de Datos USAID
20. ALFIE, E. (2003). Diseo metodolgico de investigacin para la evaluacin de
resultados en programas sociales. II Congreso Argentino de Administracin
Pblica, Sociedad, Estado y Administracin.
21. ALIAGA, F. (2000). Validez de la Investigacin causal. Tipologas y
evolucin. Bordn, 52 (3): 301-321. Disponible en Internet:
[http://www.uv.es/~aliaga/curriculum/Validez.htm] Acceso el 13 de octubre de
2005.
22. ALKIN, M. (1990). Debates on evaluation. London. Sage.
23. ALVERT, B. (2001). Using time-series analysis to evaluate the impact of
policy initiatives in child welfare Evaluation and Program Planning, 24: 109117
24. ALVIRA, F. (1985). La evaluacin evaluativa: una perspectiva
experimentalista. Revista Espaola de Investigaciones Sociolgicas, 29: 129141.
368
25. ALWANG J. (2002). The impact of The International Food Policy Research
Tnstitute`s research program on rural finance policies for food security for the
poor. International Food Policy Research Institute. Impact Assessment
Discussion Paper N. 16
26. AMERICAN EVALUATION ASSOCIATION (2004). Guiding Principles for
Evaluators. USA.
27. ANDERSON GW & VADERVOORT CHG. (1982) Rural Roads Evaluation
Summary Report. A.I.D. Program Evaluation Report No. 5 Base de datos
electrnica USAID.
28. ANDERSON, P.; THOULESS, D.; ABRAHAMS, E. & FISHER. D. (1980).
New method for a scaling theory of localization. American Physical Society. 22
(8): 35193526.
29. ANDERSON, S. & BALL, S. (1983). The profession and practice of program
evaluation. San Francisco, Ca: Jossey-Bass.
30. ANDERSSON, L. (1985) Intervention against loneliness in a group of elderly
women: an impact evaluation. Soc. Sci. Med. Vol. 20. No. 4. 355-364.
31. ANGELES G, GUILKEY DK. & MROZ TA. (2003) The Effects of Education
and Family Planning Programs on Fertility in Indonesia. Measure Evaluation,
Working Paper-03-73.
32. ANGELUCCI M (2004) Aid and Migration: An Analysis of the Impact of
Progresa on the Timing and Size of Labour Migration. Forschungsinstitut zur
Zukunft der Arbeit (IZA). Discussion Paper No. 1187
33. ANGRIST J, BETTINGER E. & KREMER M. (2004). Long-Term
Consequences of Secondary School Vouchers: Evidence from Administrative
Records in Colombia. Serie Documentos de Trabajo (US) No. 10713, 133.
National Bureau of Economic Research, agosto.
34. ANGRIST J. & LAVY V. (2001) New Evidence on Classroom Computers and
Pupil Learning. IZA Discussion Paper No. 362
35. ANGRIST, J., BETTINGER, E., BLOOM, E., KING, E. & KREMER. M.
(2002). Vouchers for Private Schooling in Colombia: Evidence from a
Randomized Natural Experiment. The American Economic Review, 92 (5):
1535-1558.
36. ANGUERA, M. (1989). Innovaciones en la metodologa de evaluacin de
programas. Anales de Psicologa. N 5: 13-42. Murcia: Secretario de
publicaciones e intercambio cientfico.
37. ANGUERA, M., ARNAU, J., ATO, M. MARTINEZ ARIAS, R., PASCUAL,
J. & VALLEJO, G. (1995). Mtodos de investigacin en psicologa. Madrid:
Sntesis.
38. ANOLIN ALC. (2000). Women and Micro-Finance Programs. Civil Society
and Governance Programme, IDS.
39. ANUATTI-NETO F, BAROSSI-FILHO M, GLEDSON DE CARVALHO A.
& MACEDO R. (2003) Costs and Benefits of Privatization: Evidence from
Brazil. Research Network Working Paper N-455. Bases de datos electrnica
BIF.
369
40. AOS S, LIEB R, MAYFIELD J, MILLER M & PENNUCCI A. (2004)

Benefits and costs of prevention and early intervention programs for youth.
Olympia: Washington State Institute for Public Policy.
41. APPELA, P., SMITH, R, SCHMEIDLERA, J. &. RANDELL, J. (2000).
Impact of a vocational counselor on employment-related outcomes among
methadone patients. Evaluation and Program Planing, 23: 437-448.
42. ARAUJO F, VIVEROS AM. & MURPHREY J (1985) Agricultural credit in
the dominican republic .AID. Project impact evaluation report N. 58. Base de
datos electrnica USAID.
43. ARCE, R. (2005). Formulacin y gestin de polticas pblicas. Presentacin
del Diplomado de Gestin Pblica. Escuela de Gerencia Continental. Lima.
44. ARELLANO, A. (2006). Una revisin sobre los mtodos de estudio y
evaluacin en las polticas activas de empleo. Instituto Valeriano de
Investigaciones cientficas.
45. ARROYO, J. (2001). La funcin del gobierno, la intersectorialidad y la
sociedad civil en salud. En: Polticas de Salud 2001-2006. Consrocio de
Investigacin Econmica y Social. Lima.
46. ASHWORTH K, HARDMAN J, LIU WCH, MAQUIRE S & MIDDLETON
S. (2001). Education Maintenance Alowance: The First Year. A Quantitative
Evaluation. Department for Education and Employment. Research Report
RR257.
47. ASKIN P, CHILDRESS M, DELMARE R, ESTES V, SMITH M. &
SULLIVAN G. (1996) Impact evaluation of the NIS Farmer-to-Farmer
Program. Base de datos electrnica USAID
48. ATANASIO O, FITZSIMONS, GMEZ A, LPEZ D, MEGHIR C,
MESNARD A. (2006) Child Education and Work Choices in the Presence of a
Conditional Cash Transfer Programme in Rural Colombia. The Institute For
Fiscal Studies. WP06/13.
49. ATANASIO O. & MESNARD A. (2005) The impact of a conditional cash
transfer programme on consumption in Colombia. The Institute For Fiscal
Studies. Report Summary Familias 02.
50. ATO, M. (1991). Metodologa de la Investigacn en Ciencias del
Comportamiento. I: Fundamentos. Barcelona: PPU-DM.
51. ATO, M., QUIONES, E. ROMERO, A, & RABADN, R. (1989).
Evaluacin de programas: Aspectos bsicos. Anales de Psicologa, 5 (1-2): 112.
52. ATTANASIO O, FITZSIMONS E. & GMEZ A. (2005). The Impact of a
Contidional Education Subsidy on School Enrolment In Colombia. The
Institute For Fiscal Studies Report Summary Familias 01.
53. ATTANASIO O, GMEZ LC, HEREDIA P. & VERA-HERNDEZ M.
(2005). The short-term impact of a conditional cash subsidy on child health
and nutrition in Colombia. The Institute For Fiscal Studies Report Summary
Familias 03.
54. ATTANASIO O, MEGHIR C. & SANTIAGO A. (2005). Education Choices
in Mxico: Using a Structural Model And a Randomized Experiment to
Evaluate Progresa. The Institute for Fiscal Studies EWP05/01.
370
55. ATTANASIO O, SYED M. & VERA-HERNNDEZ M. (2004). Early

Evaluation of a New Nutrition and Education Programme in Colombia. The
Institute For Fiscal Studies. Briefing Note No. 44.
56. ATTANASIO OP. & VERA-HERNNDEZ M. (2004) Medium and Long Run
Effects of Nutrition and Child Care: Evaluation of a Community Nursery
Programme in Rural Colombia.
57. ATTANASIO, O. (2004). Baseline Report on the Familias En Accion. Institute
of Fiscal Studies. London, UK.
58. ATTANASIO, O., & VERA-HERNANDEZ, M. (2004). Medium and Long
Run Effects of Nutrition and Child Care: Evaluation of a Community Nursery
Programme in Rural Colombia. Institute of Fiscal Studies, London, UK.
59. ATTANASIO, O., MEGHIR, C. & SANTIAGO, A. (2005). Education Choices
in Mexico: Using a Structural Model and a Randomized Experiment to
Evaluate PROGRESA. Institute of Fiscal Studies. Working Paper EWP05/01.
London, UK.
60. AUCOIN, P. (2005). Decision-Making in Government: The Role of Program
Evaluation. Discussion Paper. Marzo 29 de 2005. Artculo disponible en
Internet:
[http://www.tbssct.gc.ca/eval/tools_outils/Aucoin/Aucoin_e.asp#4.3.5] Acceso el 27 de enero
de 2006.
61. AVERY RJ, BRYANT WK, MATHIOS A, KANG H, BELL B. (2006)
Electronic Course Evaluation; Does an on-line delivery system bias student
evaluation? Journal of Economic Education. Winter.
62. AWASUM D, SIENCH C. & OBWAKA E. (1999). Break the Silence Talk
about AIDS. Johns Hopkins University.
63. AZARANG, M. & GARCA, E. (1996). Simulacin y anlisis de modelos
estocsticos. McGrawHill. Mxico D.F.
64. BAKER, J. (2000). Evaluacin del impacto de los proyectos de desarrollo en la
pobreza. Manual para profesionales. Banco Mundial, Washington D.C.
65. BALL, S. (1997). Unintended Effects in Educational Research. En KEEVES, J.
(Ed.). Educational Research, Methodology and Measurement. An International
Handbook. 2 Edicin. Londres: Pergamon.
66. BALLART X. & RIBA C. (1995). Impact of Legislation Requiring Moped and
Motorbike Riders to Wear Helmets. Evaluation and Program Planning, 18 (4):
311-320.
67. BAMBERGER, M. (2000). Integrating Quantitative and Qualitative Methods
in Development Research. Washington, D.C. Banco Mundial.
68. BAMBERGER, M. (2006). Realizacin de evaluaciones de impacto de calidad
con limitaciones de presupuesto, tiempo e informacin. Grupo temtico para el
anlisis, seguimiento y evaluacin del impacto en la pobreza Red PREM.
Banco Mundial. Washington D.C.
69. BAMBERGER, M.; RUGH, J. & MABRY, L. (2006). Real World Evaluation:
Working under Budget, Time, Data and Political Constraints. Thousand Oaks,
CA: Sage.
70. BANCO INTERAMERICANO DE DESARROLLO (2000). Economic and
Social Report 1998-1999, Washington, D.C., BID.
371
71. BANCO INTERAMERICANO DE DESARROLLO, Oficina de Evaluacin

(BID-EVO), (1997). Evaluacin: Una herramienta de gestin para mejorar el
desempeo de los proyectos.
72. BANCO MUNDIAL (s/f). PovertyNet. Pobreza. Evaluacin del Impacto.
Documento
institucional
disponible
en
Internet:
[http://www.worldbank.org/poverty/spanish/impact/overview/howtoevl.htm]
SIID. SIA. Divisin de Poltica Social.
73. BANCO MUNDIAL. (2001). Attacking Poverty. Washington, D.C. World
Development Report 2000/2001.
74. BANERJEE A, COLE S, DUFLO E. & LINDEN L. (2005) Remedying
Education: Evidence from Two Randomized Experiments in India. by National
Bureau of Economic Research, Inc in its series NBER Working Papers
N11904.
75. BARKAT A, KHAN SH, RAHMAN M, ZAMAN S, PODDAR A, HALIM S,
RATNA NN, MAJID M, MAKSUD AKM, KARIM A. & ISLAM K. (2002)
Economic and social impact evaluation of the Rural Electrification Program in
Bangladesh. Base de datos electrnica USAID
76. BARNES C, GAILE G. & KIBOMBO R. (2001). The Impact of Three
Microfinance Programs in Uganda. Washington, D.C. AIMS. Disponible en:
http://www.usaidmicro.org/pubs/aims
77. BARRY, B. (1965). Political Argument, London: Routledge & Kegan Paul.
78. BARTOLOM, M. (1990). Evaluacin y optimizacin de los programas de
intervencin. Revista de Investigacin Educativa, 16. 39-61.
79. BARZELAY, M. (2001). La nueva Gerencia Pblica. Un ensayo bibliogrfico
para estudiosos latinoamericanos. Reforma y Democracia, 19, CLAD.
Disponible en Internet: [http://www.clad.org.ve/reforma.html] Acceso el 29 de
julio de 2004.
80. BAYA B, SANGLI G. & MAIGA A. (2004). Measuring the Effects of
Behavior Change Interventions in Burkina Faso with Population Based
Survey Result. JHPIEGO, an affiliate of Johns Hopkins University,
81. BECKER, S. y ICHINO, A. (2002). Estimation of Average Treatment Effects
Based On Propensity Scores. Stata Journal, 2 (4): 358-377.
82. BEDI, T., BHATTI, S., GINE, X., GALASSO, E., GOLDSTEIN, M. &
LEGOVINI, A. (2006). Impact Evaluation and the Project Cycle. Doing Impact
Evaluation Series N1. Thematic group on Poverty Analysis, Monitoring and
Impact Evaluation. Banco Mundial. DC. Washington.
83. BEEBY, C. E. (1977). The Meaning of Evaluation. Current Issues in
Education, N 4. Willington.
84. BEHRMAN JR, MARTORELL R. & STEIN AD. (2003). The Impact of
Experimental Nutritional Interventions on Education into Adulthood in Rural
Guatemala: Preliminary Longitudinal Analysis. Second Meeting of the Social
Policy Monitoring Network Health and Nutrition November 6-7.
85. BEHRMAN JR, BIRDSALL N. & SZKELY M. (2000). Economic Reform
and Wage Differentials in Latin America. Research Network Working Paper
N-435. Bases de datos electrnica BIF.
372
86. BEHRMAN JR, BIRDSALL N. & SZKELY M. (2001) Pobreza,

desigualdad, y liberalizacin comercial y financiera en Amrica Latina.
Research Network Working Paper N-449. Bases de datos electrnica BIF.
87. BEHRMAN JR, MARTORELL R. & STEIN AD. (2003). The Impact of
Experimental Nutritional Interventions on Education into Adulthood in Rural
Guatemala: Preliminary Longitudinal Analysis. Second Meeting of the Social
Policy Monitoring Network Health and Nutrition November 6-7.
88. BEHRMAN JR, PARKER SW. & TODD PE. (2004). Medium-Term Effects
of the Oportunidades Program Package, including Nutrition, on Education of
Rural Children Age 0-8 in 1997. Technical Document Number 9 on the
Evaluation of Oportunidades 2004. Philadelphia: University of Pennsylvania.
89. BEHRMAN JR, SEGUETA P. & TODD PE. (2000). El impacto de Progresa
sobre el rendimiento escolar durante el primer ao de operacin. Instituto
Internacional de Investigacin sobre Polticas Alimentarias, Washington, D.C.
90. BEHRMAN JR. & HODDINOTT J. (2000). Evaluacin del impacto de
Progresa en la talla del nio en edad preescolar. Instituto Internacional de
Investigacin sobre Polticas Alimentarias, Washington, DC.
91. BEHRMAN, J. & HODDINOTT, J. (2001). Program valuation with
unobserved heterogeneity and selective implementation: the Mexican
PROGRESA impact on child nutrition. Penn Institute for Economic Research.
Working Paper 02-006.
92. BEHRMAN, J., PIYALI, S. & TODD, P. (2001). Progressing through
Progresa: an impact assessment of a school subsidy experiment of Mxico.
Penn Institute for Economic Research. Working Paper 01-033.
93. BELL. LA (1995). The Impact of Minimum Wages in Mxico and Colombia.
Policy Research Working Paper 1514. The Policy Research Department.
94. BENOLIEL
S, ILON L, SUTTON M, KARMACHARYA DM,
LAMICHHANE S, RAJBHANDRY P, DER KAFLE B. & GIRI S. (1998)
Promoting education girls in Nepal. Impact Evaluation, N 5. Base de datos
electrnica USAID
95. BENOLIEL
S, ILON L, SUTTON M, KARMACHARYA DM,
LAMICHHANE S, RAJBHANDRY P, DER KAFLE B. & GIRI S. (1998)
Promoting education girls in Nepal. Impact Evaluation, N 5. Base de datos
electrnica USAID
96. BERK, R. & RAUMA, D. (1983). Capitalizing on nonrandom assignment to
treatments: A regression-discontinuity evaluation of a crime-control program.
Journal of the American Statistical Association, 78:21-27.
97. BERNBAUM M, FAIR K, MISKE S, MOREAU T, NYIRENDA D, SIKES J,
WOLF J, HARBER RB, HARTWELL A. & SCHWARTZ B. (1999)
Promoting primary education for girls in Malawi. Impact Evaluation, N 5.
Base de datos electrnica USAID
98. BERNER, H; COOPER, R; GUZMN, M. & GUZMN, N. (2005).
Metodologa evaluacin de impacto. Chile. Divisin de Control de Gestin.
99. BESSINGER, R., KATENDE, C., & GUTPA, N. (2004). Multimedia
campaign exposure effects on knowledge and use of condoms for STI and
373
HIV/AIDS prevention in Uganda. Evaluation and Program Planning, 27: 397407.

100. BIBI, S. (1998). Comparing Effects of General Subsidies and Targeted
Transfers on Poverty: Robustness Analysis Using Data Set from Tunisia.
Working Paper 0125. Economic Research Forum.
101. BIFULCO, R. (2002) Addressing Self-selection Bias in Quasi-experimental
Evaluations of Whole-school Reform A Comparison of Methods. Evaluation
Review, 26 (5): 545-572.
102. BISHOP, J. & TREMBLEY, E. (1987). Counseling centers and
accountability: Immovable objects, irresistible forces. Journal of Counseling
and Development, 65, 491-494.
103. BISQUERRA, R. (1989). Mtodos de investigacin educativa. Gua
prctica. Barcelona: Ceac.
104. BITLER MP, GELBACH JB. & HOYNES HW. (2004). What Mean
Impacts Miss: Distributional E ects of Welfare Reform Experiments. Bases de
datos electrnica BIF.
105. BLANET, J et al (eds.) (2000). Learning for Change: Issues and
Experiences in Participatory Monitoring and Evaluation, Londres, Intermediate
Technology Publications.
106. BLUE, RN, GALATY M. & GREEN A. (2006) The CEE/SEE Program.
Final Draft submitted to The Internacional Center for Not-for-Profit Law.
Washington, DC. En: Base electrnica de Datos USAID.
107. BLUNDELL R, BREWER M. & SHEPHARD A. (2005) Evaluating the
Labor Market impacto f Working Families` Tax Credit using difference in
diferrences. Institute for Fiscal Studies, junio.
108. BLUNDELL R, COSTA DIAS M, MEGHIR C, VAN REENEN J. (2003)
Evaluating the Employment Impact of a Mandatory Job Search Programme".
Centre for Economic Policy Research (CEPR). Discussion Paper No. 3786.
Disponible en SSRN: http://ssrn.com/abstract=394602
109. BLUNDELL R, DEARDEN L. & MEGHIR C. (1996). The Determinants
and Effects of Work-Related Training in Britain. Londres. Institute for Fiscal
Studies, abril.
110. BLUNDELL R, DUNCAN A, & MEGHIR C. (2002) Evaluating the
Working Families Tax Credit. Background Paper for Structural versus NonStructural approaches to Evaluation Social Policy Monitoring Network IFS,
November 20-21. Bases de datos electrnica BIF.
111. BLUNDELL R, DUNCAN A, MCCRAE J. & MEGHIR C. (2000) The
Labour Market Impact of the Working Families Tax Credit. Fiscal Studies.vol.
21, no. 1, pp. 75104
112. BOBONIS GJ, MIGUEL E. & PURI C. (2004). Iron Deficiency Anemia
and School Participation. Poverty Action Lab Paper N 7. March.
113. BOLTVINIK, J. (2000). Mtodos de medicin de la pobreza. Una
evaluacin crtica en Socialis. Revista latinoamericana de poltica social, N 2,
mayo, Buenos Aires.
374
114. BOOTHROYD, P. (1998). Social Assessment Research: The

establishment, the underground a state of the art. International Development
Research Center.
115. BORUCH, R. & GOMEZ, H. (1977). Sensitivity, bias and theory in impact
evalu-ations. Professional Psychology, 8: 411-434.
116. BOUILLON CP. & TEJERINA L. (2006) Do we know what works? A
Systematic Review of Impact Evaluations of Social Programs in Latin America
and the Caribbean. Inter-American Development Bank. Working Paper
117. BOURGUIGNON F, FERREIRA HG. & LEITE PG. (2003). Condicional
Cash Transfers, Schooling and Child Labor: Micro-Simulating Bolsa Escola.
Texto para Discusso N 477. Pontifcia Universidade Catlica do Rio de
Janeiro. Departamento de Economa.
118. BOURGUIGNON, F., De MELO, J. & SUWA, A. (1991). Distributional
Effects of Adjustment Policies: Simulations for Archetype Economies in Africa
and Latin America. World Bank Economic Review, 5 (2):339-66.
119. BOVENS, M.; HART, P. & KUIPERS, S. (2005). The politics of policy
evaluation. En: MORAN, M., REIN, M. & GOODIN, R. (Ed.). The Oxford
handbook of public policy. Cap. 15. Pp. 317-333.
120. BOX, G. & JENKINS, G. (1976). Time Series Analysis. Forecasting and
Control. Revised Edition. Oakland. California: Holden Day.
121. BOX, G. & TIAO, G. (1965). A change in level of nonstationary time
series. Biometrika, 52: 181-192.
122. BOX, G. & TIAO, G. (1975). Intervention analysis with applications to
economic and environmental problems. Journal of American Statistical
Association, 70: 70-79.
123. BRADSTOCK, A. (2005) Land reform and its Impact on Livelihoods:
Evidence from eight land reform groups in the Northern Cape Province of
South Africa. Policy & Research Series N 4. Londres. Farm-frica.
124. BRAUN M.; GIUGLIANI, E., MATOS, M., GIUGLIANI, C., PROENCO,
A. & MACHADO, A. (2003). Evaluation of the impact of the Baby-Friendly
Hospital Initiative on Rates of Breastfeeding. American Journal of Public
Health, 93 (8): 1277-1279.
125. BRINKERHOFF DW, FOTZO PT, ORMOD BJ. (1983) Haiti: Hacho
Rural Community Development. AID Project Impact Evaluarion Report N 49.
126. BRIONES, G. (1985) Evaluacin de programas sociales. Santiago: PIIE.
127. BROWN L, COX, GB, JONES WE,
SEMKE J, ALLEN DG,
GILCHRIST L. & SUTPHEN-MROZ, J. (1994) Effects of mental health
reform on client characteristics, continuity of care and community tenure.
Evaluation and Program Planning, Vol. 17, No. I, pp. 63-72.
128. BRUGIAVINI, A. & PERACCHI, F. (2005) Fiscal implications of Pension
Reforms in Italy.Research. Centre for International Studies on Economic
Growth.(CEIS) Paper Series, Vol. 23, N 67.
129. BRYK, A. (1978). Stakeholder-based evaluation. San Francisco: Jossey Bass.
375
130. BRYSON, A.; DORSETT, R. & PURDON, S. (2002). The Use of

Propensity Score Matching in the Evaluation of Active Labour Market Policies.
Working Paper N. 4. Policy Studies Institute, U.K. Department of Work and
Pensions.
131. BUENDA, L.; COLS, P & HERNNDEZ, F. (1997). Mtodos de
investigacin en Psicopedagoga. Madrid: McGraw-Hill.
132. BURCHFIELD S, HUA H, BARAL D. & ROCHA V. (2002). A
Longitudinal Study of the Impact of Integrated Literacy and Basic Education
Programs on Womens Participation in Social and Economic Development in
Nepal. Girls and Womens Educaton Policy Ressearch Activity. USAID.
133. BUSTELO, M. (2004). El potencial impacto del establecimiento de
normas, estndares y cdigos en la creacin de una cultura de evaluacin. IX
Congreso Internacional del CLAD sobre la Reforma del Estado y de la
Administracin Pblica, Madrid, Espaa, 2-5 de Noviembre.
134. CAIDEN, G. (1998). Enfoques y lineamientos para el seguimiento, la
medicin y la evaluacin del desempeo en programas del sector pblico.
Reforma y Democracia, 12, CLAD. Disponible en Internet:
[http://www.clad.org.ve/reforma.html] Acceso el 26 de agosto de 2004.
135. CALDERN C, CHONG A. & VALDS R. (2004) Labor Market
Regulations and Income Inequality. Research Department Working Paper N514. Bases de datos electrnica BIF.
136. CALDERN-MADRID, A. (2006) . Revisiting the Employability Effects
of Training Programs for the Unemployed in Developing Countries.Working
Paper N R-522
137. CALDS N, COADY D. & MALUCCIO JA. (2004) The cost of poverty
alleviation transfer programs: a comparative analysis of three programs in
Latin America. Food Consumption and Nutrition Division discussion Paper
N. 174 International Food Policy Research Institute. Washington DC.
138. CAMERON, L. (2002). Did Social Safety Net Scholarships Reduce DropOut Rates during the Indonesian Economic Crisis? World Bank Policy
Research Working Paper N 2800. Poverty Team, Development Research
Group, World Bank, Washington D.C.
139. CAMPBELL, D. (1957). Factor Relevant to the Validity of Experiments in
Social Settings. Psychological Bulletin, 54 (4): 297-312.
140. CAMPBELL, D. & FISKE. D. (1959). Convergent and Discriminant
Validation by the Multitrat-Multimethod Matrix. Psychological Bulletin, 56:
81-105.
141. CAMPBELL, D. & OVERMAN, E. (1988). Methodology and
epistemology for social science: Selected papers. Chicago: University of
Chicago Press.
142. CAMPBELL, D. & STANLEY, J. (1966). Experimental and quasiexperimental designs for research. Chicago: Rand McNally (Traduccin
espaola: Diseos experimentales y cuasiexperimentales en la investigacin
social. Buenos Aires: Amorrortu. 1973, 1982).
376
143. CAMPBELL, D. (1974). Qualitative knowing in action research.

Comunicacin presentada en la Reunin anual de la American Psychological
Association, Los Angeles California.
144. CAMPBELL, D. (1986). Relabeling internal and external validity for
applied social scientists. In W. Trochim (Eds.) Advances in quasi-experimental
design and analysis (pp. 67-78). San Francisco: Jossey-Bass.
145. CANTON, E. & BLOM, A. (2004). Can Student Loans Improve
Accessibility to Higher Education and Student Performance? An Impact Study
of the Case of SOFES, Mexico. World Bank Policy Research Paper N 3425.
World Bank, Washington D.C.
146. CARDOSO, E. & PORTELLA, A. (2004). The Impact of Cash Transfers
on Child Labor and School Attendance in Brazil. Working Paper N 04-W07.
Vanderbilt University, Department of Economics, Nashville, TN.
147. CARDOZO, M. (2003). Evaluacin de Polticas de Desarrollo Social.
Poltica y Cultura, 20: 139-154.
148. CARE (2004). Jamaa Wazima Project: A Household Livelihood Security
Project in Siaya and Busia Districts. Report Prepared for CARE Kenya by
Strategic Public Relations and Research Ltd. P.O Box 7201 00100, Nairobi.
149. CARIDE, J. (1989). De la evaluacin de necesidades a la evaluacin de
programas sociales en el desarrollo comunitario. En MARN IBEZ, R &
PREZ SERRANO, G. (Eds). Investigacin en animacin sociocultural.
UNED. Madrid, pp. 133-152.
150. CARRERA J, CHECCHI D, & FLORIO M. (2005) Privatization discontent
and its determinants::evidence from Latin Amrica. JEL Numbers: H 32, G 14,
L 33. Bases de datos electrnica BIF
151. CASTRO MF. (2004). Impact evaluation of Empleo en Accin: Lessons
and relevante for Colombia. The third Meeting of the Social Policy Nerwork.
Departamento Nacional de Planeacin. Repblica de Colombia.
152. CASTRO, G.; CHAVES, P. (1994). Metodologa Evaluacin de impacto de
proyectos sociales. UNESCO. Unidad Regional de Ciencias Humanas y
Sociales para Amrica Latina y el Caribe. Caracas.
153. CAZARES, A. & BEATTY, L. (Eds.) (1994). Scientific methods for
prevention intervention research. Rockville, MD: National Institute on Drug
Abuse.
154. CENTRE FOR CONFLICT RESOLUTION (2004) Centre for Conflic
Resolution: Impact Evaluation Report. Kenya. Nyamakoroto House. Base de
datos electrnica USAID.
155. CENTRE FOR REVIEWS AND DISSEMINATION. (2001). Undertaking
Systematic Reviews of Research on Effectiveness. CRD Report Number 4. 2
Ed. Marzo.
156. CEPAL (1998). Gestin de programas sociales para Amrica Latina.
Volumen I. Serie Polticas Sociales 25. Comisin Econmica para Amrica
Latina y el Caribe. Santiago de Chile.
157. CHACALTANA, J. (2003). El impacto del Programa A Trabajar Urbano.
Ganancias de ingresos y utilidades de las obras. Consorcio de investigacin
377
Econmica y Social y Centro de Estudios para el Desarrollo y la Participacin.

Lima.
158. CHACN, S. & LPEZ, J. (1993). Metodologa de la evaluacin de
programas de intervencin: una aplicacin en centros asistenciales infantiles.
Apuntes de Psicologa, 37: 41-60.
159. CHAN TY. & HAMILTON BH. (2003) Learning, private information and
the economic evaluation of randomized experiments.Journal of Political
Economy.
160. CHASE, R. & SHERBURNE-BENZ, L. (2001). Household Effects of
African Community Initiatives: Evaluating the Impact of the Zambia Social
Fund. World Bank, Washington D.C.
161. CHASE, ROBERT S. (2002). Supporting Communities in Transition: The
Impact of the Armenian Social Investment Fund. The World Bank Economic
Review, 16 (2): 219-240.
162. CHAUDHURY, N., HAMMER, J. & MURRUGARRA, E. (2003). The
effects of a Fee-Waiver Program on Health Care Utilization among the Poor:
Evidence from Armenia. World Bank Policy Research Working Paper N
2952. World Bank, Development Research Group and Human Development
Department, Europe and Central Asia, Washington D.C.
163. CHEE G, FIELDS R, HSI N. & SCHOTT W, (2004). Evaluation of GAVI
Immunization Services Support Funding. Abt Associate Inc.
164. CHELIMSKY, E.; SHADISH, W. (1997). Evaluation for the 21st Century.
A Handbook. USA: Sage Publications.
165. CHEN S. & RAVALLION M. (2003). Hidden Impact? Ex-Post Evaluation
of an Anti-Poverty Program. World Bank Policy Research Working Paper
3049.
166. CHEWYND E. & DWORKIN DM. (1981) Korean Potable Water System
Project: Lessons from Experience. Project Impact Evaluation No.20. Base de
datos electrnica USAID
167. CHIFUNYISEA, T., BENOYB, H. & MUKIIBI, B. (2002). An impact
evaluation of student teacher training in IHV/AIDS education in Zimbawe.
Evaluation and Program Planning, 25: 377-385.
168. CHOKSI, A. (1995). Evaluation in the Bank: taking stock of 50 years of
development work. En: Evaluation and Development, Proceedings of the 1994
World Bank Conference.
169. CHONG A, GALDO V. & TORERO M. (2005). Does Privatization
Deliver? Access to Telephone Services and Household Income in Poor Rural
Areas Using a Quasi-Natural Experiment in Peru. Latin American Research
Network. Red de Centros de Investigacin N 535.
170. CHONG A. & GALDO J. (2006) Does the Quality of Training Programs
Matter? Evidence from Bidding Processes Data. Latin American Research
Network. Red de Centros de Investigacin N 555.
171. CLAD (1999). Una Nueva Gestin Pblica para Amrica Latina. Informe
Institucional. Disponible en Internet: [http://www.clad.org.ve/reforma.html]
Acceso el 26 de agosto de 2004.
378
172. COADY D, DAI X. & WANG L. (2001). Community Programs and

Women`s Participation: The Chinese Experience. Policy Research Working
Paper 2622. The World Bank
173. COADY D. (2000). La aplicacin del anlisis social costo-beneficio a la
evaluacin
de
Progresa.
Internacional
Food
Policy
Research
Institute.Washington, DC.
174. COADY DP. & LEE R. (2000). Anlisis del equilibrio general del impacto
de las transferencias de Progresa sobre el bienestar. Internacional Food Policy
Research Institute.Washington, DC.
175. COADY DP. & PARKER SW. (2002). A cost-effectiveness analysis of
demand- and supply-side education interventions: the case of Progresa in
Mxico. Food Consumption and Nutrition Division. Discussion Paper N 127.
Internacional Food Policy Research Institute.Washington, DC.
176. COADY DP. (2001). An evaluaron of the Distributional Power of
PROGRESAS Cash. Bases de datos electrnica BIF.
177. COADY, D., OLINTO, P. & CALDES, N. (2003). Coping with the Coffee
Crisis in Central America: The Role of Social Safety Nets in Honduras.
International Food Policy Research Institute, Washington D.C.
178. COCHRAN, W. (1983). Planning and Analisys of Observational Studies
(ed.), L. E. Moses y F. Mosteller. New York, NY: Wiley.
179. COHEN, E. (2001). Reforma del Estado, modernizacin administrativa y
evaluacin del desempeo de la gestin. En Los desafos de la reforma del
Estado en los programas sociales: tres estudios de caso, Santiago de Chile,
CEPAL (Serie Polticas Sociales, N 45).
180. COHEN, M. & SNODGRASS, DR. (2002) Clients in context: The impacts
of microfinnance in three countries. Assessment the Impact of Microenterprise
Services (AIMS). Washington.
181. COLS, M. & REBOLLO, M. (1993). Evaluacin de programas: una gua
prctica. Sevilla, Kronos.
182. COLS, MP. & BUENDA, L. (1994). Investigacin educativa. 2
edicin. Sevilla: Alfar.
183. COLEMAN, F. (1972). The evaluation of Equality of Educational
Opportunity. En F. MOSTELLER & D. MOYNIHAN (Eds.). On Equality of
Educational Opportunity. Nueva York: Random House
184. CONE, J. (1977). The relevance of reliability and validity for behavioral
assessment. Behavior Therapy, 8: 411-426.
185. Consejo Nacional de Poltica Econmica y Social - CONPES (2002).
Evaluacin de impacto de programas sociales. Bogot-Colombia. Documento
N 3188.
186. CONTRERAS D, FLORES L. & LOBATO F. (2003). Monetary Incentives
for Teachers and School Performance. The evidence for chile. Departament of
Economics University of Chile.
187. COOK D, MULROW C, HAYNES R. (1997). Systematic reviews:
synthesis of best evidene for clinical decisions. Annals Internal Medical, 126:
376-380.
379
188. COOK, C., DUNCAN, T., JITSUCHON, S., SHARMA, A & GUOBAO,
W. (2004). Assessing the Impact of Transport and Energy Infrastructure on
Poverty Reduction. Regional Assistance Technical Report N 5947. Asian
Development Bank, Manilla, Philippines.
189. COOK, T. & CAMPBELL, D. (1986). The causal assumptions of quasiexperimental practice. Synthese, 28: 141-180.
190. COOK, T. & CAMPBELL, D. (Eds.). (1979). Quasi-experimentation:
Design and analysis for field settings. Chicago: Rand McNally.
191. COOK, T. & SHADISH JR., W. (1986). Program Evaluation: The World
Science. Annual Review of Psychology, 37: 139-232
192. COOK, T. & SHADISH, W. (1994). Social experiments: some
developments over the past fifteen years. Annual Review of Psychology, 45:
545-580.
193. COOK, T.; CAMPBELL, D. & PERACCHIO, L. (1990). Quasi
Experimentation. En M. DUNNETTE & L. HOUGH (Eds.). Handbook of
industrial and Organizational Psychology. Vol.1, pags. 491-576. 2 Edicin.
Palo Alto (CA). Consulting Psychologist Press.
194. COOK, T.; LEVITON, L. & SHADISH, W. (1985). Program evaluation.
En: LINDZEY, G & ARONSON, E. (Eds.). Handbook of social psychology.
Nueva York, Random House.
195. COOKE & KOTHARY (2001). Participation: The New Tyranny? Londres,
Zed Books.
196. CORDRAY, D. (1986). Quasi-Experimental Analysis: A Mixture of
Methods and Judgment. En: W. TROCHIM (Ed.). Advances in QuasiExperimental Design and Analysis. San Francisco: Jossey-Bass.
197. COWLES, M. (1989). Statistic in Psychology. An Historical Perspective.
Hillsdale, New Jersey: LEA.
198. COYLE, S.; BORUCH, R. & TURNER (1991). Evaluating AIDS
prevention programs: expanded edition. Washington DC: National Academy
Press.
199. CREATIVE ASSOCIATES & BENCHMARKS, INC. (1985). Small
Project Assistance (SPA): A Joint Project of AID and the Peace Corps.
Washington. Base de datos electrnica USAID - A.I.D. Evaluation Special
Study No. 24.
200. CREATIVE ASSOCIATES INTERNATIONAL (1996). Reinsertion of excombatants in El Salvador. USAID. National Reconstruction Secretariat.
201. CRONBACH, L. (1963). Course improvement through evaluation.
Teachers College Record, 64: 672-683.
202. CRONBACH, L. (1974). Beyond the two disciplines of the scientific
psychology. Comunicacin a la asamblea de la APA, 2 de Septiembre.
(Traduccin espaola en F. ALVIRA, M. AVIA, R. CALVO & F. MORALES
(Eds.). Los dos mtodos de las Ciencias Sociales. Madrid: C.I.S.).
203. CRONBACH, L. (1982). Designing evaluations of educational and social
programs. San Francisco, Jossey-Bass.
204. CRONBACH, L.; HAMBRON, S., DORNBUSCH, S., HESS, R.,
HORNICK, R., PHILLIPS, D., WALKER, D. & WEINER, S. (1980). Towards
380
reform in program evaluation: Aims, methods and institutional arrangements.

San Francisco: Jossey-Bass.
205. CUANTO (2000). Per: Informe final de evaluacin del proyecto de
Caminos Rurales. Lima: Ministerio de Transporte, Comunicaciones, Vivienda
y Construccin. Lima.
206. CUETO, B & MATO, J. (2004). El matching como tcnica de evaluacin
de polticas: una aplicacin a los programas de fomento del empleo. VII
Encuentro de Economa Aplicada. 3,4 y 5 de junio.
207. CUETO, S. & CHINEN, M. (2000). Impacto educativo de un programa de
desayunos escolares en escuelas rurales del Per. Lima: GRADE, Documento
de trabajo, 34.
208. CUNILL, N. & OSPINA, S. (2003). Evaluacin de Resultados para una
Gestin Pblica moderna y democrtica. CLAD-MAP-AECI.
209. CURTIS V, KANKI B, COUSENS S, DIALLO I, KPOSEHOUEN A,
SANGAR M. & NIKIEMA M. (2001). Evidence of behaviour change
following a hygiene promotion programme in Burkina Faso. Bulletin of the
World Health Organization, 79: 518527.
210. DAR, A., TZANNATOS, Z. (1999). Active Labour Market Programs: A
Review of the Evidence from Evaluations. Social Protection Discussion Paper,
9901. Washington, D.C.: World Bank.
211. DAVISON, A. & HINCKLEY, D. (1997). Bootstrap methods and their
application. New York: Cambridge University Press.
212. DE GIORGI G. (2005) Long Term Effects of a Mandatory Multistage
Program: The New Deal for Young People in the UK. The Institute For Fiscal
Studies WP05/08.
213. DE LA ORDEN, A. (1993) La evaluacin educativa. Proyecto CINAE.
Buenos Aires.
214. DE MIGUEL, M. (1998). Modelos y diseos en la evaluacin de
Programas. Documento fotocopiado.
215. DE MIGUEL, M. (1999). La evaluacin de programas. Revista de
Investigacin Educativa, 17 (2): 345-348.
216. DE MIGUEL, M. (2000). Evaluacin externa de un programa de educacin
social. En PREZ SERRANO, G. (Cord.). Modelos de investigacin
cualitativa en educacin social y animacin sociocultural. Aplicaciones
prcticas. Madrid: Narcea. Pp. 287-319.
217. DE RUS, G. & INGLADA, V. (1997) Cost-Benefit Analysis of the HighSpeed Train in Spain. Annals of Regional Science, Springer Berlin Heidelberg.
Vol. 31, N 2: 175-188.
218. DE VREESE, CH. (2004). Primed by the Euro: The Impact of a
Referendum Campaign on Public Opinion and Evaluations of Government and
Political Leaders. Scandinavian Political Studies, 27: 45-64.
219. DEARDEN L, EMERSON C, FRAYNE C. & MEGHIR C. (2005).
Education subsidies and School Drop-Out Rates. The Institute For Fiscal
Studies WP05/11.
381
220. DEARDEN L, EMERSON C, FRAYNE C. & MEGHIR C. (2005).

Education subsidies and School Drop-Out Rates. The Institute For Fiscal
Studies WP05/11.
221. DEARDEN L. & HEATH A. (1996) Income Support and Staying in
School: What Can We Learn from Australias AUSTUDY Experiment?. Fiscal
Studies. vol. 17, no. 4, pp. 130
222. DEBONO, E. (1999). Six Thinking Hats, Londres, Backbay.
223. DEERY HA, DAY LM. & FILDES BN. (2000) An impact evaluation of a
falls prevention program among older people Accident Analysis and
Prevention 32 (2000) 427433.
224. DEHEJIA, R., WAHBA, S. (1999). Causal effects in nonexperimental
studies: reevaluating the evaluation ftraining programs. Journal of the
American Statistical Association 94, 10531062.
225. DELGADO-RODRGUEZ, M. (2002). Glosario de Metanlisis. Panacea.
3(8): 19-22.
226. DENNIS M, SCOTT CK, FUNK R. (2003). An experimental evaluation of
recovery management checkups (RMC) for people with chronic substance use
disorders. An experimental evaluation of recovery management checkups
(RMC) for people with chronic substance use disorders. Evaluation and
Program Planning, 26: 339-352.
227. DERRIENNIC Y, WOLF K. & KIWANUKA-MUKIIBI P. (2005). An
Assessment of Community- Based Health Financing Activities in Uganda.
Bethesda, MD: The Partners for Health Reformplus Project, Abt Associates
Inc.
228. DEUTSCH, R. (1998). Does Child Care Pay?: Labor Force Participation
and Earnings Effects of Access to Child Care in the Favelas of Rio de Janeiro.
Banco Interamericano de Desarrollo Oficina del Economista Jefe
Documentode Trabajo N 384
229. DEVELOPMENT ASSISTANCE COMIT (2002). Glosario de los
principales trminos sobre evaluacin y gestin basada en resultados. Pars.
Disponible en internet [www.oecd.org/dac/evaluation] Acceso el 26 de agosto
de 2004.
230. DIAGNE A. & ZELLER M. (2001). Access to Credit and Its Impact on
Welfare in Malawi Research Report 116 International Food Policy Research
Institute Washington, D.C.
231. DICCIONARIO DE LA LENGUA ESPAOLA (22 ED.) de la Real
Academia Espaola. Editorial: ESPASA-CALPE SA, 2001. Dos volmenes.
232. DIVISIN DE CONTROL DE GESTIN (2003). Evaluacin de
Programas Gubernamentales (EPG). Ministerio de Hacienda. Santiago de
Chile.
233. DOLLAR D. & LEVIN V. (2005) Sowing and Reaping: Institutional
Quality and Project Outcomes in Developing Countries.World Bank Policy
Research Working Paper 3524.
234. DOROSH P, HAGGBLADE S, LUNGREN C, RAZAFIMANANTENA T.
& RANDRIANMIARANA Z.(2003) Economic Motors for Poverty Reduction
in Madagascar.Working Paper INSTAT USAID.
382
235. DOWNES A, MAMINGI M. & BELLE ANTOINE RB (2000). Labor

Market Regulation and Employment In the Caribbean. Latin American
Research Network Red de Centros de Investigacin Research network Working
paper N -388. Bases de datos electrnica BIF.
236. DRYDEN A, QUERAL M. & TAUCHEN H. (2001). Evaluation of Rhode
Islands Family Independence Program. Wellesley College Department of
Economics. Wellesley Child Care Research Partnership.
237. DU BOIS, F. (2004). Programas sociales, salud y educacin en el Per. Un
balance de las polticas sociales. Democratizando el gasto social. Instituto
Peruano de Economa Social de Mercado & Fundacin Konrad Adenauer
Stiftung. Lima.
238. DUFLO E, DUPAS P, KREMER M. & SNEI S. (2006) Education and
HIV/AIDS Prevention: Evidence from a randomized evaluation in Western
Kenya. Poverty Action Lab. Working Paper, February.
239. DUFLO E. & HANNA R. (2006). Monitoring Works: Getting Teachers to
Come to School. BREAD Working Paper No. 103.
240. DUFLO, E. (2001). Schooling and Labor Market Consequences of School
Construction in Indonesia: Evidence from an Unusual Policy Experiment. The
American Economic Review, 91 (4): 795-813.
241. DUGGAN A, FUDDY L, BURRELL L, HIGMAN SM, MCFARLANE E,
WINDHAM A. & SIA C. (2002). Randomized trial of a statewide home
visiting program to prevent child abuse: impact in reducing parental risk
factors. Child Abuse and Neglect. Vol. 28, N 6, 625-645.
242. DUNN, W. (1982). Reforms as arguments. Knowledge. Creation,
Diffusion, Utilization, 3: 293-326.
243. DUPAS P. (2006). Relative Risks and the Market for Sex: Teenagers,
Sugar Daddies and HIV in Kenya. En Poverty Action Lab. Mayo.
244. EBRAHIM R. (1996) .United States
Agency for Intenarional
Development, ATechnical Report 12. Base de datos electrnica USAID
245. EDWARD, M. & KREMER, M. (2001). Worms: Education and Health
Externalities in Kenya. National Bureau of Economic Research Working Paper
N 8481. National Bureau of Economic Research, Cambridge, MA.
246. EDWARD, M. & KREMER, M. (2003). Health Behavior and the Design
of Public Health Programs: Evidence from Randomized Evaluations. World
Bank, Washington D.C.
247. EFRON, B. (1979). Bootstrap methods. Annals of statistics, 7: 1-26.
248. EFRON, B. (1981). Nonparametric estimates of standard error: the
jacknife, the bootstrap, and other resampling methods. Biometrika, 68: 589599.
249. EFRON, B. (1987). Better bootstrap confidence intervals (with discussion).
Journal of theAmerican Statistical Association, 82: 171-20.
250. EFRON, B., & TSIBIRANI, R. (1993). An introduction to the Bootstrap.
N.Y.: Chapman & Hall
251. ELAS VJ, RUIZ F, COSSA R,. & BRAVO B. (2004). An Econometric
Cost-Benefit Analysis of Argentinas Youth Training Program. Latin American
383
Research Network Red de Centros de Investigacin Research Network

Working Paper #R-482. Bases de datos electrnica BIF.
252. EMMERSON C, FRAYNE C,. MCNALLY S. & SILVA O. (2005).
Evaluation of Aimhigher: Excellence Challenge The Early Impact of
Aimhigher: Excellence Challenge on Pre-16 Outcomes: An Economic
Evaluation The Institute For Fiscal Studies. Research Report RR652.
253. EZEMENARI, K. & SUBBARAO, K. (1998). Jamaica's Food Stamp
Program: Impacts on Poverty and Welfare. Policy Research Working Paper N
2207. World Bank, Poverty Reduction and Economic Management Network,
Poverty Division, Washington D.C.
254. EZEMENARI, K.; RUQVIST, A. & SUBBARAO, K. (1999). Impact
Evaluation: A Note on Concepts and Methods. World Bank Poverty Reduction
and Economic Management Network, procesado. Washington, D.C.: Banco
Mundial.
255. FARM COMMUNITY TRUST OF ZIMBABWE (2001). The Impacto of
Land Reform on Comercial Farm Workers Livelihoods. Report Date: Report
9th.
256. FAUTH G. & DANIELS B. (2001) Youth Reintegration Training and
Education For peace (YRTEP) Program. United States Agency for
International Development Office of Transition Initiatives. En base electrnica
USAID
257. FEDER G, MURGAI R. & QUINZON J. (2004) Sending Farmers Back to
School: The Impact of Farmer Field Schools in Indonesia. Review of
Agricultral Economics, vol. 26. N 1: 45-62
258. FEIN, D. (2001). Will welfare reform influence marriage and fertility?
Early evidence from the ABC demostration. Evaluation and Program
Planning, 24: 427-444.
259. FEIN, D. (2001). Will welfare reform influence marriage and fertility?
Early evidence from the ABC demostration. Evaluation and Program
Planning, 24: 427-444.
260. FRNNDEZ-BALLESTEROS, R. (1996). Evaluacin de programas. Una
gua prctica en mbitos sociales, educativos y de la salud. Madrid: Sntesis
Psicolgica.
261. FERRANDO D, SERRANO N. & PURE C. (2002) Midterm Impact
Evaluation of the Reproductive health in the Community (reprosalud) Project.
The United States Agency for International Development in Per.. Base de
262. FETTERMAN, D. (2000). Foundations of Empowerment Evaluation.
Thousand Oaks, CA: SAGE.
263. FINK, A. (1993). Evaluation Fundamental. Newbury Park, Sage.
264. FISHER, F. (1997). Evaluating Public Policy. Chicago: Ed. Nelson Hall
Publishers.
265. FISHMAN, G. (1996). Monte Carlo, concepts, algorithms and applications.
Springer.
266. FLORES R, MORRIS S, OLINTO P, MEDINA J. & NEIDECKER O.
(2003) Evaluation of the Family Allowance Program (PRAF) in Honduras:
384
Health and Nutrition Impacts. International Food Policy Research Institute,

November.
267. FLORES R. (2003). Impact Evaluation of the Pilot Phase of the
Nicaraguan. Red de Proteccin Social, FCN Discussion Paper, IFPFRI,
Washington D.C. (forthcoming).
268. FLORIO, M (2002) A State without ownership: the welfare impact of
British privatisations 1979-1997.Department of Economics University of Milan
Italy in its series Departemental Working Papers with number 2002-24
269. FORREST S, MASTERS H. & MILNE V. (2004). Evaluating the impact
of training in psychosocial interventions: a stakeholder approach to evaluation
part II. Journal of Psychiatric and Mental Health Nursing, 11: 202212.
270. FRAKER, T. & MAYNARD, R. (1987). Evaluating Comparison Group
Designs withEmployment-Related Programs. Journal of Human Resources, 22:
194227.
271. FRANCESCONI, M. & VAN DER KLAAUW, W. (2004) The
Consequences of In-Work Benefit Reform in Britain: New Evidence from
Panel Data. IZA Discussion Paper No. 1248.
272. FRANKENBERG E. & DUNCAN T. (2001) Womens health and
pregnancy outcomes: do services make a difference? Demography. Vol.38. N
2, 253-265.
273. FRECHTLING, J., STEVENS, F., LAWRENZ, F. & SHARP, L. (1993).
The User-Friendly Handbook for Project Evaluation: Science, Mathematics and
Technology Education. NSF 93-152. Arlington, VA: NSF.
274. FREEMAN, H. & ROSSI, P. (1993). Evaluation: A Systematic Approach.
SagePublications, Newberry Park, C.A
275. FRIEDKIN T, LESTER R, BLANK H. & AHMED N. (1983) Bangladesh
Small-Scale Irrigation. ALD Prqlect Impact Evaluation Report Na 42. Base de
276. FRIEDLANDER, D. & ROBINS, P. (1995). Evaluating Program
Evaluations: New Evidence onCommonly Used Nonexperimental Methods.
American Economic Review 85 (4): 923937.
277. FULOP N, ELSTON J, HENSHER M, MCKEE M. & WALTERS R.
(2000) Health Policy. Lessons for Health Strategies in Europe: The Evaluation
of a National Health Strategy in England . European Journal of Public Health,
vol. 10. N 1.
278. FURUKAWA, SH. & HOSHINO, Y. (2001). Knowledge-Based
Governance by Performance Measurement. The Japanese Journal of
Evaluation Studies, 1 (2): 13-27.
279. GALABAWA, J., OBELEAGU, A. & MIYANAZAWA, I. (2002). The
impact of school mapping in the development of education in Tanzania: an
assessment of the experiences of six districts. Evaluation and Program
Planning, 25: 23-33.
280. GALASSO M. & RAVALLION M. (2002). Decentralized Targeting of an
Anti-Poverty Program. Journal of Public Economics, 85: 705-727
385
281. GALASSO, E. & RAVALLION, M. (2003). Social Protection in a Crisis:

Argentina's Plan Jefes y Jefas. World Bank Policy Research Working Paper N
3165. Development Research Group. World Bank, Washington D.C.
282. GALASSO, E., RAVALLION, M. & SALVIA, A. (2001). Assisting the
Transition from Workfare to Work: A Randomized Experiment. World Bank
Policy Research Working Paper N 2738. World Bank, Washington D.C.
283. GALDO, J. (2000). Una Metodologa de Evaluacin de Impacto de los
Programas de Educacin y/o Capacitacin en el Mercado Laboral: el Caso de
ProJoven. En Impacto de la Inversin Social en el Per, Ed. Enrique Vsquez,
Lima CIUP-IDRC.
284. GALDO, V. & BRICENO, B. (2004). Evaluating the Impact on child
Mortality of a Water Supply Project and Sewerage Expansion in Quito,
Ecuador. Inter-American Development Bank, Office of Evaluation and
Oversight, Washington D.C.
285. GALIANI, S. & SCHARGRODSKY, E. (2002). Evaluating the Impact of
School Decentralization on Educational Quality. Economia, 2 (2):275-314.
286. GALIANI, S. & SCHARGRODSKY, E. (2005). Effects of Land Titling.
Business School Working Papers proprightspoor, Universidad Torcuato Di
Tella.
287. GALIANI, S. (2006). Sesin I: Inferencia causal. Ponencia presentada en el
Taller organizado por el Banco Mundial en Cuernavaca, Mayo de 2006.
288. GALIANI, S. (2006b). Sesin II: Estudios aleatorizados. Ponencia
presentada en el Taller organizado por el Banco Mundial en Cuernavaca, Mayo
de 2006.
289. GALIANI, S. (2006c). Sesin IV: Diferencias en diferencias (datos panel).
Ponencia presentada en el Taller organizado por el Banco Mundial en
Cuernavaca, Mayo de 2006.
290. GALIANI, S. (2006d). Sesin VI: Tcnicas de pareamiento. Ponencia
de 2006.
291. GALIANI, S., GERTLER, P. & SCHARGRODSKY, E. (2002). Water for
Life: The Impact of the Privatization of Water Services on Child Mortality.
Stanford Institute for Economic Policy Research (SIEPR), Stanford University.
292. GALIANO S, GERTLER P, SCHARGRODSKY E. & STURZENEGGER
F. (2003) The Costs and Benefits of Privatization in Argentina: A
Microeconomic Analysis. Latin American Research Network Red de Centros
de Investigacin Research Network Working Paper #R-454. Bases de datos
electrnica BIF.
293. GARCA, J. (1991). Recursos metodolgicos en la Evaluacin de
Programas. Bordn, 43 (4): 461-476.
294. GARRETT J. (2001). Lessons from the Urban Food-for-Work Program:
CAREEthiopia. Notes and Observations. IFPRI, Washington, D.C
295. GAVIRIA A. & NEZ J. (2003). Evaluation the impact of SENA on
earnings and employment. Archivos de Economa. Documento 220, abril.
Departamento Nacional de Planeacin. Colombia.
386
296. GAVIRIA, A. & NEZ, J. (2003). Evaluation the impact of SENA on

earnings and employment. Archivos de Economa. Documento 220, abril.
297. GEORGE, R., KOSEC, K. & WALLSTEN, S. (2004). Has Private
Participation in Water and Sewerage Improved Coverage? Empirical Evidence
from Latin America. World Bank Policy Research Working Paper N 3445.
World Bank, Development Research Group, Washington D.C.
298. GERTLER P, LEVINE DI. & MORETTI E. (2002). Do Microfinance
Programs Help Families Insure Consumption Against Illness?. University of
California, Berkeley Center for International and Development Economics
Research (CIDER) working paper C03-129.
299. GERTLER P, PATRINOS H. & RUBIO-CODINA M. (2006).
Empowering parents to improve education: evidence from rural Mexico.
World Bank Policy Research Working Paper 3935.
300. GERTLER P. (2000). El Impacto del Programa de Educacin Salud y
Alimentacin (Progresa) sobre la Salud. Washington, D.C.: International Food
Policy Research Institute (IFPRI).
301. GERTLER PJ. & BOYCE S. (2001) An Experiment in Incentive-Based
Welfare: The Impact of PROGESA on Health in Mxico. Mimeo, UC
Berkeley..
302. GERTLER, P. (2000). Final Report: The Impact of PROGRESA on Health.
International Food Policy and Research Institute, Washington D.C.
303. GIBSON PG, SHAH S. & MAMOON HA. (1998) Peer-Led Asthma
Education for Adolescents: Impact Evaluation. Journal of Adolescent Health;
22: 66 -72.
304. GIEDION U, GONZLES L. & ACOSTA OL. (2001). Efectos de la
reforma en salud sobre las conductas irregulares en los hospitales pblicos: El
caso de Bogot, Distrito Capital, Colombia. Latin American Research Network
Red de Centros de Investigacin Research Network Working paper #R-426.
Bases de datos electrnica BIF.
305. GILBERT, N. & TROITZSCH, K. (1999). Simulation for the Social
Scientist. Open University Press. Buckingham, Reino Unido.
306. GILL, J., BITTNER, H., TOWNSEND, B. & MAINOUS, A. (2005).
Impact of Prooviding a Medical Home to the Uninsured Evaluation of a
Statewide Program. Journal of Health Care for the Poor and Underserved, 16
(3): 515-535.
307. GLASS, D. & ELLETT, F. (1980) Evaluation research. Annual Review of
Psychology, 31: 211-228.
308. GLASS, G., WILLSON, V. & GOTTMAN, J. (1975). Design and analysis
of time-series experiments. Boulder, CO: Colorado Associated University
Press
309. GLEWWE, P. & OLINTO, P. (2004). Evaluating the impact of Conditional
Cash Transfers on Schooling: An experimental analysis of Honduras PRAF
program. Final Report for USAID. International Food Policy Research
Institute. Washington D.C.
387
310. GLEWWE, P., KREMER, M. & MOULIN, S. (2000). Textbooks and Test
Scores: Evidence from a Prospective Evaluation in Kenya. Science Foundation,
World Bank Research Committee.
311. GLEWWE, P., KREMER, M., MOULIN, S. & ZITZEWITZ, E. (2000).
Retrospective vs. Prospective Analyses of School Inputs: The Case of Flip
Charts in Kenya. Working Paper N 8018. National Bureau of Economic
Research, Cambridge MA.
312. GLEWWE, P., NAUMAN, I. & KREMER, M. (2003). Teacher Incentives.
Working Paper N 9671. National Bureau of Economic Research, Cambridge,
MA.
313. GLINER JA. & SAMPLE P. (1996) A multimethod approach to evaluate
transition into community life. Evaluation and Program Planning, Vol. 19, No.
3, pp. 22-233
314. GODDARD PO, GMEZ G, HARRISON P. & HOOVER G (1981). The
Product is Progress: Rural Electrification in Costa Rica . Proyect Impact
Evaluation Report Na 22. Base de datos electrnica USAID
315. GODOY, L. & RANGEL, M. (1997). Nuevas experiencias en Poltica
Social: Los Fondos de Inversin Social en Amrica Latina y el Caribe en los
Programas Sociales. Documento LC/R 1744, CEPAL, Santiago de Chile.
316. GONZLEZ, A. (1987). Evaluacin de centros y programas educativos.
Revista Comunidad Educativa, 15; 6-9.
317. GOODMAN, C. (1990). Evaluation of a Model Self-Help Telephone
Program: Impact on Natural Networks. Social Work, 36 (6): 556-562.
318. GREENBERG M, MANTELLA N, LAHRA M, FRISCHB M, WHITEC
K. & DAVID KEHLERD D. (2005) Evaluating the economic effects of a new
state-funded school building program: the prevailing wage issue.Evaluation
and Program Planning, 28:3345.
319. GREENBERG M, MANTELLA N, LAHRA M, FRISCHB M, WHITEC
K. & DAVID KEHLERD D. (2005) Evaluating the economic effects of a new
state-funded school building program: the prevailing wage issue.Evaluation
and Program Planning, 28:3345.
320. GROSH, M.E. & MUOZ, J. (1996). A Manual for Planning and
Implementing the Living Standards Measurement Study Survey. LSMS,
Documento de trabajo N 126. Banco Mundial, Washington, D.C.
321. GUBA, E. & LINCOLN, Y. (1985). Naturalistic Inquiry. Sage. Beverly
Hills.
322. GUBA, E. (1978). Toward a methodology of naturalistic inquiry in
educational evaluation. Los ngeles. Center for the study of evaluation.
323. GUETZKOW, H. (1962). Simulation in Social Science. Englewood Cliffs,
New Jersey. Prentice Hall.
324. GUGERTY M.K. & KREMER M. (2004). The Rockefeller Effect.
University of Wahington. Working Paper.
325. GUMUSELI AI. & ERGIN B. (2002) The Manager's Role in Enhancing
the Transfer of Training: A Turkish Case Study . International Journal of
Training Development, vol. 6: 80-97.
388
326. GUPTA N, KATENDE C. & BESSINGER R. (2004). An Evaluation of

Post-campaign Knowledge and Practices of Exclusive Breastfeeding in
Uganda. Journal of Health Populaton and Nutrition. Vol. 22, 4, 429-439,
327. HACKMAN, J., PEARCE, J., & WOLFE, J. (1978). Effects of changes in
job characteristics on work attitudes and behaviors: A naturally occurring
quasi-experiment. Organizational Behavior and Human Performance, 21: 289304.
328. HALLER, E. (1974). Cost analysis for educational program evaluation. In
W. James Popham, (Ed.), Evaluation in Education: Current Applications.
Berkeley, CA: McCutchan Publishing Corporation.
329. HANDA S, HUERTA MC, PREZ R. & STRAFFON B. (2000) Pobreza,
desigualdad y efectos indirectos del Programa de Educacin, Salud y
Alimentacin. Washington, D.C.: International Food Policy Research Institute
(IFPRI).
330. HANDA S. & HUERTA MC. (2003). On the Bias in Estimating the Impact
of a Nutrition Intervention Using Clinic Based Data Disponible en:
www.unc.edu/~shanda/research/ Handa_Huerta_Program_Bias_ V1.pdf.
331. HANSSEN, C., GULLICKSON, A. & LAWRENZ, F. (2003). Assessing
the Impact and Effectiveness of the Advanced Technological Education (ATE)
Program. The Evaluation Center Western Michigan University.
332. HASEEN, F. (2006). Change in Food and Nutrient Consumption Among
the Ultra Poor: Is the CFPR/TUP Programme Making a Difference?.. Working
Paper Series No. 11. Challenging the Frontiers of Poverty Reduction/ Targeting
the Ultra Poor.
333. HAWTHORNE, G. (1996). Education: estimating drug use prevalence
among Victorian primary school students and the statewide effect of the Life
Education programme. Addiction, 91 (8): 1151-1159.
334. HAYES L, QUINE S. & BUSH J. (1994) Peer-Led Asthma Education for
Adolescents: Impact Evaluation Attitude change amongst nursing students
towards Australian Aborigines. International Journal of Nurse Sludies., Vol.
31, No. I, pp. 61 16, 1994.
335. HAYES RJ, CHANGALUCHA J, ROSS DA, GAVYOLE A, TODD J,
OBASI AIN, PLUMER M, WIGHT D. MABEL D. & GROSSKURTH H.
(2005) The MEMA kwa Vijana Project: Design of a community randomised
trial of an innovative adolescent sexual health intervention in rural Tanzania.
Contemporary Clinical Trials, 26: 430-442.
336. HAYS C., HAYS, S., DEVILLE, J., & MULHALL, P. (2000). Capacity for
efectiveness: the relationship between coalition structure and community
impact. Evaluation and Program Planning, 23: 373-379.
337. HEADY C, MITRAKOS T.
& TSAKLOGLOU P. (2001). The
Distributional Impact of Social Transfers in the European Union: Evidence
from the ECHP Fiscal Studies, vol. 22, no. 4, pp. 547565.
338. HECKMAN J. & PAGS C. (2000). The Cost of Job Security Regulation:
Evidence from Latin American Labor Markets. Research department
Departamento de investigacin Working Paper #430. Bases de datos
electrnica BIF.
389
339. HECKMAN, J., ICHIMURA, H., TODD, P. (1997). Matching as an

econometric evaluation estimator: evidencefrom evaluating a job training
programme. Review of Economic Studies 64, 605654.
340. HECKMAN, J., LALONDE, R. & SMITH, J. (1999). The Economics and
Econometrics of Active Labour Market Programs. En: ASHENFELTER, O. &
CARD, D. (Eds). The Handbook of Labor Economics, Volume III.
Amsterdam: Elsevier Science.
341. HEINRICH CJ. & CABROL M. (2005) Programa Nacional de Becas
Estudiantiles Impact Evaluation Findings. Office of Evaluation and Oversight.
Working Paper. 06. julio.
342. HENGEL. P. & CARLSON, C. (2002). Enhancing Learning through
Evaluation: Approaches, Dilemmas and Some Posible Ways Forward.
Ponencia presentada en la V Conferencia Europea de Evaluacin, Sevilla,
octubre. Disponible en internet [www.europenevaluation.org].
343. HEVIA, H. (2001) Evaluacin del impacto en los beneficiarios del
programa de titulacin masiva de tierras. Agencia de los Estados Unidos para
el Desarrollo Internacional. Base de datos electrnica USAID
344. HODDINOTT J, SKOUFIAS E. & WASHBURN R. (2000). El impacto de
Progresa sobre el consumo: informe final. Instituto Internacional de
Investigacin sobre Polticas Alimentarias, Washington, DC.
345. HOLLORAN S, COREY GL & MAHONEY T. (1982) Sederhan; Indonesi
Small-Scale Irrigation. AID, Project Impact Evaluation Report N 29. Base de
346. HOLLORAN S, COREY GL & MAHONEY T. (1982) Sederhan; Indonesi
Small-Scale Irrigation. AID, Project Impact Evaluation Report N 29. Base de
347. HOPENHAYN HA. (2001). Labor Market Policies and Employment
Duration: The Effects of Labor Market Reform in ArgentinaLatin American
Research Network Red de Centros de Investigacin Research Network
Working paper #R-407. Bases de datos electrnica BIF.
348. HORN, R. (1993). Statistical indicators for the economic and social
sciences. Cambridge, University Press, Hong Kong,
349. HOTCHKISS DR, KRASOVEC K, EL-IDRISSI MDZ, ECKERT E. &
KARIM AM.(2003) The Role of User Charges and Structural Attributes of
Quality on the Use of Maternal Health Services in Morocco. Measure
Evaluation, Working Paper-03-68.
350. HOTCHKISS DR, MAGNANI RJ, BROWN LF. & FLORENCE CS.
(1998) Family Planning Program Effects on Contraceptive Use in Morocco,
1992-1995 .Measure Evaluation, Working Paper -98-08.
351. HOTZ, J., IMBENS, G. & MORTIMER, J. (1999). Predicting the Efficacy
of Future Training Programs Using Past Experiences. National Bureau of
Economic Research Technical. Working Paper, N. 238.
352. HOUSE, E. (1980). Evaluating with validity, Beverly Hills: Sage
Publications.
353. HOUSE, E. (1993). Professional Evaluation Social Impact and Political
Consequences. Newbury Park: Sage.
390
354. HUGHES-DAETH, A. (2002) Evaluation of HIV/AIDS peer education

projects in Zambia. Evaluation and Program Planning 25 (2002) 397407
355. HUNTER, W., SCHMIDT E., & ZAKOCS, R. (2005) Assessment
Approach for Enhancing the Organizational Capacity of State Injury
Prevention Programs. Journal of Public Health Management Practice, 11 (1):
29-36.
356. HUTTON, R. & McNEIL, D. (1981). The value of the incentives
instimulating energy conservation. Journal of Consumer Research, 8: 291-298.
357. IKHWELONET CONSORTIUM (2002) Ikhwelo Pilot Projects: Final
Report. Impact Evaluation Research Report, november 2001 and march 2002.
358. ILPES & CEPAL (2003). Bases conceptuales para el ciclo de cursos sobre
gerencia de proyectos y programas. Serie Manuales N 24. Santiago de Chile.
Instituto Latinoamericano del Caribe y de Planificacin Econmica y Social.
Edicin: Naciones Unidas.
359. INSTITUTO APOYO. (2000). Sexta Evaluacion Ex-Post del FONCODES:
Evaluacion de Impacto y Sotenibilidad. Lima. Peru.
360. IRENE NORLUND, THU NHUNG MLO DUON DU, NGO HUU TOAN
(2004). NAV Evaluation Report - The Integrated Rural Development Program
1994 - 2004
361. ISAAC, W. (1999). Dialogue and the Art of Thinking Together: A
Pioneering Approach to Communicating in Bussines and in Life, Nueva York.
362. JACINTO, C. & GALLART, A. (1998). La evaluacin de programas de
capacitacin de jvenes desfavorecidos: Una ilustracin con programas para
jvenes desempleados en los pases del Cono Sur. Paris. Instituto Internacional
de Planeamiento de la educacin/UNESCO.
363. JACKSON, B. & MOHR, L. (1986). Rent subsudies: an impact evaluation
and an application of the random-comparison-group design. Evaluation
Review, 10: 483-517.
364. JACKSON, N., TAYLOR, L., QUIGLEY, R. (En prensa). Findings from a
retrospective process evaluation of five HIA studies. London: Health
Development Agency.
365. JAGANNATHAN, R., CAMASSO, M. & KILLINGSWORTHUSA, M.
(2004). Do Family Caps on Welfare Affect Births Among Welfare Recipients?
Reconciling Efficacy and Effectiveness Estimates of Impact through a Blended
Design Strategy. American Journal of Evaluation, 25 (3): 295319.
366. JALAN, J. & RAVALLION, M. (1998). Geographic Poverty Traps?
Institute for Economic Development. IED Discussion Paper Series, N 86,
Mayo, Boston University.
367. JALAN, J. & RAVALLION, M. (2003). Does Piped Water Reduce
Diarrhea for Children in Rural India? Journal of Econometrics, 112 (1): 153173.
368. JALAN, J. & RAVALLION, M. (2003). Estimating the Benefit Incidence
of an Antipoverty Program by Propensity-Score Matching. Journal of Business
and Economic Statistics, 21 (1): 19-30.
391
369. JALAN, J., & GLINSKAYA, E. (2004). Improving Primary School

Education in India: An Impact Assessment of DPEP-Phase I. World Bank,
Washington, D.C.
370. JARIOT, M. (2001). La evaluacin de la intervencin mediante programas
de orientacin: El proceso de evaluacin del desarrollo de una intervencin
desde un modelo de consulta. Tesis Doctoral. Universidad Autnoma de
Barcelona.
371. JEE-PANG, T., LANE, J. & LASSIBILLE, G. (1999). Student Outcomes
in Philippine Elementary Schools: An Evaluation of Four Experiments. The
World Bank Economic Review, 12 (3): 493-508.
372. JENKINS GP. & KUO CY. (2006) Evaluation of the Benefits of
Transnational Transportation Projects.Journal of Applied Economics. Vol 9,
No. 1, pp. 1-17.
373. JERRELL JM, & RIDGELY MS. (1999) The relative impact of treatment
program `robustness' and `dosage' on client outcomes. Evaluation and Program
Planning 22 323-330
374. JIMENEZ, E. & SAWADA, Y. (1998). Do Community-Managed Schools
Work? An Evaluation of El Salvador's EDUCO Program. Paper N 8 of
Working Paper Series on Impact Evaluation Reforms. Development Research
Group, World Bank, Washington D.C.
375. JOINT COMMITTEE ON STANDARDS FOR EDUCATIONAL
EVALUATION (1981), Standards for evaluations of educational programs,
projects, and materials. New York. McGraw-Hill.
376. JONES, P.(1997). The Impact of Minimum Wage Legislation in
Developing Countries where Coverage is Incomplete. Centre for the Study of
African Economies. Institute of Economics and Statistics. University of Oxford
WPS/98-2
377. JONSON WF, FERGUSON CE. & FIKRY M. (1983) The Wheat
Development Program. A.I.D. Project Impact Evaluation No. 48. Base de datos
electrnica USAID
378. JONSON-WELCH C. (1999). Focusing on Women Works: Research on
Improving Micronutrient Status through Food-Based Intervention International
Center for Research on Women. Synthesis Paper.
379. JOSHI PK, JHA AK, WANI SP, JOSHI L. &. SHIYANI RL. (2005). MetaAnalysis to Assess Impact of Watershed Program and People's Participation.
Comprehensive Assessment of Water Management in agriculture. Research
Report 8.
380. JUDD, C. & KENNY, D. (1981). Process Analysis: Estimating mediation
in treatment evaluations. Evaluation Review, 5(5), 602-619.
381. JULNES, G. (2004). Review of Experimental and Quasi-experimental
Designs for Generalized Causal Inference: By W.R. Shadish, T.D. Cook, D.T.
Campbell, 2002; Houghton-Mifflin, Boston. Evaluation & Program Planning,
Mayo de 2004, Vol. 27 N 2, p.173.
382. JUMBE CH.BL.. & ANGELSEN A. (2006). Do the poor benefit from
devolution policies? Evidence from Malawis forest co-management program.
Forthcoming in Land Economics, noviembre.
392
383. KARUGIA JT, MWAI OA, KAITHO R, DRUCKER AG, WOLLNY

CBA. & REGE JEO, (2001) Economic Analysis of Crossbreeding Programmes
in Sub-Saharan Africa: A Conceptual Framework and Kenyan Case Study.
Working paper N 106. Fondazione Eni Enrico Mattei.
384. KAUFFMAN, R., & ENGLISH, F. W. (1979) Weeds assessment concepts
and application. Englewood Cliffs, NJ: Educational Technology Publications.
385. KAZDIN, A. (1984). Statistical analysis for single-case experimental
designs. En D. Barlow y H. Hersen (Eds.): Single-Case Experimental Designs:
Strategies for Studying Behavior Change. 2 ed. pp. 265-316. Nueva York:
Pergamon Press.
386. KEEVES, J. (Ed.) (1997). Educational Research, Methodology and
Measurement. An International Handbook. 2 Edicin. Londres: Pergamon.
387. KESSLER JL. BALLANTYNE J, MAUSHAMMER R. & ROMERO
N.(1981) Ecuador: Rural electrification. AID. Project Impact Evaluation No.
48. Base de datos electrnica USAID
388. KIGER, D. (2000). The tribes process TLC: A preliminary evaluation of
classroom implementation & Impact on student achievment. Education, 120
(3): 586-592.
389. KILLICK, T. (1995). IMF Programmes in Developing Countries, Design
and Impact. London: England.
390. KIM, J., ALDERMAN, H. & ORAZEM, P. (1998). Can Cultural Barriers
Be Overcome in Girls' Schooling?: The Community Support Program in Rural
Balochistan. Working Paper Series on Impact Evaluation of Education
Reforms, Paper N 10. World Bank, Development Research Group,
Washington D.C.
391. KIM, J., ALDERMAN, H. & ORAZEM, P. (1998). Can Private School
Subsidies Increase Schooling for the Poor?: The Quetta Urban Fellowship
Program. Working Paper Series on Impact Evaluation of Education Reforms,
Paper N 11. World Bank, Development Research Group, Washington D.C.
392. KING, E., OLZER, B. & RAWLINGS, L. (1999). Nicaragua's School
Autonomy Reform: Fact or Fiction? Working Paper Series on Impact
Evaluation of Education Reforms, Paper N 19. World Bank, Development
Research Group, Washington D.C.
393. KIRBY D, LARIS BA. & ROLLERI L. (2005). mpact of Sex and HIV
Education Programs on Sexual Behaviors of Youth in Developing and
Developed Countries. Family Health International. FHI Working Paper Series
N. 2.
394. KISH, L. (1965). Survey Sampling. Nueva York: John Wiley and Sons.
395. KISH, L. (1987). Statistical Design for Research. John Wiley & Sons.
396. KLAWITTER, MM. & FLATT, V. (1998) The Effects of State and Local
Antidiscrimination Policies on Earnings for Gays and Lesbians. Journal of
Policy Analysis and Management, Vol. 17, No. 4, 658686.
397. KLIKSBERG, B. (1997). Pobreza, un tema impostergable: nuevas
propuestas a nivel mundial, Mxico, CLAD/FCE/ Programa de Naciones
Unidas.
393
398. KLOEKA GC, VAN LENTHEA FJ, VAN NIEROPB PWM, KOELENC
MA. & MACKENBACH JP. (2006) Impact evaluation of a Dutch community
intervention to improve health-related behaviour in deprived neighbourhoods.
Health & Place, 12: 665-677.
399. KLUGER A. (2001) The Incidence of Job Security Regulations on Labor
Market Flexibility and Compliance in Colombia: Evidence from the 1990.
Reform. Research Network Working papers ; R-393. Bases de datos
electrnica BIF.
400. KRATOCHWILL, T. (1978). Single Subject Research. Strategies for
evaluating change. Nueva York: Academic Press.
401. KREMER M, MOULIN S. & NAMUNYU R. (2003). Decentralization: A
Cautionary Tale. Harvard University, Cambridge, Mass.
402. KREMER, M., EDWARD, M., THORNTON, R. & OZIER, O. (2004).
Incentives to Learn. Policy Research Working Paper N 3546. World Bank,
Washington D.C.
403. KRGER, C., WINTER, H. & SHAW, R. (1998). Gua para la evaluacin
de las intervenciones preventivas en el mbito de las drogodependencias.
Manual para responsables de planificacin y evaluacin de programas. Lisboa:
Observatorio Europeo de Drogas y Toxicomanas.
404. KRUGLANSKI, A. & KROY, M. (1976). Outcome validity in
experimental research: A reconceptualization. Representative Research in
Social Psychology, 7: 166-178.
405. KRUSE, D. & SCHUR, L. (2003) Employment of People with Disabilities
Following the ADA. Industrial Relations, Vol. 42, No. 1.
406. LALONDE, R. & MAYNARD, R. (1987). How Precise Are Evaluations of
Employment and Training Programs? Evidence from a Field Experiment.
Evaluation Review, 11(4): 428-451.
407. LALONDE, R. (1986). Evaluating the Econometric Evaluations of
Training Programs. American EconomicReview, 76: 604620.
408. LANE, J. (2000). New Public Management. Sage, London.
409. LATORRE, A.; DEL RINCN, D. & ARNAL, J. (1996). Bases
metodolgicas de la investigacin educativa. Barcelona: Hurtado Ediciones.
410. LAVY, V (2003) Pay for Performance: the Effect of Teachers Financial
Incentives onStudents Scholastic Outcomes CEPR Discussion Paper No.
3862
411. LEACH, F, ABDULLA S, APPLETON H, EL-BUSHRA, CARDENAS N,
KEBEDE K, LEWIS V. & SITARAM S. (2000). The Impact of Training on
Women's Micro-Enterprise Development. Education Research Paper No. 40,
139 p.
412. LECHNER, M. & VAZQUEZ-ALVAREZ, R. (2003) The Effect of
Disability on Labour Market Outcomes in Germany: Evidence from Matching
IZA. Discusin Paper. N 967.
413. LECHNER, M.(1999) Earnings and Employment Effects of Continuous
Off-the-Job Training in East Germany after Unification, Journal of Business &
Economic Statistics, 17, 74-90.
394
414. LEE, D. (2005) Training, Wages, and Sample Selection: Estimating Sharp
Bounds on Treatment Effects. National Bureau of Economic Research (NBER)
Working Paper. N 11721.
415. LEHMAN, R. (1980). What simulation can do to the statistics and design
course? Behavior Research Methods and Instrumentation 12: 157-159.
416. LEN, M. & YOUNGER, SD. (2004) Transfer Payments, Mother's
Income, and Child Health in Ecuador. Cornell Food and Nutrition Policy
Program Working Paper No. 172.
417. LEVIN, H. (1975). Cost-Effective Analysis in Evaluation Research. In
Guttentag, M. & Struening, E. (Eds.). Handbook of Evaluation Research, Vol.
2, Sage, Beverly Hill.
418. LEVY I, ZUVEKAS C. & STEVENS C. (1981). Philippines: Rural Roads I
and II. AID Project Impact Evaluation Report N l8. Base de datos electrnica
USAID
419. LEVY, A. et al. (1985). The impact of a nutrition information program on
food purchases. Journal of Public Policy and Markenting, 4: 1-13.
420. LINDEN L, BANERJEE A. & DUFLO E. (2003). Computer-Assisted
Learning: Evidence from a Randomized Experiment . Cambridge, MA:
Poverty Action Lab.
421. LIPSEY, M (1996). Key issues in intervention. A program evaluation
perspective. American Journal of Industrial Medicine, 29, 298-302.
422. LOGAN TK, HOYT W,. MCCOLLISTER K, FRENCH M, LEUKEFELD
C, & MINTON L. (2004) Economic evaluation of drug court: methodology,
results, and policy implications. Evaluation and Program Planning 27 (2004)
381396.
423. LOHR, B. (1972). An historical of the research on the factors related to the
utilization of health services. Duplicated research report, Bureau for Health
Services Research and Evaluation, Social and Economic Analysis Division,
Rockville, MD, January.
424. LOKSHIN, M. & YEMTSOV, R. (2003). Evaluating the Impact of
Infrastructure Rehabilitation Projects on Household Welfare in Rural Georgia.
World Bank Policy Research Working Paper N 3155. World Bank,
Development Economics Research Group and Eastern Europe and Central
Asia, Poverty Reduction and Economic Management, Washington, D.C.
425. LPEZ, JH. (2004) Pro-growth, pro-poor: Is there a tradeoff? World Bank
Policy Research Working Paper 3378.
426. LPEZ-BARAJAS, E.; LPEZ. E. & PREZ, R. (1987). Pedagoga
experimental I. Madrid: UNED.
427. LORA, E. & OLIVERA M. (1998) Macro Policies and Employment
Problems in Latin America. Inter-American Development Bank, Working
Paper No. 372.
428. LUCAS K, DAVIS T. & RINKARD K. (1996) Agricultural Transportation
Assistance Program (ATP). Disponible en base de datos electrnica USAID.
429. MADUEO, M., LINARES, J. & ZURIA, A. (2004). Instrumento
estandarizado de identificacin de beneficiarios para programas sociales en el
395
Per. Bethesda, MD: Socios para la reforma del sector salud, Abt Associates
Inc.
430. MAGNANI R, TOURKIN S. & HARTZ S. (1984) Evaluation of the
Provincial Water Project in the Philippines. S. Agency for International
Development. Project 492-U-033. Base de datos electrnica USAID
431. MAGNANI RJ. HOTCHKISS DR, FLORENCE CS.& LEIGH LA.(1999)
The impact of Family Planning Supl Environment on Contraceptive Intentions
and Use in Morocco. Studies in Family Planning, vol. 30, 2: 120-132.
432. MAGNANI, R. ET AL. (2003) The Impact of Life Skills Education on
Adolescent Sexual Risk Behaviors. Horizons Research Summary. Washington,
D.C.: Population Council.
433. MAKANZA M. & MUNYARADZI R. (2004) Impact Evaluation on
Implementatio of the WTO valuation agreement for Mozambique. Regional
Center for Southern frica, U.S. Agency for International Development
Gaborone, Botswna. Base de datos electrnica USAID
434. MALUCCIO, J. & FLORES, R. (2004). Impact Evaluation of a Conditional
Cash Transfer Program: The Nicaraguan Red De Proteccion Social. Food
Consumption and Nutrition Division Discussion Paper N 184. International
Food Policy and Research Institute, Food Consumption and Nutrition Division,
Washington D.C.
435. MALUCCIO, J. (2003). Education and Child Labor: Experimental
Evidence from a Nicaraguan Conditional Cash Transfer Program. International
Food Policy and Research Institute, Washington D.C.
436. MANDEL DH, ALLGEIR PF, WASSERMAN G, HICKEY G, SALAZAR
R. & ALVIAR J. (1980) The Philippines: Rural Electrification. Project Impact
Evaluation N. 15 Base de datos electrnica USAID
437. MANOHAR, V., DES ROCHES, E. & FERNEAU, E. (1976). An
education Program in Alcoholism for Social Workers: Its Impact on Attitudes
and Treatment-Orientede Behavior. British Journal Addiction, 71: 225-234.
438. MARK, M. (1986). Validity typologies and the logic and practice of quasiexperimentation. En M.K. Trochim (Ed.). Advances in quasi-experimental
design and analysis (pp. 47-67). San Francisco: Jossey-Bass.
439. MARK, M. (2001). Evaluation Capacuty and the Development of
Contextually-Sensitive Evaluation Practice: The Role of the Evaluation
Journal. The Japanese Journal of Evaluation Studies, 1 (1).
440. MARKIEWICZ, A (2005). A balancing act: resolving multiple stakeholder
interests in program evaluation. Evaluation Journal of Australasia, 4 (1, 2): 1321.
441. MRQUEZ G. & PAGS C (1997) Trade and Employment: Evidence
from Latin America and the Caribbean. Inter-American Development Bank,
Working Paper No. 373.
442. MARTNEZ, C. (1996). Evaluacin de programas educativos.
Investigacin evaluativa. Modelos de evaluacin de programas. Madrid,
UNED.
396
443. MASUD N. & YONTCHEVA B. (2005). Does Foreign Aid Reduce

Poverty? Empirical Evidence from Nongovernmental and Bilateral Aid.
International Monetary Fund. Working Paper 05/100.
444. MATEU, P. & VILCA, J. (2004). Modelo de medicin de impacto sobre el
bienestar objetivo y subjetivo: un anlisis de caso del Proyecto de Reduccin y
Alivio a la Pobreza (PRA). Lima. Universidad del Pacfico CIUP.
445. MATYAS, T. & GREENWOOD, K. (1990). Visual analysis of single-case
time-series: Effects of variability, serial dependence, and magnitude of
intervention effect. Journal of Applied Behavior Analysis, 23: 341-351.
446. MATYAS, T. & GREENWOOD, K. (1991). Problems in the estimation of
autocorrelation in brief time series and some implications for behavioral data.
Behavioral Assessment, 13: 137-157.
447. MAXWELL J, CHAPIN N, DEMETRE MC. & FLETCHER L. (1981).
Honduras Rural Roads: Old Directions and New. AID Agect Impact Eduation
Report No. 17. Base de datos electrnica USAID
448. MAXWELL, S. & DELANEY, H. (1990). Desgning experiments and
analizying data: A model comparison perspective. Belmont, CA: Wadsteorth.
449. MCCLELLAND DG, JOHNSTON AG, PEDERSEN BR, SCHWARTZ
JB. & SCHMEDING R.(1993) Evaluaron of AID Family Planning Programs:
Ghana Case Study. Center for Development Information and Evaluation. AID
Technical Report N 13. Disponibel en Base de datos electrnica. USAID
450. MCCORD, A. (2004). Policy Expectations and Programme Reality: The
Poverty Reduction and Labour Market Impact of Two Public Works
Programmes in South Africa. Economics and Statistics Analysis Unit.
University of Cape Town. Working Paper. 8.
451. MCDOWELL J. & MOULTON J. (1990). Liberian Primary Education
Program (PEP):Final Impact Evaluation of the PEP Pilot Radio Broadcast. The
Academy for Educational Development and The Bureau of Primary Education,
Ministry of Education, Liberia
452. MCGAHA A, BOOTHROYD RA, POYTHRESS NG, PETRILA J. &
ORT RG. (2002) Lessons from the Broward County Mental Health Court
Evaluation. Evaluation and Program Planning,, 25: 125-135.
453. MCKAY, H.; SINISTERRA, L., MCKAY, A., GMEZ, H. y LLOREDA,
P. (1978). Improving cognitive ability in chronically deprived children.
Science, 200: 270-278.
454. MCKERNAN, S. (2002). The Impact of Microcredit Programs on Selfemployment Profits: Do Noncredit Program Aspects Matter? The Review of
Economics and Statistics, 84 (1): 93115.
455. MCLAUGHLIN, M. (1976). Implementation as Mutual Adaptation.
Teachers College Record, 77: 339-351.
456. MEDIANERO, D. (1996). Principios bsicos de la evaluacin de impacto.
Revista de la Facultad de Ciencias Econmicas, UNMSM, AO VI, N 19,
marzo. Lima.
457. MEDIANERO, D. (2001). El Enfoque del Marco Lgico en la Gestin de
Proyectos. CINDEH.
397
458. MEDINA GIOPP, A. & MEJIA, J. (1993). El Control en la Implantacin

de la Poltica Pblica. Mxico, Plaza y Valds.
459. MEDINA GIOPP, A. (2002). La eficiencia en los programas sociales:
Anlisis de las situaciones y propuestas para su mejoramiento. VII Congreso
Internacional del CLAD sobre la Reforma del Estado y de la Administracin
Pblica, Lisboa, Portugal, 8-11 Oct.
460. MEDINA, C. & NEZ, J. (2005) The Impact of Public and Private Job
Training in Colombia. Inter-American Development Bank. Research Network
Working papers ; R-484.
461. MEEHAN R. & VIVEROS-LONG AM. (1982) Liberian Primary
Education Program (PEP):Final Impact Evaluation of the PEP Pilot Radio
Broadcast.
462. MEEHAN, R.; VIVEROS-LONG, AM (1982). Panam: Rural Water.
Project Impact Evaluation N 32. Base de datos electrnica USAID.
463. MEEKERS D, AGHA S. & KLEIN M. (2004). The impact on condom use
of the 100% Jeune social marketing program in Cameroon. Journal of
Adolescent Health. Vol. 36, N 6. p. 530.
464. MEEKERS, D. & VAN ROSSEM, R. (2004). The Reach and Impact of
Social Marketing and Reproductive Health Communication Campaigns in
Zambia. Measure Evaluation. Working Paper -04-77.
465. MEGHIR C. & PALME M. (2003). Ability, Parental Background and
Education Policy: Empirical Evidence from a Social Experiment. The Institute
For Fiscal Studies WP03/05.
466. MELCHIORA LA, HUBAA GJ, BROWNB VB. & SLAUGHTERB R.
(1999) Evaluation of the effects of outreach to women with multiple
vulnerabilities on entry into substance abuse treatment.Evaluation and Program
Planning, 22: 9-277.
467. MENARD, C. & GEORGE, C. (2000). A transitory Regime: Water Supply
in Conakry, Guinea." World Bank Policy Research Working Paper N 2362.
World Bank, Development Research Group, Public Economics and Regulation
and Competition Policy, Washington D.C.
468. MENARD, C., GEORGE, C. & ZULUAGA, A. (2000). The Welfare
Effects of Private Sector Participation in Guineas Urban Water Supply. World
Bank Policy Research Working Paper N 2361. World Bank, Development
Research Group, Public Economics and Regulation and Competition Policy,
Washington D.C.
469. MENY, Y. & THOENIG, J. (1992). Las polticas pblicas. Barcelona:
Editorial Ariel.
470. MERTENS, D. & RUSSON, C. (2000). A proposal for the International
Organization for Cooperation in Evaluation. American Journal of Evaluation,
21, 275-283.
471. MEYER, M. & CONRAD, S. (1992). The Case of Bilingual Education
Strategies. Washington, D.C.: National Academy Press.
472. MICHAEL J. CAMASSO MJ, JAGANNATHANB R. &. WALKER CC.
(2004) New Jerseys Transitional Housing Demonstration Program: the
398
relationship of service delivery structure and process to the attainment of more

permanent forms of housing. Evaluation and Program Planning . vol. 27: 4558
473. MICHAEL, J.; SCHWERINA, M., MICHAELB, P., & GLASERC, D. &
FARRAR, K. (2002). A cluster evaluation of Navy quality of life programs.
Evaluation and Program Planning, 25: 303312.
474. MIDDLETON S, PERREN K, MAGUARI S, RENNISON J, BATTISTIN
E, EMERSON C. & FITZSIMONS E. (2005). Evaluation of Education
Maintanance Allowance Pilots: Young People Aged 16 to 19 Years. Final
Report of the Quantitative Evaluation .Department for Education and Skills,
Nottingham, RR 499.
475. MILES, M. & HUBERMAN, A. (1994). Qualitative Data Analysis.
Londres: Sage Publications.
476. MILLER, J. (2002). Impact Evaluation: Resettlement Grant Activity.
Emergency Recovery: Agricultura and Comercial Trade (ER:ACT). Base de
477. MINES, R., GRESSARD, C., & DANIELS, H. (1982). Evaluation
instudent services: A metamodel. Journal of College Student Personnel, 23 (3):
195201.
478. MINISTERIO DE ECONOMA Y FINANZAS (2002). Manual para la
evaluacin ex-post de proyectos de riego grandes y medianos. Direccin
General de Programacin Multianual del Sector Pblico. Lima.
479. MINTON, J. (1975). The impact of Sesame Street on reading readiness
of kindergarten children. Sociology of Education, 48: 141-151.
480. MIRANDA M, PORRAS IT. & MORENO IL. (2003). The social impacts
of payments for environmental services in Costa Rica: A quantitative field
survey and analysis of the Virilla watershed . International Institute for
Environment and Development, London.
481. MOCK, NB. ET AL. (1993). The utility of case-control methods for health
policy and planning analysis .Evaluation and Program Planning, Vol. 16, pp.
199-205, 1993
482. MOCTEZUMA, E & ROEMER, A. (1999). Por un Gobierno con
Resultados. FEC.
483. MOFFITT, R. (1991). The use of selection modelling to evaluate AIDS
interventions with observational data. Evaluation Review, 15: 291-314.
484. MOHR, L. (1995). Impact Analysis for Program Evaluation. Sage
Publications.
485. MOKATE, K. (2000). Convirtiendo el monstruo en aliado: la evaluacin
como herramienta de la gerencia social. Documentos de trabajo del INDES,
BID. Versin modificada, Washington D.C.
486. MOKATE, K. (2001) Eficacia, eficiencia, equidad y sostenibilidad: qu
queremos decir? Instituto Interamericano para el Desarrollo Social INDES.
Documento de Trabajo I-24, Washington D.C.
487. MONDITO G. & MONTOYA S (2000). The Effects of Labor Market
Regulations on Employment Decisions by Firms: Empirical Evidence for
Argentina Latin American Research Network Red de Centros de Investigacin
Research Network Working Paper #R-391
399
488. MONDRAGN, A. (2002). Qu son los indicadores? Instituto Nacional

de Estadstica, Geografa e Informtica (INEGI), N 19, Julio-septiembre.
489. MONNIER, E. (1991). Objectifs et destinataires des valuations.
Documentacin Administrativa, N 224/225: 131-157. Espaa.
490. MORA JO, PIELMEIER N, VILA P. & RAMREZ M. (1988). Growth
Monitoring and Nutrition Education: Impact evaluation of an effective applied
nutrition program in the Dominican Republic. U.S. Agency for International
Development Bureau for Science and Technology Office of Nutrition.
Washington. Base de datos electrnica USAID
491. MORAH E, MEBRATHU S. & SEBHATU K. (1998) Evaluation of the
orphans reunication project in Eritrea. Evaluation and Programming Planning,
21: 437-448.
492. MORALES, P. (1993). Lneas Actuales de Investigacin en Mtodos
Cuantitativos: El Meta - Anlisis o la Sntesis Integradora. Revista de
Educacin. 300: 191-221.
493. MOREL, J. (2002). Evaluating the impact of an electronic business system
in a complex organizational setting: the case of Central Contractor. Evaluation
and Program Planning, 26: 429-440.
494. MOSTAJO, R. (2002). El sistema presupuestario en el Per. Serie Gestin
Pblica N 17. ILPES & CEPAL. Santiago de Chile.
495. MOSTELLER, F. (1990) Improving research methodology: an overview.
En SECHREST, I.; PERRIN, E. & BUNKER, L. (Eds.) Research
Methodology: Strenghning Causal Interpretation of Nonexperimental Data, pp.
221-230. Rockville, MD: Agency for Health Care Policy and Research.
496. MUDYARABIKWA, O. (2000). An examination of Public Sector
subsidies to the Private Health Sector: A Zimbabwe Case Study. Regional
Nerwork for Equity in Health in South Africa. Equinet Policy Sereies. N 8.
497. NACIONES UNIDAS (1998) Gestin de Programas Sociales en Amrica
Latina. Volumen 1. Serie Polticas Sociales N 25. Comisin Econmica para
Amrica Latina y el Caribe. P. 14.
498. NAVAIE-WALISER, M; MARTIN S.; TESSARO I.; CAMPBELL M. &
CROSS, A. (2000). Social Support and Psychological Functioning among
High-Risk Mother: The impact of the Baby Love Maternal Outreach Worker
Program. Public Health Nursing, 17 (4): 280-291.
499. NEUMARK, D. & ADAMS, S. (2003) Detecting Effects of Living Wage
Laws.Industrial Relation. Vol. 42. N 4.
500. NEWMAN, J., PRADHAN, M., RAWLINGS, L. RIDDDER, G. COA, R.
& EVIA, J. (2002). An Impact Evaluation of Education, Health and Water
Supply Investments by the Bolivian Social Investment Fund. The World Bank
Economic Review, 16 (2): 241-274.
501. NICHOLSON E, MILES HL, JOHNSON DN. (1983) U. S. Aid to
Education in Paraguay: The Rural Education Development Project AID
Project Impact Evaluation Report N 46. Base de datos electrnica USAID
502. NICHOLSON E, MILES HL, JOHNSON DN. (1983) U. S. Aid to
Education in Paraguay: The Rural Education Development Project AID
Project Impact Evaluation Report N 46. Base de datos electrnica USAID
400
503. NICKSON, A. (2002). Transferencia de polticas y reforma en la gestin

del sector pblico: el caso del New Public Management. Reforma y
Democracia, 24. Caracas, CLAD.
504. NIOCHE, J. (1982). De la evaluacin al anlisis de polticas pblicas.
Revue Francaise de Science Politique N1, Francia, febrero.
505. NORES M, BELFIELD, C.; STEVEN, W; SCHWEINHART (2005).
Updating the Economic Impacts of the High/Scope Perry Preschool Program.
Educational Evaluation and Policy Analysis. 27 (3): 245-261.
506. NORES, M., BELFIELD, C. & SCHWEINHART, S. (2005). Updating the
Economic Impacts of the High/Scope Perry Preschool Program.Educational
Evaluation and Policy Analysis. 27, 3: 245-261.
507. NORTH SOUTH CONSULTANTS EXCHANGE (2003). Impact Study of
the New Horizons Program in Egypt. Final Report. 03-07.
508. NUSSBAUM, M. & SEN, A. (1999) La calidad de vida. Fondo de Cultura
Econmica, Serie Economa contempornea.
509. NYARKO P, PENCE B. & DEBPUUR C. (2001). Immunization Status
and Child Survival in Rural Ghana. Population Research Division Working
Paper No. 147, Population Council, New York.
510. OPO, H. & ROBLES, M. (2002). Evaluacin de Programas Sociales:
Importancia y Metodologas. Estimacin Economtrica para el Caso de
PROJoven. Informe Final. Consorcio de Investigacin Econmica y Social
Proyectos Medianos, Lima.
511. OPO, H. & ROBLES, M. (2004). Evaluacin de los programas sociales:
estimacin para el caso de ProJoven. Economa y Sociedad N 52, CIES, julio
de 2004. Pp. 58-62.
512. OPO, H; ROBLES, M. & SAAVEDRA, J. (2002). Una medicin del
impacto del programa de capacitacin laboral juvenil Projoven. Lima:
GRADE. Documento de trabajo, N36.
513. OBASI A ET AL. (2003). Mema Kwa Vijana. A randomised controlled
trial of an adolescent sexual and reproductive health intervention programme in
rural Mwanza, Tanzania. Intervention and Process Indicators. African Medical
& Research Foundation (AMREF),
514. OCDE, (2001) Evaluation Feedback for Effective Learning and
Accountability.
515. OECD (1998) Review of the DAC Principles. Disponible en internet::
[http://www.oecd.org/dac/evaluation] Acceso el 26 de agosto de 2004.
516. OLAS DE LIMA, B. (2001). La Nueva Gestin Pblica. Prentice may:
Madrid.
517. ORGANIZACIN MUNDIAL PARA LA SALUD - OMS (2003)
Programacin para la Salud y el Desarrollo de los adolescentes. Informe de un
grupo de estudio. OMS/FNUAP/UNICEF sobre programacin para la salud de
los adolescentes. OMS. Serie de informes tcnicos N886. OMS, Ginebra. Pg.
227-234.
518. ORTHNER, D., COOK P., SABAH, Y. & ROSENFELD, J. (2005).
Organizational learning: A cross-national pilot-test of effectiveness in
childrens services. Evaluation and Program Planning, XX: 1-9.
401
519. ORTHNER, DK; COOK, P; SABAH, Y; ROSENFELD, J. (2006)

Organizational learning: A cross-national pilot-test of effectiveness in
childrens services.Evaluation and Program Planning, 29:7078
520. ORTIZ, G. (2003). Desafos de las polticas sociales. Economa y Sociedad
N 48. CIES: Lima.
521. ORTIZ, G.; SANDOVAL, R. & HUSNI, S. (2001). Estado de los sistemas
de monitoreo y evaluacin de los programas sociales pblicos en el Per.
CIES: Lima.
522. ORTIZ, S., BALCAZAR, M., ROBISON, N., ROJAS R. &
ALURRALDE, L. (2004). Evaluacion de Impacto del Programa Desarrollo
Integral Temprano (PIDI). Reporte de Marketing SRL. La Paz, Bolivia.
523. OSBORNE, D. & GAEBLER T. (1994). La reinvencin del gobierno.
Cmo el espritu emprendedor esta transformando el Sector Pblico. Paidos.
(Versin en ingls de Penguin Books, 1993).
524. OSPINA, S. (2001). Evaluacin de la Gestin Pblica: conceptos y
aplicaciones en el caso latinoamericano. Reforma y Democracia, 19, CLAD.
Disponible en Internet: [http://www.clad.org.ve/reforma.html] Acceso del 26
de agosto de 2004.
525. OWNE, B. & PORTILLO, J.(2003) Legal Reform, Externalities and
Economic Development: Measuring the Impact of Legal Aid on Poor Women
in Ecuador. Public Law & Legal Theory Working Paper Series Research Paper
No. 55
526. PAES R. & CORSEUIL CH. (2001) The Impact of Regulations on
Brazilian Labor Market Performance. Latin American Research Network Red
de Centros de Investigacin. Research Network Working paper #R-427
527. PAINTER JE, BALWIN E, AHMED AS, SIDDIQUI MA.& KHAN MH.
(1982) The On-Farm Wter Management Project In Pakistan.. AID Project
Impact Evaluation Report N 35. Base de datos electrnica USAID
528. PAKER, C., RIVAS, G. & CAUAS, E. (1999) Evaluacin de Impacto en
Programas de Superacin de Pobreza, el Caso del Fondo de Inversin Social
(fosis) de Chile. Informe Tcnico. Washington, mayo.
529. PANNARUNOTHAI, S. & KITTIDILOKKU, S. (1997). Paying Health
Personnel in the Government Sector by Fee-For-Service: a Challenge to
Productivity and Quality, and a Moral Hazard . Human Resources for Health
Development (electronic journal) 1 (2).
530. PARKER SW. & SKOUFIAS. E. (2000) El impacto de Progresa sobre el
trabajo, el ocio y el uso del tiempo. Instituto Internacional de Investigacin
sobre Polticas Alimentarias, Washington, DC.
531. PARLETT, M. & HAMILTON, D. (1989) La evaluacin como
iluminacin. En: Gimeno SACRISTN, J. y PREZ GMEZ, A. (Dir.): La
enseanza: su teora y su prctica. Madrid, Akal ; 450-466
532. PARSON, K.; LI, S.; & MCENTIRE, R. (2002). Data Integration in the
Evaluation of Juvenile Justice Education. Evaluation Review, 26 (3): 322-339.
533. PATTON, M. (1980). Qualitative Evaluation methods. Beverly Hills, Ca.:
Sage.
402
534. PATTON, M. (1982). Practical Evaluation. Beverly Hills. Sage

Publications.
535. PATTON, M. (1989). A context and boundaries for a theory-driven
approach to validity. Evaluation and Program Planning, 12: 375-377.
536. PATTON, M. (1997). Utilization-Focused evaluation. Thousand Oaks:
SAGE Publications, Inc.
537. PAULL G, WALKER I. & ZHU Y. (2000). Child Support Reform: Some
Analysis of the 1999 White Paper. Fiscal Studies, vol. 21, no. 1, pp. 105140
538. PAXON, C.; WALDFOGEL, J. (2001) Welfare reforms, family resources,
and child maltreatment. In: Meyer B, Duncan G. , editor. In The incentives of
government programs and the well-being of families. Chicago: Joint Center for
Poverty Research; pp. 147.
539. PAXSON, C. & SCHADY, N. (2002). The Allocation and Impacts of
Social Funds: Spending on School Infrastructure in Peru. The World Bank
Economic Review, 16(2): 297-319.
540. PEDHAZUR, E. (1982). Multiple regressions in behavioral research.
Segunda Edicin. New York, Holt, Rinehart and Winston.
541. PERACCHIO, L. & COOK, T. (1988). Avances en el diseo cuasiexperimental. En I. DENDALUCE (Coord.). Aspectos Metodolgicos de la
Investigacin Educativa (pp. 85-101). Pas Vasco: Narcea.
542. PREZ JUSTE, R. (1985). Diseo experimental. En DE LA ORDEN, A.
(Dir.), Investigacin educativa. Diccionario de Ciencias de la Educacin.
Madrid: Anaya.
543. PREZ, R. (1991) La universidad Nacional a Distancia: a proximacin a la
evaluacin de un modelo innovador. UNED. Madrid.
544. PREZ, R. (1992). Evaluacin de programas de orientacin. V Congreso
Iberoamericano de Orientacin. Tenerife: AEDEP.
545. PERLOFF, R., PERLOFF, E. & SUSSNA, E. (1976). Program evaluation.
AnnuaIReview of Psychology, 27, 569-594.
546. PERREN K, MIDDLETON S. & EMERSON C. (2003). Education
Maintenance Allowance Transport Pilots Quantitative Findings from Year 1
and 2 (2000-2001/2001-2002). Department for Education and Skills. Research
Repor N 471.Disponible en Base de Datos The Institute for Fiscal Studies.
547. PERRY HB, SHANKLIN DS. & SCHROEDER DG. (2003). Impact of a
Community-based Comprehensive Primary Healthcare Programme on Infant
and Child Mortality in Bolivia. Journal of
Health Population and
Nutrition;vol. 21, 4:383-395.
548. PETERSON PE. & CAMPBELL DE. (2001) School Choice in Dayton,
Ohio After Two Years: An Evaluation of the Parents Advancing Choice in
Education Scholarship Program Kennedy School of Government, Faculty
Research. RWP02-021
549. PEWU G. &BELLEH W. (1982) The Monrovia consolidated school
system: an impact evaluation En: USAID/ 669 8875 / MCSS.
550. PIANTO, D. & SERGEI S. (2004). Use of survey design for the evaluation
of social programs: The PNAD and the program for the eradication of child
403
labor in Brazil. Anais do XXXII Encontro Nacional de Economia 133, ANPEC

- Associao Nacional do Centros de Pos-graduao em Economia.
551. PIEHL AM, COOPER SJ, BRAGA AA. & KENNEDY, DM.(1999)
Testing for Structural Breaks in the Evaluation of Programs. NBER Working
Paper N. 7226.
552. PLOTNICK, RD.; GARFINKEL, I.; MCLANAHAN, S. KU , I. (2006)
The Impact of Child Support Enforcement Policy on Nonmarital Childbearing
Evaluation of Aid to Community Associations. Evans School Working Papers
Series N 2006 09.
553. POMEROY RS, POLLNAC RB, PREDO CD. & KANTON BM (1996)
Impact Evaluation of Community-Based Coastal Resource Management
Projects in The Philippines NAGA, The ICLARM Quarterly. 19(4): 9-12. Base
de datos electrnica USAID
554. POPPELE, J. SUMMARTO, S. & PRITCHETT, L. (1999). Social Impacts
of the Indonesia Crisis: New Data and PolicyImplications. Social Monitoring
Early Response Unit, World Bank, Washington, D.C. Processed.
555. PRADHAN, M. & RAWLINGS, L. (2002). The Impact and Targeting of
Social Infrastructure Investments: Lessons from the Nicaraguan Social Fund.
The World Bank Economic Review, 16 (2): 275-295.
556. PRADHAN, M., RAWLINGS. L. & RIDDER, G. (1998). The Bolivian
Social Investment Fund: An Analysis of Baseline Data for Impact Evaluation.
World Bank Economic Review 12 (3): 45782.
557. PRENNUSHI, G; RUBIO, G. & SUBBARAO, K. (2000). Seguimiento y
Evaluacin. En: Libro de Consulta para Estrategias de Reduccin de la
Pobreza. Banco Mundial, Washington D.C. Banco Mundial.
558. PRODUCTIVITY COMISSIONS (2003). Evaluation of the Pharmaceutical
Industry Investment Program. Research Report. AusInfo, Canberra.
559. PRZEWORSKI, A. & TEUNE, H. (1970). The logic of comparative social
inquiry. John Willey & Son. NY.
560. PUHANI, P. (1998). Advantage through Training? A Microeconometric
Evaluation of the Employment Effects of Active Labour Market Programmes
in Poland. CEPR Discussion Papers 2000, CEPR Discussion Papers.
561. PUSHPANGADAN, K.(2002). Social Returns from Drinking Water,
Sanitation and Hygiene Education: A Case Study of Two Coastal Villages in
Kerala. Centre for Development Studies. WP. 279.
562. QUISUMBING AR. (2003) Food Aid and Child Nutrition in Rural
Ethiopia Food Consumption and Nutrition Division. Discussion Paper No. 158
563. RABBANI M, PRAKASH VA, SULAIMAN M. (2006). Impact
Assessment of CFPR/TUP: A Descriptive Analysis Based on 2002-2005 Panel
Data. CFPR/TUP Working Paper Series No. 12
564. RAMIO, C. (2001). Problemas de implantacin de la Nueva Gestin
Pblica en Amrica Latina. Reforma y Democracia, 12, CLAD. Disponible en
Internet: [http://www.clad.org.ve/reforma.html].
565. RANK D. & WILLIAMS D. (1999) Partial bene_t:cost in the evaluation of
the Canadian Networks of Centres of Excellence .Evaluation and Program
Planning, 22: 121-129.
404
566. RAO, P. & MILLER, R. (1971). Applied Econometrics. Belmont, C.A.:

Wadsworth.
567. RAO, V. & IBEZ, AM. (2003) The Social Impact of Social Funds in
Jamaica: A Mixed-Methods Analysis of Participation, Targeting and Collective
Action in. World Bank Policy Research Working Paper 2970,
568. RAVALLION, M. & SHAOHUA C. (2005). Hidden Impact? Household
Saving in Response to a Poor-Areas Development Project. Journal of Public
Economics, 89: 2183-2204.
569. RAVALLION, M. & WODON, Q. (1998). Evaluating a targeted social
program when placement is decentralized. World Bank Policy Research Paper
N 1945. World Bank, Development Research Group. Washington D.C.
570. RAVALLION, M. & WODON, Q. (1999). Does child labor displace
schooling? Evidence on Behavioral responses to Enrollment Subsidy. World
Bank Policy Research Paper N 2116. World Bank, Development Research
Group, Poverty and Human Resources and Latin America and the Caribbean
Region, Poverty Reduction and Economic Management Sector Unit,
Washington D.C.
571. RAVALLION, M. (2001). The Mystery of the Vanishing Benefits: An
introduction to Impact Evaluation. World Bank Economic Review, 15 (1): 115140.
572. RAVALLION, M. (2005). Evaluating Anti-Poverty Programs. Policy
Research Working Paper N 3625. Washington, D.C.: Banco Mundial.
573. RAVALLION, M., GALASSO, E., LAZO, T. & PHILIPP, E. (2001). Do
Workfare Participants Recover Quickly from Retrenchment?" World Bank
Policy Research Working Paper N 2672. World Bank, Development Research
Group, Poverty, Washington D.C.
574. RAVINA, R., PAULINI, J. & CANCHO, C. (2002). Costo efectividad del
programa de desayunos escolares de FONCODES y el programa de
alimentacin escolar del PRONAA. Informe Final (sujeto a revisiones y
comentarios). Documento no publicado.
575. RAWLINGS, L., & RUBIO, G. (2003). Evaluating the impact of
Conditional Cash Transfer Programs: Evidence from Latin America. World
Bank Policy Research Working Paper N 3119. World Bank, Latin America
and the Caribbean Region, Human Development Sector Unit, Washington D.C.
576. RAWLINGS, L.; SHERBURNE-BENZ, L. & VAN DOMELEN, J. (2004).
Evaluating Social Funds: A Cross-Country Analysis of Community
Investments. Washington D.C.: World Bank.
577. REA S, MARTIN R, YOUNG M, & KRESS D. (1993) Evaluation of
A.I.D. Family Planning Programs Tunisia Case Study. AID Technical Repor
N, 15. Base de datos electrnica USAID
578. REGALIA, F. (1999) Impact evaluation methods for social programs.
Poverty and Inequality Advisory Unit. Technical Note 2. Diciembre, 1.
579. REICHARDT, C. (1985). Reinterpreting Seaver's Study of Teacher
Expectancies as a Regression Artifact. Journal of Educational Psychology, 77:
231-236.
405
580. REICHARDT, C. (1986). Estimating Effects. Manuscrito no publicado.

Departamento de Psicologa, Universidad de Denver.
581. REJDA, G. & SCHMIDT, J. (1997). The Impact of the Social Security
Program on Private Pension Contributions. Journal of Risk and Insurance.
Diciembre de 1997.
582. REPETTO, E. (1987). Evaluacin de programas de orientacin. Pp. 245275. En: LVAREZ ROJO, V. (Coord.). Metodologa de la Orientacin
Educativa. Sevilla: Ediciones Alfar.
583. RICSE, C: (2000). Anlisis sobre la situacin de los recursos humanos.
Documento Tcnico N2. OPS/Minsa. Lima.
584. RIECKEN, H. & BORUCH, R. (1974). Social Experimentation: A method
for planing and Evaluating Social Intervention. New York: Academic.
585. RIECKEN, H. (1972). Memorandum on Program Evalaution. En WEISS,
C. (Ed.). Evaluating Action Programs: Readings in social action and Education.
Boston, MA: Allyn and Baoon.
586. RIVLIN, A. & TIMPANE, M. (1975). Planned variation in education.
Washington DC, Brooking Institution.
587. ROBERTS JE, CLAPP-WINCEK C, BROKENSHA DW. (1982) Kenya:
Rural Roads. AID Project Impact Evaluation Report N 26. Base de datos
electrnica USAID
588. ROBSON, C. (1993). Real World Research. Londres: Ed. Blackwell.
589. RODRGUEZ, A. (2003). Evaluacin del Impacto de los Programas de
Bolsa Escolar en el Trabajo Infantil en Brasil. Tesis de Maestra. Escuela
Superior de Agricultura Luiz de Queiroz. Sao Paulo.
590. RONCONI L, SANGUINETTI J, FACHELLI S, CASAZZA V. &
FRANCESCHELLI I. (2006). Poverty and Employability Effects of Workare
Programs in Argentina. PMMA Working Paper No. 2006-14 Available at
SSRN: http://ssrn.com/abstract=908566.
591. ROSENBAUM, P. & RUBIN, D. (1983). The Central Role of Propensity
Score in Observational Studies for Causal Effects. Biometrika, 70 (1): 41-55.
592. ROSENBAUM, P. & RUBIN, D. (1984). Reducing Bias in Observational
Studies Using Subclassification on the Propensity Score. Journal of the
American Statistical Association, 79: 516-524.
593. ROSENBAUM, P. & RUBIN, D. (1985). Constructing a Control Group
Using Multivariate Matched Sampling Methods That Incorporate the
Propensity Score. The American Statistician, 39: 33-38.
594. ROSHOLM, M. & SKIPPER, L. (2003). Is Labour Market Training a
Curse for the Unemployed? Evidence from a Social Experiment IZA
Discussion Paper No. 716
595. ROSSI, P. & FREEMAN, H. (1985). Evaluation: a systematic approach (3
Edic.). Beverly Hills: Sage Publications.
596. ROSSI, P.; FREEMAN, H. & LIPSEY, M. (1999). Evaluation: A
Systematic Approach. Sage Publications.
597. RUBIN, D. (1974). Estimating causal effects of treatments in randomized
and nonrandomized experiments. Journal of Educational Psychology, 66: 688701.
406
598. RUBIN, D. (1977). Assignment to treatment on the basis of a covariate.

Journal of Education Statistics, 2: 1-26.
599. RUBINSTEIN, R. (1981) Simulation and the Monte Carlo method. Wiley
series in Probability and Mathematical Statistics. John Wiley and Sons Inc.
New York.
600. RUEL MT, DE LA BRIERE B, HALLMAN K, QUISUMBING A. & COJ
N. (2002). Does subsidized childcare help poor working women in urban
areas? Evaluation of a Government-sponsored program in Guatemala city.
International Food Policy Research Institute. Food Consumption and Nutrition
Division. Discussion Paper N. 131
601. RUEL MT. (2003) El Programa de Guarderas Comunales de Guatemala:
Focalizacin Efectiva de la Ayuda en Alimentos en reas Urbanas. Instituto
Internacional de Investigacin sobre Polticas Alimentarias, Washington, D.C.
602. RUTHMAN, L. (1977). Planing useful evaluations. Evaluability
assessment. Baberly Hills, Ca: Sage.
603. RYAN JG. & MENG X.(2004). The Contribution of IFPRI Research and
the Impact of the Food for Education Program in Bangladesh on Schooling
Outcomes and Earnings. Impact Assessment Discussion Paper N. 22.
604. RYAN JG. (1999) Assessing the impact of Rice Policy Changes in Viet
Nam and the contribution of policy research. Impact Assessment Discussion
Paper N. 8 Internacional Food Policy Research Institute.Washington, DC.
605. SAAVEDRA J. & TORERO M. (2000) Labor Market Reforms and Their
Impact on Formal Labor Demand and Job Market Turnover: the case of Peru
.Latin American Research Network Red de Centros de Investigacin Research
network Working paper #R-394
606. SAAVEDRA, J. & PASC-FONT, A. (2001). Reformas estructurales y
bienestar. Grupo de Anlisis para el Desarrollo. GRADE. Lima.
607. SEZ, A., SUREZ, J., ALIAGA, F. & BO, R. (1994). La utilizacin de
los procedimientos de comparaciones mltiples en la investigacin educativa
en Espaa. Revista de Investigacin Educativa, 23: 396-404.
608. SAHN, D., DOROSH, P. & YOUNGER, S. (1996). Exchange Rate, Fiscal
and Agricultural Policies inAfrica: Does Adjustment Hurt the Poor? World
Development, 24 (4): 719-47.
609. SNCHEZ, J. (2000). Director del ILPES. Presentacin en el Seminario de
alto nivel sobre las funciones bsicas de la planificacin. La Habana, 16 al 17
de Noviembre.
610. SANDOVAL, J. & RICHARD, M. (2003). Los indicadores en la
evaluacin del impacto de programas. Mxico. Sistema Integral de Informacin
y Documentacin.
611. SANGRA, E. (2000). Evaluation an civil society, the example of the
Canton of Geneva. Paper presentado en la Cuarta Conferencia de la Sociedad
Europea de Evaluacin. Lausanne, Suiza. Octubre.
612. SARETSKY, G. (1972). The OEO P.C. experiment and John Henry effect.
Phi Delta Kappa, 153: 589-591.
407
613. SAXE L, REBER E, HALLFORS D, KADUSHIN C, JONES D.,

RINDSKOPF D. & BEVERIDGE A. (1997)Think globally, act locally:
assessing the impact of community-based substance abuse prevention
Evaluation and Program Planning, Vol. 20, No. 3, pp. 357-366,
614. SCHEFFE, H. (1959). The Analysis of Variance. New York: Willey.
615. SCHIEFELBEIN, WOLFF L. & SCHIEFELBEIN, P. (1998) CostEffectiveness of Education Policies in Latin America: A Survey of Expert
Opinion.
616. SCHOENI, R. & BLANK, R. (2001). What has welfare reform
accomplished? Impact on welfare participation, employment, income, poverty,
and family structure. NBER Working Paper 7627. Disponible en internet:
[http://www-personal.umich.edu/bschoeni/vjpam3.pdf] Acceso el 21 de
setiembre de 2004.
617. SCHOLLAR, E. (2001). A Review of Two Evaluations of the Application
of the READ Primary Schools Program in the Eastern Cape Province of South
Africa. International Journal of Educational Reasearch, 35 (2): 205-216.
618. SCHUFTAN C, VAN DER VEEN A. & LOTHE P. (2003). Evaluation of
Echos 1999 to 2002 Funded Actions in Sudan. European Comisin
Humanitarian Office. Final Report.
619. SCHULTZ TP.(2000a) El impacto de Progresa sobre la inscripcin escolar.
620. SCHUTTA RK, ROSENHECK RE, PENK WE, DREBING CE. &
SEIBYL CL. (2005) The social environment of transitional work and residence
programs: Influences on health and functioning. Evaluation and Program
Planning 28: 291300.
621. SCHWERINA MJ, MICHAELB PG, GLASERC DN. & FARRAR KL.
(2002) A cluster evaluation of Navy quality of life programs. Evaluation and
Program Planning, 25: 303312
622. SCRIVEN, M. (1967). The Methodology of Evaluation. En: TYLER et al.
(1967). Perspective of Curriculum Evaluation. Chicago, Rand McNally.
623. SCRIVEN, M. (1974). Pros and cons about goal-free evaluation. The
Journal of Evaluation Comment, 3(4): 1-4.
624. SCRIVEN, M. (1980). The logic of evaluation. Inverness, California.
Edgepress.
625. SEAVER, W. & QUARTON, R. (1976). Regression-discontinuity analysis
of Deans List effects. Journal of Educational Psychology, 68: 459-465.
626. SEDLACEK G, YAP, Y. & ORAZEM P. (2000). Evaluating the Impact of
PETI on Child Labor Supply and Schooling Demand in Rural Northeastern
Brazil: The Case of Pernambuco, Bahia and Sergipe. World Bank Background
Paper. Washington, D.C., August. Summary of paper in "Eradicating Child
Poverty in Brazil." 2001. Report N 21858-BR. World Bank, Human
Development Department Brazil Country Management Unit, Latin America
and Caribbean Regional Office, Washington DC.
627. SENATE STANDING COMMITTEE ON SOCIAL WELFARE (1979a).
Through a Glass Darkly: Evaluation in Australian Health and Welfare Services,
Volume 1. The Report. Canberra, Australian Government Publishing Service.
408
628. SHACK, N. (2000). La estrategia de lucha contra la pobreza. En: La

Reforma incompleta. Instituto Peruano de Economa y Centrol de Investigacin
de la Universidad del Pacfico. Lima, Per.
629. SHADISH, W.; COOK, T. & CAMPBELL, D. (2002). Experimental and
quasi-experimental designs for generalized causal inference. Hougton Mifflin
Company, Boston MA.
630. SHADISH, W.; COOK, T. & HOUTS, A. (1986) Quasiexperimentation in
a Critical Multiplist Mode. En W. Trochim (Ed.), Advances in QuasiExperimental Design and Analysis. San Francisco: Jossey-Bass.
631. SHADISH, W.; COOK, T. & LEVINTON, L. (1991). Foundations of
program evaluation. New York: Sage Publication.
632. SHAOHUA, CH. & RAVALLION, M. (2003). Hidden Impact? Ex-Post
Evaluation of an Anti-Poverty Program. World Bank Policy Research Working
Paper N 3049. Development Research Group, World Bank, Washington D.C.
633. SHAPIO, J. & MORENO, J. (2004). An Impact Evaluation Using
Propensity Score Matching. World Bank.
634. SHARMA AN, SHARMA R. & RAJ N. (2000). The Impact of Social
Labelling on Child Labour in Indias Carpet Industry. Institute for Human
development New Felhi. ILO/IPEC Working Paper.
635. SHEA B., DUBE C. & MOHER D. (2001). Assessing the quality of reports
of sys-tematic reviews: The QUORUM statement compared to other tools. En:
EGGER M., SMITH G. & ALTMAN D. (Ed.). Systematic Reviews in Health
Care. Meta-analysis in context. London: BMJ, p. 122-139.
636. SHERWOOD-FABRE L, GOLDBERG H. & BODROVA V. (2002) The
Impact of an Integrated Family Planning Program in Russia. Evaluation
Review, 26 (2): 190-212.
637. SHERWOOD-FABRE, L., GOLDBERG, H. & BODROVA, V. (2002).
The Impact of an Integrated Family Planning Program in Russia. Evaluation
Review, 26 (2): 190-212.
638. SHINKAI N. (2000) Security and Income Affect the Living Arrangements
of the Elderly? Evidence from Reforms in Mexico and Uruguay. Research
Department Working paper series ; 432. Base de datos electrnicos BIF.
639. SHIRLEY, M., COLIN, X. & ZULUAGA, A. (2000). Reforming urban
water supply: the case of Chile. World Bank Policy Research Working Paper
N 2294. World Bank, Development Research Group, Regulation and
Competition Policy, Washington D.C.
640. SHU-HONG, Z. (1999). A method to obtain a randomized control group
where it seems impossible A Case Study in Program Evaluation. Evaluation
Review, 23 (4): 363-377.
641. SIANESI, B. (2003) An Evaluation of the Swedish System of Active
Labour Market Programs in the 1990s. The Institute For Fiscal Studies
WP02/01
642. SIANESI, B. (2003). Differential Effects of Swedish Active Labour Market
Programmes for Unemployed Adults During the 1990s .The Institute For Fiscal
Studies WP01/25
409
643. SINHA, N. (2003). Fertility, child work and schooling consequences of

family planning programs: evidence from an experiment in rural Bangladesh.
Economic Growth Center Yale University.Center Discussion Paper N. 867
644. SKOUFIAS E. & DI MARO V. (2006). Conditional Cash Transfers, Adult
Work Incentives, and Poverty. World Bank Policy Research Working Paper
3973.
645. SKOUFIAS E. & MCLAFFERTY B. (2001) Is progresa working?
summary of the results of an evaluation by IFPRI. Internacional Food Policy
Research Institute.Washington, DC.
646. SKOUFIAS, E. (2001). PROGRESA and its impacts on the human capital
and welfare of households in rural Mexico: A synthesis of the results of an
evaluation by IFPRI. International Food Policy and Research Institute,
Washington D.C.
647. SKOUFIAS, E. (2003). Importancia de la evaluacin de los programas
sociales: el ejemplo de Oportunidades: Conferencia impartida en el Instituto
Tecnolgico Autnomo de Mxico, Mxico, D.F., 25 de abril.
648. SLAVIN, R. (1987). Best-evidence Synthesis: Why Less is more.
Educational Researcher, 16 (4): 15-16.
649. SMART, R. & MANN, R. (2000). The impact of programs for high-risk
drinker on population levels of alcohol problem. Addiction, 95 (1): 37-52.
650. SMITH EA,. SWISHER JD, & VICARY JR. (2004) Welfare Reforms,
Family Resources, and Child Maltreatment Evaluation of Life Skills Training
and Infused-Life SkillsTraining in a rural setting: Outcomes at two years. J
Alcohol Drug Educ. Vol. 48 No1, 51-70.
651. SMITH, J. (2000). A critical survey of empirical methods for evaluating
active labour market policies. Swiss Journal of Economics and Statistics, 136
(3): 1-22.
652. SNODGRASS, DR. & SEBSTAD, J. (2002) Clients in context: The
impacts of microfinnance in three countries. Assessment the Impact of
Microenterprise Services (AIMS). Washington.
653. SNOW, R. (1979). Diseos representativos y cuasirepresentativos para la
investigacin en la enseanza. En F. ALVIRA, M.D. AVIA; R. CALVO Y F.
MORALES (Eds.). Los dos mtodos de las Ciencias Sociales. Madrid: Centro
de Investigaciones Sociolgicas.
654. SOARES F. & SOARES. Y. (2005) The Socio-Economic Impact of
Favela-Bairro: What do the Data Say? OVE. Working Paper 08.
655. SOLARTE, L. (2002). La evaluacin de programas sociales en el Estado
Liberal. VII Congreso del CLAD sobre la Reforma y de la Administracin
Pblica, Lisboa, Portugal, 8-11 de Octubre.
656. SOMMER JG, AQUINO R, FERNNDEZ C, GOLAY FH, SIMMONS
E, CASTILLO GH. & ROCO CH. (1982).AID Project Impact Evaluation
Report N 28.
657. STADLER J. & DELANEY S. (2004). The healthy brothel: the context of
clinical services for sex workers in Hillbrow. Reproductive Health Research
Unit, CHBH, Soweto.
410
658. STAKE, R. (1975a). Program evaluation: par-ticularly responsive

evaluation. Occasional Paper, 5. University of Western Michigan.
659. STAME, N. (2003). Evaluation and the policy context: the European
experience. Evaluation Journal of Australasia, 3 (2): 36 - 43
660. STANTON BF, LI X, KAHIHUATA J, FIRZGERALD AM, NEUMBO S,
KANDUUOMBE G, RICARDO IB, GALBRAITH JS, TERRERI N,
GUEVARA I, SHIPENA H, STRIJDOM J, CLEMENS R. & ZIMBA RF.
(1998). History Workshop, African Studies Seminar.
661. STEELE F, CURTIS SL. & CHOE M. (1999) The Impact of Family
Planning Service Provision on Contraceptive-Use Dynamics in Mxico.
.Studies in Family Planning, vol. 30, 1: 28-42.
662. STEELE, F, AMIN S. & NAVED RT (2001) Savings/credit group
formation and change in contraception. Demography, Vol. 38-N 2, 267- 282.
663. STEINBERG DI, MORROW RB. & DONG-IL K.(1980) Korean
Irrigation. .AID Project Impact Evaluation Report N 12. Base de datos
electrnica USAID
664. STEVENS FI. (1995). Preliminary Impact Evaluation Report of NGO
Educare Training in South Africa. Center for Human Capacity Develop,emt
United States Agency for International Development. Base de datos electrnica
USAID
665. STIFEL D. & ALDERMAN H. (2003) The Glass of Milk Subsidy
Program and Malnutrition in Peru. World Bank Policy Research Working
Paper 3089. Base de datos electrnicos BIF.
666. STROMQUIST NP, KLEES S. & MISKE S. (1999) Improving girls
education in Guatemala. CDIE Impact Evaluation, PN-ACA-919. Base de
667. STUFFLEBEAM, D. & SHINKFIELD, A. (1987). Evaluacin sistemtica.
Gua terica y prctica. Barcelona: Paidos/MEC. Espaa.
668. STUFFLEBEAM, D. (1966). A depth study of the evaluation requeriment.
Theory into Practice, 5 (3): 121-134.
669. STUFFLEBEAM, D. (1989). Evaluacin sistemtica. Madrid. Paids.
670. STUFFLEBEAM, D. et al. (1971). Educational evaluation and decision
making. Itasca, III, Peacock.
671. STUFFLEBEAM, D., & WEBSTER, W. (1980). An analysis of alternative
approaches to evaluation. Educational Evaluation and Policy Analysis, 2 (3), 519.
672. SUREZ, J.; ALIAGA, F.; ORELLANA, N.; SALAVERT, L.; SEZ, A.;
BELLOCH, C. & BO, R. (1995). La utilizacin de los procedimientos de
medida del cambio en la investigacin educativa en Espaa. En AIDIPE,
Estudios de investigacin Educativa en intervencin Psicopedaggica.
Valencia: AIDIPE.
673. SUBBARAO, K.; EZEMENARI, K.; RANDA, J. & RUBIO, G. (1999).
Impact Evaluation in FY98 Bank Projects: A Review. World Bank Poverty
Reduction and Economic Management Network, Processed, January.
674. SULBRANDT, J. (1993). La evaluacin de los programas sociales: una
perspectiva crtica de los modelos actuales. En: Kliksberg, B. (comp.), Pobreza,
411
un tema impostergable: nuevas propuestas a nivel mundial, Mxico,

CLAD/FCE/ Programa de Naciones Unidas.
675. SUPOVITZ, J. (2005). Systemic Education Evaluation Evaluating the
Impact of Systemwide Reform in Education. American Journal of Evaluation,
26 (2): 204-230
676. SUPOVITZ, J. (2005). Systemic Education Evaluation Evaluating the
Impact of Systemwide Reform in Education. American Journal of Evaluation,
26 (2): 204-230.
677. SUTTON M, TIETJEN K, BAH A & KAMANO P. (1999) Promoting
primary education for girls in Guinea. CDIE Impact Evaluation, PN-ACA-915.
678. TALLMADGE, G. (1982). An empirical assessment of norm-referenced
evaluation methodology. Journal of Educational Measurement, 19: 97-112.
679. TALMAGE, H. (1982). Evaluation of programs. En MILTZEL, H. (Ed.).
Encyclopaedia of educational research. Macmillan 4, pp. 592-661.
680. TASCHEREAU, S. (1998). Evaluating the Impact of Training and
Institutional Development Programs, a Collaborative Approach. Economic
Development Institute of the World Bank, enero.
681. TERUEL G. & DAVIS B. (2000). Una evaluacin del impacto de los
apoyos en efectivo de Progresa sobre las transferencias privadas entre los
hogares. Washington, D.C.: International Food Policy Research Institute
(IFPRI)
682. THE JOINT COMMITTEE ON STANDARDS FOR EDUCATIONAL
EVALUATION. (1994). The program evaluation standards. The Evaluation
Center. Western Michigan University. Kalamazoo, Michigan. Thousand Oaks,
CA. Sage Publications Inc.
683. THE PEOPLES COMMITTEE OF THUA THIEN HUE PROVINCE.
Summary of Evaluations Of Norad Financed Projects.
684. THE WORLD BANK. (1996). Participation sourcebook. Washington. D.C.
685. THISTLETHWAITE, D., & CAMPBELL, D. (1960). RegressionDiscontinuity Analysis: Analternative to the ex-post facto experiment. Journal
of Educational Psychology, 51: 309-17.
686. THOMPSON, M. (1980). Benefit-Cost Analysis for Program Evaluation.
Sage.
687. TILLEY, N. (2000). Realistic Evaluation: An Overview. Ponencia
presenteda en el Founding Conference of the Danish Evaluation Society,
Septiembre.
Disponible
en
internet:
[http://www.danskevalueringsselskab.dk/Materiale_fra_DES.asp]. Acceso el
18 de diciembre de 2005.
688. TILNEY JS & RIORDAN JT (1988). Agricultural Policy Analysis and
Planning: A summary of two recent analyses of a.i.d.-supported projects
worldwide.AID. Evaluation Special Study N. 55. Base de datos electrnica
USAID
689. TORERO, M. & PASCO-FONT, A. (2001). The Social Impact of
privatization and the Regulation of Utilities in Peru." Discussion Paper No.
412
2001/17. United Nations, United Nations University, World Institute for

Development Economics Research, New York.
690. TORRES G, ISAZA L, & CHVEZ L. (2004). Evaluacin del Impacto en
las Instituciones Escolares de los Proyectos Apoyados por el Instituto para la
Investigacin Educativa y el Desarrollo Pedaggico IDEP, de Bogot.
Revista Digital Umbral 2000, 15.
691. TORRES, R., QUISPE, E. & SERRIE, N. (2006). Convirtiendo promesas
en evidencia. Programa de Caminos Rurales II y Programa de Transporte Rural
Decentralizado. Ponencia presentada en el Taller organizado por el Banco
Mundial en Cuernavaca, Mayo de 2006.
692. TOULEMONDE, J. (2000). Evaluation culture(s) in Europe: differences
and convergence between national practices. Paper for Vierteljahrshefte zur
Wirtschaftsforschung. Berln.
693. TROCHIM, W. & CAPPERLLERI, J. (1992). Cutoff Assignment
Strategies for Enhancing Randomized Clinical Trials. Controlled
ClinicalTrials, 13:190-212.
694. TROCHIM, W. & DAVIS, J. (1986). Computer simulation for program
evaluation. Evaluation Review, 5 (5): 609-634.
695. TROCHIM, W. (1984) Research design for program evaluation. Beverly
Hills: Sage.
696. TROCHIM, W. (1986). Advances in Quasi-Experimental Design and
Analysis. San Francisco: Jossey-Bass.
697. TRULSON, M. (1986). Martial arts training: A novel "cure" for juvenile
delinquency. Human Relations, 39(12): 1131-1140.
698. TUIJMAN, A. & KEEVES, J. (1997). Path analysis and Linear Structural
Relations Analysis. En J. KEEVES (Ed.), Educational Research, Methodology
and Measurement. An International Handbook. 2 Edicin. Londres: Pergamon.
699. TUIRN, A. & MEDINA, A. (2001). El MIC estrategia para mejorar las
estimaciones por lnea de pobreza y elaboracin de recomendaciones para
enfrentarla. Material mimeografiado.
700. TYLER, R.W. (1942). General statement on evaluation. Journal of
Educational Research, 35: 492-501.
701. U.S. AGENCY FOR INTERNATIONAL DEVELOPMENT (1994) A
Synthesis of tour legacy/impact studies of USAID assistance to Cameroon.
Camer. Base de datos electrnica USAID
702. UNDERWOOD C, HACHONDA H, SERLEMITSOS E. & BHARATH U.
(2001). Impact of the Heart Campaign: Findings from the youth surveys, 19992000. Baltimore: Johns Hopkins School of Public Health, Center for
Communication Programs.
703. UNITED STATUS GENERAL ACCOUNTING OFFICE (1998)
Performance measurement and evaluation: Definitions and relationships. Abril.
GAO/GGD-98-26.
704. URWIN P, JACK G. & LISSENBURGH S. (2006) The impact of the
National Minimum Wage in low-wage sectors: does the Earnings Top-up
Evaluation study add to our understanding? .Industrial Relations Journal. Vol.
37 N. 3: 259-277.
413
705. USDIN S, SCHEEPERS E, GOLDSTEIN S. & JAPHET G. (2005)

Achieving social change on gender-based violence: A reporton the impact
evaluation of Soul Citys fourth series. Social Science & Medicine, 61: 2434
2445.
706. VALADEZ, J. & BAMBERGER, M. (1994) Monitoring and Evaluation
Social Programs in Developing Countries. Washington: The World Bank.
707. VALDIVIA M. (2004) Poverty, Health Infrastructure and the Nutrition of
Peruvian Children. Latin American Research Network Red de Centros de
Investigacin Research Network Working Paper #R-498.
708. VAN DE WALLE, D. & CRATTY, D. (2005). Do Donors Get What They
Paid For? Micro Evidence on the Fungibility of Development Project Aid.
World Bank Policy Research Working Paper N 3542. World Bank,
Washington D.C.
709. VAN STEENWYK, N. (1984) Impact Evaluation; LAC/ Honduran
Training Program. Base de datos electrnica USAID
710. VARA-HORNA, A. (2006). La lgica de la investigacin en ciencias
sociales. Manual de Investigacin y Estadstica Avanzada para Cientficos
Sociales. Tomo I. Lima: Asociacin por la Defensa de las Minoras. Libro
electrnico
disponible
en
internet:
[http://www.aristidesvara.com/libros/libro_a.htm] Acceso el 23 de junio de
2006.
711. VASQUEZ E. & FIGUEROA C. (2000). Documento base de discusin
para el diseo de una Estrategia de Seguridad alimentaria en el Per. 20002005. Universidad del Pacfico. Lima.
712. VASQUEZ, E. & MENDIZABAL, E. (2002). Los nios primero? El
gasto pblico social focalizado en nios y nias en el Per 1990-2000. Centro
de Investigacin de la Universidad del Pacfico y Save The Children. Lima.
713. VASQUEZ, E., CORTEZ, R. & RIESCO, G. (2000). Inversin social para
un buen gobierno en el Per. Centro de Investigacin de la Universidad del
Pacfico. Lima.
714. VEDUNG, E. (1997). Public Policy and Program Evaluation. Transaction
Publishers.
715. VELA, R. (2003). Hacia un Nuevo enfoque de la evaluacin de impacto de
proyectos de desarrollo rural. Cuadernos de Desarrollo Rural, 50: 125-142.
716. VENTOSA, V. (1992) Evaluacin de la animacin sociocultural. Gua de
orientacin para animadores. Madrid, Popular.
717. VERMEERSCH, C. (2006). Sesin III: Diseo de regresiones en
discontinuidad. Ponencia presentada en el Taller organizado por el Banco
Mundial en Cuernavaca, Mayo de 2006.
718. VERMEERSCH, C. (2006b). Sesin V: Variables instrumentales. Ponencia
de 2006.
719. VERMEERSCH, CH. & KREMER, M. (2004). School Meals, Educational
Achievement, and School Competition: Evidence from a Randomized
Evaluation. Policy Research Working Paper N 3523. World Bank,
Washington D.C
414
720. VERSTRAETE, L. (1993). Propuesta metodolgica para la evaluacin ex

post y el informe de trmino de los proyectos de inversin. Documento de la
Direccin de Proyectos y Programacin de Inversiones del ILPES.
721. VISSER, R. & DE LEEUW, J. (1984). Maximum Likelihood Analysis for
a Generalized Regression-discontinuity Design. Journal of Educational
Statistics, 9: 45-60.
722. VISSER, R. (1985). Analysis of longitudinal data in behavioural and social
research. An expository survey, Leiden, DSWO Press.
723. VIVEROS AM. & BECERRA AM. (1981) Peru: CARE OPG Water Hdth
Services Project. AID Project Impact Evaluation Report N. 24. Base de datos
electrnica USAID.
724. VIVO, S. (2006). Simulacin de anlisis de evaluacin de impacto.
Sesiones aplicadas del I al V. Ponencias presentadas en el Taller organizado
por el Banco Mundial en Cuernavaca, Mayo de 2006.
725. WAISSBLUTH, M. (2002). La reforma del Estado en Amrica Latina:
Gua abreviada para exploradores en la jungla. Programa Latinoamericano de
Gerencia Pblica. Universidad de Chile.
726. WALKER, H., GOLLY, A., ZOLNA, J. & KIMMICH, M. (2005). The
Oregon First Step to Success Replication Initiative: Statewide Results of an
Evaluation of the Program`s Impact. Journal of Emotional and Behavioral
Disorders; 13 (3): 163-172.
727. WALKER, I., CID, R., ORDONEZ, R. & RODRGUEZ, F. (1999). ExPost Evaluation of the Honduran Social Investment Fund (FHIS 2). Elaborado
por ESA Consultants, Honduras, para el World Bank, Latin American and
Caribbean Region (LCSHD).
728. WALKER, J. & EVERS, C. (1997). Research in Education:
Epistemological Issues. En J. Keeves (Ed.) Educational Research,
Methodology and Measurement. An International Handbook. 2 Edicin.
Londres: Pergamon.
729. WASHINGTON STATE INSTITUTE FOR PUBLIC POLICY (2001)
Foundations for Learning: Safe and Civil Schools Project. Disponible en
www.wsipp.wa.gov.
730. WASTAFF, A. & SHENGCHAO, Y. (2005) Do Health Sector Reforms
Have Their Intended Impacts? The World Banks Health VIII Project in Gansu
Province, China. World Bank Policy Research Working Paper 3743.
731. WEISS, C. (1983). The stakeholder approach to evaluation: origins and
promise. En BRYK, A. (Ed.). Stakeholder-based evaluation (pp. 3-14). San
Francisco: Jossey - Bass.
732. WEISS, C. (1998). Writing the report and disseminating results. En:
WEISS, C. Evaluation (2Ed.). Upper Saddle River, N.J.: Prentice-Hall, pp.
294 319.
733. WEISS, D. (1982). Improving measurement quality and efficiency with
adaptive testing. Applied Psychological Measurement, 6: 473-492.
734. WEISS. R. & REIN, M. (1972). The evaluation of broad-aim programs:
Difficulties in experimental design and an alternative. En C. WEISS (Ed.),
415
Evaluationaction programs: Readings in social action and education. Boston:

Allyn & Bacon.
735. WHITE, H. (2006). Impact Evaluation: The Experience of the Independent
Evaluation Group of the World Bank. Washington, D.C.: Banco Mundial.
736. WHOLEY, J. (1992). What can we actually get from program evaluation?
Policiy Sciencie, 3, p 361-369. Citado por: MENY, Yves; THOENIG Jean C.
Las polticas pblicas. Barcelona: Editorial Ariel. P. 201
737. WIENERT, F. (1997). Translating Research into Practice. En J.P. KEEVES
(Ed.), Educational Research, Methodology and Measurement. An International
Handbook. 2 Edicin. Londres: Pergamon.
738. WILKINSON JL, MCKEAN C, MEYER RE, NUNBERG BS, WEIL B. &
MARTINEZ H. (1984). Per: Improved Water and Land Use in the Sierra.
A.I.D. Project Impact Evaluation Report No. 54. Base de datos electrnica
USAID
739. WILSON SJ. & LIPSEY MW. (2000) Wilderness challenge programs for
delinquent youth: a metaanalysis of outcome evaluations Evaluation and
Program Planning, 23: 1-12
740. WOLF PJ, PETERSON PE, WEST MR. (2001) Results of a School
Voucher Experiment: The Case of Washington, D.C. After Two Years .
Kennedy School of Government, Faculty Research. RWP02-022
741. WOOTEN J, JANSEN W, KOHASHI WARREN M.(1982) Project
Impact: A low-cost alternative for universal primary education in the
philippines. Project Impact Evaluation Report No. 38. Base de datos
electrnica USAID
742. WORLD BANK. (2000). Nicaragua Ex-Post Evaluation of the Emergency
Social Investment Fund. Economic Report N 20400-NI. World Bank,
Washington D.C.
743. WORTMAN, P.; REICHARDT, C. & PIERRE, R. (1976). The first year of
the education voucher demostration. Evaluation Quarterly, 2, 193-214.
744. YAMADA, G. & PEREZ, P. (2005). Evaluacin de impacto de proyectos
de desarrollo en el Per. Centro de Investigaciones de la Universidad del
Pacfico. Serie Apuntes de Estudio N 61. Lima.
745. YAMANO, T., ALDERMAN, H. & CHRISTIAENSEN, L. (2003). Child
Growth, Shocks, and Food Aid in Rural Ethiopia. World Bank Policy Research
Working Paper N 3128. World Bank, Washington D.C.
746. YANOVITZKY, I.; ZANUTTO, E. & HORNIK, R. (2005). Estimating
causal effects of public health education campaigns using propensity score
methodology. Evaluation & Program Planning, 28 (2): 209-220.
747. YAP, Y., SEDLACEK, G. & ORAZEM, P. (2002). Limiting Child Labor
Through Behavior-Based Income Transfers: an experimental evaluation of the
PETI Program in rural Brazil. En: ORAZEM, P., SEDLACEK, G. &
TZANNATOS, Z. (Eds.), Child labor in Latin America. Washington, DC:
World Bank and Inter-American Development Bank.
748. ZAJONC, R. & MARCUS, H. (1975). Birth order and intellectua
development. Psychological Review, 82: 74-88.
416

Libro Evaluacion Impacto Aristidesvara PDF

Cargado por

Copyright:

Formatos disponibles

Libro Evaluacion Impacto Aristidesvara PDF

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Libro Evaluacion Impacto Aristidesvara PDF

Cargado por

Copyright:

Formatos disponibles

La Evaluacin de Impacto de los

Dr. Arstides Alfredo Vara Horna

Esta obra es consecuencia del Concurso de Investigacin Docente 2005 que

Arstides A. Vara Horna.

LISTA DE TABLAS ................................................................................................7

2.1.2. La evaluacin y la gestin social .......................................................... 39

3.2.2.2. Desarrollo metodolgico: Nuevas estrategias .............................. 260

4.3.2.7. Diseos con variables dependientes no equivalentes................... 324

Matriz de variables e indicadores

informes de evaluacin de impacto en el Per y otros pases

Diseo con grupo control no equivalente.

Relacin entre variables e indicadores

La evaluacin de impacto (EI) es especialmente importante en los pases en

The impact evaluation (IE) is especially important in developing countries,

El expresidente de los Estados Unidos, Bill Clinton, al firmar el

servicios producidos, ms que a los empleados o productores del servicio (nfasis

un nuevo modelo de evaluacin de impacto de los programas sociales en el Per y

1.1. PLANTEAMIENTO DEL PROBLEMA

gerentes sociales y autoridades de la administracin pblica, pues slo

1.1.2. Formulacin del problema

2. Cul es el estado actual del desarrollo acadmico-metodolgico de la

1.2. JUSTIFICACIN E IMPORTANCIA

1.2.1. Justificacin terica

1.2.2. Justificacin metodolgica

bibliografa de habla hispana, pretende convertirse en un manual de consulta,

1.2.3. Justificacin prctica

1.3.2. Objetivos especficos

1.4. HIPTESIS Y VARIABLES

Los fundamentos del Sistema de Evaluacin de Impacto ARYSIS de los

1.4.2. Variables e indicadores

Modelo ARYSIS de evaluacin

Figura N 1.1. Relacin entre variables e indicadores (Fuente: Elaboracin propia).

En cuanto a los indicadores de cada una de las variables mencionadas, estas

Modelo de Evaluacin de Impacto

Sistema dinmico de principios,

Principios del evaluador

1.4.3. Matriz de consistencia

Determinar el estado actual del

Aunque existe un desarrollo terico amplio

1.5. DISEO METODOLGICO

1.5.2. Tipo de investigacin

1.5.3. Diseo de la investigacin

1.5.4. Instrumentos, procedimientos de recoleccin y anlisis de datos

un programa. En este caso, se seleccionaron solamente los artculos e informes

Instrumento/mtodo de recoleccin de datos

Para el anlisis biblio-integrativo se elabor una matriz de tabulacin tipo R

En algunos casos la simulacin es el nico medio para lograr una

1.5.4.2. Proceso general de simulacin estadstica

etc.). En la presente investigacin se ha utilizado, principalmente, la distribucin

Cuando se usa el programa Minitab para hacer simulaciones, se requiere el

MTB > random 1000 c3;

MTB > add c1 c2 c4

Creadas las variables, el siguiente paso consiste en verificar los parmetros

el anlisis de regresin mltiple. El resultado tpico del anlisis de regresin

En primer lugar se encuentra el comando que solicita el anlisis de

II. BALANCE TERICO

2.1. LOS PROGRAMAS SOCIALES

En todo caso, de lo dicho, resulta necesario, adems de mayores recursos

2.1.1. Definicin y caractersticas