La Evaluación de Impacto y el Ciclo de Proyecto

Public Disclosure Authorized Public Disclosure Authorized Public Disclosure Authorized Public Disclosure Authorized º La Evaluación de Impacto y el Ciclo de Proyecto Mayo 2006 37906 Agradecimientos Este documento fue escrito por Tara Bedi, Sumeet Bhatti, Xavier Gine, Emanuela Galasso, Markus Goldstein y Arianna Legovini. Está basado en discusiones en una sesión de trabajo en un Grupo Temático. El grupo de trabajo estuvo compuesto por Pedro Arizti, Judy Baker, Tara Bedi, Aline Coudouel, Ariel Fiszbein, Emanuela Galasso, Xavier Gine, Markus Goldstein, Arianna Legovini y Susana Sánchez, y la facilitadora Sharon Hainsfurther. Este programa de trabajo ha sido financiado por subvenciones del Fondo Fiduciario para el Desarrollo Ecológicamente y Socialmente Sostenible apoyado por Finlandia y Noruega y el Programa de Sociedad de los Países Bajos y el Banco, financiado por los Países Bajos. El gerente de tarea para esta nota fue Markus Goldstein. Introducción La meta de una evaluación de impacto es atribuir impactos a un proyecto y únicamente a ese proyecto. Para poder hacerlo, se necesita un grupo de comparación para medir lo que hubiese sucedido a los beneficiarios si el proyecto no se hubiera llevado a cabo. El proceso de identificar ese grupo, recolectar los datos necesarios, y conducir los análisis relevantes requiere de mucha y cuidadosa planificación. Una buena evaluación de impacto provee las bases para una sólida formulación de políticas. Nos ayuda a entender si el proyecto ha tenido impacto o no, cuán grande es ese impacto, y quién se ha beneficiado (o no). Además de proporcionar evidencia firme que puede utilizarse para sopesar y justificar prioridades de políticas, la evaluación de impacto también puede utilizarse como una herramienta de gerenciamiento-porresultados. A medida que la evaluación avanza a la par del proyecto, puede utilizarse para testear características del proyecto, para modificar el diseño y mejorar la efectividad en el tiempo. Entre otras cosas, las evaluaciones de impacto pueden ayudar quienes diseñan las políticas a examinar el efecto de un piloto, comparar diferentes modos de prestaciones, y examinar el impacto del proyecto para diferentes poblaciones. Sobre todo, la evaluación de impacto nos permite apredender qué proyectos funcionan en qué contextos, y usar estas lecciones para informar a las generaciones siguientes acerca de políticas no sólo en el país de interés, sino también en otros países. Finalmente, el ejercicio de llevar a cabo una evaluación de impacto contribuye a construir y sostener capacidades nacionales para una formulación de políticas basada en evidencia. No hay un enfoque estándar para conducir una evaluación de impacto. Cada evaluación debe ser diseñada específicamente para el proyecto, el país, el contexto institucional y los actores involucrados. Habiendo dicho esto, existen algunas cuestiones generales y acciones que influyen en el exito de cualquier evaluación de impacto. El propósito de este documento es ayudar a los líderes de equipode tareas (TTLs) a saber qué hacer en distintas etapas en el ciclo del proyecto para asegurar una evaluación exitosa. Antes de pasar a recomendaciones específicas para la integración de la evaluación al ciclo del proyecto, vale la pena considerar algunos temas que deberían ser abordados cuando se planea e implementa una evaluación de impacto. Integrando a la evaluación de impacto con el proyecto Una buena evaluación de impacto no es un ejercicio independiente. De hecho, debería estar estrechamente vinculado al proyecto. Este es un proceso bilateral. Por un lado, el evaluador principal (LE) debería estar íntimamente familiarizado con el proyecto, país, y contexto institucional, las opciones de diseño que están siendo consideradas, y los detalles de despliegue y ejecución. Por el otro lado, el TTL y el cliente deben estar convencidos de la lógica de la evaluación para entender qué elementos de diseño e implementación de proyectos son críticos para llevar a cabo una evaluación que 1 contribuirá al éxito del proyecto. Idealmente, estas dos perspectivas deberían considerarse conjuntamente cuando el TTL, el evaluador principal, y las contrapartes consideranlas opciones de diseño del proyecto para identificar cuáles de esas opciones necesitan ser testeadas. Relevancia Para que una evaluación sea relevante, debe ser diseñada para responder a las cuestiones de políticas que son importantes para el cliente. Clarificar desde el principio qué es lo que el cliente quiere aprender y diseñar la evaluación para ese fin ayudará a asegurar que las recomendaciones de la evaluación serán introducidas en el diseño de políticas. Esto require que se estructure la evaluación de manera tal que puedan contestarse las preguntas que se presenten y responderse en el momento en que los comentarios pueden ser incorporado. Para los proyectos del Banco, las recomendaciones pueden estar relacionadas en el tiempo con la evaluación de medio y la finalización del proyecto. Para los gobiernos, pueden relacionarse con discusiones de presupuesto, preparaciones PRSP, o informes de progreso (rendimiento) que dependen del contexto y las necesidades. Esto lleva al próximo principio. Propiedad del Gobierno El hecho de que gobierno sea dueño del proyecto es clave para el éxito. La participación del gobierno es crucial para a) identificar preguntas relevantes para la formulación de políticas, b) asegurar la integridad interna de la evaluación – ayudando a asegurar que la evaluación se mantenga al tanto con la realidad de la implementación, y c) para asegurar que los resultados sean incorporados en las decisiones de políticas futuras y utilizados para informar la asignación de recursos entre los programas/sectores. Para poder asegurar esta participación, el TTL y LE trabajarán con el gobierno desde el principio sobre las opciones de evaluación, métodos, y ejecución. Esta será una oportunidad para desarrollar aún más la capacidad doméstica para la formulación de políticas basada en evidencia. Flexibilidad y adaptabilidad La evaluación debe ser diseñada para el proyecto específico. Debe adaptarse al contexto, y cuando sea posible, capitalizar sobre los cambios planificados en el ambiente circundante. Esto requiere de la cooperación entre el TTL, el evaluador principal, y las contrapartes gubernamentales. Para asegurar flexibilidad, la evaluación debe ser planificada lo antes posible (lo cual es antes de lo que Ud. piensa). Si bien es posible que haya una incertidumbre considerable acerca de las actividades del proyecto en las etapas tempranas, al entender el grupo potencialmente grande de opciones, el equipo de evaluación estará en una mejor posición para identificar las opciones de evaluación. La flexibilidad también requiere que se preste mucha atención al entorno político. El equipo de evaluación debe identificar y comunicarse con los sectores relevantes que 2 puedan estar a favor o en contra de la evaluación, y debe mantenerse al tanto de cómo estos sectores tal vez cambien durante la vida de la evaluación. La tensión del tiempo (“timing”) Existe un potencial para la tensión entre los objetivos de la evaluación y el marco de tiempo del proyecto. Mientras que algunos de los impactos podrían ser visibles dentro de un marco de tiempo corto, otros podrían ser observados sólo después de concluído el proyecto. La construcción de un marco de resultados adecuados que reconoce el tema del tiempo contribuirá al diseño de una evaluación realística. Será necesaria la selección de resultados e indicadores que reflejen el tiempo del proyecto y la evaluación. Para resultados de más largo plazo, será necesaria una estrategia financiera que permita la evaluación luego de la finalización del proyecto. 3 Guía para este documento El propósito de este documento es proveer una guía para el personal del Banco en el proceso de diseño y ejecución de evaluaciones de impacto. Este documento no es una guía técnica acerca de métodos de evaluación de impacto, sino que presenta consideraciones prácticas para la conducción de una evaluación de impacto. Este documento está estructurado alrededor de tres períodos en la vida del proyecto. El primer período abarca desde la identificación hasta el momento en que se escribe la Nota de Concepto del Proyecto (PCN). El segundo período cubre desde la preparación hasta la evalaución (appraisal). El tercer período va desde la evaluación hasta la finalización de la evaluación de impacto (que puede ser aún después de terminar el proyecto). Cada período del ciclo del proyecto está dividido en seis secciones para ayudar a identificar distintos tipos de actividades, específicamente: • • • • • • Actividades de evaluación – los temas centrales que tienen que ver con el diseño y la implementación de la evaluación Construcción y mantenimiento de relaciones con las partes/sectores, el diálogo con el gobierno y los directivos del Banco Consideraciones del proyecto - consideraciones logísticas del proyecto que tienen que ver con la evaluación Datos - temas relacionados con la construcción de la base de datos necesaria para la evaluación. Recursos financieros – consideraciones y la falta de respuestas simples para conseguir fondos. Ayuda - recursos disponibles para TTLs para asistir en el proceso de evaluación Las tareas se dividen entre los miembros de un equipo de evaluación de impacto (IET). Este equipo estará integrado por: • • • El TTL, que es el responsable por el diseño del proyecto de parte del Banco (TTL); Un evaluador principal (LE), a cargo de coordinar el diseño y la implementación de la evaluación y el análisis de los resultados. LE se refiere frecuentemente a un equipo de evaluadores y recolectores de datos; y Las contrapartes gubernamentales (GC). 1 Para más información acerca de métodos ver en la red la página Evaluación de Impacto, en la que se enlistan una seire de documentos útiles: www.worldbank.org/impactevaluation 4 I. Identificación al PCN A. Actividades de Evaluación Preguntarse las razones para hacer una evaluación del proyecto (TTL). El TTL debería cuestionar si la evaluación será útil, cómo justificar los gastos, si existe suficiente evidencia como para medir la efectividad de ese tipo de proyecto, y si hay alguna razón para creer que la evaluación puede mejorar la prestación de éste o futuros proyectos en este país y sector. Identificar las preguntas acerca de políticas que la evaluación podría abordar (TTL/GC/LE). A esta altura, lo específico del proyecto puede no estar definido aún. Sin embargo, es crucial comenzar a identificar las preguntas acerca de la formulación de políticas que este trabajo intentará abordar y por esto es útil en esta etapa comenzar a pensar acerca de para cuáles de los componentes del proyecto es relevante y realizable la evaluación de impacto. Efectivamente, es bastante posible que la evaluación de impacto no sea capaz de examinar todas las intervenciones bajo un proyecto dado, pero en cambio, se concentraría en un grupo de componentes de interés. La identificación de preguntas acerca de la formulación de políticas y cuáles componentes deben evaluarse es un proceso interactivo que irá mano a mano con el diseño del proyecto. Formar el equipo de evaluación (TTL). Esto requeriría la identificación de un equipo de evaluadores internacionales y/o locales. Debe prestarte especial atención a la selección del evaluador principal, que se asegurará la calidad del producto final. La habilidad que un evaluador debe poseer es la familiaridad con, y la habilidad de aplicar, una gama de metodologías de evaluaciones de impacto. Esta persona puede surgir de adentro o fuera del Banco, dependiendo de las habilidades necesarias y la disponibilidad. El evaluador principal deberá supervisar a un equipo conformado por colectores de datos y (posiblemente) otros evaluadores. El TTL debería entonces organizar una discusión entre las contrapartes gubernamentales, el equipo del proyecto, e investigadores a efectos de comenzar el diálogo. Pensar la forma de trabajo del equipo (TTL). Esto incluirá asegurar que el LE participe en discusiones exploratorias y de seguimiento con el equipo del proyecto y la contraparte gubernamental; que el gobierno asigne a una persona que se vinculará con el resto del equipo y facilitará actividades en el terreno, y que la probable empresa recolectora de datos esté involucrada para asegurar que se compartan los datos disponibles y que las actividades de recolección de datos concuerden con los planes nacionales. Ésto también es un buen punto de partida para comenzar a pensar en construir capacidad para la evaluación de impacto en el gobierno y en los académicos locales y planear para eso. Escribir un párrafor par ser incluido en el PCN que identifique la motivación para la evaluación de impacto (TTL). 5 B. Construyendo y Manteniendo Sectores de Apoyo Identificar sectores potenciales de apoyo y ayude a construir un apoyo de base amplia para el impacto de la evaluación. Identificar a un probable defensor del lado gubernamental (TTL/GC). (Ver Apéndice 1 para sugerencias de estrategias para conseguir apoyo gubernamental). Informar a la Dirección (TTL). Asegurarse de que directores del país y de los sectores estén informados e involucrados en las etapas tempranas de evaluación. Esto ayudará cuando llegue el momento de identificar recursos financieros, el diálogo con el gobierno, y asegurará el apoyo del proyecto a medida que continúe. C. Consideraciones del proyecto Trazar un enlace entre la evaluación de impacto y la Estrategia de Asistencia al País (CAS) (TTL). Como el Banco ha implementado CASs basados en resultados, debe considerarse el tema de cómo los resultados de esta evaluación proporcionarán evidencia sobre resultados existentes del CAS y ayudarán a informar al CAS las prioridades en el futuro. Entender cómo la evaluación puede construir sobre el proyecto existente y la base de conocimientos del sector, y aportar a futuros proyectos en este sector y país (TTL/LE). Esto require que se examine qué es lo que funciona y qué es lo que falta conocer. Además de una revisión de literatura, es útil organizar una reunión de profesionales en estas cuestiones. D. Datos Explorar qué datos existen y pueden ser relevantes para usar en la evaluación (LE). Esto requiere de decisiones con las agencias del sistema nacional de estadísticas para identificar fuentes existentes de datos y planes de futuras recolecciones de datos. También puede ser útil ver qué datos están recolectando los académicos y las ONGs. Comenzar a identificar la necesidad de recolectar datos adicionales (LE). Los recursos de datos y financieros siempre de inter-relacionan, pero este es un buen momento para comenzar a pensar en posibles escenarios de subvención/datos (LE/TTL). E. Recursos financieros 6 Identificar probables fuentes de subvención (TTL/LE/GC). Comenzar a pensar en cómo se subvencionará la evaluación y cuál será el monto probabable de los recursos totales. El alcance de la evaluación dependerá en parte del presupuesto disponible. Pero una evaluación de alcance significativo podría atraer fondos adicionales. La fuente puede ser interna del Banco y externa, como en el caso del gobierno y donantes. Las donaciones PHRD pueden ser una buena fuente para el trabajo preparatorio, incluyendo el apoyo para que el LE pueda desarrollar el marco de trabajo analítico e instrumentos de encuesta, y recolección de datos de línea base. Definir bajo qué arreglos contractuales contratar al LE (TTL/GC). Recuerde que, bajo las reglas del Banco, si el LE es contratado a través los fondos presupuestarios del Banco, él/ella no será elegible para competir por contratos gubernamentales para la implementación de la evaluación. Esto significa que el LE podría ser contratado ya sea por el Banco o el Gobierno para la duración del proyecto (diseño e implementación). F. Support Identificar a la persona de contacto para la evaluación de impacto en su unidad/red (TTL). Esta persona puede referirle a consultores, recursos financieros y/o proporcionarle una guía específica para la evaluación. Identificar a consultores (TTL). El Grupo Temático de la Evaluación de Impacto (TG) dispone de una lista de consultores de evaluación internacionalmente reconocidos [http://ieexperts.worldbank.org]. Incluye sus CV, y su información de contacto. Entender los métodos y aprender acerca de las evaluaciones existentes en su área de proyecto y país. Para información sobre la metodología de evaluaciones de impacto ver el sitio de TG [www.worldbank.org/impactevaluation]. Para más información acerca de evaluaciones previas, el TG mantiene una base de datos (organizados por sector y país) de evaluaciones de impacto ya finalizadas en [http://www1.worldbank.org/prem/poverty/ie/evaluationdb.htm] que incluye un resumen de resultados y métodos. Pedir apoyo específico para el proyecto. Para apoyo acerca del diseño de una evaluación de impacto, PRMPR y HDNVP imparten a pedido clínicas de evaluación de impacto. Estas clínicas reunen a los expertos del sector y del área de evaluación de impacto para trabajar con el equipo del proyecto. Aunque Ud. pueda no estar listo para una clínica en esta etapa, comience a pensar acerca de esta posibilidad ahora - es mejor tener estas clínicas apenas se haya desarrollado una noción aproximada de las actividades del proyecto y los beneficiarios pretendidos. Para más información ver la página web para la inscripción: http://www-wbweb.worldbank.org/prem/prmpo/ie/request_ieclinic.cfm. 7 II. Preparación durante la evalución (appraisal) A. Actividades de Evaluación Identificar las características del diseño del proyecto que afectarán el diseño de la evaluación (TTL/GC). Estas incluyen: • Proyectar la población objetivo y las reglas de selección. Para el propósito de la evaluación, es importante que el proyecto describa con detalle la población objetivo para la intervención y cómo los beneficiarios finales serán seleccionados. Esto proporcionará al evaluador las herramientas para desarrollar la estrategia inicial para identificar impactos del proyecto. • Desplegar el plan. También será importante comenzar a pensar en cómo se desplegará la implementación para el proyecto y sus componentes. Esto no sólo proporciónará a la evaluación un marco de tiempo factible para coordinar actividades de recolección de datos, sino que también ayudará en el desarrollo de una estrategia para identificar impactos del proyecto. Comience a desarrollar una estrategia de identificación (por ejemplo, cómo identificar el impacto del proyecto separado de los cambios que se deben a otras causas) (LE). El LE seleccionará la muestra de unidades (hogares, empresas; comunidades, dependiendo del proyecto) que mejor servirán como comparación contra la cual medir resultados en la muestra seleccionada dentro del proyecto. El grupo de comparación sera, en el peor de los casos, observacionalmente equivalente al grupo seleccionado dentro del proyecto, y, en el mejor de los casos, será equivalente en características observadas y no observadas. El rigor con el que el grupo de comparación es seleccionado al comienzo de la evaluación determinará mucha de la calidad y fiabilidad de los estimativos del impacto obtenidos durante el análisis. La manera en que se implemente el proyecto afectará la habilidad del LE para desarrollar una estrategia válida de identificación. En esta etapa vale la pensa examinar la posibilidad de refinamientos del proyecto que van a enriquecer la evaluación - por ejemplo, la manera en que el proyecto será introducido, la clarificación del criterio de elegibilidad, y el procedimiento para la selección de áreas piloto. El punto aquí no es cambiar el desarrollo de objetivos del proyecto o cambiar los beneficiarios pretendidos, sino explorar los cambios marginales para un diseño de proyecto que ayude a mejorar la calidad de la evaluación. Idealmente, la estrategia de identificación y la selección de proyecto se desarrollan de manera tal que alcancen tanto los objetivos del proyecto como los de la evaluación. En algunos casos, la estrategia de identificación tal vez sea capaz de capitalizar en la introducción del proyecto e identificar el grupo de comparación que se beneficiará del proyecto en la fase II o III. La evaluación se hará entonces dentro del marco de tiempo permitido por la última fase del proyecto y no estará diseñada para examinar efectos a 8 largo plazo. Esta estrategia es particularmente atractiva cuando el proyecto planifica la cobertura nacional hacia el final del período del proyecto. El objetivo de la evaluación podrá entonces confirmar la efectividad de la intervención antes de la implementación a mayor escala. Como se identicó anteriormente, el TTL y GC podrían tener que trabajar con el LE para modificar la selección de unidades para el despliegue de las fases I y II y poder apoyar de esa manera los objetivos de la evaluación. Desarrollar el marco para los resultados del proyecto (TTL, LE). Esta actividad clarificará la cadena de resultados para el proyecto, identificará los resultados de interés y los indicadores más apropiados para medir los cambios en esos resultados, y el horizonte de tiempo esperado para cambios en esos resultados. Esto proporcionará al LE alguna de la información necesaria para desarrolar el cuestionario de la encuesta y coordinar en qué momento se llevará a cabo la recolección de datos. Desarrollar un punto de vista acerca de cuáles características del proyecto deberían ser testeadas en primer lugar (TTL, GC, LE). El testeo temprano del proyecto (unos 6 meses a 1 año) puede proporcionar la información necesaria para que el equipo modifique el proyecto desde temprano en la dirección que más asegure el éxito. Las características pueden incluir modos alternativos de prestaciones (por ejemplo, prestación basada en escuelas vs. vertical), paquetes alternativos de productos (por ejemplo, campañas de concientización vs. servicios legales), o distintos esquemas de precios (por ejemplo, niveles alternativos de subsidio). Éste enfoque requerirá un marco de tiempo diferente para la recolección de datos y una mejor comprensión de impactos de corto pazo, que una evaluación diseñada solamente para medir los impactos del proyecto a su finalización. Identificar otras intervenciones en el área del proyecto (TTL, GC). Es importante estar al tanto de todos los planes existentes y planeados en las areas que reciben el proyecto y en las que Ud. planea usar como comparación. Éstos incluyen no sólo proyectos del Banco, sino también del gobierno, ONGs, y otras actividades de donantes. Si no se toman en cuenta, pueden ser peligrosas para la validez de parte de la evaluación. Cuando se las toma en cuenta, pueden abrir la puerta para testear la sinergia de distintas intervenciones. Piense en los riesgos de la evaluación de impacto. Estos incluyen amenazas a la validez, como proyectos existentes en el área del programa, desgaste de la muestra, amenazas causadas por problemas o cambios inesperados en la implementación del proyecto (por ejemplo, retrasos en desembolsos, problemas de logística, falta de adherencia al criterio de elegibilidad), y amenazas a la ejecución de la evaluación (por ejemplo potenciales cambios políticos/administrativos, incertidumbre de fondos). B. Construyendo y manteniendo sectores de apoyo 9 Mantener diálogo con el gobierno, construir una amplia base de apoyo, e incluir a las partes (TTL/LE). Ésto será crítico para sostener el apoyo gubernamental a fin de llevar a cabo la evaluación. Temas para la discusión incluyen: • • Decidir entre rigor y viabilidad (ver discusión anterior sobre la identificación de la estrategia), por ejemplo, discuta el más riguroso (en el sentido de atribución de impactos) diseño que sea viable – no sólo administrativamente, sino también políticamente. Éste es un paso crítico para llegar a un acuerdo con el gobierno acerca del diseño de la evaluación y es importante para asegurar el apoyo del gobierno para la integridad del diseño de la evaluación (IET). Plan de diseminación. El plan debería acordarse con las contrapartes gubernamentales para maximizar la probabilidad de que los resultados de la evaluación sean aplicados al desarollo de políticas. Incluirá un acuerdo sobre cómo y cuándo los resultados provisionales y finales serán diseminados y aportados al ciclo de formulación de políticas. Debe prestarse especial atención al proyecto y a los ciclos de políticas para identificar puntos de entrada para usar en resultados de la evaluación (por ejemplo, de medio punto y de cierre, para un proyecto; informe de sector, CGs, MTEF, presupuesto, para el gobierno). Debería incluir la identificación explícita de los mecanismos y procesos para aportar los resultados nuevamente al proceso de formulación de políticas y el diseño del programa. Puede considerarse la diseminación de resultados a los grupos de tratamiento y comparación (IET). Creación de Capacidad (TTL/LE). Utilizar la colaboración de funcionarios del gobierno y académicos locales a fin de construir capacidad local para realizar evaluaciones de impacto. Más actividades pueden implementarse con la ayuda de su IE de contacto regional/sectorial o el IE TG (entrenamientos, talleres, clínicas). El objetivo es fomentar la aceptación institucional para la cultura de evaluación y el gerenciamientopor-resultados. C. Consideraciones del Proyecto Integrar la evaluación de impacto al proyecto como mecanismo para incrementar la efectividad de la implementación del proyecto. Por ejemplo, distintas etapas de recolección de datos proporcionarán aportes al proyecto. Los datos de la línea de base pueden utilizarse para mejorar la eficiencia del objetivo. Los resultados tempranos de una evaluación pueden utilizarse para motivar a un cambio en el diseño de un proyecto al momento de una revisión de medio término. (IET) Iniciar formalmente una actividad de IE (TTL). El código IE en SAP es una manera de formalizar las actividades de una evaluación. El código IE reconoció la evaluación con un producto AAA separado. Ver el Apéndice 2 para más detalles acerca del código y cómo usarlo. (TTL) Escribir una Nota de Concepto para la evaluación de impacto (LE). 10 Identificar pares de evaluadores (TTL/CE). Idealmente, éstos deberían incluir a alguien bien versado en métodos de evaluaciones de impacto así como alguien familiarizado con el sector (TTL/LE). Tenga una reunión para evaluar la NOTA DE CONCEPTO para la evaluación de impacto, si es aplicable (IET). Trabaje la evaluación de impacto en el Anexo 3 del documento del proyecto (TTL/LE). Incluir la evaluación de impacto en la Revisión de Mejoramiento de Calidad (TTL). D. Datos Explorar fuentes de datos existentes y recolecciones de datos planificadas para identificar datos que puedan abordar las necesidades de la evaluación de impacto (LE). • Incluir: o Censos o Encuestas (hogares, empresass, instalaciones, etc) o Datos administrativos o Datos del sistema de monitoreo del proyecto • Documentar datos periodicamente (incluyendo planes futuros), calidad, variables cubiertas y marco de prueba y tamaño de prueba. Investigar sinergias con otros proyectos para combinar evaluaciones o al menos los esfuerzos de evaluación de recolección de datos (LE, TTL). Puede ser possible combinar los esfuerzos de recolección de datos para múltiples proyectos, por ejemplo, usando los mismos instrumentos de encuesta e infraestructura de recolección de datos. La colaboración puede mejorar la eficiencia en el uso de recursos locales (por ejemplo, agencias de estadísticas), asegurar que se ahorre en costos de encuesta, y garantizar que otras actividades sean tomadas en cuenta adecuadamente en la evaluación; pero la colaboración puede ser costosa en cuento a la coordinación entre proyectos. Desarrollar una estrategia de datos para la evaluación de impacto (TTL/LE). En la mayoría de los casos, la evaluación requerirá de una recolección de datos. El plan incluirá: 11 • El marco de tiempo de la recolección de datos relativo a la implementación del proyecto (por ejemplo, cuándo se recolectó la línea de base/cuando debe ser recolectada?) • Las variables necesarias. Estas necesitan cubrir no sólo los impactos de interés, sino también los controles potenciales (por ejemplo, demográficas, consumo) y (si es aplicable) variables instrumentales. Éstas proporcionarán la base para el diseño del cuestionario si es que se van a recolectar nuevos datos. • El tamaño de la muestra (factible y suficiente) y el marco de la muestra. • Integración de datos de otras fuentes. • Esfuerzos existentes de recolección de datos sobre los cuales la nueva recolección de datos puedan apoyarse (si es relevante). Esto podría incluir la suma de otro módulo o más observaciones a una encuesta que ya está planificada. E. Recursos Económicos Desarrollar y finalizar un presupuesto y planes para el financiamiento de la evaluación de impacto (TTL/IET). Los costos deberían cubrir costos del LE (desde el diseño hasta el análisis), costos de supervisión, y costos de recolección de datos. El financiamiento puede incluir BB, fondo de fideicomiso, donaciones de fondos, fondos para investigación y para proyectos. Las evaluaciones implementadas por el Banco utilizarán el código IE en SAP para identificar el producto. La IE implementada por el gobierno verterá todos sus costos en el presupuesto del proyecto. Las soluciones híbridas harían que el Banco financie el análisis y que el gobierno financie la recolección de datos. Si la evaluación va a ser incluida en el presupuesto del proyecto, Ud. debe asegurarse de identificar una manera de pagar por cualquier recolección de datos que caiga fuera de las fechas efectivas del proyecto. El Apéndice 3 proporciona una lista de las actividades con algunas nociones de costos y algunas opciones de financiamiento. F. Apoyo para la evaluación Para más información sobre encuestas, fuentes de datos, y capacidad general estadística para un país dado ver el sitio web de DECDG (tipear datos en un navegador de internet). Las páginas útiles incluyen páginas estadísticas de los países y la Plataforma de Desarrollo de Datos, entre otras. Agendar una clínica de evaluación de impacto. Las clínicas reúnen a un grupo de expertos que – a pedido -proporcionarán apoyo específico para el proyecto, para el diseño de una evaluación de impacto. Para más información, ver la página de inscripción: http://www-wbweb.worldbank.org/prem/prmpo/ie/request_ieclinic.cfm. 12 III. De negociaciones a la finalización...y más allá A. Actividades de Evaluación Aunque la evaluación ya ha sido diseñada, es crítico que el TTL y el EL monitoreen la implementación del proyecto con un ojo puesto en las amenazas a la validez del diseño de evaluación. Estas pueden incluir retrasos en la implementación que conviertan en inútiles a los datos de la línea de base, cambios en el objetivo del programa, y/o cambios mayores en las actividades del proyecto. Ésto también debería extenderse a prestarle atención al monitoreo de los efectos del proyecto (a través del monitoreo del sistema y la observación) para consecuencias no buscadas, como los efectos que se derraman sobre el grupo de comparación. No todas son amenazas para la evaluación. Algunas podrían presentar la oportunidad de rediseñar la evaluación, incrementar su alcance y efectividad, y/o reducir costos de datos (TTL/LE). Monitorear la implementación de la evaluación (LE con aportes del TTL). Asegurarse de que las tareas se completen a tiempo y que el análisis comience en el tiempo en que fue previsto. Comenzar el análisis a medida que los datos estén disponibles, y alimentar datos al (LE). Usar datos y resultados del análisis para informar acerca de cambios en el proyecto (a medio término) y evaluación del proyecto al terminar (ICR). Aportar los cambios en el proyecto al diseño de la evaluación como corresponda. Diseminar los resultados para informar a la próxima generación de proyecyos, así cooperar con el desarrollo de políticas gubernamentales (TTL). Continuar colaborando con el gobierno y los investigadores locales para desarrollar capacidades para evaluaciones de impacto (TTL/LE). B. Construyendo y manteniendo sectores de apoyo Presentar los resultados de la evaluación antes de hacerlos públicos ante una audiencia más amplia (TTL/LE). Esto asegurará que los temas delicados sean presentados ante la audiencia más amplia de una manera políticamente sensible. Los gobiernos no deberían sentirse amenazados por los resultados de una evaluación, sino verlos como una oportunidad de usarlos para incrementar la efectividad. El enfoque ayudará a desarrollar apoyo para políticas de seguimiento para los resultados de la evaluación, y también evitará problemas políticos y contragolpes. Anticipar los resultados también a la dirección del Banco (TTL/LE). 13 Trabajar estrechamente con el gobierno en la diseminación de los resultados (IET). Asegurarse de que el mensaje no se distorsione. Asegurarse de que las advertencias sean claras y repetidas con frecuencia. C. Consideraciones del proyecto Involucrar e informar a la unidad de implementación local del proyecto y a la persona responsable en la Unidad Ejecutra del Proyecto (PIU) de monitorear y evaluar (TTL/LE). Realizar los arreglos necesarios para lograr el funcionamiento y financiamiento de la evaluación de impacto en el tiempo adecuado (TTL). Utilizar resultados de la evaluación desde los comienzos del proyecto y durante la evaluación de medio término para rediseñar las fases posteriores del proyecto (TTL). Incluir los resultados de la evaluación en el Documento de Cierre ICR (TTL). Incluir los resultados de las evaluaciones en los documentos marco para la preparación del CAS (TTL). D. Datos Implementar la recolección de datos (IET): • Si esto involucra recolectar nuevos datos: Cumplir con la línea de base antes de la implementación (tomar nota de que ésto puede o no ser antes de efectividad del proyecto). Dar pasos para asegurar la calidad de los datos, incluyendo una discusión explícita antes de la línea de base acerca de los mecanismos que aseguren la calidad de los datos (IET). El TTL y el LE deberían monitorear de cerca la calidad de los datos de la línea de base desde el principio hasta el fin, el ingreso de datos, y cualquier recolección de datos subsiguiente. • Si esto incluye el uso de fuentes de datos existentes: el TTL y/o el LE necesitan vincularse con las agencias recolectoras de datos para asegurar que los planes de recolección de datos están avanzando según lo previsto. • Si ésto involucra la recolección de datos a través de colaboración (ésto se aplica potencialmente a ambos casos arriba): el TTL necesita mantener contacto con las otras organizaciones involucradas, para evitar problemas inesperados. En casos cuando este esfuerzo coordinado involucra un número importante de actores, puede ser útil establecer algún tipo de foro para que ésto tenga lugar. 14 E. Recursos económicos Asegurarse de que haya fondos suficientes para la evaluación, recaudar fondos en la medida necesaria (TTL). El TTL debería mantenerse en contacto con el LE durante el análisis para asegurarse de que habrá suficientes recursos para el análisis. 15 F. Apoyo para la evaluación Solicitar el apoyo necesario de la persona contacto del IE en su región/sector. Utilizar recursos de la web y recursos del Grup Temático IE, como sea necesario:http://www1.worldbank.org/prem/poverty/ie/evaluationdb.htm proporciona ejemplos de trabajos similares en el país/sector, si es que existen. 16 Apéndice 1 Algunas sugerencias para incrementar el apoyo para una evaluación de impacto En este apéndice proporcionamos algunas ideas y sugerencias sobre cómo fortalecer el apoyo para una evaluación de impacto. Para una discusión más detallada de la experiencia de un equipo con este tema, ver la nota siguiente en esta serie que analiza las experiencias en Argentina. • Trabajar con las contrapartes gubernamentales desde el principio. Pasar un tiempo considerable explicando la motivación/utilidad y métodos. • Comprender quiénes son los clientes y cuáles sus necesidades. Desarrollar una evaluación de impacto que conteste las preguntas prioritarias de los clientes. • Entender a las otras partes interesadas – su posición en los temas que rodean a la evaluación, cómo podrían afectar la evaluación, y cómo podrían reaccionar frente a los resultados. Pasar tiempo con estos grupos, explicando la motivación/utilidad y métodos. • Identificar a alguien que abogue dentro del gobierno. Este defensor puede ayudar argumentando a favor de la evaluación inicialmente, asegurándose de que se ejecute bien, y ayudando a asegurar el aprovechamiento de los resultados. • Involucrar a investigadores locales. Un buen lugar para comenzar sería con aquellos involucrados en el PRSP, ya que es muy probable que tengan acceso al gobierno y comprendan los temas y el contexto. • Desarrollar capacidad de evaluación de impacto (especialmente en lo que respecta al trabajo analítico) dentro del gobierno no sólo proporcionará beneficios en cuanto a la calidad de evaluación (por ejemplo, un mejor entendimiento del contexto institucional y la implementación) pero también ayudará a fomentar apoyo para evaluaciones futuras. • Si es posible, conseguir participación de individuos de alto perfil en el Banco que apoyen este diálogo con el gobierno. • Facilitar acceso a recursos humanos de alta calidad - facilitar lo más posible que las contrapartes puedan entregar una evaluación de impacto de alta calidad. Si Ud. no puede identificar los recursos por sí mismo, consulte algunas de las fuentes en las secciones sobre apoyo mencionadas anteriormente. 17 • Investigue acerca de costos y opciones de fondos antes de hablar con el gobierno acerca de la evaluación. Piense en los posibles derrames positivos que generará la evaluación (por ejemplo, datos acerca de poblaciones de interés). • Si es aplicable, proporcionar resultados provisionales a los clientes. Además de manterner a tanto al cliente acerca de la dirección de la evaluación, éstos pueden ser utilizados para MID-TERM correcciones de políticas si se justifican. Cuando los resultados estén listos... • Hacer advertencias claras, directas, y repetidamente - ésto será importante para asegurar que los resultados sean interpretados correctamente. • El momento en que se emiten los resultados es importante. Entienda el ciclo de toma de decisiones políticas domésticas y emita sus resultados en el momento en que sea útil para maximizar el impacto sobre las políticas. • No sorprenda a los actores claves. Es aconsejable anticiparles los resultados antes de que se divulguen ampliamente. • Proporcionar orientación constructiva en lo referente a políticas. La identificación de la magnitud del impacto y los efectos en distintos grupos es sólo el primer paso. La discusión sobre las implicancias de las políticas que provienen directamente de los resultados de la evaluación ayudarán al gobierno a identificar las mejores formas de poner en uso los resultados de la evaluación. • Comunicar en distintos formatos (técnicos, menos técnicos) a diferentes audiencias, dentro y fuera del gobierno. 18 Apéndice 2 Convirtiendo a una evaluación de impacto en un producto del Banco Notar que ésta es una reimpresión del DEC-OPCS “Implementando Evaluaciones de Impacto en el Banco Mundial: Nota de Guía” Como parte de la agenda de resultados, el Banco ha hecho esfuerzos importantes por expandir y ahondar las evaluaciones de impacto. A través de la iniciativa de Desarrollo de la Evaluación de Impacto (DIME), ha proporcionado coordinación y facilitación a unidades y staff del Banco involucrados en actividades de evaluación de impacto. En reconocimiento de esta nueva tendencia, OPCS estableció a la IE como una nueva línea de producto. Esta nota proporciona orientación al staff acerca de la implementación de esta nueva línea de producto. Trasfondo El énfasis realzado en el monitoreo y la evaluación de programas es un aspecto clave de los enfoques de desarrollo asistencial basados en resultados Éste es un desafío multifacético que involucra una amplia gama de actividades: desde el monitoreo y la evaluación del progreso en la implementación de programas, hasta la medición de cambios en resultados y la evaluación del impacto de intervenciones específicas sobre esos el Banco Mundial está tomando medidas para expandir y mejorar su propio enfoque sobre estas actividades de monitoreo y evaluación. Entre el material acerca de los enfoques de evaluación, las evaluaciones de impacto tienen un rol importante. Su objetivo es evaluar los resultados específicos atribuibles a una intervención particular (por ejemplo, el incremento en el aprendizaje estudiantil como resultado de un cambio en el arreglo de contratos o mayores ingresos entre micro-emprendedores como resultado del mejoramiento en el acceso a créditos). Lo logran usando un contrafactual que representa el estado hipotético que hubieran experimentado los beneficiarios sin la intervención. Desde ese punto de vista, las evaluaciones de impacto son un instrumento esencial para poner a prueba enfoques específicos que abordan desafíos de desarrollo (por ejemplo, reducir la mortalidad infantil o incrementar la productividad de granjeros pobres). Las evaluaciones proporcionan un instrumento poderoso para determiner qué funciona y qué no, y constituyen así un medio fundamental para aprender acerca de intervenciones de desarrollo efectivas. Al mismo tiempo, particularmente cuando se llevan a cabo de manera comparable y consistente a través de los países, las evaluaciones de impacto pueden proporcionar puntos de referencia necesarios para el diseño de programas y monitoreo. En el pasado, dichas evaluaciones estaban limitadas por la falta de datos y los desafíos técnicos para desarrollar un contrafactual. Durante los últimos años, sin embargo, mejorías significativas en estas dos áreas han hecho que las evaluaciones de impacto sean más fáciles de implementar de manera sistemática: los mircro datos recogidos a través de encuestas demográficas, de salud, o de hogares se encuentran más 19 disponibles y una se ha desarrollado una amplia gama de técnicas de evaluación para construir el contrafactual – desde experimentos aleatorizados hasta técnicas cuasi experimentales. Box 1: Métodos de evaluación Existen dos enfoques básicos para construir el contrafactual. Diseños experimentales (también llamados diseños de control aleatorizados) construyen el contrafactual a través de una selección de tratamiento aleatorizada y grupos de control. Dados tamaños apropiados de muestras, el proceso de selección aleatorizada asegura la equivalencia entre el tratamiento y los grupos de control, tanto en caracteristicas observables como no observables. El otro enfoque, de diseños cuasiexperimentales (también llamados diseños no-experimentales), se basa en modelos estadísticos o características de diseño (que a veces generan experimentos “naturales”, no planeados) para construir un contrafactual e incluir enfoques tales como el diseño de discontinuidad en la regresión, pareo de propensión de resultados, y variables instrumentales. En la práctica, los métodos cuasi-experimentales son mucho más comunes que los diseños de control aleatorizados. Guía para implementar actividades de evaluación de impacto La Evaluación de Impacto (IE) es una nueva línea de productos que ha sido establecida bajo el paraguas de AAA. Otras líneas de producto en la familia AAA son: Trabajo Económico y Sectorial, Asistencia Técnica, Coordinación de Donantes y Ayuda, Servicios de Investigación, y el Informe Sobre el Desarrollo Mundial. Para calificar como IE, una actividad debe cumplir con el siguiente criterio: (i) Involucrar trabajo empírico para medir los efectos en un conjunto de resultados clave de una intervención de desarrollo (que puede estar asociada por ejemplo a un gobierno o un programa/proyecto de una ONG o uno de sus componentes) relativo a un contra-factual bien especificado (por ejemplo, cuál hubiera sido la evolución de los resultados sin la intervención). La intervención a ser evaluada no necesita recibir apoyo económico directo del Banco Mundial para calificar para ser una evaluación de impacto apoyada por el Banco. (ii) Apuntar a informar a un cliente externo. Los clientes externos típicamemte son los prestatarios del banco, pero también están incluidos otros países miembros, donantes, ONGs, organizaciones del sector privado en países en desarrollo, u otros miembros de la comunidad de desarrollo. Los clientes externos no están necesariamente basados en el país donde el proyecto se está llevando a cabo. (iii) Conduce a un informe libre incluso cuando éste está unido a la preparación y/o la supervisión de un proyecto/programa financiado por el Banco. El informe debe ser iniciado por una unidad específica del Banco. Hay diferencias importantes entre la IE y otros productos existentes del Banco: • Diferencia entre Trabajo Económico y Sectorial (ESW) e IE: ESW es un análisis emprendido expresamente con la intención de influir en las políticas de un cliente 20 externo y programas. Por otra parte, la IE tiene el objetivo más limitado de establecer, por un análisis riguroso, los cambios de los resultados que pueden ser atribuidos a una intervención específica (el proyecto, el programa, o las políticas). Estos resultados eventualmente podrían conducir a recomendaciones de políticas (a través de otro instrumento del Banco) para el país o para otros clientes externos, pero no es el objetivo de la IE. • Diferencia entre IE y TA: En una TA no prestataria, el Banco puede apoyar una evaluación de impacto conducida por un gobierno, proporcionando sólo consejo técnico sobre cómo conducir ciertos componentes de una evaluación de impacto o desarrollando la capacidad del país para conducir evaluaciones de impacto. Bajo una actividad codificada IE, el Banco está activamente comprometido con todos los aspectos de la IE, y provee un resultado final incluso cuando es realizado conjuntamente con otras agencias (incluyendo gobiernos). • Diferencia entre las evaluaciones de IE e IEG: La responsabilidad primaria del IEG es evaluar las operaciones del Banc ex - post a lo largo de muchas dimensiones - por ejemplo, la importancia de cada operación y su alineación dentro de la estrategia de desarrollo de un país, el grado al cual los objetivos de las operaciones han sido alcanzados y son sostenibles. Una IE procura evaluar el impacto de una intervención sobre la base de un contrafactual sólido, sin importar si la intervención es apoyada económicamente por un Banco o no. Se espera que el procesamiento de una IE incluya los siguientes pasos: (i) Crear el Resúmen de Iniciación de Actividad (AIS) en SAP. Los gerentes designados (típicamente el Director de País y el Gerente de Sector) aprueban la actividad y la autoridad del VPU libera los fondos. En este momento la fecha de aprobación del AIS se actualiza automáticamente en SAP. En el resumen de Iniciación de Actividad (AIS), los TTLs deben seleccionar al menos un Objetivo de Desarrollo (DO) que representa el objetivo al emprender una IE en particular y el/los indicador(es) del resultado relacionados, que especifican los resultados provisionales asociados con el objetivo de desarrollo. En general, cada evaluación de impacto necesita una AIS separada. Sin embargo, donde un agrupamiento de varias evaluaciones se justifica (por ejemplo, la evaluación de los componentes diferentes de un programa, o la evaluación de impacto sobre varios resultados), ellos pueden ser agrupados bajo un solo AIS. Una IE es considerada un producto conjunto si (a) su preparación involucra substanciales contribuciones financieras o en especie, cubriendo 10 por ciento o más del costo del producto, de al menos un donante multi o bilateral y (b) esa agencia acepta el producto como tal junto con el Banco, como ha sido señalado en el documento de concepto y el informe eventual. El líder del equipo debe documentar la naturaleza al completar en la 2 El apoyo sustancial de un Fondo Fiduciario no califica automáticamente al producto como una IE conjunta, a menos que el donante del Fondo Fiduciario también acepte el resultado como un producto conjunto. Este apoyo se señala en la tapa u otra parte del informe. 21 “AAA conjunta” en el AIS/AUS. OPCR evaluará regularmente todos los productos IE en la fase AIS/AUS y chequeará que las actividades estén correctamente codificadas. El equipo OPCR podrá contactar al líder del equipo de tareas para solicitar mayor información sobre la IE si es necesario. Preparar la Nota de Concepto. En general, una Nota de Concepto cubre: (a) el racional; (b) los objetivos y la metodología; (c) el impacto que se espera del trabajo; (d) la composición del equipo y los recursos (Banco, socios, cliente, incluyendo Fondos Fiduciarios); (e) la diseminación/el plan de seguimiento, y (f) el cronograma. (iii) Evaluación de Pares/mejoramiento de Calidad. La actividad de IE require de una evaluación de pares/mejoramiento de calidad. Una lista de evaluadores pares recomendados estará a disposición del staff. Se espera que los VPUs definan las especificaciones de los mecanismos de mejoramiento de calidad (esto es, naturalieza del proceso de evaluación para los documentos de concepto e informes de evaluación final y responsabilidades específicas), como para cualquier producto AAA. (iv) Documentar mojones claves. TTLs deben ingresar cada mojón (milestone). Comienzo de Implementación de Actividad/Nota de concepto (esto es, la fecha cuando el equipo inicia el verdadero desarrollo del producto o la fecha cuando la nota de concepto sea evaluada o aprobada) en el Resúmen de Actualización de Actividad (AUS) en SAP. También deben actualizar el verdadero mojón de “Entrega al Cliente y “Entrega Final” (esto es, la la fecha en que el informe de la evaluación final es aprobado por el gerente designado y se la entrega para ser publicada). (v) Publicación y Diseminación. Al momento de la entrega final, el informe de evaluación se presenta para publicación en la Serie de Documentos de trabajo de Evaluación de Impacto de Desarrollo del Banco Mundialcon pleno reconocimiento de la unidad que originó el trabajo y el equipo. Esta nueva serie será coordinada por la oficina del Economista Jefe (DECVP) y tendrá su propio comité asesor que será responsable de evaluar la solidez de la metodología de la IE antes de autorizar su publicación. La diseminación de los resultados del informe de evaluación continúa siendo la responsabilidad de los TTLs, quienes deben archivar en IRIS todo el material de diseminación (lista de participantes, presentaciones, agenda, puntos de conversación, minutas de la reunión, etc). (vi) Crear el Resúmen de Finalización de Actividad (ACS) en SAP. Los procedimientos ACS requieren que el líder del equipo de tareas ingrese un ACS en SAP para la IE. El ACS debería completarse dentro de los seis meses desde la entrega al cliente, siempre que todas las tareas asociadas con la actividad se hayan completado. Los gerentes designados aprueban la ACS y la fecha actualización de ACS se llena automáticamente en SAP. En el Resúmen de Finalización de Actividad (ACS), los TTLs deben evaluar los indicadores de resultado para cada 22 DO seleccionado, reflejando en qué medida se logrado (plenamente, en gran parte, parcialmente, no). (vii) Recursos a disposición del staff involucrado en actividades de IE. El staff involucrado en actividades de IE tiene acceso a una serie de iniciativas de apoyo: (i) una nómina de evaluadores pares recomendados; (ii) una nómina de consultores externos expertos en evaluaciones de impacto; (iii) una base de datos interactiva de evaluaciones de impacto de proyectos apoyados por el Banco, que cubre métodos y resultados, (iv) recursos de aprendizaje (incluyendo materiales de guías técnicas, notas sobre métodos de evaluación específicos del sector, material de entrenamiento, y otros recursos relevantes) y (v) clínicas de evaluación. Todo esto puede accederse a través de una página web (www.worldbank.org/impactevaluation) 23 Apéndice 3 Costos ilustrativos de una evaluación de impacto Este anexo proporciona algunas nociones de cifras para la variedad de actividades que una evaluación de impacto puede incluir. Finalmente, todos los costos y especialmente aquellos de la recolección de datos dependerán del método utilizado para la evaluación de impacto. También es probable que los fondos disponibles afecten la elección del método. Más aún, la recolección de datos y los costos de consultores puede variar significativamente según los países. Estas cifras son puramente ilustrativas, y las experiencias individuales serán variadas. Algunos componentes básicos serán: 1. Evaluador Líder (debe ser la misma persona desde la pre-preparación hasta el análisis posterior a la finalización). Este individuo será responsable de evaluar el diseño de la evaluación, del diseño del instrumento de encuesta, y el análisis de datos. Si el LE es externo al banco: Para un investigador senior, alrededor de $50-100,000 para honorarios profesionales más costos de viaje (se estima que constará de al menos tres viajes, uno de los cuales será durante la preparación). Si el investigador es interno al Banco: estimar unas 5-15 semanas de staff por año. Un tema para considerer son los procedimientos que regulan la contratación de los mismos consultores en la preparación y durante la implementación. El evaluador líder deberá estar involucrado en todas las etapas del proyecto. 2. Experto en diseño de muestra, aproximadamente $3,000 en honorarios profesionales más gastos de viaje (un viaje). Es muy probable que este costo ocurra durante la preparación. 3. Recolección de datos: contratar a la agencia nacional de estadísticas o una empresa de encuestas. La elección dependerá de la capacidad de la empresa y la experiencia relativa al tamaño de la muestra deseada. Si la evaluación requiere de una encuesta aparte, el costo dependerá del tamaño de la muestra, el largo del cuestionario, y la dispersión geográfica de la muestra. Los costos por entrevista pueden variar entre $50 y $150 por persona que responde por entrevista. Por ejemplo, una muestra del tamaño de 1,000 hogares costará, por dos vueltas de recolección de datos, desde $100,000 hasta $300,000. Si es posible apoyarse sobre una encuesta existente, el costo será menor 4. Supervisión por la duración de la evaluación. Debería ser un consultor basado localmente, que cubra todos los aspectos de la implementación de la evaluación. Los costos pueden variar desde $12,000 hasta $20,000 por año. 5. Los costos de supervisión provenientes del Presupuesto del Banco deberán tenerse en cuenta. Esto probablemente incluirá un viaje por año, y podrá combinarse con otras actividades, dependiendo de quién del equipo del Banco esté supervisando la evaluación. 24 6. Diseminación de los resultados provisionales y finales. Esto incluirá dos viajes, ya sea de las contrapartes a la sede, o del equipo de evaluación al país. 25 Fuentes de financiamiento: Los items 1 y 2 requerirán de fondos de preparación de proyecto para todo el trabajo que tenga lugar antes de la aprobación. El financiamiento por donaciones (o el uso del código IE dentro del BB – presupuesto del Banco) es necesario para proveer de fondos a las etapas posteriores del trabajo del Evaluador Líder (las cuales probablemente se extenderán más allá del proyecto). Los items 3 y 4 pueden ser financiados a través de fondos del proyecto para actividades dentro del ciclo del proyecto. En el caso de recolección de datos fuera del ciclo de proyecto, se deberán usar otras fondos o donaciones del gobierno. El item 6 requiere de una donación para financiaminto o presupuesto del Banco (posiblemente a través del código de IE). 26