Breve manual de

evaluación
de programas

Autores:
Lucía Gorjón
Imanol Lizarraga Informe
Paloma Úbeda 2024/4

Coordinación:
Sara de la Rica

Julio 2024
Agradecimientos: La Fundación Iseak agradece a Cruz Roja Española todo su apoyo
durante la realización del presente manual. Este manual nace después de la nalización de
la evaluación del “itinerario de inclusión activa para perceptoras del Ingreso Mínimo Vital o
Rentas Mínimas Autonómicas" ofrecido por Cruz Roja Española y puesto en marcha por
Ministerio de Inclusión, Seguridad Social y Migraciones, nanciado por el Plan de
Recuperación, Transformación y Resiliencia. El proyecto se inscribe en el ámbito del Real
Decreto 378/2022 nanciado por de 17 de mayo (BOE 18/05/2022) para su ejecución en
2022-2024. Su número de expediente es IS_22/22/00008.
fi
fi
fi
Manual breve de evaluación

Índice de contenidos
1. La importancia de la evaluación .......................................................... 2
2. Primeros pasos: evaluación de necesidades ...................................... 2
3. Diseño y metodología .......................................................................... 4
3.1 La teoría del cambio (TC) ............................................................................. 5
3.2 Los ‘Randomized controlled trials’ (RCT) ................................................... 11
4. Implementación ................................................................................. 14
4.1 Coordinación y organización ..................................................................... 14
4.2 Establecimiento de protocolos de implementación ................................... 14
4.3 Problemas durante la implementación ....................................................... 17
5. Evaluación ......................................................................................... 19
5.1 Procesos .................................................................................................... 19
5.2 Resultados e impacto................................................................................. 20
6. Revisión de la evaluación y puntos de mejora .................................. 21
7. Escalabilidad ..................................................................................... 24
8. Conclusiones .................................................................................... 25

1
 1. La importancia de la evaluación
Ante la apremiante necesidad de implementar intervenciones que protejan y
promuevan el bienestar social, tanto el sector público como el privado y las
entidades del tercer sector se enfrentan a un notable desafío. Más allá de
identificar las problemáticas sociales a abordar, el reto radica en discernir qué
políticas o programas pueden resultar más eficaces y eficientes en sus objetivos.
Dada la escasez de recursos, contar con información sobre el coste-beneficio de
las diferentes opciones es esencial. A este fin, el papel de la evaluación como
instrumento de decisión se sitúa en el centro.

La utilidad de la evaluación se extiende a todas las fases, desde la ideación y

puesta en marcha, pasando por el acompañamiento a la hora de la
implementación y, finalmente, el impacto. Esta perspectiva integral busca
enriquecer la gestión interna, facilitar la toma de decisiones informadas y
fomentar un diálogo constructivo sobre posibles mejoras.

Es esencial comprender que el proceso de evaluación no es estático, sino

fundamentalmente dinámico. Este proceso acompaña a la intervención y se
extiende una vez finaliza. Asimismo, la evaluación proporciona mecanismos de
control administrativo, de legalidad y financieros, aumentando la transparencia e
impulsando la rendición de cuentas.

El presente manual tiene como objetivo proporcionar claves prácticas para

una evaluación más efectiva, yendo más allá de un enfoque meramente
descriptivo. En este sentido, se enfatizará la importancia de la planificación, el
diseño y la implementación fundamentada de políticas o programas. Además, se
abordarán dos tipos de evaluación posibles y adecuadas. Asimismo, se
destacarán los beneficios asociados a una revisión continua y una mejora
iterativa de los procesos, con la intención de garantizar una mayor eficacia y
relevancia de las intervenciones en un entorno cambiante.

2. Primeros pasos: evaluación de necesidades

En la teoría, sin una problemática social correctamente identificada y demarcada,
no es adecuado emprender un proceso evaluativo. Sin embargo, en la realidad,
frecuentemente esta primera fase no se lleva a cabo por diversos motivos:

1. El diseño o la implementación de la política o programa se ha

iniciado en base a la intuición, sin realizar un análisis exhaustivo de la
situación inicial. Aunque en ocasiones la experiencia previa puede ser una

2
 fuente de conocimiento muy relevante, las soluciones que funcionaron
anteriormente no tienen por qué ser las adecuadas en la actualidad.

2. El análisis previo no es riguroso. Rara vez un problema de índole social

tiene una única causa, a pesar de que, a veces, ésta parece manifiesta y
evidente. Un análisis previo que confunda verdades aparentes con datos
probados puede conllevar resultados muy alejados de los esperados.
3. El análisis inicial puede estar influenciado por sesgos de
identificación o ideológicos. Hasta cierto punto, la realidad se construye
a través de los prejuicios e ideas preconcebidas de la persona que la
observa. Por ello, el papel de una evaluación de necesidades previa
basada en información contrastada y lo más cercana posible a la
objetividad es crucial.

Esta falta de evaluación inicial puede resultar en la imposibilidad posterior de

realizar una evaluación de impacto adecuada y/o en un diseño deficiente de la
política o programa. Las buenas intenciones pueden acarrear malos resultados
si no se acompañan de una buena planificación.

Para evitar este riesgo, en la evaluación de necesidades cualquier

administración pública, entidad del tercer sector o empresa privada debe
responder a tres preguntas:

1. Identificación del problema: ¿cuál es el problema a enfrentar?

La existencia de un problema y su magnitud deben estar fundamentados
en un análisis cuantitativo y cualitativo exhaustivo. El evaluador puede
servirse tanto de datos ya disponibles como de nueva información
recopilada para este fin. Las encuestas y/o entrevistas ex profeso pueden
aportar datos no observables en otras circunstancias. Las fuentes de
datos a las que recurrir pueden ser internas –aquellas recogidas por la
propia entidad evaluadora– o externas –estadísticas oficiales (Instituto
Nacional de Estadística, Banco de España, Banco Mundial, Eurostat, etc.)
o registros administrativos (Servicios Públicos De Empleo, Seguridad
Social, Ministerio de Sanidad, Educación, etc.)–.
En España, la cultura del dato no está plenamente arraigada en las
organizaciones. Si bien la cantidad de información recogida por las
diversas administraciones u entidades es abundante y potencialmente
muy valiosa, su uso práctico es más limitado. Los sistemas de registro
suelen estar orientados hacia la gestión interna, careciendo en muchos
casos de protocolos estandarizados y homogéneos que permitan su
aprovechamiento para fines evaluativos. A este respecto, en esta primera
fase de la evaluación es prioritario medir la calidad de los datos y sistemas

3
 de registro disponibles. De este paso podría depender la viabilidad de la
evaluación en fases posteriores.

2. Identificación de la población objetivo: ¿a quién afecta este problema?

Tras la identificación del problema, el siguiente paso estriba en la
población a quien afecta. Para ello, se debe llevar a cabo un perfilado que
reseñe los diferentes colectivos afectados. Analizar las características
demográficas, socioeconómicas y otras particularidades de los distintos
colectivos permite diseñar estrategias más efectivas y adaptadas a las
necesidades específicas de cada grupo. De esta manera, se maximizan
la probabilidad de éxito y el impacto positivo de la intervención en
cuestión.

3. Análisis del contexto: ¿en qué contexto se pretende implementar

determinada política o programa?
El “qué” y el “quién” son centrales, pero sin una visión de conjunto la
intervención podría resultar desencaminada o insuficiente. En este tercer
paso se trata de examinar el contexto en que se implementará la política
o programa, incorporando este conocimiento al diseño e implementación.
En lo que se refiere al contexto interno, se debe establecer el foco en la
capacidad propia de la entidad interventora: ¿se cuenta con los recursos
humanos y físicos necesarios para llevar la implementación y evaluación
a buen puerto? Muchas veces, el sistema de gobernanza y asignación de
recursos suele quedar en segundo plano, si bien su buena organización
es el pilar sobre el que se desarrollará la intervención.
En lo relativo al contexto externo, ninguna intervención se pone en marcha
en un entorno cerrado, impermeable o hermético. La situación social,
económica y política general puede entrañar diversos riesgos en las
distintas fases del proyecto. Así, un estudio robusto de las condiciones a
medio plazo en que transcurrirá la intervención puede visibilizar y anticipar
obstáculos futuros, permitiendo establecer medidas para mitigar estas
contingencias.

3. Diseño y metodología
Una vez identificadas las necesidades y los objetivos, se establece una base
sólida para intervenir y evaluar. No obstante, tras resolver la cuestión de qué
evaluar, surge la pregunta acerca de cuál es el método más adecuado para

4
hacerlo. Para ello, es necesario discutir, en primer lugar, la forma teórica de la
intervención y, en segundo lugar, cómo trasladar el planteamiento a la ejecución.

La evidencia previa sobre programas con objetivos similares puede ser un buen
punto de partida, ya que permite identificar casos en los que intervenciones
anteriores fallaron. Sin embargo, siempre debe considerarse que diferencias
mínimas en el contexto pueden conllevar necesidades completamente distintas.
Ninguna intervención tiene por qué ser idéntica a la anterior ni asemejarse
necesariamente a las siguientes. En definitiva, se trata de alcanzar una
conceptualización de la intervención que aborde con precisión la problemática
existente y se nutra del conocimiento generado por aquellos que enfrentaron
retos similares en el pasado.

Cualquier esquema de conceptualización requiere en una segunda etapa de una

metodología concreta, probada y bien fundada. Es en este punto donde la
metodología de la teoría del cambio (TC) y la metodología de ensayo controlado
aleatorizado –“randomized controlled trial” (RCT) por sus siglas en inglés–
resultan fundamentales.

3.1 La teoría del cambio (TC)

La teoría del cambio es una metodología de planificación ampliamente utilizada

en ciencias sociales, que desarrolla una cadena causal entre las necesidades
identificadas, los recursos a utilizar, las actividades planteadas y los resultados
intermedios y finales a alcanzar de la política o programa. En otras palabras, es
la herramienta que guía el diseño y la planificación de la intervención en cada
una de las fases, así como en la medición del impacto que tienen para alcanzar
el objetivo final establecido. Además, ayuda a la formulación de las hipótesis y a
identificar desde el inicio de la intervención los indicadores que medirán
posteriormente el impacto en cada una de las fases.

La figura 1 muestra de forma sencilla un ejemplo de cadena causal entre una

intervención teórica y los resultados finales.

5
Figura 1: cadena causal entre fases de intervención y fases de evaluación

Dado que aporta una visión de conjunto y, simultáneamente, pormenorizada, la

teoría del cambio permite identificar con antelación (i) si la cadena lógica tiene
problemas de coherencia globales que vayan a impedir la consecución de los
objetivos previstos y (ii) si existen otros riesgos internos o externos en cada una
de las fases (diseño, implementación, evaluación). Esta identificación otorga al
evaluador la posibilidad de establecer medidas preventivas y correctivas para
aumentar la probabilidad de éxito.

Se ofrece a continuación un ejemplo práctico sobre la aplicación de la teoría

del cambio. En concreto, este se refiere al empleado por Cruz Roja Española
(CRE) dentro del programa de “Itinerarios de inclusión activa para personas
perceptoras del Ingreso Mínimo Vital o Rentas Mínimas Autonómicas”. Se
presenta un diagrama completo en la Figura 2.

El primer eslabón de la cadena de la Teoría del Cambio muestra tanto las

necesidades o problemas existentes como los posibles factores que contribuyen
a esta cuestión. La definición de necesidades se debe realizarse en un paso
previo, tal y como se explicaba en el apartado inicial. En el programa de CRE
mencionado, se había identificado que el colectivo de perceptores del Ingreso
Mínimo Vital (IMV) o Rentas Mínimas Autonómicas (RM) presentaba baja
empleabilidad y autonomía personal. Adicionalmente, se concluyó que periodos
prolongados bajo sistemas de protección social aumentaban su dificultad para la
inclusión. Ante esta problemática probada y socialmente relevante, se justifica la
necesidad de intervenir con el objetivo de mejorar su inclusión a través del
empleo y fomentar su autonomía personal. En suma, esta primera fase identificó
los dos objetivos primordiales alrededor de los cuales se construiría y evaluaría
la intervención.

La teoría del cambio requiere después una serie de eslabones intermedios que
enlacen las necesidades detectadas con los objetivos finales, es decir, un diseño
de resultados intermedios adecuados que permita alcanzar las metas
buscadas. En resumen, se trata de aplicar una estrategia retrospectiva,

6
buscando inicialmente las magnitudes sobre las que se desea intervenir y
definiendo posteriormente las herramientas concretas con las que se llevará a
cabo la implementación.

En el ejemplo relativo a CRE se concluyó que el resultado final de incremento de

la autonomía personal no sería factible sin la mejora intermedia de cuatro
magnitudes: (i) la capacidad de resiliencia, (ii) el conocimiento de los recursos
del entorno, (iii) las competencias básicas y digitales y (iv) la información
disponible sobre el mercado laboral y las herramientas de búsqueda de empleo.
Esta identificación ex ante de los hitos intermedios pudo haber facilitado la
consecución de los objetivos últimos, estableciendo una cadena lógica más
realista y práctica.

Figura 2: teoría del cambio del programa de “Itinerarios de inclusión activa para
personas perceptoras de Ingreso Mínimo Vital o Rentas Mínimas Autonómicas”

7
En este punto, la revisión de buenas prácticas en relación con posibles
acciones pasadas o presentes para resolver problemas similares resulta de gran
utilidad. La evidencia recopilada no debe centrarse únicamente en acciones
exitosas, sino también en aquellas que no han alcanzado los objetivos
esperados. Las primeras proporcionan información sobre caminos exitosos a
seguir, mientras que las segundas ofrecen orientación sobre decisiones que es
recomendable evitar.

Por ejemplo, numerosos estudios muestran que, para el fortalecimiento de la

capacidad de resiliencia, el apoyo psicosocial y emocional tiene un efecto
positivo en los participantes de programas de orientación y formación laboral.
Por tanto, este es uno de los productos (tercer eslabón) a considerar entre las
herramientas intermedias en la cadena causal. En el caso concreto de CRE, este
producto se articuló a través de acciones de apoyo psicosocial a las personas
participantes, así como mediante la creación de espacios de encuentro donde
compartir experiencias y ofrecer ayuda mutua. Estas actividades se incorporaron
por consiguiente al plan de acción, que se concreta en el segundo eslabón de
la cadena causal y define los pasos específicos a tomar. Este punto es de vital
importancia, puesto que fija las diferentes fases de la intervención, así como las
actividades específicas para alcanzar los resultados intermedios fijados. Como
se observa en la Figura 2, este proceso se debe desarrollar para cada uno de
los productos que van a tener repercusión sobre los resultados intermedios.

Finalmente, una vez establecidos el plan de acción y la cadena causal, se debe

atender a los potenciales riesgos y barreras encontrados durante la
implementación. Tener planes de contingencia con alternativas viables puede
posibilitar la supervivencia de la política o programa en cuestión, así como su
posterior evaluación. En el ejemplo concreto aquí presentado, la teoría del
cambio se diseñó asumiendo que las personas participantes tendrían interés en
mejorar su situación, así como tiempo y recursos para participar en el programa.
Sin embargo, si esta asunción no se correspondiera con la realidad, el programa
podría fracasar. Para proteger la implementación de esta eventualidad, la teoría
del cambio contó desde un primer momento con este posible obstáculo,
incluyendo medidas para garantizar una participación efectiva suficiente. Si bien
la eliminación completa de los riesgos no es viable, la consideración de las
barreras más habituales y determinantes permite reducir el riesgo hasta una
dimensión manejable.

Más allá del plan de acción, los productos y los hitos intermedios, la teoría del
cambio debe incluir una definición rigurosa de los indicadores que serán
cruciales para medir el impacto del programa en última instancia. Esta definición
se realizará una vez formuladas las hipótesis iniciales y durante la fase de
concepción del plan de preanálisis.

8
Los indicadores deben cumplir dos principios fundamentales: validez y fiabilidad.
En otras palabras, los indicadores deben medir lo que se pretende y, además,
hacerlo de manera precisa. Esta etapa de diseño contempla cómo medir las
magnitudes de referencia, con qué frecuencia y mediante qué instrumentos.
Entre estos últimos cabe destacar:

• Encuestas: presenciales, telefónicas, en línea, autoadministradas, etc.

• Entrevistas: estructuradas, semiestructuradas, no estructuradas.
• Grupos focales.
• Experimentos o cuasi-experimentos.

La decisión sobre la batería de indicadores a recoger debe tener en cuenta la

estructura de los mismos. Si bien disponer de más información es habitualmente
mejor que contar con datos insuficientes, la abundancia de información no
estructurada no es sinónimo de mejores indicadores. Por ejemplo, si se opta por
la utilización de cuestionarios, el número de preguntas debe ser el mínimo para
medir lo requerido: si se quiere medir el tamaño del hogar de la persona
participante, bastará con preguntas tales como ¿cuántas personas viven en su
hogar? y/o ¿cuántos adultos viven en su hogar? y ¿Cuántos menores viven en
su hogar? Incluir preguntas adicionales sobre la edad o género de los
convivientes puede tener un interés marginal, así como un coste elevado en
tiempo de realización de la encuesta. Si esta información no es vital para la
medición de la política, entonces debe primar la sencillez.

Los efectos de una exposición de los participantes a cuestionarios

excesivamente amplios se han probado en múltiples ocasiones:

• Fatiga: puede provocar una reducción del interés, culminando en

respuestas incompletas o incorrectas.
• Abandono: puede poner en peligro la representatividad de las personas
participantes si determinado colectivo decide no continuar con el
cuestionario.
• Coste de implementación: recoger información abundante de forma
periódica puede conllevar gastos recurrentes y potencialmente elevados.

Al margen de las anteriores consideraciones, se debe tener asimismo en cuenta

el tipo de población al que se dirige la encuesta, entrevista o experimento. Si bien
en general se debe emplear un lenguaje y estructura claros y sencillos, podrían
requerirse ajustes para adaptar el contenido y asegurar un entendimiento
adecuado por parte de las personas participantes. Es importante poner énfasis
en ello: las personas participantes no tienen por qué estar familiarizadas con los

9
conceptos profesionales que se usan durante la implementación de políticas o
programas.

A la inversa, la utilización de un número insuficiente de instrumentos –o

instrumentos fragmentarios– puede poner en peligro la evaluación posterior, una
vez que no es posible hacer una recopilación adicional de datos relevantes. Es
así preferible planificar un conjunto cerrado y bien definido de indicadores, y
asegurar que la información podrá recogerse adecuadamente, tal y como se
muestra en la Figura 3. De este modo, la amplitud debe ser la justa y necesaria
para poder crear los indicadores de interés, razonada y coherente.

En conclusión, a ser posible, todos los instrumentos que se van a utilizar

deberían estar validados por investigaciones previas, asegurando de esta
manera la obtención de indicadores apropiados.1

Figura 3: cadena de diseño de indicadores e instrumentos

En definitiva, la teoría del cambio obliga a pensar de forma crítica el porqué de

la intervención, sobre quién debe ejecutarse, cómo implementarla de forma
efectiva y cuándo intervenir. Una teoría adecuadamente planificada no es

1 El tipo de consideraciones a la hora de elegir el/los instrumento/s adecuado/s, así como el diseño e
implementación de este/os son muy amplias y variadas. Aquí solo hemos destacado uno a modo de
ejemplo.

10
condición suficiente para una intervención exitosa, pero sí resulta del todo
necesaria. En paralelo, esta metodología da un peso notable a la medición de
cada paso a tomar, estableciendo compromisos de recopilación de datos a la
altura de una evaluación rigurosa.

3.2 Los ‘Randomized controlled trials’ (RCT)

La evaluación de necesidades inicial establece el rumbo adecuado, de tal modo

que una intervención no choque de frente con una realidad generalmente
porfiada. Por su parte, la medición intermedia a través de indicadores delimita el
camino por el que una implementación debe transitar, dados unos objetivos
finales. Ambas etapas son cruciales, si bien no suficientes para una evaluación
completa.

La implementación de una política o programa tiene siempre un fin último: se

interviene para eliminar o reducir una problemática social relevante. La
aportación de la medición de cuestiones prácticas intermedias sería exigua si
finalmente no se investigara el impacto de la política. De esta manera, la
evaluación de impacto en una última fase constituye la prueba definitiva sobre
la idoneidad o efectividad de cualquier intervención.

Como cada fase en el proceso, este tipo de evaluación cuenta con abundantes
metodologías propias. En general, éstas tratan de asegurar que los resultados
observados dependen causalmente de la intervención, desestimando otros
potenciales factores que pudieran influenciarlos. Dado el infinito abanico de
dimensiones que pueden generar problemas de medición del impacto, se deben
seleccionar estrategias académicamente demostradas y de amplio uso, como
los Randomized controlled trials (RCT) previamente mencionados.

Brevemente, esta metodología asigna de forma aleatoria a las personas

participantes en (al menos) dos grupos: el grupo de tratamiento y el grupo de
control (o varios grupos de tratamiento y uno de control). Tal y como se
desprende de la Figura 4, el grupo de tratamiento recibe la intervención
(programa, política o información), mientras que el grupo de control no se
beneficiará de la misma o no al menos en el momento de la evaluación (puede
hacerlo en un futuro, en un segundo piloto o edición si se demuestran resultados
suficientemente robustos y positivos). La asignación aleatoria a los grupos
garantiza que su composición sea homogénea y no haya un grupo con unas
características muy diferentes al otro (ya que esto podría falsear los resultados
finales). En resumen, esta metodología permite reducir el sesgo de selección.

11
 Figura 2: diagrama de selección con metodología RCT

Se plantea a continuación un ejemplo hipotético para una mejor comprensión.

Se trata de un programa de apoyo para el aprendizaje en la redacción de
currículums y preparación de entrevistas de trabajo. El objetivo último es que un
colectivo especialmente afectado por la exclusión social, como los
desempleados de larga duración (en adelante, DLD), puedan reinsertarse
socialmente a través de un empleo digno.

Se ofrece el programa a personas DLD que hayan participado en otros

programas de CRE, de todos los perfiles y características. Algunas personas se
apuntan voluntariamente, mientras otras no están interesadas. Dado el interés
de la población objetivo se podría pensar en seguir adelante con el programa, y
comparar finalmente los resultados de inserción laboral de los participantes
respecto a aquellos que no decidieron formar parte del programa. No obstante,
este método generaría un resultado probablemente sesgado. Es altamente
probable que las personas que se apuntaron voluntariamente difieran en algunos
aspectos respecto a aquellas que no lo hicieron: podrían tener mayor interés,
una actitud más abierta o, en general, ser más activas en la búsqueda de empleo.
A la inversa, las personas que no participaron podrían sentirse más excluidas del
mercado laboral por su falta de formación u otros problemas psicológicos
derivados de la situación prologada en desempleo.

Es de esperar que exista una brecha en los resultados de inserción laboral del
grupo tratado respecto al no tratado: los primeros probablemente obtendrán más
empleos, o al menos realizarán más entrevistas, mientras los segundos seguirán
esperablemente con los mismos problemas que tenían inicialmente. Dadas las
diferentes características entre el grupo de personas que se apuntaron a recibir

12
la intervención (más motivadas y activas) y las que no, lo más posible es que
esta brecha en el resultado se hubiera observado incluso en ausencia del
programa. Así, cualquier estimación en base a esta brecha no estaría midiendo
el impacto del programa, sino que lo sobreestimaría, pudiendo llevar a
conclusiones erróneas.

Para salvar este problema, la metodología del RCT asigna aleatoriamente a las
personas en los grupos de tratamiento (reciben la intervención) y control (no la
reciben). Es decir, una vez se obtiene un grupo de personas potencialmente
interesadas, se divide a estos en dos grupos: unos participarán, otros no. Más
allá de potenciales problemas de índole ética2, esta asignación aleatoria permite
identificar el efecto que el programa pueda tener aislándolo así del de otras
variables no observables, como la actitud, motivación o habilidades de las
personas. Así, con personas de características similares en ambos grupos, si se
observa una mejora de la inserción, se puede asumir de forma robusta que ésta
es debida al programa, ya que en ambos grupos había personas con diferentes
niveles de motivación o actitudes.

Por último, esta metodología de asignación es compatible con multitud de

métodos de evaluación de impacto posteriores, que dependerán de las
características del programa, los datos disponibles y las magnitudes a evaluar.
Si bien no es un garante de que una evaluación concreta arroje resultados
significativos (por otros motivos), el uso de instrumentos como este garantiza, al
menos, que el planteamiento de la evaluación se ajusta a los requisitos mínimos
de la investigación social.

No debemos olvidar que, si realmente queremos averiguar cuáles son los

mecanismos que han causado el cambio, no será suficiente con utilizar la
metodología de RCT; esta metodología es necesaria, pero no suficiente. Para
profundizar en las causas del efecto, es imprescindible que el diseño del
programa sea claro y preciso. Por ejemplo, de nada servirá haber realizado una
buena aleatorización de los participantes si en el diseño del programa se ha
considerado más de una acción para cada resultado a alcanzar. Por ejemplo, es
fundamental proporcionar al grupo de tratamiento una sola intervención. Si
proporcionamos varias intervenciones simultáneamente, no podremos discernir
cuál de ellas funciona y cuál no, o si el resultado final es producto de la

2 Puede argumentarse, por ejemplo, que la exclusión de determinadas personas de programas o políticas
no es aceptable. De mismo modo, si los resultados no son beneficiosos, sino que perjudican la situación de
las personas participantes, podría considerarse este desenlace como injusto o inaceptable. Tratándose de
un debate de múltiples aristas y que, probablemente, nunca se concluirá satisfactoriamente, un enfoque
social de la investigación debe tener en cuenta implicaciones éticas de esta índole, garantizando, siempre
que sea posible, que ningún colectivo sea perjudicado respecto a su situación inicial. De este modo, la
participación de un grupo reducido en determinado programa piloto podría favorecer a la sociedad en su
conjunto, si se alcanzan resultados positivos y estos son escalables.

13
combinación de ambas intervenciones o únicamente de una de ellas. Por tanto,
un buen diseño, guiado por una cadena de actuación basada en la Teoría del
Cambio y el uso de la metodología de RCT, nos ayudará a aproximarnos a un
diseño teórico óptimo del programa o política.

4. Implementación

4.1 Coordinación y organización

Una vez diseñada la Teoría del Cambio que guiará todo el proceso de evaluación,
se debe reparar en la implementación de las distintas fases. Una vez listo el
esquema teórico, se trata de llevarlo a la práctica. Para ello, es esencial contar
con una organización y coordinación eficaces durante todo el proceso. En este
documento se detallan algunos de los puntos clave para asegurar una
implementación exitosa.
4.2 Establecimiento de protocolos de implementación

La implementación no puede quedar en manos de la aleatoriedad. Al contrario,

la creación de protocolos de implementación –y su codificación por escrito– es
fundamental para garantizar la homogeneidad y consistencia en el proceso.
Estos deben incluir:

1. Planificación de Actividades: un plan coherente, completo y detallado.

Entre los aspectos a tener en cuenta están:

a. Listado de actividades: se deben especificar todas las actividades

necesarias para la implementación, desde la etapa de diseño hasta
el análisis de impacto, con especial énfasis en las etapas
intermedias.
b. Calendario de ejecución de actividades: un compromiso claro y
vinculante en cuanto al tiempo a emplear es sinónimo de
efectividad. Establecer calendarios que definan las fechas clave y
permitan una sincronización efectiva del equipo es la mejor
herramienta a este respecto.
c. Asignación de personal: los recursos humanos tienen que ser los
adecuados para las tareas definidas, con el conocimiento suficiente
de los métodos a emplear, tiempo para aplicarlos y el nivel de
responsabilidad apropiada para la toma de decisiones efectiva.
d. Recursos disponibles: la intervención y posterior evaluación deben
verse como una inversión social con un potencial de rendimiento
elevado. Para tener éxito, se deben asignar los recursos

14
 necesarios (financieros, materiales, etc.) y tener la capacidad de
desplazarlos de unas tareas a otras si cambian las necesidades.
e. Asignación de responsabilidades: definir claramente las
responsabilidades de cada uno de los actores involucrados. Por
ejemplo, designar a personas específicas para gestionar la
comunicación entre los distintos niveles de la organización y los
agentes externos. Esto asegura que la información fluya
adecuadamente y sea compartida por todos.

2. Métodos de transmisión e intercambio de información: en línea con el

punto anterior, es importante definir claramente cómo se comunicará la
información entre las partes involucradas. La intervención social y la
evaluación de políticas o programas se nutren principalmente de un flujo
de información ininterrumpido y sin bloqueos. La toma de decisiones
dinámica debe contar en todo momento con información actualizada y
convergente con la realidad.

3. Métodos de recogida y gestión de datos: si las líneas de intercambio

de información son los caminos a utilizar, los datos son el recurso que se
extrae y que por ellos se transporta. Establecer procedimientos
estandarizados para la recopilación y almacenamiento de datos se
muestra habitualmente como un reto. Inercias previas, necesidades de
gestión internas o dificultades prácticas en la recogida de información
pueden generar bases de datos de escaso uso en la evaluación. Por ello
es necesario hacer especial hincapié en este punto: los datos no deben
ser un recurso más en el proceso, sino el pilar alrededor del cual se
construyan las líneas de información. Estos datos no sólo son cruciales
por su valor intrínseco, sino por su capacidad para responder a la
pregunta sobre la idoneidad de la política o programa en cuestión.

Además del establecimiento de protocolos de actuación, es de utilidad –y

necesidad– ofrecer una formación inicial a todos los agentes participantes.
Este periodo de aprendizaje común asegura que todos los agentes involucrados
comprendan su papel y puedan realizar su labor con alta calidad. Asimismo,
puede evitar errores de comunicación o de competencias en etapas posteriores.
Esta formación debe incluir:

1. Aspectos básicos del proceso de implementación: instrucciones

generales sobre los objetivos, el proceso a seguir, los diferentes pasos
intermedios, competencias y responsabilidades.

15
 2. Aspectos específicos de la intervención: detalles concretos sobre la
metodología a utilizar, especialmente si se emplea una metodología de
evaluación de impacto aleatorizada como el RCT. Se trata de
metodologías que pueden suponer un reto si se desconocen sus
principales fundamentos, por lo que una comunicación adecuada sobre
los puntos a tener en cuenta es necesaria.

En relación con este último aspecto, en caso de utilizar una metodología RCT
cada miembro del equipo debe entender desde el momento inicial:

a) Especificidades de la metodología RCT: qué es y cómo funciona esta

herramienta, con intención de identificar las diferencias con la
metodología habitualmente utilizada por la organización. Si bien no es un
método excesivamente complejo, se basa en algunos supuestos que se
deben mantener para garantizar la robustez de los resultados. Cualquier
confusión intrascendente puede llevar a divergencias trascendentes en la
implementación y dificultades en la evaluación.

b) Aspectos clave de la metodología: qué información se puede

proporcionar a los grupos de tratamiento y control, y cuál no para
garantizar la asignación aleatoria. Asimismo, se debe poner el acento en
la necesidad de mantener el diseño inicial sin cambios unilaterales. El
tiempo invertido en un diseño adecuado podría perder su relevancia si se
toman decisiones repentinas sobre asuntos fundamentales en base a
información incompleta o incorrecta.

c) La importancia de una buena recogida de datos: en ocasiones hay

datos disponibles, pero estos no se recogen de forma adecuada, o no se
pueden emplear para una evaluación posterior. Entender la metodología
y protocolos a seguir puede ser un buen precedente para institucionalizar
determinadas prácticas de recogida y buen uso del dato.

d) Gestión de eventualidades y ajustes: las eventualidades no se pueden

suprimir totalmente, pero sí pueden existir planes de contingencia ante
estos riesgos. Serán necesarios ajustes a lo largo del proyecto, pero estos
deben estar bien justificados y aprobados por las partes involucradas. Es
importante que estos ajustes no comprometan la validez de la evaluación
causal.

En conclusión, la implementación de la Teoría del Cambio y de la metodología

RCT requieren de una planificación meticulosa, una organización clara y una
comunicación efectiva. A través de estos pasos, se puede garantizar que el

16
proceso se lleve a cabo de manera coherente, permitiendo una evaluación
precisa y fiable.

4.3 Problemas durante la implementación

Como en cualquier intervención práctica, desde el inicio hasta el final del proceso
de implementación pueden aparecer problemas o retos que comprometan la
evaluación. Si bien algunos de estos contratiempos se mencionaron
anteriormente, en el presente apartado se profundizará en su naturaleza y
potenciales soluciones.

Deserción o desgaste: en programas o políticas que requieran un alto nivel de

compromiso, es altamente probable que algunos participantes lo abandonen en
etapas tempranas. Este inconveniente puede complicar la evaluación, si la
recopilación de información no ha podido ser concluida. Cualquier intervención
asume que se puede reducir la muestra, si bien esta dinámica puede descarrilar
el proyecto si genera los siguientes efectos:

• Reducción tamaño muestral: siempre debe existir un número mínimo de

observaciones para poder realizar un análisis riguroso. Si la participación
se reduce considerablemente, las conclusiones alcanzadas mediante el
estudio podrían ser anecdóticas, casuales y poco robustas.

• Descompensación de la muestra: aunque no se reduzca de forma

notable la participación, si aquellas que permanecen en el programa
tienen características especiales (es decir, si se diferencian en sus
características de aquellas que abandonan el proyecto), se puede generar
una descompensación entre los grupos de tratamiento y control. Este
problema resulta en un sesgo de autoselección, que puede invalidar los
resultados finales de la intervención.

Para poder reducir los efectos del desgaste o la deserción de los participantes
es crucial disponer de una planificación y financiación estables y completos a lo
largo del proceso. Llegado el caso, podría requerirse un esfuerzo financiero
extraordinario para incrementar el seguimiento de las personas participantes, así
como una reevaluación de los criterios que garanticen una evaluación robusta.

Cambios de comportamiento: tanto en los protocolos como en la formación es

necesario tener en cuenta los efectos derivados de la propia evaluación, es decir,
cambios en el comportamiento de los propios participantes por el mero hecho de
estar siendo evaluados. Tanto los cambios entre participantes como entre
personas excluidas del programa pueden alterar los resultados de la evaluación.
En suma, cualquier variación podría interferir en la medición de los efectos de la
intervención, generando un impacto positivo cuando no lo hay o contrarrestando

17
el efecto beneficioso de la misma. Se refieren, a continuación, dos de los
principales puntos a considerar:

• Efecto demanda (grupo de tratamiento): en investigación social se

encuentra con cierta frecuencia que los participantes tienden a
comportarse de determinada forma o aportar una determinada
información porque perciben que es lo que el evaluador espera de ellos.
Sin embargo, este comportamiento puede no estar reflejando la conducta
habitual de la persona en cuestión.

• Efecto de resentimiento o desmoralización (grupo de control): a

diferencia de la anterior cuestión, esta afecta a las personas que fueron
excluidas de la participación. Esta decisión puede provocar
incomprensión y desmotivación, con el consiguiente cambio en su
comportamiento habitual. De este modo, este efecto podría aumentar las
diferencias en los indicadores de interés que se obtienen de la
comparación entre participantes y no participantes. Lejos de un impacto
significativo de la política, el resultado apuntaría así a cambios
conductuales no relacionados con la misma.

Los efectos anteriores podrían abordarse mediante las siguientes salvaguardas:

• Encuestadores especializados para la recolección de datos: la

minimización del efecto demanda puede asegurarse mediante la
profesionalización de la encuestación. En lo posible, las personas
implicadas en la intervención no deben realizar asimismo la recopilación
de información, por los potenciales sesgos emocionales entre
participantes y evaluadores. La inclusión de terceras partes no
involucradas en la implementación establece una barrera entre ambos.

• Desconocimiento completo sobre el grupo asignado: los niveles

iniciales de las variables de control no tendrían que verse alteradas,
siempre y cuando las personas involucradas desconozcan a qué grupo
pertenecen. No obstante, este velo de la ignorancia es habitualmente
inviable, por tratarse de intervenciones transparentes con contrapartidas
claras. Para salvar este obstáculo, se puede reparar en la siguiente
opción.

• Alternativas no influyentes: el efecto desmoralizador se puede suavizar

si se ofrecen otras opciones que, simultáneamente, no afecten a los
resultados de la intervención principal y garanticen un compromiso
mínimo por parte del grupo de control. De este modo, los no participantes

18
 podrían tener incentivos a mantener su estado, dado que disponen de
beneficios tangibles.

5. Evaluación
Con una buena planificación, los objetivos claros y una implementación que siga
los pasos definidos, la existencia de una evaluación metodológicamente rigurosa
y de calidad debería estar garantizada. Sin embargo, la complejidad que supone
realizar una evaluación integral puede suponer un reto adicional. Para sortear
esta situación, se expone a continuación un esquema intuitivo sobre los pasos a
seguir durante esta etapa.

Por evaluación integral se denomina comúnmente al procedimiento de

diagnóstico en cada una de las fases de un programa o política, desde el diseño
–evaluación de necesidad o de contexto, explicada en el apartado inicial–,
pasando por la propia implementación –evaluación de procesos e indicadores–
hasta los resultados finales, incluyendo la evaluación de impacto. Si bien cada
fase requiere metodologías propias y puede entrañar problemáticas diversas,
una planificación adecuada mejorará la probabilidad de éxito de la evaluación.

El principal recurso a utilizar durante estos procesos serán los datos. Dada su
relevancia, es así condición sine qua non para una evaluación robusta la
disponibilidad de información suficiente, fiable, homogénea y detallada a lo largo
de la intervención, de ahí el especial énfasis mostrado previamente en este
punto. La estrategia de recopilación de datos debe estar establecida desde un
primer momento, sin espacio para la improvisación o el descuido. En definitiva,
sólo mediante buenos datos se pueden llevar a cabo evaluaciones aceptables.

La evaluación ex ante, que comprende un diagnóstico previo sobre la situación

inicial, el contexto, la pertinencia del programa o política y su complementariedad
con otras medidas, se introdujo previamente en la exposición sobre la evaluación
de necesidades. Por ello, huelga entrar de nuevo en este punto, centrándose en
su defecto la siguiente explicación en la evaluación ex dure (intermedia) y ex
post.

5.1 Procesos

Con objetivos finales y metas intermedias firmemente establecidos, recursos

asignados y un plan desarrollado, la fase de implementación del programa o
política supone la prueba definitiva sobre su potencial éxito. Teniendo en
consideración las dificultades que pueden surgir durante un proceso de
implementación, un sistema de indicadores fiable resulta un instrumento idóneo
para el seguimiento y toma de decisiones dinámica.

19
Los indicadores pueden incluir desde la cobertura progresiva de determinados
colectivos (que identifiquen si la cobertura está siendo la suficiente para
garantizar los objetivos fijados) hasta los hitos de ejecución presupuestaria.
Asimismo, habitualmente se incluyen indicadores que traten de identificar a
tiempo si los recursos asignados son suficientes para alcanzar las metas. En
este sentido, una mala atribución de fondos o personas que no sea detectada a
tiempo puede hacer fracasar una intervención perfectamente válida. En suma,
un sistema integral de indicadores debe seguir una metodología estable
durante la implementación, que permita la comparabilidad de los datos y su
mejora continua.

Más allá de su carácter supervisor, los indicadores son importantes para tomar
decisiones informadas y basadas en la realidad dinámica. Así, por ejemplo,
podrían mostrar que un colectivo determinado está abandonando el programa
en mayor medida, que faltan recursos informáticos en un ámbito concreto, que
no se están recogiendo datos adecuados sobre inserción laboral o que alguna
meta intermedia no será presumiblemente alcanzada a tiempo.

En resumen, la evaluación de procesos se fundamenta en la existencia de un

sistema de indicadores en el que poder confiar las decisiones intermedias,
obtener aprendizajes valiosos y corregir de forma temprana deficiencias en el
diseño. La homogeneidad en este sistema permite asimismo la comparabilidad
entre ediciones de un mismo programa o entre diferentes medidas.

5.2 Resultados e impacto

Los procesos son importantes, pero detrás de los mismos siempre existe un fin
último. Cualquier programa, intervención o política busca un efecto concreto en
una variable (o variables) medibles y socialmente beneficiosas. Por esta razón,
una evaluación que no tratara de cuantificar el impacto final aportaría información
insuficiente sobre la idoneidad y eficacia de cualquier intervención.

A este fin, en esta última etapa se plantean tanto la evaluación de resultados

como la de impacto. En cuanto a la primera, se trata de una comprobación
detallada sobre el cumplimiento de los objetivos intermedios y finales
planificados originariamente. Si los objetivos de cobertura de determinado
colectivo no se cumplieron, difícilmente se encontrará impacto. Por consiguiente,
antes de entrar en la evaluación de impacto per se, se acostumbra a testar la
eficacia –cobertura adecuada del colectivo objetivo–, eficiencia–con los recursos
utilizados y dentro de unos límites–, equidad, satisfacción y sostenibilidad en el
tiempo del programa o política. Estos indicadores no aportan información
concreta sobre cuán efectiva fue la intervención, pero apuntan con claridad hacia

20
el éxito o naufragio de la misma. Es decir, son indicadores de correlación, pero
no de causalidad.

Para cuantificar de forma precisa el efecto causal de la intervención se introduce

la evaluación de impacto. Esta pretende atribuir resultados específicos a las
acciones emprendidas en el marco de la intervención, medir su magnitud y
calibrar la eficiencia en base a los costes y beneficios. En esta etapa se busca
identificar una relación causal entre acciones y resultados, empleando
metodologías avanzadas (como el RCT explicado previamente) para separar los
efectos debidos a las características de las personas participantes de aquellos
realmente provocados por la intervención.

La evaluación de impacto depende enteramente de la disponibilidad de

bases de datos suficientemente ricas para garantizar la robustez de los
resultados. Aunque se pueden emplear fuentes de información externas de
probada utilidad, es esencial contar con datos específicos sobre las personas
participantes y su evolución a lo largo del tiempo.

Dos de las técnicas más utilizadas en la evaluación de impacto son las

experimentales y las cuasi-experimentales. Dentro de las técnicas
experimentales, la metodología de Ensayos Controlados Aleatorizados (RCT),
es la más destacada. Por otro lado, en el ámbito cuasi-experimental, se emplean
métodos como las microsimulaciones3 y diversas técnicas estadísticas. Entre
estas últimas se encuentran el análisis de emparejamiento, que permite crear un
grupo de control comparable y el análisis de regresión discontinua, entre otras.
Cabe señalar que estas técnicas estadísticas también se utilizan a menudo en
combinación con la metodología RCT.

En este manual, no nos extenderemos en la explicación detallada de cada una

de las técnicas debido a la complejidad de algunas de ellas.

6. Revisión de la evaluación y puntos de mejora

Una vez finalizado el proceso de evaluación, tanto la evaluación de procesos
como la evaluación de impacto llevadas a cabo para un programa dado nos
habrán proporcionado evidencia sobre qué objetivos iniciales se han alcanzado
y cuáles no. De los objetivos alcanzados, también se habrán determinado cuáles
han sido los mecanismos que han llevado a alcanzar dichos resultados y cuál ha
sido el tamaño del efecto. Asimismo, se habrá obtenido información sobre

3
Las microsimulaciones es un método que simula el comportamiento de los individuos bajo
diferentes escenarios, ayudando a analizar qué situación es más apropiada para un objetivo dado.

21
aquellos efectos negativos o nulos. Estos últimos son tan importantes como los
resultados positivos y merecen una debida atención.

Como se ha comentado anteriormente, a lo largo del proceso se habrán

identificado incidencias que en algunos casos se habrán podido resolver durante
alguna de las fases del proceso, mientras que en otros casos habrán quedado
sin resolver. También, se habrán detectado problemas no contemplados a priori,
o aspectos externos que han cambiado el contexto en el que se implementaba
el programa o política, ocasionando que ciertos elementos del diseño inicial no
sean en estos momentos adecuados. Son todos estos aspectos a los que
tenemos que prestarle atención en estos momentos.

Si se quiere avanzar en el conocimiento y alcanzar resultados cada vez más

estables y duraderos, es imprescindible que la evaluación sea dinámica durante
su diseño, implementación y análisis, así como en la fase posterior. Los
diferentes entes responsables del programa deben actualizar, si deciden
continuar con él, la estrategia inicial para poder alcanzar efectos más robustos.
Por tanto, todos aquellos aspectos que la evaluación de procesos nos ha
revelado que hay que modificar, y a lo largo de la intervención no ha sido posible
su adaptación, deben ser tomados en cuenta para futuras ediciones. Estos se
tendrán que incorporar en la fase de diseño o en el apartado de posibles riesgos
a afrontar y prever sus correspondientes medidas para minimizar dichos riesgos.

Figura 5: diagrama de revisión de la evaluación y toma de decisiones dinámica

22
Pero no solo hay que actualizar la estrategia seguida con afán de mejorar los
resultados positivos obtenidos, revertir los efectos negativos o para adaptarse a
nuevas situaciones. También es importante destacar que en ocasiones una
política o programa tiene efectos no intencionados sobre otras variables que no
son objeto de estudio o son objetivos secundarios. Los efectos en estas variables
no principales pueden ser positivos o negativos.

En el primer caso, el programa puede haber tenido una consecuencia no

contemplada inicialmente pero que actúe en la misma dirección esperada que la
política o intervención. En este caso diremos que ha tenido un efecto positivo en
una variable secundaria. Ese efecto positivo y no esperado en dicha variable,
habría provocado un aumento extra del bienestar de los participantes. Para
posibles ediciones de ese mismo programa, este efecto secundario debería
tomarse en cuenta desde el momento inicial.

En el segundo caso, podemos encontrarnos en un escenario donde la

intervención haya afectado de forma indirecta pero negativa a una variable
secundaria. En este caso se debería valorar el efecto neto de ambos efectos
sobre un indicador más global, como podría ser el bienestar total del individuo.
Es decir, deberíamos preguntarnos si el efecto positivo del indicador de interés
es suficiente para continuar con el programa aun habiendo provocado un efecto
indeseado en una variable secundaria no contemplada a priori. Por ejemplo:
Libertad González y Sofia Trommlerová (2023)4 estudiaron el efecto de la
introducción del “cheque bebé” en los niveles de natalidad. De su estudio se
extrajo que los niveles de natalidad aumentaron fundamentalmente tras la
introducción de esta ayuda por una reducción en el número de abortos, aunque
estos efectos no se mantuvieran en el tiempo. Sin embargo, esta medida fiscal
tuvo varios efectos que no se habían anticipado: En primer lugar, la incorporación
de la mujer al mercado laboral sufrió un retaso; en segundo lugar, la entrada a la
educación de 0-3 años por parte del menor también se vió pospuesta. Asimismo,
su eliminación tuvo un efecto negativo inesperado: el adelantamiento del parto
por razones no médicas, lo cual produjo un riesgo para la salud del bebé. Todos
estos efectos no intencionados deben ponerse sobre la balanza a la hora de
valorar si dicha medida fiscal era adecuada.

4
González, L., & Trommlerová, S. K. (2023). Cash transfers and fertility: How the introduction and
cancellation of a child benefit affected births and abortions. Journal of Human Resources, 58(3), 783-818.

23
 Figura 6: variables principales, secundaria, éxito del programa y efectos globales

7. Escalabilidad
Como ya hemos comentado anteriormente, el diseño de políticas o programas
debe basarse en la evidencia. Cualquier gobierno, empresa o institución debería
empezar implementando su innovación, política o programa a pequeña escala,
es decir, a través de un piloto, evaluarlo de forma rigurosa y finalmente -si se
demuestra su éxito- escalarlo en el mismo contexto en el que se ha desarrollado
el piloto. El ejemplo de intervención social que hemos descrito anteriormente
(itinerarios de inclusión sociolaboral para perceptores del IMV o RM) se
desarrolló inicialmente en seis territorios españoles. Una vez se evaluó el
programa, se pudo conocer qué funcionó y qué no. En este momento, el
programa se puede escalar a todo el territorio nacional.

24
Sin embargo, escalar un programa, implementarlo en más lugares o personas
beneficiarias, no quiere decir que haya que llevarlo a cabo tal y como se
desarrolló en el proyecto piloto. Para escalar de forma adecuada una
intervención se deben tener en cuenta las condiciones locales específicas y la
capacidad de implementación, tanto de medios físicos, humanos como
financieros, así como los riesgos particulares del lugar. Por tanto, las
intervenciones deben ser adaptadas a ese nuevo contexto. Esta adaptación será
mayor si salimos del país en el que tuvo lugar el piloto. En este último caso, las
diferencias culturales, sistemas de gobernanza y voluntad política deben ser
tomadas en cuenta. Aquí, más que nunca, es crucial realizar un análisis previo
del contexto y de las necesidades, para detectar posibles discrepancias en
comparación con el lugar de origen del piloto. En todo caso, escalar el programa
o política en otra nación no significa desplegarlo a nivel nacional. Cuando se da
un cambio tan importante de contexto es importante llevar a cabo pilotos que
puedan captar alguna circunstancia particular del país que no se haya previsto,
para poder formular así una versión del programa adaptada y contextualizada,
manteniendo los mecanismos que la evidencia nos muestra que generan
resultados positivos.

Cabe destacar que, para poder escalar un programa o política reduciendo al

máximo los posibles incidentes, se deben establecer canales de comunicación
eficientes y eficaces entre los agentes que han implementado el programa piloto
y aquellos que quieren replicarlo. A parte de la comunicación verbal y regular que
debe establecerse entre ambas partes, también es importante desarrollar unos
protocolos de intervención que puedan ser utilizados por todas aquellas partes
interesadas en el programa o política, así como un programa de formación para
los nuevos agentes implementadores.

8. Conclusiones
Ante la nueva era del dato, cada vez se hace más evidente la necesidad de
evaluar cualquier acción emprendida por parte del sector público, privado o tercer
sector. La escasez de recursos hace imprescindible una evaluación de las
actuaciones llevadas que garantice su correcto funcionamiento. Este
procedimiento ayuda a tomar decisiones informadas y a identificar áreas de
mejora. Es fundamental recordar que una evaluación comienza con un análisis
riguroso de las necesidades y del contexto.

No existe un único método que nos guíe en la evaluación de una política o

programa, todo depende del momento en que se plantee la evaluación y de los
recursos disponibles. Sin embargo, una combinación de métodos sería lo óptimo
para obtener una evaluación más robusta. En este manual nos hemos centrado

25
en presentar dos metodologías complementarias: la Teoría del Cambio y los
Randomized controlled trial (RCT). Ambas buscan establecer la relación causal
entre la política o programa y unos indicadores que se consideren de interés.
Asimismo, los instrumentos de medición tampoco son únicos; tanto las
herramientas cualitativas como cuantitativas proporcionan información valiosa y
su combinación ofrece una visión más global.

La colaboración entre los diferentes agentes implicados, desde los financiadores,

implementadores hasta los propios beneficiarios, es crucial para que todo el
proceso se desarrolle adecuadamente. El establecimiento de protocolos claros y
concisos de comunicación e implementación ayuda a alcanzar los objetivos
deseados. Además de un buen sistema de organización y coordinación, es
fundamental trasmitir la cultura del dato a todos los agentes involucrados. Sin un
buen entendimiento de la necesidad de evaluación y, por tanto, del seguimiento
de los procedimientos establecidos, así como de un meticuloso cuidado en la
recolección, gestión y análisis de los datos, la evaluación podría fracasar.

La evaluación es un proceso dinámico que permite ajustes en tiempo real para

mejorar cualquier fase del proceso, siempre y cuando no se intervenga en
aspectos centrales del diseño del programa o política. Al finalizar la evaluación,
las conclusiones obtenidas proporcionan información para reformular el
programa o política, incrementando su impacto en futuras ediciones o en
procesos de escalabilidad.

La evaluación de políticas o programas es, por tanto, una herramienta cada vez
más indispensable en cualquier organización, aumentando la eficiencia de los
recursos utilizados y mejorando la toma de decisiones. Todos estos beneficios
se trasladan de manera efectiva a la sociedad.

26