CAPÍTULO 8

LA EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS

Ma. TERESA MARTÍNEZ DEL OLMO

Universidad Complutense de Madrid INTRODUCCIÓN

La evaluación de políticas y programas públicos, entendida como el proceso que

trata de utilizar el conocimiento científico para el mejor gobierno y gestión de los
problemas públicos y para formular las políticas públicas más eficaces, tiene un
desarrollo relativamente reciente, aunque no faltan autores que sitúan el inicio de
la evaluación en los orígenes mismos del hombre. Existen referentes implícitos a
procedimientos que, sin una teoría explícita de evaluación, se han venido creando
y utilizando desde la antigüedad para valorar y sobre todo diferenciar y seleccionar
a estudiantes, funcionarios etc. 1, no en vano muchos de los primeros especialistas
y teóricos de la evaluación proceden del mundo de la psicología y de la educación.

La evaluación, su enfoque y modelos, ha ido evolucionando a lo largo de su

historia de acuerdo al propio desarrollo del análisis de políticas públicas. En este
capítulo se tratará de definir la evaluación como actividad científica. Para qué sirve
y cuáles son sus objetivos. Se hará una sucinta clasificación de los modelos de
evaluación y finalmente se tratará de identificar a los posibles clientes y usuarios
de la evaluación.

8.1. EL CONCEPTO DE EVALUACIÓN

En los sistemas democráticos modernos, la evaluación constituye un instrumento

técnico y una herramienta política de primer orden. Los modernos Estados del
Bienestar, cada vez más han de llevar a cabo sus intervenciones en situación de
cambio y de escasez de recursos. Las administraciones públicas deben hacer
frente a situaciones de conflicto que exigen poner en juego toda la capacidad y
pericia de la organización para responder con eficacia y eficiencia a las demandas
de la sociedad. Desarrolla políticas y programas en áreas de intervención en las
que, en ocasiones, se tiene un conocimiento parcial de los procesos sociales,
intereses y condicionantes políticos sobre los que se basa la definición de los
problemas y la formulación de la política. La evaluación, se ofrece así, como un
instrumento técnico que permite el desarrollo de procesos para la revisión y
medición sistemática del estado del problema. Los resultados de ésta pueden dar
lugar a la finalización de la política existente, a la continuidad de la misma o a una
nueva política (Terminación de la Política). Después de una evaluación, lo más

1
Dubois (1970) y Coffman (1971) citan los procedimientos que se utilizaban en China, hace unos
tres mil años, para seleccionar a los funcionarios. Patton (1987) habla de pasajes evaluadores en la
Creación, extraídos de la obra de Halcom. La verdadera historia del Paraíso Perdido.
usual es la introducción de modificaciones en la política en curso o la sustitución
por otra más adecuada a la nueva situación.

Los poderes públicos deben rendir cuenta de sus actos, explicar sus decisiones y
presentar resultados a los ciudadanos. La evaluación se ofrece aquí como una he-
rramienta política en la medida en que los resultados pueden ser utilizados para
mejorar los programas y ofrecer información a los ciudadanos y usuarios de los
servicios públicos de la eficacia de las políticas. Contribuye asimismo a mantener
la confianza y legitimidad del sistema.

CUESTIONES CLAVE
 ¿Qué es y para qué sirve la evaluación?
 ¿Cuáles son los objetivos de la evaluación?
 ¿Cómo se realiza una evaluación?
 ¿Quiénes son sus clientes y usuarios?

Las respuestas elaboradas a la pregunta ¿Qué es la evaluación? Han sido

muchas a lo largo de los años, dependiendo de la amplitud del enfoque, de los
objetivos y de los autores. La evaluación se podría definir de muchas maneras.
Una, de forma simple, como la última fase del análisis de una política, o también,
como la parte del ciclo de las políticas para generar información sobre los
resultados de la acción de los gobiernos, de los efectos que dichas acciones han
generado; otra, de forma amplia, en la que se incluya no sólo la función, sino su
objeto de estudio, metodología y también los valores que toda política incluye. Del
análisis de las distintas definiciones, se desprende que el concepto de evaluación
ha evolucionado al igual que su función.

En las primeras etapas, la evaluación consistía en identificar y medir los efectos de

una acción. Se limitaba, casi con exclusividad, a medir los resultados y efectos de
un programa a través de metodologías experimentales, todo debía ser
cuantificado. En la actualidad se han ampliado sus límites, extendiéndose a todo el
ciclo de vida de la política, a los procedimientos y a la metodología utilizados,
incorporando técnicas cualitativas y de participación. De los modelos de
comprensión teórica del funcionamiento de las políticas y generación de
conocimiento, se ha pasado a la consideración de la evaluación como una
actividad política, como un mecanismo de retroalimentación conducente a un
reconocimiento de las necesidades sociales y argumentación de las políticas.

Por otro lado, como cabría esperar de un proceso que tiende a ser útil, parece
razonable que, si la acción de los gobiernos ha ampliado su ámbito de actuación y
ha aumentado la necesidad de maximizar resultados y mejorar la calidad de los
servicios públicos, la evaluación amplíe también su objeto de estudio y los procedi-
mientos de búsqueda de información útil, utilizando métodos más adecuados para
medir aquello que se desee medir, así como para la configuración de actores.
 EL CONCEPTO DE EVALUACIÓN SEGÚN AUTORES

Evaluación es…
 «Es el proceso de determinar en qué medida los objetivos de un programa se han
alcanzado.» Tyler (1950)
 «Investigación sistemática del valor o mérito de un objeto.» Joint Committee on
Standars for Educational Evaluation (1981)
 «La provisión de información para la toma de decisiones sobre una intervención.»
Cronbach (1981)
 «Evaluar es comparar en un instante determinado lo que se ha alcanzado mediante
una acción con lo que se debería haber alcanzado de acuerdo a una pregunta.»
Espinoza (1983)
 «La aplicación de métodos de investigación sistemáticos para la evaluación del
diseño, la implementación y la efectividad de un programa.» Chelimsky (1985)
 «Emitir un juicio sobre el valor de la acción pública.» Viveret (1989)
 «Aplicación sistemática de los procedimientos de investigación social para valorar
la conceptualización, el diseño, la ejecución y la utilidad de los programas.» Rossi
y Freeman (1989).
 «Iniciativa pluralista cuyo núcleo es el sistema de los actores implicados y cuyo
propósito estriba en valorar la fundamentación de una intervención pública (en sus
premisas y en sus modalidades de ejecución), basándose en la comparación de sus
efectos con los sistemas de valores vigentyes.» (Monnier (1995)
 «Cuidadosa valoración retrospectiva de los méritos, importancia y valor de la
aplicación, productividad y resultados de las intervenciones gubernamentales.»
Vedug (1996)
 «Práctica seria de argumentación basada en información pertinente sobre los
efectos de una política.»Roth (2002).

Naturalmente, para que la evaluación tenga la consideración de actividad

intelectual y científica en relación con la medición y valoración de méritos,
presupone: a) la elaboración de criterios de valía sobre los que juzgar las
intervenciones públicas y unas normas o estándares que indiquen el mérito de una
intervención, b) se deben aplicar procedimientos rigurosos y c) con un orden
lógico.

En consecuencia, se debe tener claro qué es lo que se quiere evaluar, qué se

quiere conocer y formular las preguntas previamente para recopilar después la
información utilizando la metodología más adecuada, de tal forma que la
interpretación y valoración posterior esté basada en la información recopilada y
responda a las preguntas formuladas (necesidades de información).

La evaluación surge y se desarrolla para aportar información útil, que sirva a los
poderes públicos para mejorar las políticas, rendimientos etc. Es este carácter
aplicado y práctico, y la capacidad que debe tener para proponer cambios y
mejoras lo que marca el sentido, la razón de ser de la evaluación, su función. Se
podría concluir que el fin último de la evaluación es su utilidad para el proceso de
formulación de las políticas y mejorar la equidad en la asignación de recursos.

8.2. OBJETIVOS DE LA EVALUACIÓN

Los objetivos de la evaluación deben responder a la pregunta: ¿Para qué sirve la

evaluación? Tienen que ver con los fines y usos que se le quieran asignar.

La mayoría de los autores y estudiosos de las políticas no hacen distinción entre

objetivos, propósitos, fines y funciones de la evaluación, utilizando indistintamente
uno u otro término para referirse a la misma cosa, si bien cabría distinguir, aunque
sea mínimamente, entre funciones y objetivos. De alguna manera, en términos
generales, la función de la evaluación ha quedado definida en la conceptualización
de la misma como algo más concreto y sistematizado, en tanto que los objetivos y
propósitos pueden dirigirse a aspectos más variados y cambiantes dependiendo
del programa o política de que se trate, del momento etc.

Más allá del término utilizado podemos afirmar que el propósito o fin último de la
evaluación es el de ofrecer información útil que facilite el proceso de toma de
decisiones y mejorar la acción de los poderes públicos a través de los programas y
políticas públicas.

Como ya hemos señalado, en los en los últimos años el concepto de evaluación

ha evolucionado y ampliado sus límites a todo el ciclo de la política a la vez que se
le han ido asignando otros fines, concediendo importancia a otros procesos como
el de participación y aprendizaje. De tal forma que se pueden distinguir tres
grandes grupos de funciones u objetivos de la evaluación 2 .

1) Mejora o Perfeccionamiento
2) Recapitulación o rendimiento de cuentas
3) Ejemplificación o mejora del conocimiento para futuros programas.

Se pueden establecer, como hace Vedung 3, estos tres mismos tipos de funciones,
aunque con orden de prioridad distinto. Considera como primera función la Res-
ponsabilidad (Recapitulación o Rendimiento de cuentas), función ésta en la que
profundiza y distingue cuatro perspectivas según los actores y niveles implicados.
Respecto a la función de Ejemplificación o Generación de Conocimiento, ésta
queda subordinada a la de Responsabilidad y Mejora. Esta subordinación apoya la
distinción que otros autores hacen entre evaluación e investigación.

2
D.L. Stufflebeam y A.J. Skinkfield. Evaluación sistemática: guía teórica y práctica. Paidos-MEC,
Madrid. 1987.
3
E. Vedung. «Utilización de la Evaluación». Revista de Servicios Sociales y Política Social, Vol. 2,
1993.
La función u objetivo principal de cada evaluación determina el uso posterior de la
misma.

1) LA EVALUACIÓN COMO BASE PARA MEJORAR

El objetivo principal de esta evaluación es la mejora de un programa o política y

las necesidades de información estarán determinadas por las perspectivas de
mejora. Las preguntas a los que los evaluadores, ya sean los propios ejecutores
del programa actuando institucionalmente o contratados externos, irán en la
dirección de cómo mejorar el programa, su efectividad, su eficiencia. Una vez
definidas las preguntas que se quieren responder en la evaluación y los criterios, e
iniciada la aplicación del programa o política, irán recopilando información a partir
de la cual se irían introduciendo las modificaciones necesarias para la mejora y
ajuste del programa. Es la propia evaluación, en el proceso de intercambio de
información entre evaluadores y ejecutores, quien ira guiando el desarrollo del
programa o política.

En la perspectiva de mejora se concibe la evaluación como un proceso interacti vo,

dinámico y flexible que permita la introducción de cambios en la planificación
aplicándolos de forma rápida en la gestión del día a día. La evaluación para la
mejora, aun siendo un objetivo necesario, corre el riesgo de ser considerada
«menos cuidadosa» desde el punto de vista académico, al fijar su prioridad en la
rapidez, flexibilidad y utilidad en lugar de en el desarrollo de nuevos
conocimientos.

La evaluación para la mejora es una evaluación formativa y va dirigida al personal

responsable del programa y personal directamente relacionado con el mismo.

2) LA EVALUACIÓN COMO RENDIMIENTO DE CUENTAS

Denominada también evaluación de Recapitulación 4y evaluación de

Responsabilidad 5, el objetivo principal de ésta es facilitar información a los
responsables de los programas y políticas para la toma de decisiones respecto a
la continuación o no del programa, asignación de recursos o la modificación
sustancial del mismo. Las necesidades de información estarán determinadas por
las perspectivas del nivel jerárquico de los responsables de la ejecución, políticos,
directores de organismos y funcionarios y por la perspectiva de los receptores de
las políticas y programas públicos, ciudadanos y usuarios o clientes de los
mismos. Las preguntas a las que la evaluación deberá dar respuesta pueden ser
tales como ¿Los agentes responsables de la ejecución de las políticas han
utilizado_los recursos de forma eficiente y eficaz? ¿Han llevado a cabo las tareas

4
D.L. Stufflebeam y A,J. Skinkfield. Evaluación Sistemática: guía teórica y práctica. PaidosMEC,
Madrid, 1987.
5
P.M. Rossi y Freeman. Un enfoque sistemático para programas sociales. Trillas, México, 1989.
de forma adecuada, tal como se contemplaba en el programa?

En la formulación de las políticas los órganos directivos establecen las normas y

objetivos de las políticas y asignan los recursos para su puesta en práctica, dando
por supuesto que los agentes en los que se delega la implantación y en
consecuencia responsables de su puesta en práctica, aplicarán las directrices'
marcadas y asumirán la responsabilidad.

La evaluación de responsabilidad o rendimiento de cuentas va a consistir en

ofrecer información sobre los procesos de delegación de poder en las relaciones
entre los órganos directivos y subordinados, si éstos últimos aplican las directrices
marcadas o no.

Se trata de superar el eterno debate sobre la relación superior-subordinado,

vértice estratégico base operativa en el que cada nivel trata de readaptar los
programas a sus propios intereses y puntos de vista, mermando así el poder de
decisión y ejecución de los políticos elegidos democráticamente como
representantes de los ciudadanos a los deberán rendir cuentas sobre los
resultados de sus programas. Sin embargo, sólo una mínima parte de las políticas
generadoras de bienestar de los ciudadanos depende directamente de ellos.

Es la administración operativa, a través de los funcionarios, quien presta el

servicio diario a los ciudadanos, quedando en manos de éstos la interpretación
adecuada de la norma, la utilización de recursos y la transmisión y adaptación de
la política a las situaciones concretas. Esta realidad evidencia el enorme peso de
los funcionarios, su influencia en el logro del éxito o para inclinar al fracaso una
política, de ahí la enorme responsabilidad de la Administración 6.

Esta escasa capacidad de influencia de los políticos elegidos en el desarrollo de

las políticas se agudiza por el escaso tiempo que tienen, frente a la permanencia
en el tiempo que tienen los funcionarios.

Por otro lado, desde el punto de vista democrático, son los organismos políticos
los legitimados para las decisiones que afectan al bienestar ciudadano, y sin
embargo sólo pueden marcar directrices generales. Estas serán adaptadas en el
día a día de la administración por los funcionarios, quienes asumen de esta forma
la capacidad de decisión delegada.

Es en este punto donde se puede producir el dilema o conflicto, ya que son

decisiones políticas que incluyen, generalmente, unos valores que no siempre el
funcionario sabe interpretar y transmitir o, en el peor de los casos, no está
dispuesto a transmitir. En todo caso, el aumento de poder y grado de

6
Bo Rothstein denomina este fenómeno como «el dilema fundamental de la Administración
Pública» para referirse a la exigencia de los políticos para responsabilizar a la Administración
Pública de sus acciones
discrecionalidad de éstos queda sometido a la ética y la responsabilidad del
funcionario.

Desde esta perspectiva política la evaluación es un instrumento clave para cono-

cer el grado de cumplimiento de la administración de las tareas asignadas y
analizar si cumple o no las directrices marcadas. Se convierte en un elemento de
control proactivo, pues el que los órganos directivos deleguen poder e influencia
en los niveles jerárquicos inferiores no les exime de la responsabilidad última
como decisores legitimados para ello.

Es por todo ello, que deben conocer cómo se van desarrollando las políticas y
programas públicos, para corregir toda desviación de los objetivos y de las normas
establecidas.

La evaluación de responsabilidad incluye por tanto el vínculo entre burocracia y

democracia desde la perspectiva de los políticos y directores de agencias respon-
sables de la implantación y ejecución de las políticas y programas. Los directivos
tienen derecho a conocer cómo se están llevando a cabo las políticas y a exigir
resultados. Este rendimiento de cuentas de abajo a arriba constituye el paso
previo del rendimiento de cuentas que los políticos han de hacer a los ciudadanos
y usuarios sobre el grado de cumplimiento de sus programas y resultados de las
acciones emprendidas. El control de los programas y políticas se realiza mediante
la recogida de información, de manera que les proporcionará información para
valorar si los objetivos se están logrando y para tomar decisiones respecto al
interés de dichos programas y si mantienen o retiran su apoyo a los mismos.

Se incluye en esta evaluación la perspectiva de los ciudadanos y la de los clientes,

pues la información producida les permitirá valorar cómo están llevando a cabo
sus tareas los políticos y funcionarios en los distintos niveles de ejecución y actuar
en consecuencia, exigiéndoles responsabilidades a través del voto en las
elecciones siguientes.

Rossi y Freeman 7 amplían las perspectivas de la evaluación de responsabilidad8.

Consideran que debe incluirse en esta evaluación el respeto a las leyes con las
que el programa guarde relación en su desarrollo, al llevar a cabo las prestaciones
en las que se concreta toda política o programa público, (por ejemplo las
prestaciones sanitarias referidas al aborto, siempre que el caso esté dentro de los

7
Peter H. Rossi y Howard E. Freeman. Un enfoque sistemático para programas sociales Trillas,
México, 1989.
8
Peter Rossi y Howard Freeman distinguen seis perspectivas o tipos de responsabilidad: Legal,
referida al respeto por las leyes pertinentes en sentido amplio Esto significa que se incluirían
aspectos legales referidos al programa y a la organización prestadora. ej Respeto a las leyes que
regulan la prestación, normas y procedimientos de actuación, representación comunitaria.
privacidad y derecho a la protección de datos. normas de higiene y seguridad laboral. etc.,
responsabilidad Fiscal. Prestación de Servicios, de Cobertura, de Impacto y de Eficiencia.
supuestos contemplados por la ley, el consentimiento informado, etc.), la
utilización de recursos, ejecución de las partidas de gastos, contratación de obras
y otros recursos, y todos aquellos otros aspectos que sin estar claramente
especificados o contemplados en la ley se pueden sobreentender, como podría
ser la eficiencia y el nivel de cobertura, el nivel de prestaciones que se ofrece etc.

3) LA EVALUACIÓN COMO GENERACIÓN DE CONOCIMIENTO

El propósito de generación de conocimiento se refiere a la capacidad de la

evaluación para producir conocimiento no sólo sobre teoría de evaluación de
políticas y programas sino sobre aspectos de la intervención social. El objetivo
principal de esta evaluación es generación de conocimientos básicos y
contrastación de teorías. Las necesidades de información estarán determinadas
por las posibilidades de contrastación de supuestos y la generalización de
resultados.

Este objetivo de la evaluación ha sido objeto de amplio debate pues, aunque la

evaluación de programas y políticas publicas utiliza metodología científica, ésta, a
decir de algunos autores, no puede compararse con la metodología procedente de
las ciencias puras, de los modelos positivistas. Distingue entre evaluación e
investigación asignándoles papeles distintos, aunque coincidentes en algunos
aspectos. Los partidarios de esta separación concluyen que lo que separa a
ambos conceptos es su propósito, mientras que en la evaluación el propósito
fundamental es contribuir a la toma de decisiones y la mejora de los programas y
políticas, la investigación busca generar conocimiento.

El pronunciamiento de los distintos autores sobre esta función de la evaluación

podríamos encuadrarlas en tres grupos :a) aquellos que le asignan a la evaluación
un papel inminentemente orientado a la teoría y generación de conocimientos
básicos, b) aquellos que consideran la evaluación como una investigación de se-
gunda categoría, excluyendo de su función la generación de conocimiento funda-
mental y c) un tercer grupo que, sin manifestar una posición excluyente en
ninguno de los dos sentidos anteriores, consideran que el conocimiento básico es
un objetivo secundario y por tanto constituye una función subordinada o efecto
colateral. Dicho en palabras de Vedung «la oferta de conocimientos básicos no es
la tarea fundamental de la evaluación; el conocimiento básico está subordinado a
la responsabilidad y a la mejora. Este conocimiento básico es más bien una
consideración colateral».

Sin embargo, es difícil producir mejoras sin este conocimiento básico que amplia y
ayuda a conocer mejor los procesos de intervención social y facilita el aprendizaje
de la organización. La evaluación de políticas y programas públicos entraña una
metodología científica y tanto las políticas como los programas están sustentados
por una determinada teoría. En consecuencia, se podría sostener que la eva-
luación aporta pruebas a la ciencia básica que da sustento teórico a los programas
y políticas.
Sin ánimos de ser exhaustivos, pero si con el de dejar constancia al menos,
debido a la limitación de la extensión del capítulo, debemos señalar que existen
autores en la bibliografía que atribuyen otras funciones u objetivos de la evalua-
ción, si bien es cierto que en todos ellos la función de mejora y responsabilidad y
el aumento de conocimiento se alterna con otro objetivo como es «la mejora de la
gestión», la «consideración de la dirección del programa «etc. Generalmente son
funciones coincidentes con las descritas, ampliadas en algunos aspectos o
priorizadas con un orden distinto 9.

En ocasiones la evaluación tiene, casi con exclusividad, el propósito de respon der

a las exigencias de los organismos financiadores, como requisito formal para
poder optar a los fondos como es el caso de algunas políticas financiadas con
fondos europeos (Fondos FEDER, Fondos de cohesión...). La Comunidad
Europea estableció en 1999 10 el marco jurídico regulador del seguimiento y
evaluación de los programas financiados por estos fondos, estableciendo
directrices y objetivos claros en esta materia en tres aspectos básicos:
cuantificación de objetivos, generación de indicadores físicos sobre el desarrollo
de las distintas acciones y evaluación de los impactos derivados de las
intervenciones. Con ello la Comisión Europea pretende mejorar la calidad de los
sistemas de información (Gestión del conocimiento) sobre los resultados físicos e
impactos de las intervenciones.

También se le reconocen a la evaluación otros propósitos «menos confesables» 11

como pueden ser la función de control e inspección, la justificación de una
decisión ya tomada, descargar una responsabilidad, aparentar rigor en una
decisión o aplazarla, legitimar un programa etc.

Estos son aspectos menos positivos de la evaluación que no deben olvidarse, si

se quiere evitar que la evaluación se convierta en juez y parte de los juegos de
poder político, administrativo y de personal.

9
Chelimsky liga los propósitos de la evaluación a los procesos de decisión en cada una de las fases
del ciclo de las políticas. En cada fase, la evaluación tendrá unos propósitos distintos y según sean
éstos determinarán los tipos de evaluación que se deben aplicar para responder a las diferentes
necesidades de información.
10
La comunidad Europea estableció el marco jurídico en el Reglamento que se publica en el Diario
Oficial de las Comunidades Europeas de 26 de junio de 1999. En estos Reglamentos se exige la
evaluación como un requisito formal.
11
Carol Weis denomina a éstos «propósitos encubiertos)). Vedung «propósitos estratégicos)). Se
refieren a la realización de la evaluación con el propósito de dar apoyo o justificar decisiones poco
justificables. Es lo que se denomina por otros autores Pseudo evaluación,
8.3. EL PROCESO DE EVALUACIÓN: TIPOS y MODELOS DE EVALUACIÓN

La evaluación contemplada de manera integral y amplia forma parte del ciclo de

una política y puede aplicarse a la totalidad del proceso de una política o programa
público. En unas fases, la evaluación será prospectiva (por ej. Definición del pro-
blema y detección de necesidades) y servirá para la formulación del Plan de
Acción. En otras será retrospectiva, especialmente si se trata de valorar los
resultados de una acción implantada. De acuerdo con este planteamiento el
proceso de evaluación puede comenzar con la fase de inicio de la política o
programa público, esto es, con la identificación de un problema que
supuestamente obtendrá repuesta de los poderes públicos y puede finalizar con la
valoración de los efectos producidos por la intervención, efectos deseados y no
deseados. La evaluación puede recoger información para apoyar las decisiones
sobre los objetivos, medios, costes, beneficios y posibilidad de aplicación, y
también sobre los problemas que se puedan encontrar a lo largo de los distintos
procesos que se pueden abordar.

Para avanzar en el proceso de evaluación es preciso llevar a cabo previamente su

programación. Esto es, conocido el problema y el plan de acción, definir las
preguntas a las que se quieren responder. ¿Qué evaluar? Este paso conlleva la
elección del tipo de evaluación, determinar los objetivos y en' función de estos
elegir el modelo de evaluación. Dependiendo de que los objetivos sean más o
menos ambiciosos, se pueden emplear distintas perspectivas o actitudes para
generar información: a) Perspectiva Empírica. Describe las causas y los efectos de
una política. La información se refiere a los hechos, b) Perspectiva evaluativa.
Determina el valor de una política y la información es cualitativa y c) Perspectiva
Normativa. Hace recomendaciones sobre como abordar en el futuro determinadas
situaciones desde la acción pública. La información se refiere a la acción. Otros
autores establecen una clasificación similar, describen cuatro actitudes en el
enfoque de la evaluación 12.

Las técnicas analíticas para producir la información pueden ser diferentes según el
tipo y el modelo de evaluación que se adopte. En todo caso las técnicas utilizadas
en el análisis de políticas son las mismas que en otras ciencias sociales.

Elaborado el plan de acción para la evaluación se procedería a la ejecución para

terminar con la elaboración del informe de resultados y recomendaciones. Como

12
Las actitudes descritas son: l/Descriptiva, el evaluador no juzga el éxito o fracaso de la acción,
sólo informa de los efectos. 2/Clínica, registra los resultados y trata de explicar las causas por los
que unos objetivos se han alcanzado y otro no, 3/Normativa, el punto de referencia para medir los
resultados serán los valores elegidos por el evaluador en sustitución de los objetivos de la política.
4/Experimentalista, trata de descubrir si existen relaciones estables de causalidad entre el contenido
de una política dada y un conjunto determinado de efectos. Y. Meny y J-C. Thoenig (1992) citado
en: A. Trinidad y M. Pérez Sánchez. Evaluación de Programas de intervención social. Revista del
Mo de Trabajo y Asuntos Sociales, N° 10, 1998. págs. 113-137,
en todo plan de acción se deberán describir los recursos necesarios y el
cronograma de ejecución.

8.3.1 Tipos de evaluación

Son muchas las clasificaciones que se han hecho sobre los diferentes tipos y
modelos o enfoques de evaluación y muchos los autores que han desarrollado sus
propios modelos 13, seguramente, con el propósito de facilitar el conocimiento del
propio proceso de evaluación. Hacer una descripción de las clasificaciones
establecidas por cada uno de estos autores excede las posibilidades de extensión
de este capítulo.

Es por ello que nos limitaremos a las tipologías básicas que nos permitan distin-
guir el carácter de la evaluación. La tipología establecida, ya clásica en la literatura
especializada, se construye a partir de unos criterios o dimensiones como son: el
momento en el que se evalúa y el papel que cumple, el contenido del programa o
política que se evalúa, y el agente que realiza la evaluación.

1) SEGÚN EL MOMENTO Y EL PAPEL QUE CUMPLE LA EVALUACIÓN.

Son muchos los autores que establecen tres tipologías de evaluación según: el
momento, el contenido, y el agente que realiza la evaluación. No distinguen entre
el momento en que se realiza y el papel que cumple la evaluación, utilizando sólo
el criterio temporal para su clasificación. Aquí vamos a distinguir entre el momento
en el que se lleva a cabo la evaluación y el papel que cumple ésta, por entender
que aunque en ambas clasificaciones cada tipo establecido se realiza en un
tiempo determinado, lo que distingue una tipología de otra, más que el momento,
es el fin que va a cumplir en el desarrollo y puesta en práctica del programa o
política pública.

a) Según el momento en el que se evalúa.

El criterio utilizado para su clasificación es el momento en el que se realiza la

evaluación, es la clasificación más simple. Responde a la pregunta ¿cuándo eva-
luar? Antes que el programa o política que se quiere evaluar se ponga en marcha,
o después de que haya sido puesto en marcha? Se establec en dos categorías: la
evaluación ex ante y la evaluación ex post facto.

Se considera evaluación «ex ante» a la que se lleva a cabo antes de que una
política o programa se ponga en marcha. Pero cuando un programa no está
implantado ¿qué se puede evaluar? Naturalmente, la evaluación que se realice en
relación con el programa, todavía no implantado, deberá ser una evaluación sobre
el papel, es decir sobre el diseño del programa, (si los objetivos están formulados
con claridad, si hay coherencia entre objetivos y acciones formuladas para

13
Autores como L.J. Cronbach, Michael Scriven, Daniel Stufflebeam, Skinkfield, Chelinsky, Carol
Weiss y R.E. Stake.
lograrlos...). También puede considerarse una evaluación ex ante a la de la prueba
piloto que se suele practicar antes de la puesta en marcha de un programa.
La evaluación ex post facto, por oposición a la anterior, será aquella que se realiza
una vez que el programa o política ha sido ejecutada. Este es el tipo de evaluación
más frecuente en los países cuya cultura evaluativa está poco desarrollada.

b) Según el papel que cumple.

El criterio utilizado para su clasificación es el papel que va a desempeñar..Res-

ponde a la pregunta ¿Qué función queremos que cumpla? Querem'os que
contribuya al perfeccionamiento y seguimiento del proceso de aplicación de un
programa o que nos dé una visión global del desarrollo del mismo? En la
evaluación educativa, Scriven 14 distingue dos tipos: evaluación formativa y
sumativa.

Se considera evaluación formativa a la evaluación que se realiza durante el desa-

rrollo del programa. Es una evaluación de seguimiento o de proceso. Su objetivo
es la mejora y perfeccionamiento del programa o política. Sus resultados servirán
para ir corrigiendo desviaciones y redefiniendo el programa.

La evaluación sumativa se refiere a la evaluación de resultados. Parafraseando a

Stake, la evaluación formativa es la que realiza la modista cuando confecciona
una prenda a un cliente, haciendo al menos dos pruebas durante el proceso de
confección para comprobar el ancho o largo etc. La sumativa es la que realiza el
cliente y sus amigos cuando estrena la prenda. La evaluación sumativa nos dará
una información global, de los resultados o de los impactos producidos mediante
las acciones del programa o política. Los resultados de esta evaluación también
pueden servir para la mejora, aunque no de forma tan inmediata como en la
evaluación formativa, y para el rendimiento de cuentas y responsabilidad.

Realmente la utilización de uno u otro tipo de evaluación suele estar determinado

por el nivel de implantación de un programa, de su grado de elaboración, las
necesidades de información son bien distintas según se trate de un programa de
nueva implantación o de otro que lleva años implantado.

Incluimos aquí la evaluación proactiva y la evaluación retroactiva 15 porque hemos

considerado que aunque con denominación distinta en el criterio de clasificación,
el papel que cumple es el mismo. En la evaluación proactiva, el objetivo es el de

14
Michael Scriven. «The Methodology of evaluation», en Perspectives on Curriculum Evaluation
(AERA Monograph Series on Curriculum Evaluation, N° 1), Chicago, 1967.
15
H. Levine. «Cost-effectiveness in evaluation research», en M. Guttentag y E. Struening (eds.).
Handbook of evaluation research. Sage, Beverly Hills, Californi. 1975, Así como tam bién Daniel
Stufflebeam y Anthony Shinkfield. Evaluación sistemática. Guía teórica y práctica. Paidós-MEC.
1987.
contribuir a la toma de decisiones y a la mejora del programa o servicio. Se lleva a
cabo durante el desarrollo del programa. La evaluación retroactiva por el contrario
pretende el control de resultados, de presupuestos, en suma, es una evaluación
de responsabilidad.

Un tipo de evaluación no excluye al otro, sino que por el contrario se

complementan.

2) SEGÚN EL CONTENIDO DEL PROGRAMA O POLÍTICA QUE SE EVALÚA.

En esta clasificación se distinguen, generalmente, tres tipos de evaluación: eva-

luación de diseño, evaluación del proceso o puesta en práctica y la evaluación de
resultados. Cada tipo de evaluación se corresponde con cada una de fases de
elaboración de las políticas.

Algunos autores distinguen entre evaluación de necesidades y evaluación de

diseño, otros distinguen entre resultados e impacto, estableciendo cuatro tipos de
evaluación.

La evaluación de diseño está referida a la conceptualización del programa. Detrás

de toda política o programa subyace una teoría, en la evaluación del diseño se
analiza y valora cómo está formulada la política, si la definición del problema y
detección de necesidades se fundamenta en un análisis fiel de la realidad, si los
objetivos están especificados con claridad, datado s y fechados, si se han
expresado los criterios de éxito, si las acciones diseñadas son coherentes con los
objetivos expresados, si se han previsto los recursos necesarios (cualitativa y
cuantitativamente), si se ha descrito la metodología y procedimiento para la
implantación, seguimiento y evaluación etc.

Este es el tipo de evaluación menos implantado, aunque consideramos que apor-

taría información de gran valor para evitar algunos problemas en la implantación y
mejorar los procesos de evaluación, algunos de los cuales tienen difícil solución
una vez implantado un programa.

La evaluación del proceso, también denominada del desempeño y de la ejecución,

se refiere a los aspectos relacionados con la ejecución del programa o política.
Este tipo de evaluación nos dará información sobre los procesos que se están
desarrollando, cómo está funcionando la política o programa sobre el terreno,
cómo se están comportando e interaccionando los participantes en el programa,
autoridades, ejecutores y receptores; no en vano se ha dicho de la fase de
implantación qué es la fase del juego de poder y de intereses y negociaciones.

En esta evaluación se pondrá de manifiesto qué posibilidades existen de lograr las

metas previstas.

La evaluación de los resultados es el tercer tipo de evaluación que podemos

producir en esta clasificación. En el lenguaje de análisis de políticas, se distingue
entre los productos o outputs, que es lo que un programa o una política produce y
los efectos o outcomes que dichos productos han provocado, tanto si son espera-
dos como si no lo son. Tomando como ejemplo la política sanitaria, los productos
serían el número de procesos realizados, número de apendicectomías realizadas,
n° de partos atendidos, n° de transplantes realizados, número de médicos
formados, de enfermeras etc, y los efectos serían el estado de salud de los
pacientes atendidos (efectos directos )el estado de salud de la población (efectos
indirectos )la calidad de vida etc. también se tendría que considerar los efectos no
esperados (siguiendo con la política sanitaria, un efecto no esperado son las
enfermedades yatrogénicas como consecuencia de una intervención). La
evaluación de los efectos indirectos es lo que se denomina evaluación del impacto
de un programa o política. En la evaluación de resultados no siempre se tiene en
cuenta esta distinción y se limita a la evaluación de productos obviando la
evaluación de los efectos, por otro lado más compleja de realizar. Por el contrario,
si se evaluasen sólo los efectos -outcomes-, la información perdería utilidad y
capacidad explicativa de las causas por las que se han producido tales efectos.

3) SEGÚN EL AGENTE QUE REALIZA LA EVALUACIÓN.

Dependiendo del agente que evalúa, se puede distinguir entre evaluación interna y
evaluación externa. La evaluación interna es la que se realiza desde dentro, desde
la propia institución responsable del programa. La evaluación externa es la que se
lleva a cabo por alguien ajeno a la institución y no tiene relación con el programa o
política, se realiza desde fuera. Ambas formas se han debatido mucho, sus
ventajas y sus inconvenientes, pueden ser complementarias, también se pueden
producir procesos evaluativos mixtos. Se puede evaluar desde dentro y periódica-
mente desde fuera, y también dividir el proceso de forma que unas partes se
evalúen internamente y otras externamente. Ambas formas se acompañan de
ventajas y de inconvenientes.

Entre las ventajas de la evaluación interna destacan, el mejor conocimiento y

optimización del programa que se va a evaluar, más influencia sobre el programa
y el contexto en el que se produce y menor coste. Entre los inconvenientes
estarían menor objetividad al estar implicados en el programa y minimización de la
credibilidad social de la evaluación.
 TIPOS DE EVALUACIÓN
 SEGÚN EL MOMENTO…
Ex-ante: Se realiza antes de la puesta en marcha del programa.
Ex-post facto: Se realiza al final del programa

… EL PAPEL DE LA EVALUACIÓN

Formativa (Pro activa): Se realiza durante el desarrollo del programa. Su objetivo

es la mejora y el perfeccionamiento

Sumativa (Retro activa): Se realiza al final del programa su objetivo es dar

información global y de resultados del programa

 SEGÚN EL CONTENIDO
Del Diseño: Analiza y valora como está formulada la política, su conteptualización

Del proceso: Analiza y valora el proceso de puesta en práctica, como está

funcionando el programa

De resultados:
De productos u Outputs: Analiza y valora el número de procesos realizados.

De efectos u outcomes: Analiza y valora los efectos provocados por los productos
del programa o política

 SEGÚN EL AGENTE QUE EVALUA

Interna: Se realiza desde dentro de la organización responsable del programa o
política.

Externa: Se realiza desde fuera, por evaluadoras ajenos a la institución y al

programa

En la evaluación externa las ventajas e inconvenientes son similares a la anterior,

pero a la inversa. Entre las ventajas encontramos la maximización de la
objetividad, la utilización de tecnología «dura» y de estándares y aumento de la
credibilidad social. Como inconvenientes estarían la menor posibilidad de influir
sobre el programa, es más costosa y aumenta la reactividad de los sujetos que
participan en el programa.

La elección de una u otra forma dependerá de las necesidades concretas del

momento, del programa y de la utilización que se le vaya a dar a la evaluación.
Las ventajas e inconvenientes enunciados estarán relativizados por la experiencia
y el conocimiento de los evaluadores minimizando los inconvenientes.
8.3.2 Los modelos de evaluación

Al igual que ocurría con la clasificación sobre los tipos de evaluación en el apar-
tado anterior, la clasificación sobre modelos o enfoques teóricos de la evaluación
cuenta con numerosas propuestas de no menos autores que desarrollan sus
propios modelos, o que analizan los modelos desarrollados por otros y ofrecen su
propia clasificación. En este apartado describiremos de forma sucinta los modelos
o enfoques más representativos en el campo de la evaluación de programas y
políticas.

Podemos observar como los modelos han ido cambiando a lo largo del tiempo de
acorde con la evolución que se ha producido en la concepción y desarrollo de las
políticas. Cada enfoque o modelo centra su atención en aquellos aspectos que
considera más relevantes. Así un enfoque clásico en los modelos de evaluación se
establecía en torno a lo que consideraba el punto nuclear en la evaluación, la
metodología utilizada. Es el enfoque experimentalista.

1) ENFOQUE DE EVALUACIÓN EXPERIMENT ALISTA.

La evaluación debe aplicar los métodos de la investigación experimental de forma

que se puedan establecer relaciones causa-efecto. Los diseños de evaluación pro-
puestos serán: Modelos experimentales, cuasi- experimentales y no
experimentales.

El modelo experimental utiliza dos grupos, uno experimental sobre el que aplica el
programa y otro grupo al que no se aplica el programa y que servirá de grupo de
control. La elección de los componentes de ambos grupos se realiza al azar.
Previamente, al inicio del programa se realizan, en ambos grupos, las mediciones
de las variables que se pretenden cambiar mediante la intervención del programa.
Una vez finalizada la intervención se repite la medición y se comparan los
resultados. La diferencia entre los resultados obtenidos en el grupo experimental y
los del grupo de control medirá el éxito de la intervención.

Cuando no es posible la aplicación de diseños experimentales, se aplican los

cuasi-experimentales. Éstos mantienen un nivel de rigurosidad aceptable. Los mo-
delos más utilizados son el diseño de series temporales y el grupo de control no
equivalente. El caballo de batalla en estos modelos son la validez y la fiabilidad. El
inconveniente es la dificultad de aplicarlo a las ciencias sociales ya que
difícilmente se puede aplicar a los grupos sociales las condiciones de aislamiento
que se puede producir en un laboratorio.

Los modelos no experimentales utilizan los métodos y técnicas estadísticas para

analizar los resultados. La cuestión clave en este modelo es identificar adecuada-
mente las variables.

Los diferentes núcleos de objetivos perseguidos por la evaluación ha dado lugar a

diferentes enfoques como son: el enfoque de evaluación orientada a objetivos, a la
toma de decisiones, centrada en el cliente, evaluación pluralista y evaluación de
cuarta generación.

2) ENFOQUE DE EVALUACIÓN ORIENTADA A OBJETIVOS.

Es uno de los primeros modelos desarrollados por Tyler 16 en el ámbito educativo.

La cuestión fundamental en este modelo es conocer y poder medir los efectos
atribuibles al programa evaluado. Parte del supuesto de que existen unos
objetivos claros y medibles y de que su ejecución se efectuará con total fidelidad a
lo planificado. La dificultad de este modelo estriba en la imprecisión y poca
claridad que acompaña a la definición de objetivos la mayoría de las veces. Por
este motivo, el modelo recibió importantes críticas y también porque, aun siendo
importante conocer los resultados logrados, aporta una información parcial del
programa o política evaluada, ya que dice poco sobre los procesos de
implantación y cómo ha funcionado sobre el terreno.

3) ENFOQUE DE EVALUACIÓN ORIENTADA A LA. TOMA DE DECISIONES.

En este modelo el núcleo de interés se centra en la utilidad de la evaluación para

la toma de decisiones. El objetivo final no es tanto informar sobre si se han
cumplido o no los objetivos como proporcionar evidencias a los responsables de
tomar decisiones. Cronbach señala que la evaluación sirve, sobre todo, para
mejorar. Por ello debe ser planificada desde el principio.

La crítica que se le hace es que centra su objetivo en las demandas y necesidades

gerenciales y poco en el programa como instrumento para satisfacer las
necesidades sociales.

4) ENFOQUE DE EVALUACIÓN CENTRADA EN EL CLIENTE.

Este enfoque pone el énfasis en ayudar a los distintos participantes en el progra-

ma y no sólo a los gestores y responsables del mismo. El objetivo es ayudar a los
profesionales a entender su funcionamiento. Necesita buenos canales de comuni-
cación entre evaluador y profesionales a fin de descubrir, investigar y solucionar
los problemas. Este modelo se puede considerar el iniciador de el enfoque de eva-
luación participativa. Desplaza el núcleo de interés de los objetivos a las necesida-
des de los distintos participantes en el programa. Esto plantea también la
necesidad de utilizar otras metodologías más adecuadas a este enfoque. Propone
la metodología cualitativa.

16
Ralph W. Tyler. «Changing concepts of educational evaluation» en R.E. Stake (comp.)
Perspectives of Curriculum evaluation. Vol.I, Rand McNally. Nueva York, 1967.
5) EL ENFOQUE DE EVALUACIÓN PLURALISTA.

Este modelo plantea cómo responder a las necesidades de información sobre

cómo funciona el programa o política en las distintas actividades de forma fiable,
sin perder rigor científico, aportando evidencias válidas a los distintos actores
implicados en el programa o política. En este modelo el evaluador se convierte en
mediador entre el programa y los distintos participantes, clarificando situaciones
confusas y alcanzando acuerdos sobre criterios y prioridades para contemplar los
valores, intereses y opiniones de todos. Se reconoce la naturaleza política de la
evaluación, en la medida en que reconoce las diversas perspectivas y promueve la
participación activa de los distintos grupos relacionados con el programa, se está
contribuyendo a la democratización de la evaluación y de la gestión de los
programas.

La crítica que se le hace, es que no todos los grupos tienen interés en la evalua-
ción lo que puede dificultar la buena marcha del proceso de evaluación y también
por que puede perder rigor técnico, pues la mayoría de los participantes no
poseen formación en evaluación, si bien se le reconoce a este modelo la
capacidad formativa y de aprendizaje cooperativo.

6) EL ENFOQUE DE EVALUACIÓN DE CUARTA GENERACIÓN.

Al igual que el modelo anterior, éste es un enfoque de evaluación participativa

desarrollado por Guba y Lincoln 17. Lo denominaron de cuarta generación porque lo
conciben como la evolución y superación de los modelos desarrollados y los
ordenan por generaciones.

Primera generación, la de la medida o técnica. El evaluador era meramente un

técnico, utilizaba métodos cuantitativos y cientifístas.

Segunda generación, de la descripción. Ralph Tyler lleva a cabo unas inves -

tigaciones en las que intentaba conocer en qué medida los alumnos habían
aprendido o no lo que el profesor les transmitía. El evaluador ya no es meramente
técnico sino descriptivo. Trata la evaluación de programas en términos positivos o
negativos según los objetivos fijados con anterioridad.

Tercera generación, la del juicio. El evaluador es más juez que técnico o científico.
No se trata de comprobar si los objetivos han sido logrados o no, sino de
establecer juicios sobre el valor de los mismos.

Cuarta generación, la del consenso, la negociación. La realidad es una cuestión

de consenso, los hechos no se pueden explicar sin considerar los valores de los
sujetos que los interpretan. Las causas y los efectos no existen sino por imputa-
ción, esto es mediante el establecimiento de correlaciones. Éstas tienen la función

17
E.G. Guba y Y.S. Lincoln. Fourth generation evaluation. Sage, Londres. 1989.
de crear modelos que orienten la acción e investigación. El punto de referencia en
este modelo son las preocupaciones, quejas y necesidades de los diferentes
agentes críticos que participan en el programa o política evaluada. Desde el punto
de vista metodológico, proponen identificar y describir las distintas construcciones
que existen. La evaluación derivada del uso de la metodología constructivista
representa otra alternativa a tener en cuenta en el cambio de paradigma científico-
tradicional por el constructivista que proponen.

8.4. CLIENTES y USUARIOS DE LA EVALUACIÓN

Una preocupación constante de los evaluadores ha sido siempre la utilización de

los resultados de la evaluación, es por ello que un objetivo básico de la evaluación
mantenido en todos los modelos ha sido el de proporcionar a los usuarios y
destinatarios potenciales, una información válida, fiable y solidamente fundada y
unas recomendaciones aceptables y posibles.

¿A quién interesan los resultados de la evaluación? Una característica de los

programas y políticas es la presencia y participación de diferentes colectivos con
intereses diversos en los programas que se pretenden evaluar, por tanto los
destinatarios en potencia serían, son: Los gobiernos y políticos (decis ores), los
gestores e implantado res y los profesionales y usuarios (afectados):Las
evaluaciones pueden tener numerosos usuarios con interese diversos.

Se distingue entre Clientes y Destinatarios. El cliente, es quien encarga la eva-

luación porque tiene unas determinadas necesidades; los destinatarios son los po-
tenciales usuarios a quien va dirigida la evaluación, en consecuencia son usuarios
de la evaluación los gobiernos, políticos, gestores e implantadores, profesionales
que participan en el programa y destinatarios del programa, incluso el cliente
puede ser usuario de la evaluación.

Dar a conocer los resultados de la evaluación supone una posibilidad de mejora

no sólo referida al programa sino también de la competencia de los profesionales
que ponen en práctica el programa. Son muchos los estudios que indican que las
evaluaciones pueden servir para que los evaluados modifiquen su comportamiento
al conocer el inicio de la evaluación. También sirve para que conozcan qué es lo
que se espera de ellos.

CONCEPTOS BASICOS

 Evaluación.
 Objetivos de Evaluación
 Rendimiento de cuentas.
 Proceso evaluativo
  Tipos de evaluación
 Evaluación democrática.
 Clientes y usuarios
 Evaluación de cuarta generación.
 Evaluación participativa.
 Modelos de evaluación

TEMAS PARA EL DEBATE

 Comentar los tipos de evaluación y las características de cada uno de ellos.
 Identificar los pasos del proceso evaluativo
 Pros y contras de cada modelo evaluativo

8.5. BIBLIOGRAFÍA

Aguilar, J. y Ander, E., Evaluación de servicios y programas sociales. Siglo XXI, 1992.

Alvira Martín, F. Metodología de la evaluación de programas CIS, Madrid. 1991.

Amezcua, C. & Jiménez, A. 1996, Evaluación de programas sociales Díaz de Santos.

Ballart, X. ¿Cómo evaluar programas y servicios públicos? M.A.P., Madrid.1992.

Bañón i Martínez, R. «La evaluación de la acción y de las políticas públicas. Una visión
desde la blibiografía.,» in La evaluación de la acción y de las políticas públicas, R. Bañón i
Martínez, ed., Díaz de Santos, Madrid. 2003.

Bardach, E. A practical guide for policy analysis: the eightfold path to more effective
problem solving CQ Press. 2000.

Birkland, T. A. An introduction to the policy process: theories, concepts, and models of

public policy making M.E Sharp. 2001. Briones, G. Evaluación de programas sociales
Trillas, México. 1991. Campbell, D. T. Y Stanley, J. C. Diseños experimentales y
cuasiexperimentales en la realidad social Amorrortu, Buenos Aires. 1966.

Chelimsky, E. Program evaluation: pattems and directions ASPA, Washington D.C. 1985.
Cohen, E. & Franco, R. Evaluación de proyectos sociales Siglo XXI, Buenos Aires. 1993.
Cook, T. D. y Reichardt, C. S. Métodos cualitativos y cuantitativos en la investigación
evaluativa Morata, Madrid. 1986.

Crombach, L. J. «On defining quality ofeducation», HigherEducation, vol. 16, 1978.

Crombach, L. J. Toward reform of program evaluations Jossey- Bass, San Francisco. 1980.

Echebarría Miguel, C. La evaluacion de programas en la Unión Europea. 1999.

Espinoza Vergara, M. Evaluación de proyectos sociales Humanitas, Buenos Aires.1983.

Guba, E. G. y Lincoln, Y. S. Fourth generation evaluation Sage, Londres. 1989.

House, E. R. Evaluación, ética y poder. Morata, Madrid. 1994.

Levine, H. «Cost-effectiveness in evaluation research,» in M. Guttentag y E. Struening

(eds.). Handbook of evaluation research. Sage, Beverly Hills, California. 1975.
Monnier, E. Evaluación de la acción de los poderes públicos. Instituto de Estudios Fiscales,
Madrid. 1997.

Nachmias, D. The practice ofpolicy evaluation St. Martin's Press, Nueva York. 1980.

Nagel, S. Policy evaluation Praeger, Nueva York. 1982.

Palumbo, D. J. The politics of program evaluation Sage, Londres. 1987.

Pérez Sánchez, M. Formación y empleo en España. Análisis y evaluación de la política de

formación ocupacional. Universidad de Granada, Granada. 1996.

Rossi, P. M. & Freeman. Un enfoque sistemético para programas sociales Trillas, México.
1989.

Roth, A.-N. Políticas públicas: formulación, implementación y evaluación Ediciones

Aurora, Bogotá. 2002. Santos, M. A. Hacer visible lo cotidiano Akal, Madrid. 1990.
Scriven, M. S. «The methodology of evaluation,» in Perspectives of curriculum evaluation,
Rand McNally, Chicago. 2005.

Shaw, I. y Filella, R. La evaluación cualitativa: introducción a los métodos cualitativos., la

edn, Ediciones Paidós Ibérica, Barcelona. 2003.

Smith, M. F. «Present, future, assessments of the field of evaluation», Evaluation Practice,

vol. 15. 1994.

Stufflebeam, D. L. & Skinkfield, A. J. Evaluación sistemática: guía teórica y práctica.

Paidos-MEC, Madrid. 1987. Suchman, E. A. Evaluative research Russell Sage Foundation,
Nueva York. 1967. Trinidad, A.y Pérez Sánchez, M. «Evaluación de programas de
intervención social», Revista del Ministerio de Trabajo y Asuntos Sociales, vol. 10. 1998

Trinidad, A. y Pérez Sánchez, M. Evaluación institucional de la facultad de C.C Políticas y

Sociología de la Universidad de Granada Universidad de Granada, Granada. 2001.

Vedung, E. «Modelos de evaluación», Revista de Servicios Sociales y Política Social, vol.

2, 1993.

Weiss, C. H. Investigación Evaluativa. Métodos para determinar la eficiencia de los progra -

mas de acción Trillas, México. 1991.