La evaluacin de la accin y de las polticas pblicas

Rafael Baon I Martnez

Compilador

Editorial Daz de Santos

Madrid, 2003

Este material se utiliza con fines exclusivamente didcticos

QU TIENE DE ESPECFICO LA METODOLOGA DE EVALUACIN?

MARA BUSTELO RUESTA
1. Las funciones de la evaluacin. 2. Tres caractersticas especficas de la evaluacin. a) El carcter poltico de la evaluacin. b) El enjuiciamiento sistemtico. Su carcter prctico.- 3. La distincin de la evaluacin con respecto a otras prcticas. a) Evaluacin versus investigacin. b) Evaluacin de programas y polticas pblicas versus observatorios de problemas pblicos. c) Evaluacin versus seguimiento o monitorizacin. -4. El reflejo de la especificidad en la metodologa de evaluacin. a) La importancia del contexto como organizador previo y motor de la evaluacin. b) La centralidad de los criterios de evaluacin. c) Una metodologa que adems de dirigir la recopilacin y el anlisis de la informacin, establezca la forma de enjuiciar y hacer recomendaciones. d) La importancia de la comunicacin del proceso y de los resultados de la evaluacin.-5. Conclusiones.-6. Bibliografa.

La evaluacin de programas y polticas pblicas representa un mbito profesional y acadmico que ha ido adquiriendo en los ltimos aos un creciente inters y una especificidad propia. Sin embargo, en Espaa estamos todava lejos de contar con una prctica normalizada y con una verdadera cultura de la evaluacin en nuestros organismos pblicos. Este todava incipiente campo de la evaluacin de programas y polticas pblicas necesita, por lo tanto, un mayor desarrollo acadmico y profesional. En muchas ocasiones, la falta de referencias ha significado la sustitucin de la verdadera evaluacin por otro tipo de prcticas de anlisis que, creemos, es necesario distinguir. De esta manera, o bien se ha suplido esta falta de especializacin en evaluacin con una aplicacin estricta y asptica de la metodologa de investigacin social al uso, realizando estudios parciales que han sido poco sensibles al contexto y han resultado poco tiles para las organizaciones y las polticas evaluadas, o bien se han manejado las situaciones (aunque en la mayora de los casos no intencionadamente) para hacer estudios ad-hoc que fueran favorables a una determinada coyuntura poltica, dando origen a situaciones con poca credibilidad externa que han desprestigiado la prctica de la evaluacin. En este captulo queremos poner nfasis en lo que de especfico tiene la evaluacin de programas y polticas, diferencindola de otras prcticas de anlisis y estudio y estableciendo conclusiones sobre cmo se refleja dicha especificidad tanto en los conceptos bsicos como en la prctica evaluativa. Insistir en su carcter especfico es una forma de otorgarle una identidad propia a la evaluacin de programas. Para esto, dividimos el captulo en cuatro partes. En la primera, definimos las tres funciones bsicas de la evaluacin. En la segunda desarrollamos tres caractersticas especficas de la evaluacin: su carcter poltico, el enjuiciamiento sistemtico y su carcter eminentemente prctico y aplicado que hace de la utilidad y de las recomendaciones unas piezas clave de la evaluacin. En tercer lugar, se distingue la evaluacin de programas de otras tres prcticas de anlisis: la investigacin, el seguimiento y la evaluacin de los problemas pblicos. Por ltimo, se extraen conclusiones sobre cmo la especificidad de la evaluacin acotada y definida a lo largo del captulo se refleja en la metodologa de la evaluacin, es decir, en la forma en la que se evala. 1. LAS FUNCIONES DE LA EVALUACIN La evaluacin se define, en su acepcin ms simple, como la recopilacin y anlisis sistemtico de informacin que nos permite emitir juicios tambin sistemticos sobre el mrito y el valor del programa evaluado. Sin embargo, la evaluacin no se hace en abstracto sino con una intencin clara de mejorar los programas y polticas evaluadas, rendir cuentas y responsabilidades y/o ejemplificar o ilustrar acciones futuras. Es decir, la informacin que se pretende arroje la evaluacin tiene vocacin de ser utilizada para dichas funciones. Por lo tanto, se puede afirmar que el carcter aplicado y prctico de la evaluacin, y que trataremos ms adelante, hace necesaria la inclusin, en la propia definicin, de su porqu o razn de ser, es decir, de sus funciones. Stufflebeam y Shinkfield (1987: 23) sealan tres funciones segn el uso que se quiera hacer de la evaluacin: perfeccionamiento o mejora (improvement), recapitulacin 1 , rendimiento de cuentas o responsabilidad (accountability) y ejemplificacin o iluminacin para acciones futuras (enlightenment). En sus diferentes versiones, creemos que stas son las tres funciones bsicas de la evaluacin.

Aqu respetamos la traduccin realizada en la versin castellana del trmino accountability, aunque nos parece ms adecuada la expresin rendimiento de cuentas o incluso responsabilidad, como se hace en la traduccin de este trmino en otras obras (Rossi y Freeman, 1989; Vedung, 1997).

La primera funcin, la de mejora del programa o poltica evaluada, significa que la evaluacin se concibe como un artefacto metodolgico que permite la retroalimentacin y el aprendizaje sobre la propia prctica. En este sentido, la evaluacin resulta imprescindible como instrumento de mejora y perfeccionamiento y como garante de la calidad de un servicio o programa. Lgicamente esta funcin refuerza la atencin al contexto concreto y determinado de lo que se est evaluando, a las necesidades y naturaleza de las personas destinatarias de dicho servicio y de todos los agentes crticos en el mismo, especialmente el personal que lo atiende y la organizacin que lo promueve. El rendimiento de cuentas o responsabilidad sera la segunda funcin de la evaluacin. La evaluacin debe servir como instrumento que permita, en los diferentes niveles de responsabilidad, rendir cuentas (en el sentido amplio del trmino) sobre la gestin y los resultados de un programa. Esto adquiere un mayor sentido cuando se refiere a programas y polticas pblicas, ya que el rendimiento de cuentas debe formar parte indiscutible del sistema democrtico. Este rendimiento de cuentas debe darse a varios niveles, incluyendo de forma especial a la ciudadana: el/la ciudadano/a tiene derecho a saber no slo en qu se estn empleando los fondos pblicos sino tambin con qu grado de idoneidad, eficacia y eficiencia se estn asignando, gestionando y empleando dichos fondos. Evert Vedung analiza con cierta profundidad esta funcin de rendimiento de cuentas o responsabilidad, cuestin que normalmente se obvia en la literatura al uso. En su anlisis, distingue cuatro perspectivas distintas respecto a la responsabilidad (Vedung, 1997: 134-137). Desde la perspectiva poltica, la evaluacin es un instrumento clave para que los representantes polticos comprueben que la administracin est realmente ejecutando las tareas que se le han asignado. Desde una perspectiva tcnicoorganizativa, la evaluacin es un instrumento para que los directivos de los organismos pblicos tengan informacin sobre si los subordinados estn cumpliendo correctamente su tarea. Aunque Vedung reconoce que en el discurso sobre la evaluacin rara vez se escucha el punto de vista de los ciudadanos, stos configuraran una tercera perspectiva. La ciudadana necesita la evaluacin para valorar cmo los polticos elegidos y sus agentes a diferentes niveles estn desarrollando sus tareas, y para exigirles responsabilidades en las prximas elecciones. Por ltimo, desde la perspectiva del cliente (categora ms limitada que la de los ciudadanos), la evaluacin puede producir informacin sobre si los servicios prestados son satisfactorios y se estn distribuyendo equitativamente. Estas cuatro perspectivas hacen que se den dobles lealtades en la cadena de representacin pblica (los representantes polticos son a la vez superiores y subordinados, la burocracia nacional es agente del gobierno y jefe de otros organismos pblicos, etc.), siendo evaluados los que a su vez tienen que evaluar, lo que contribuye, segn el autor, a la tibieza en el inters mostrado por la evaluacin en la vida pblica. Adems de estas dos funciones, la evaluacin puede cumplir una tercera que es la de dar luz o iluminar acciones futuras. Aunque el sentido ltimo de la evaluacin tiene que ver, esencialmente, con el programa concreto evaluado en un contexto, situacin y momento determinado de forma que se contribuya a su mejora y se rindan cuentas sobre el mismo, las evaluaciones arrojan una informacin sistemtica que contribuye al acervo cientfico, no slo de ese programa, servicio, o poltica concreta sino tambin del abordaje general de determinados problemas pblicos. Es claro que si se evalan sistemticamente los diferentes programas de prevencin de drogodependencias, por ejemplo, dichas evaluaciones contribuirn, en su conjunto, a construir conocimiento sobre las diferentes formas de hacer prevencin, cules son los contextos y grupos adecuados, quines son los agentes intervinientes necesarios, qu respuestas han dado los poderes pblicos en diferentes momentos y por qu, etc. En definitiva, se sabr ms sobre cmo hacer prevencin y esto servir de orientacin general a los poderes pblicos sobre cmo abordar el problema de las drogodependencias. En este sentido, en la actualidad, en la comunidad cientfica internacional algunos evaluadores reclaman ms experiencias de sntesis de evaluaciones, meta-anlisis y metaevaluaciones para aprovechar todo el cmulo de estudios de evaluacin realizados en determinadas reas en los ltimos aos (Cook, 1997). Desgraciadamente, esta peticin no puede ser trasladada a muchos pases como Espaa, en donde lo primero que tiene que ocurrir es que se hagan suficientes estudios para poder ser sintetizados. 2. TRES CARACTERSTICAS ESPECFICAS DE LA EVALUACIN Destacamos, en este apartado, tres caractersticas especficas de la evaluacin: su carcter poltico, el enjuiciamiento sistemtico y su carcter prctico y aplicado.

a) El carcter poltico de la evaluacin En los ltimos aos, se ha ido reconociendo, de forma paulatina y creciente, el carcter poltico de la evaluacin. En algunos casos, se entiende que poltica y evaluacin son dos realidades separadas aunque interactuantes. La evaluacin debe responder ante el contexto poltico y, a su vez, ser una herramienta que permita controlarlo. Para otros autores, como Monnier (1995), la evaluacin es un acto poltico en s mismo. Un buen indicador del reconocimiento del carcter poltico de la evaluacin fue la publicacin de la obra The Politics of Program Evaluation en 1987 y cuyo editor, Dennis J. Palumbo conclua en su captulo introductorio, que la poltica y la evaluacin estn intrnsecamente interrelacionadas; tanto, que la efectividad de la evaluacin depende de la incorporacin de la realidad poltica a los procesos de evaluacin, es decir, la nica forma de tener un mayor impacto en las polticas y los programas es incorporando los factores polticos en los diseos de la evaluacin y la difusin de sus resultados. Es ms, precisamente es la ingenua falta de atencin a las dimensiones polticas lo que puede contribuir a que la evaluacin se utilice como una herramienta ideolgica. Esta obra representa un hito en el campo de la evaluacin, no slo por el reconocimiento explcito de la relacin poltica-evaluacin, sino tambin porque resta carcter peyorativo al trmino poltica: no se trata slo de partidismos entre partidos polticos sino, sobre todo, de las interacciones de varios actores dentro y entre burocracias, clientes, grupos de inters, organizaciones privadas y legislaturas y sobre cmo se relacionan unos con otros desde diferentes posiciones de poder, influencia y autoridad (Palumbo, 1987:18-19). Esta es la primera obra que tiene como propsito explcito aconsejar a los evaluadores la necesidad de comprender la naturaleza poltica de la evaluacin y cmo incorporar la poltica a su quehacer evaluador. Una de las primeras autoras que trata el tema de evaluacin y poltica es Carol H. Weiss, quien escribe un artculo en 1973 que tambin ser publicado catorce aos ms tarde en la obra de Palumbo anteriormente mencionada. En dicho artculo, titulado Donde la poltica y la investigacin evaluativa se encuentran, la autora sostena que la evaluacin es una tarea racional pero que se lleva a cabo en un contexto poltico en el que hay que tener en cuenta tres consideraciones: la primera, que las polticas y programas que se evalan son resultado de decisiones polticas. Segundo, la evaluacin al llevarse a cabo para alimentar el proceso de toma de decisiones entra, inevitablemente, en la arena poltica. Tercero, la evaluacin en s misma adopta una postura poltica ya que, por su misma naturaleza, expone implcitamente cuestiones tales como la naturaleza problemtica o necesidad de algunos programas, la legitimidad de las estrategias y objetivos, etc. Conocer estas resistencias y fuerzas polticas es necesario para realizar una evaluacin til. Aos ms tarde (Weiss, 1998), la autora sigue insistiendo en que la evaluacin no se hace en abstracto, sino en un contexto determinado; ms all, sta se realiza, principalmente, para facilitar la toma de decisiones sobre el programa o poltica evaluada. En definitiva, se reconoce el contexto poltico, incluso como determinante de una situacin evaluativa a la que vamos a tener que responder metodolgicamente de formas diversas. La evaluacin como proceso sistemtico reconoce, pero tambin ayuda a contrarrestar y controlar, ese clima poltico en el que est inmerso cualquier programa o poltica, especialmente si es pblico. De esta manera, para Weiss, el rigor de la evaluacin sistemtica es particularmente importante si los programas son complejos, las decisiones a tomar son importantes y caras y si se necesita informacin para convencer a otros de la validez de las conclusiones. Sin embargo, otros autores, como Monnier (1995), van un paso ms all, y consideran que no slo se trata de que la evaluacin se desarrolla inevitablemente en un contexto poltico que hay que reconocer y tener en cuenta, sino que es una actividad poltica en s misma y, por lo tanto, forma parte integrante de dicho contexto poltico. Es decir, evaluacin y poltica no son dos realidades fcilmente separables. De esta manera, la evaluacin, al margen del rigor metodolgico, debe procurarse una legitimidad poltica, que supone el reconocimiento y consideracin de los distintos actores sociales. Por lo tanto, la evaluacin es un elemento generador e integrante de la realidad poltica. De esta manera, el carcter poltico de la evaluacin deja de ser un tema relacionado con la prctica evaluativa para ser parte crucial de la teora de la evaluacin. Buen exponente de ello es la conferencia dictada por Eleanor Chelimsky en el encuentro anual de 1997 de la AEA (Asociacin Americana de Evaluacin) en San Diego, titulada El papel de la experiencia en la formulacin de teoras sobre la prctica de la evaluacin (Chelimsky, 1998) y en la que considera que una de las cuestiones aprendidas con la experiencia, y que deben ser incorporadas a la teora de la evaluacin, es la inequvoca relacin entre evaluacin y poltica. Para ella, hasta entonces, se haban examinado evaluacin y poltica separadamente, considerando la poltica como perifrica o contextual a la evaluacin y no como conectada a aquella de forma visceral: Todava, incluso hoy en da, entendemos la poltica meramente como el `contexto' de una evaluacin, como algo que se `entromete' en el buen hacer, ms que el motor que la conduce (Chelimsky, 4

1998: 39). Sin embargo, se debe considerar la poltica como algo central en evaluacin y los evaluadores deben ser ms conscientes del dinamismo poltico que rodea cualquier situacin evaluativa y reconocer su centralidad para la prctica profesional. Algunas implicaciones de esta centralidad poltica son la necesidad de credibilidad para la prctica evaluativa, de flexibilidad en los procesos de evaluacin y de atender a la temporalidad de los mismos. En primer lugar, si los resultados de la evaluacin deben ser tiles y sobrevivir a los avatares polticos, la evaluacin misma debe ser percibida como creble e imparcial. En segundo lugar, la necesidad de flexibilidad requiere de una cierta provisionalidad durante el proceso de evaluacin. Esto puede significar enfrentar una polmica inesperada cambiando el diseo de la evaluacin, aadiendo nuevos consultores o nuevos componentes a la evaluacin. En definitiva, cada situacin evaluativa puede requerir una respuesta evaluativa nica, adaptada a las circunstancias concretas. Tambin implica ser ms cautelosos a la hora de hacer valoraciones absolutas, enfatizando las observaciones lo ms especficas, precisas y validadas posible. La tercera implicacin es la temporalidad o necesidad de oportunidad en el tiempo (timeliness), es decir, que la evaluacin se haga en el momento oportuno y no se retrase. Cuando el clima poltico cambia, presentar los resultados de una evaluacin demasiado tarde puede significar lo mismo que no presentarlos. Sin embargo, presentarlos a tiempo puede marcar la diferencia entre ser escuchados o no, que se utilicen los resultados o no, o que se aumente o disminuya la credibilidad del evaluador. En otras palabras, si se tarda mucho en contestar las preguntas de evaluacin, puede que el debate que las gener ya no sea el mismo, que esas preguntas sean ya irrelevantes o que los destinatarios de la evaluacin hayan desaparecido. Se pueden mencionar otras implicaciones de este reconocimiento poltico de la evaluacin. As, hay que reconocer que los imperativos de los evaluadores y los de los gestores pblicos son distintos y muchas veces entran en conflicto, que hay que entender el valor simblico y de cambio de la informacin que ofrecen las evaluaciones, y que es necesario extender las evaluaciones ms all de los objetivos de un programa y comprender los procesos organizativos que subyacen a toda situacin evaluativa. Tambin implica que hay que tener en cuenta a todos los agentes crticos (stakeholders) especialmente a los ms indefensos y asumir que existen diferentes, necesidades de informacin en los distintos puntos del ciclo e una poltica. Finalmente, nos gustara sealar que la evaluacin slo puede entenderse plenamente desde una comprensin profunda de los procesos polticos y de las polticas pblicas, mucho ms que desde una posicin tcnica estrictamente metodolgica. La evaluacin de programas y polticas pblicas es algo ms que una herramienta metodolgica o, si se quiere, la metodologa de evaluacin debe entenderse en un sentido mucho ms amplio del que normalmente se le asigna. b) El enjuiciamiento sistemtico. Su carcter prctico Adems de recopilar e interpretar sistemticamente informacin, la evaluacin cuenta con otros dos niveles de anlisis valoracin o emisin de juicios y establecimiento de recomendaciones que la hacen especfica respecto a otros tipos de anlisis e investigacin. En los primeros aos de desarrollo de la disciplina de la evaluacin, en los que dominaba adems una concepcin epistemolgica netamente positivista y se conceba que la ciencia poda y deba estar libre de valores, haba algunos autores que crean que esta orientacin valorativa conduca a interpretaciones radicales y subjetivas y otorgaba un poder inmerecido a los evaluadores. Sin embargo, a lo largo del tiempo, la mayora de los autores clave en evaluacin han dado a este elemento valorativo una importancia central en el desarrollo y articulacin de las teoras de evaluacin (Shadish, Cook y Levinton, 1991). Ya en los aos ochenta, este elemento valorativo es plenamente reconocido e incluso utilizado como elemento central en la definicin de la evaluacin. Stufflebeam y Shinkfield, por ejemplo, insisten en que la meta esencial de la evaluacin es determinar el valor de algo que se est enjuiciando. De acuerdo con esta definicin, si un estudio no informa de cun buena o mala es una cosa, no se trata de una evaluacin (Stufflebeam y Shinkfield, 1987: 20). Precisamente, es este elemento el que organiza su clasificacin de modelos o enfoques de evaluacin, ya que estos autores denominan cuasievaluaciones a los enfoques que no incluyen la valoracin como parte de la evaluacin y evaluaciones verdaderas a los que s lo hacen. El reconocimiento de este elemento valorativo implica su consideracin como elemento sistemtico en el proceso de evaluacin. Esto significa que no slo hay que procurar que la informacin que se recopile sea de calidad sino que se proporcione y clarifique una base lgica que justifique las perspectivas de valoracin utilizadas para interpretar y valorar los resultados. Ya que existen distintos pblicos y destinatarios de una evaluacin, se pueden y deben emplear diferentes perspectivas de valoracin. Esta necesidad de tener en cuenta las diferentes perspectivas de valoracin de los actores crticos en el programa o 5

poltica evaluada, es una de las claves de la evaluacin pluralista propuesta por Monnier. Precisamente, es el compromiso sobre la interpretacin de los hechos y sus valoraciones entre observadores y observador, de una parte, y entre los diferentes protagonistas del programa, por otra, lo que hace que una evaluacin sea legtima polticamente y, por lo tanto, til socialmente (Monnier, 1990-91: 143-145). Siguiendo a Stufflebeam y Shinkfield (1987: 21), adems de los diferentes protagonistas, tambin habr que tener en cuenta los conceptos de mrito y valor, adems de los de viabilidad y equidad. As las bases de valoracin que deben ser tenidas en cuenta son las expectativas de los clientes; el mrito o excelencias del servicio, programa o poltica (hace bien lo que se supone que debe hacer?); hasta qu punto es necesario o adecuado a la comunidad a la que se dirige, es decir, si tiene validez; hasta qu punto es viable; si est pensado y es asequible para todos los miembros de la sociedad y si los niveles de logro o consecucin de objetivos no son sustancialmente diferentes para los distintos grupos (equidad). Estas bases de valoracin se vern reflejadas en los criterios de evaluacin que se establezcan en cada proceso evaluativo. Otros autores, como Dunn (1981: 343), realizan propuestas similares: efectividad, eficiencia, adecuacin, equidad, capacidad de respuesta y propiedad (si merecen la pena los resultados obtenidos). Adems, las bases de valoracin pueden ser relativamente diferentes, y tener sus matices especficos, dependiendo del mbito al que pertenezca la poltica o programa evaluado. As, por ejemplo, en la evaluacin de las polticas de cooperacin al desarrollo existe un consenso generalizado sobre la importancia de valorar a travs de los criterios generales de eficiencia (hasta qu punto los resultados alcanzados derivan de una utilizacin eficiente de los recursos financieros, tcnicos y humanos), eficacia (hasta qu punto se han alcanzado los objetivos propuestos), impacto (consecuencias previstas y no previstas para la sociedad, tanto negativas como positivas), pertinencia (hasta qu punto el programa evaluado se ajusta, en este caso, a los objetivos globales de desarrollo, a la poltica del donante y del receptor y a las necesidades y prioridades locales) y viabilidad (definida en este mbito como hasta qu punto los cambios positivos logrados como consecuencia del programa se mantienen despus de que ste haya finalizado) (NORAD, 1997; Ministerio de Asuntos Exteriores, 1998 y 2001; Cruz Roja, 2001). En definitiva, el carcter sistemtico del enjuiciamiento se obtiene por dos elementos: en primer lugar, el establecimiento previo de los criterios de evaluacin en los cuales se contiene y van a verse reflejadas las perspectivas de valoracin que van a utilizarse para enjuiciar los resultados; en segundo lugar, porque los juicios, adems de en las perspectivas de valoracin preestablecidas, se realizan basndose en una informacin recopilada y analizada sistemticamente. Su carcter prctico y aplicado: la preocupacin por la utilizacin y el establecimiento de recomendaciones. La preocupacin por la utilizacin y el uso de la evaluacin ha sido una constante en la literatura especializada. Dada la naturaleza especfica de la evaluacin, su xito no slo se debe medir por el grado en que sta contribuye al aumento o mejora del conocimiento sino, sobre todo, por el grado en el que ha resultado valiosa para cubrir las necesidades especficas de informacin de un cliente, destinatario o usuario particular. Esta preocupacin tambin ha llevado a la identificacin de elementos prcticos facilitadores de dicha utilizacin en los procesos de evaluacin y que aparecen de forma recurrente en la literatura. En general, los evaluadores deben tener en cuenta el contexto especfico de la evaluacin; identificar los destinatarios (audiencias) de la evaluacin e implicarles (especialmente a clientes y agentes crticos stakeholders) en el diseo de la evaluacin; mantener un fuerte y frecuente contacto y aportar resultados intermedios a lo largo del proceso de evaluacin; ajustar los informes a las necesidades de los destinatarios, usando una variedad de formatos, incluyendo informes cortos y resmenes, presentaciones orales y oportunidades para la interaccin; presentar ilustraciones reales y concretas de los hallazgos; presentar los resultados con una temporalidad adecuada a una variedad de destinatarios; y usar un lenguaje simple y claro (Alkin, 1985; Joint Committee, 1994; Patton, 1985, 1997; Shadish, Cook y Levinton, 1991). Algunos autores sealan la necesidad de enfocar la totalidad del proceso de evaluacin (y no slo las fases finales) a la maximizacin de su uso o, al menos, considerar la cuestin del uso desde el principio (Weiss, 1998: 324). El mximo exponente es Patton, quien elabora un modelo la evaluacin orientada a la utilizacin que propugna que la evaluacin debe hacerse con y para usuarios especficos e intencionados para usos especficos e intencionados (Patton, 1997: 23). Es decir, todo el proceso de evaluacin, desde su diseo hasta su comunicacin, est enfocado a responder las preguntas necesarias a determinados destinatarios identificados previamente. No slo la utilizacin de la evaluacin es su sentido ltimo, sino que la concepcin general de los procesos evaluativos debe estar subordinada a dicho fin.

Sin embargo, de forma paralela a esta preocupacin por la utilizacin, la comunidad cientfica dedicada a la evaluacin se ha ido haciendo ms consciente y realista sobre cules pueden ser, realmente, los usos de las evaluaciones (entre otras cosas, en la toma de decisiones sobre un programa o poltica, la evaluacin es slo uno de los factores a tener en cuenta y la utilizacin no siempre es directa e inmediata). Hacerse conscientes de esta realidad ha derivado en una visin ms flexible de la utilizacin de los resultados de la evaluacin. La evaluacin no slo puede y debe servir para facilitar la toma de decisiones concreta respecto a un programa. Tambin puede contribuir al aprendizaje organizativo y de los grupos humanos, y su utilidad puede ir ms all del programa o poltica concreta que evala, no slo respecto al mbito o campo que toque, sino tambin respecto a los propios procesos de evaluacin. Cada proceso de evaluacin puede y debe contribuir y ofrecer una informacin til sobre cmo evaluar determinadas polticas en determinados contextos, qu enfoques, perspectivas, metodologas y tcnicas han sido adecuadas, etc. Nos resulta especialmente interesante insistir en conceptualizar como uso de la evaluacin los efectos que se pueden producir por el propio hecho de evaluar. Se sabe que las personas que participan en un proceso de evaluacin tienen mayores probabilidades de hacerse ms conscientes del programa o poltica y sus objetivos. En definitiva, la evaluacin es reflexin y revisin; el mero hecho de dar un espacio formalizado para ello tiene efectos positivos en s mismos. Dependiendo del enfoque adoptado para la realizacin de la evaluacin, se pueden obtener otros efectos colaterales. Por ejemplo, con los enfoques participativos se ayuda a las personas en tomo al programa evaluado a reflexionar sobre la prctica, a pensar de forma crtica y a preguntarse por qu el programa funciona como lo hace. Con una evaluacin basada en la teora, los profesionales deben analizar y hacerse conscientes de las premisas subyacentes a su trabajo, etc. Por la propia naturaleza y carcter prctico y aplicado de la evaluacin, sta debe contar con un ltimo nivel de anlisis y exposicin de los resultados que consiste en la traduccin de los resultados de la evaluacin en recomendaciones. Estas recomendaciones son sugerencias sobre posibles lneas de accin a seguir respecto al programa o poltica evaluada, cambios propuestos en el programa, o cosas a mantener en el mismo, o consejos para la mejora dirigidos a los patrocinadores, responsables y/o profesionales del programa. Evidentemente, estas recomendaciones deben seguir la secuencia lgica y sistemtica de los niveles de anlisis anteriores. Es decir, las recomendaciones de una evaluacin deben estar basadas en las valoraciones realizadas que, a su vez, habrn estado basadas en la recopilacin y anlisis sistemtico de la informacin. Las recomendaciones son, adems, el vnculo formal entre una evaluacin y su uso (Torres, Preskill y Piontek, 1996: 105). Por lo tanto, el ofrecimiento de recomendaciones especficas y orientadas a la accin se considera como algo deseable y relacionado con las buenas evaluaciones. Patton, aunque insiste en que no slo las recomendaciones sino todo el resto del proceso evaluativo es lo que provoca y estimula el uso de la evaluacin, reconoce, sin embargo, que son, a menudo, la parte ms visible de un informe de evaluacin (Patton, 1997: 324). En general, todos los autores prestan atencin a este ltimo paso de establecer recomendaciones. 2 As, se han desarrollado una serie de orientaciones y sugerencias prcticas para su elaboracin (Torres, Preskill y Piontek, 1996; Patton, 1997; Chelimsky, 1998). Todas estas sugerencias denotan la importancia concedida a su elaboracin como producto de los procesos de evaluacin. Una primera cuestin a tener en cuenta al desarrollar las recomendaciones es quines participan en su elaboracin y de qu forma. En segundo lugar, hay que determinar el tipo de recomendaciones que se quieren realizar: pueden ser simples (se desarrolla la mejor opcin), o se pueden desarrollar varias opciones, analizando las debilidades, amenazas, costes y beneficios de cada una, o se pueden dar opciones basadas en diferentes escenarios futuros con sugerencias para el seguimiento, o incluso diferentes recomendaciones para diferentes destinatarios. Otras cuestiones reseables son que las recomendaciones deben seguir claramente y ser apoyadas por los hallazgos de la evaluacin, que deben ser realistas, o mejor dicho, se deben enfocar hacia acciones bajo el control de los destinatarios de la evaluacin, y que hay que dedicarle suficiente tiempo a su redaccin, para trabajarlas con los destinatarios y para comprobar su claridad, comprensin, carcter prctico, utilidad y significado.

No todos los autores estn de acuerdo con la idea de que las recomendaciones son una parte ineludible de la evaluacin. Para Scriven, es una falacia lgica pensar que juzgar el mrito y la vala conduce directamente a las recomendaciones; la principal funcin del evaluador es valorar y hacer juicios, no la de hacer recomendaciones (Scriven, 1993). Esta postura, que nace de un modelo de evaluacin orientado al consumidor, ha sido criticada y/o ignorada por el resto de los autores. Sin embargo, el desprecio de Scriven a este ltimo paso de la evaluacin hay que entenderlo en el contexto de la importancia que este autor da al enjuiciamiento sistemtico, siendo uno de los autores que ms prolfica y seriamente ha tratado el tema.

3. LA DISTINCIN DE LA EVALUACIN CON RESPECTO A OTRAS PRCTICAS Dada la inexistencia de una cultura de evaluacin y de unos referentes claros en evaluacin de programas y polticas pblicas, se tiende a asignar el apelativo de evaluacin a otras prcticas de anlisis que realmente no lo son. Por lo tanto, parece imprescindible, al hablar de la especificidad de la evaluacin, distinguirla de otras prcticas. Aqu queremos sealar las diferencias con la investigacin en general, con los observatorios de problemas pblicos y con el seguimiento y monitorizacin de los programas. a) Evaluacin versus investigacin La necesidad de caracterizar especficamente la evaluacin, nos hace poner especial nfasis en su diferenciacin con la investigacin en el marco de las polticas pblicas. En nuestra opinin, es necesario distinguir la evaluacin de la investigacin para otorgar a aquella un carcter e identidad propia. Las diferencias se pueden establecer segn una serie de dimensiones (Bustelo, 1999), de las que destacaremos aqu algunas. En los primeros aos de desarrollo de la evaluacin de programas en las dcadas de los aos sesenta y setenta, no se encuentran en la literatura especializada distinciones entre ambas actividades. Entonces, se conceba la evaluacin como un tipo de investigacin de carcter aplicado y que deba guiarse por los estndares de la misma. En realidad, se consideraba la evaluacin como una hermana menor de la investigacin, siendo a veces desprestigiada en la comunidad cientfica de entonces. La utilizacin de trminos como investigacin evaluativa (Rossi y Freeman, 1989; Weiss, 1975, etc.), aunque contribuan a dar una mayor seriedad y a obtener legitimidad para el nuevo campo en desarrollo, no ayudaban al esclarecimiento o diferenciacin de los dos conceptos. Respecto a su naturaleza, es evidente que la investigacin y la evaluacin son modos de indagacin sistemtica. Para Lincoln y Guba (1986: 547) se trata de tipos de indagacin disciplinadas, es decir, producen algo que es confirmable pblicamente y que permite explicitar la naturaleza de los datos, las fuentes y el contexto en el que fueron recogidos, as como los procesos de transformacin de los datos en informacin (interpretaciones, conclusiones, extrapolaciones, recomendaciones). Por otro lado, ambos tipos de actividad pueden ser de carcter aplicado; pero la evaluacin es siempre de carcter aplicado, nunca bsico (es ms, se puede afirmar que la evaluacin es un tipo de indagacin sistemtica especialmente aplicada). Sin embargo, el hecho de que se d una investigacin aplicada (cuyo fin primario sea la solucin de un problema o la respuesta a una necesidad concreta, ms que el desarrollo de teora en abstracto) no la convierte automticamente en una actividad evaluativa, por lo que se apuntan aqu otras dimensiones que permiten establecer claras diferencias entre ambos conceptos. La finalidad principal de la investigacin es la construccin de conocimiento, mientras que la de la evaluacin es la mejora de las polticas, el rendimiento de responsabilidades sobre las mismas y la iluminacin sobre acciones futuras. Esto implica que la evaluacin tiene sentido mientras sea til para dichas finalidades y para esto debe tener capacidad de respuesta y una temporalidad ajustada. La evaluacin es dependiente del contexto y tiene por objetivo la respuesta concreta a dicho contexto especfico, que adems es marcadamente poltico. Ms all, la evaluacin siempre ocurre en un escenario de accin, es decir, lo prioritario es el programa o poltica evaluada y no su evaluacin. Tambin existen diferencias segn el objeto, siendo el de la investigacin los problemas sociales a solucionar y el de la evaluacin la manera en que los poderes pblicos abordan dichos problemas y si son efectivos o no en ello. Mientras que los destinatarios primarios de la investigacin son grupos abstractos de la comunidad cientfica, los de la evaluacin son grupos y personas concretas, agentes crticos (stakeholders) en tomo al programa o poltica evaluada. Finalmente, respecto a los agentes, los investigadores y evaluadores requieren de capacidades de alguna forma diferenciadas: la capacidad investigadora requiere tener conocimientos bsicos sobre metodologa y exhaustivos del sector sobre el que se investiga. Los evaluadores necesitan de conocimientos metodolgicos amplios, aunque el conocimiento sobre el sector sobre el que se evala no debe ser tan exhaustivo y puede irse desarrollando a lo largo del proceso. Sin embargo, el evaluador requiere de otras habilidades que le son necesarias, como son el anlisis de polticas pblicas y el conocimiento de los procesos polticos, el conocimiento y la capacidad de trato con personas y grupos, as como habilidades de comunicacin.

b) Evaluacin de programas y polticas pblicas versus observatorios de problemas pblicos El conocimiento exhaustivo del problema que se pretende abordar con una poltica pblica es un elemento necesario para su formulacin, sobre todo, pero tambin para su ejecucin, seguimiento y evaluacin. Si, adems, dichos problemas son complejos y dinmicos y su definicin va evolucionando a lo largo del tiempo, ese conocimiento debe darse de una forma peridica y continuada, de forma que se pueda ir ajustando la intervencin pblica a la realidad cotidiana, respondiendo de una forma adecuada a las demandas y necesidades de la ciudadana. Esta es la razn por la que han ido surgiendo, en diferentes mbitos o sectores, los observatorios que suelen ser unidades o estructuras dedicadas al seguimiento exhaustivo y peridico de un determinado problema o conjunto de problemas (por ejemplo, las drogodependencias o la igualdad de gnero). En algunos casos, estos observatorios tambin recopilan y analizan informacin sobre las respuestas pblicas a determinados problemas (por ejemplo, polticas pblicas regionales o desarrollo local). Sin embargo, la existencia de estos observatorios no obvia ni es equivalente a la evaluacin de las polticas y las acciones pblicas. Ambas funciones el seguimiento e investigacin sobre los problemas pblicos y la evaluacin de las acciones pblicas que se realizan para paliarlos son necesarias y complementarias, y no deben confundirse la una con la otra. El hecho de que se siga o monitorice la evolucin, por ejemplo, de la situacin social de las mujeres respecto a los hombres en una serie de indicadores, por mucho que esos indicadores tengan que ver de alguna manera con los resultados que las polticas pretenden conseguir, no significa, ni muchsimo menos, que se estn evaluando las polticas y las acciones pblicas. Recordemos que las funciones de la evaluacin son la mejora de las polticas, el rendimiento de cuentas y responsabilidades, y la iluminacin para acciones futuras. En esta tercera funcin es en donde observatorios y evaluacin coinciden ms plenamente, aunque aqullos la ejercen principalmente a travs del anlisis de la evolucin del problema a estudiar, y sta lo hace valorando la adecuacin, relevancia y eficacia de las acciones pblicas realizadas para paliarlo. En definitiva, ambas actividades observatorios y evaluacin se benefician y potencian mutuamente. Pero el hecho de que exista un observatorio, aunque resulta sumamente til e interesante para la evaluacin proporciona una informacin sistemtica y continua que puede ser muy importante para una parte de la evaluacin de las polticas, no implica que se est haciendo evaluacin. Por otro lado, la evaluacin de las actuaciones, programas y polticas ofrece una informacin que puede contribuir sustancialmente a la identificacin de nuevas variables e indicadores a tener en cuenta en los observatorios. c) Evaluacin versus seguimiento o monitorizacin Otro de los conceptos con los que a menudo se confunde la evaluacin, es el seguimiento o monitorizacin (monitoreo en otros pases de habla hispana) de los programas o las acciones pblicas. De hecho, ambos conceptos suelen ser citados conjuntamente, sin establecer ninguna distincin entre los mismos. En cierto modo, la frontera entre un concepto y otro no est claramente establecida y ambas actividades son claramente complementarias, aunque esto no quiere decir que sean lo mismo. Por un lado, es evidente que una buena parte de la informacin sistemtica que debe utilizarse en una evaluacin, es recogida en las tareas de seguimiento del programa a evaluar. Por otro, las acciones objeto del seguimiento tambin son objeto de la evaluacin. En general, el seguimiento es una actividad relacionada con la gestin de los programas y acciones a evaluar, que se hace, adems, de forma interna, permanente y continua, y que no implica enjuiciamiento sistemtico. Una buena definicin de seguimiento es la que ofrece la Agencia Noruega de Desarrollo: Supervisin continua y peridica de la ejecucin fsica de un proyecto para asegurar que los insumos, actividades, resultados y supuestos estn desarrollndose de acuerdo con lo planificado (NORAD, 1997: 133). Es decir, se trata de una actividad que sirve para ir comprobando que el programa va cumpliendo los objetivos, el calendario y los recursos previamente establecidos. Significa la generacin de retroalimentacin sobre el proceso de ejecucin y los posibles problemas que durante el mismo puedan darse, as como la supervisin de la asignacin de recursos y la produccin de las actividades o servicios correspondientes. Sin embargo, la evaluacin no slo analiza, sino que tambin juzga globalmente, centrndose no slo en el proceso de ejecucin de las acciones, sino tambin en su diseo y en sus resultados, pudiendo ser, adems, una actividad interna o externa. La evaluacin significa una reflexin ms global y profunda y que va ms all del seguimiento. Este, sin embargo, es una actividad cotidiana relacionada con la gestin interna de los programas.

De nuevo, la insistencia en la distincin entre estas dos actividades tiene su razn de ser en otorgarle una identidad propia a la evaluacin de los programas. El hecho de que se realice un buen seguimiento de un programa no significa que se haga evaluacin del mismo, aunque cuanto mejor sea el seguimiento ms se facilitar una parte importante de la evaluacin. En definitiva, el seguimiento de un programa es condicin necesaria aunque no suficiente de su evaluacin. 4. EL REFLEJO DE LA ESPECIFICIDAD EN LA METODOLOGA DE EVALUACIN El sentido de la evaluacin y sus caractersticas especficas se reflejan en los que, a nuestro parecer, son los cuatro elementos claves para la prctica de la evaluacin y que deben concebirse y desarrollarse como parte del concepto de metodologa de evaluacin. Estos son los siguientes: la importancia del contexto como organizador previo y motor de la evaluacin, la centralidad de los criterios de evaluacin, una metodologa que adems de dirigir la recopilacin y el anlisis de la informacin, establezca la forma de enjuiciar y hacer recomendaciones y, finalmente, la importancia de la comunicacin del proceso y de los resultados de la evaluacin. a) La importancia del contexto como organizador previo y motor de la evaluacin La evaluacin se da en un contexto determinado, con un fuerte carcter poltico, y al cual debe responder. Por lo tanto, la evaluacin es y debe ser contextual. Cada proceso de evaluacin debe adaptarse a la situacin concreta del programa o poltica a evaluar que puede ser muy distinta en cada caso concreto. Esta adaptacin al contexto concreto es necesaria si se quiere que la evaluacin sea relevante y til para el programa o poltica concreta que se va a evaluar. Conviene aqu recordar que el sentido ltimo de la evaluacin consiste en su utilidad para la mejora y el rendimiento de responsabilidades del programa concreto que se evala. Por lo tanto, los mtodos universales de evaluacin, que pretenden aplicarse de igual forma independientemente del programa a evaluar, suelen resultar poco tiles. Patton (1981: 25-26) identifica una serie de variables situacionales a tener en cuenta para realizar el diagnstico de una situacin evaluativa. Slo con que vare una de ellas de una situacin a otra puede dar como resultado un contexto evaluativo distinto al que hay que responder de una forma especfica. Entre estas variables, se pueden mencionar: el nmero de responsables y patrocinadores del programa (que pueden o no coincidir), la actitud del personal y beneficiarios ante la evaluacin (de entusiasmo o resistencia), la claridad o ambigedad sobre el fin y la funcin de la evaluacin, la historia del programa, si ste ha sido evaluado o no y cules fueron los resultados de las otras evaluaciones, los patrones de interaccin entre los diferentes agentes crticos del programa (de conflicto o cooperacin), los conocimientos de evaluacin de los profesionales del programa, los recursos disponibles para la evaluacin, el tiempo que hay disponible para la misma, los datos existentes y la calidad de los sistemas de informacin y seguimiento, si la evaluacin ha sido algo planteado de forma voluntaria o impuesta, etc. La importancia de este elemento contextual va ms all del hecho de tenerlo en cuenta e incorporarlo en el diseo de los estudios y procesos de evaluacin. En realidad, el contexto de una evaluacin es de donde debe partir la evaluacin el organizador previo, donde se ejecuta y para su adecuada consecucin, hay que adaptarse al mismo, y la realidad concreta y especfica a la que la evaluacin debe responder. Por lo tanto, el diagnstico de la situacin evaluativa es el primer paso necesario de todo diseo evaluativo. Hacer una lectura ajustada de dicha situacin permitir contestarse a las preguntas de PARA QU (razn de ser de la evaluacin, objetivos y propsitos concretos de la misma atendiendo a las necesidades concretas de informacin) y PARA QUIENES (agentes crticos y destinatarios de la misma), determinar qu tipo de evaluacin va a realizarse (formativa o sumativa de diseo, proceso y/o resultados, interna o externa, previa, intermedia y/o final), y adoptar el enfoque de evaluacin ms adecuado para dicha ocasin. Una de las caractersticas de los contextos evaluativos es la presencia de diferentes personas y colectivos que tienen algo que ver con el programa o poltica que se pretende evaluar. Aunque el cliente o comanditario de la evaluacin, es decir, quien encarga la evaluacin y decide que hay que realizarla porque tiene unas determinadas necesidades de informacin, sea slo uno, los destinatarios de la evaluacin, es decir, a quin va dirigida y quines son los posibles usuarios de la evaluacin, son muchos ms. Esta realidad significa que existe un elenco amplio de potenciales agentes crticos (stakeholders) en la evaluacin. Todos los agentes crticos en un programa 3 , por el hecho de serlo, seran susceptibles de tener inters en su
Se pueden establecer cuatro grandes categoras: 1) Patrocinadores, formuladores de polticas y responsables polticos; 2) Directores de los programas, gestores pblicos y profesionales en general; 3) Destinatarios directos e indirectos (por
3

10

evaluacin y, por lo tanto, ser destinatarios y posibles usuarios de los procesos evaluativos. En cualquier caso, se cree conveniente insistir en la pluralidad de actores potenciales de un proceso de evaluacin y en su necesaria participacin e inclusin en el mismo, ya que a mayor participacin de diferentes actores en la evaluacin, mayor probabilidad de uso de la misma. Por otro lado, la implicacin de los principales actores es condicin necesaria para un cierto pluralismo y para la integracin de todas las informaciones, interpretaciones y juicios pronunciados en el marco del proceso evaluador. En general, la identificacin de los destinatarios y agentes crticos (stakeholders) de la evaluacin debe guiar tambin la planificacin de la ejecucin de la evaluacin (se debe saber con quin se ha de contar y sus caractersticas y situacin para planificar la recopilacin y anlisis de la informacin), as como el plan de difusin y comunicacin de los resultados. b) La centralidad de los criterios de evaluacin Los criterios de evaluacin deben estar claramente definidos y, en los procesos de evaluacin, se debe dejar un espacio prioritario para su establecimiento. Efectivamente, uno de los pasos cruciales en evaluacin consiste en determinar qu es lo que se quiere evaluar, una vez se ha clarificado el por qu y el para qu queremos evaluarlo. Ya se ha mencionado que los criterios de evaluacin son una pieza clave, ya que determinan y guan el estudio, orientando la recopilacin y el anlisis de la informacin; en definitiva, se trata de la identificacin y definicin de las variables que se van a valorar. Pero adems, y de forma igualmente importante, en evaluacin, se determinan tambin los criterios de valor, es decir, a travs de la definicin de los criterios se define la base lgica con la que posteriormente se van a emitir los juicios sobre el programa o poltica evaluada. En definitiva, los criterios de evaluacin son los que definen la perspectiva de valoracin a utilizar. Por otro lado, la definicin de los criterios de evaluacin puede y debe servir para realizar un proceso de revisin del propio programa o poltica a evaluar. Este es un paso lgico cuando se cuestiona y reflexiona sobre qu se debe evaluar. En realidad, establecer los criterios de evaluacin sirve para clarificar y reforzar los objetivos y para repasar o explicitar la teora de programas, en otras palabras, las premisas, principios y mecanismos subyacentes al programa (por ejemplo, por qu una campaa publicitaria sobre el reparto de las responsabilidades domsticas contribuye a un cambio de actitudes en la poblacin?). Y esto en la doble vertiente apuntada por Weiss, lo que ella llama las teoras de cambio de un programa, que seran la combinacin de la teora de programas (Cules son los mecanismos por los que la transmisin de valores a travs de los medios de comunicacin provoca cambios de actitud?) y la teora de la implementacin del programa (Qu secuencia de distribucin debe darse o cmo debe hacerse una campaa publicitaria para que una campaa publicitaria sensibilice a la sociedad?) (Weiss, 1998: 57-58). Sin embargo, el anlisis de algunas experiencias de evaluacin 4 nos hace concluir que, en general, pensar sobre qu se quiere evaluar criterios de evaluacin es un paso clave que muchas veces se suele obviar o se suele dar por hecho, pareciendo que ya estn preestablecidos unos criterios para la evaluacin que son generales, preexistentes y vlidos para cualquier situacin, pero que adems no se suelen explicitar de una forma clara. Una primera cuestin detectada, pues, es que no parece haber una reflexin seria previa a los procesos de evaluacin sobre realmente qu se quiere evaluar. Es ms, en muchas ocasiones, el QU evaluar (criterios de evaluacin) se define a travs del CMO evaluarlo (metodologa y tcnicas utilizadas), dando prioridad a esto ltimo. La razn de ser de esta centralidad de las tcnicas sobre los criterios creemos que se halla en la falta de referencias propias en evaluacin de programas, y que normalmente se han suplido con las coordenadas de otras prcticas de investigacin social que se centran especialmente en la metodologa sobre cmo estudiar y medir los fenmenos sociales. Pero aqu la clave insistimos en que se encuentra en saber qu se quiere evaluar y por qu (a travs de una definicin clara de los criterios o preguntas a evaluar), y luego decidir cul es la mejor manera de contestarse a las preguntas que, de forma consciente, se hayan establecido previamente. c) Una metodologa que adems de dirigir la recopilacin y el anlisis de la informacin, establezca la forma de enjuiciar y hacer recomendaciones
ejemplo, padres de nios en programas educativos), usuarios potenciales del servicio, programa o poltica evaluada y el pblico o comunidad en general; 4) Otros: profesionales y responsables polticos de programas similares, expertos del sector o poltica que se evala, cientficos sociales en general. La eleccin de unos u otros agentes crticos como destinatarios principales de la evaluacin depende del enfoque que se adopte. 4 Adems de una apreciacin ms general, aqu nos basamos en la metaevaluacin realizada sobre once experiencias de evaluacin de planes de igualdad entre mujeres y hombres en el nivel central y el autonmico (Bustelo, 2001).

11

El hecho de que las evaluaciones se hayan centrado especialmente en la recopilacin y anlisis de la informacin producida por los instrumentos elegidos, tambin ha provocado que los pasos posteriores (valoraciones y recomendaciones) prcticamente no se hayan resuelto. El dficit de elaboracin prctica de la informacin sistemticamente recopilada es algo muy comn. Por elaboracin prctica nos referimos a que en evaluacin, adems de recopilar y analizar informacin sistemticamente, se deben emitir juicios sobre la misma, a la luz de los criterios de evaluacin previamente elaborados (enjuiciamiento sistemtico), y este proceso debe concluir en una serie de orientaciones hacia la accin (establecimiento de recomendaciones), para la mejora, la responsabilidad y el mejor conocimiento de las polticas evaluadas. Utilizamos la denominacin de elaboracin prctica, ya que son estos dos ltimos pasos los que confieren el necesario carcter aplicado de la evaluacin. En definitiva, las evaluaciones se hacen con la clara y directa intencin de ser utilizadas, bien sea para tomar decisiones y modificar aspectos concretos del programa a evaluar, bien sea para contribuir al aprendizaje de las organizaciones que tienen como una de sus misiones la funcin de evaluar sus actuaciones pblicas. Por lo tanto, parece evidente que entre los productos de los procesos de evaluacin, deben encontrarse tambin las valoraciones que sistemticamente se hayan realizado y un listado de recomendaciones que traduzca en trminos prcticos lo que se ha concluido a travs de dicho proceso o estudio. De esta manera, parece necesario incluir, en el concepto de metodologa de evaluacin no slo la forma en la que se deben recopilar y analizar la informacin, sino tambin la forma en la que enjuicia sistemticamente y en la que se establecen las recomendaciones, cuestiones que, tradicionalmente, no se consideraban parte de dicha metodologa. Adems, estas dos cuestiones mencionadas enjuiciamiento sistemtico y establecimiento de recomendaciones que son los dos componentes de esa elaboracin prctica a la que nos referimos, son precisamente dos elementos especficos de la evaluacin de programas y polticas y que la diferencian de otros tipos de anlisis o indagacin. El hecho de que son dos pasos que se hacen y se deben hacer sistemticamente, les confiere un carcter metodolgico pleno, debiendo estar contemplados en la forma de hacer evaluaciones. Probablemente, la tradicional no inclusin de esta elaboracin prctica en el concepto de metodologa de evaluacin es lo que ha generado procesos incompletos de evaluacin. En la metaevaluacin realizada, mencionada anteriormente (Bustelo, 2001), se concluye que existe un clarsimo dficit en este sentido. En algunas de las experiencias se establecen algunas conclusiones valorativas, aunque estas tienden a ser pequeas y parciales, es decir, no se realizan prcticamente valoraciones globales de los planes evaluados. En el caso de las recomendaciones es unnime y masivamente deficitario: ninguno de los informes de las experiencias analizadas contiene un apartado especfico de recomendaciones o sugerencias, a pesar de la importancia que a este elemento se le da en la teora de la evaluacin. Esta circunstancia del dficit de elaboracin prctica es una de las que ms influye, segn nuestro punto de vista, en la falta de utilidad y de impacto de las evaluaciones. En un contexto en el que no existe cultura de evaluacin, probablemente sea muy difcil que los potenciales destinatarios de dicha evaluacin sean capaces de hacer dicha traduccin o elaboracin prctica por su cuenta, no por falta de capacidad, sino por falta de costumbre, mtodo y, seguramente, tambin tiempo. Pretender que los responsables polticos y tcnicos de los programas y acciones pblicas hagan por s solos dicha traduccin puede resultar ingenuo. Esto se agrava ms an si se piensa que otros potenciales destinatarios de la evaluacin son la sociedad civil organizada y la propia ciudadana. d) La importancia de la comunicacin del proceso y de los resultados de la evaluacin La buena comunicacin, tanto de los procesos como de los resultados de la evaluacin, es una condicin necesaria para la posterior utilidad y utilizacin de la evaluacin. Adems, dada la naturaleza especfica de la evaluacin, su xito no slo se debe medir por el grado en que sta contribuye al aumento o mejora del conocimiento, sino, sobre todo, por el grado en el que ha resultado valiosa para cubrir las necesidades especficas de informacin de un cliente, destinatario o usuario particular. Por lo tanto, una respuesta natural a la preocupacin por la utilizacin de la evaluacin y por dar respuesta a las necesidades especficas de informacin, ha sido la atencin prestada a los procesos de comunicacin de los resultados de las evaluaciones, incluyendo la importancia de la elaboracin de un buen informe, legible y claro (y su difusin y seguimiento posterior), y de otras formas alternativas de comunicacin (como por ejemplo, sesiones de trabajo, presentaciones orales, conferencias de prensa, comunicaciones cortas como faxes, memorandos o correos electrnicos, vdeos, posters, boletines y resmenes ejecutivos). Un buen exponente de esta preocupacin por el elemento comunicativo son obras recientes como la de Torres, Preskill y Piontek (1996), la cual se centra en fundamentar la importancia de dicho elemento en 12

los procesos evaluativos y en ofrecer orientaciones prcticas para la comunicacin y difusin de los resultados. Una consecuencia de esto es el aumento de responsabilidades en el papel del evaluador: la responsabilidad del evaluador no acaba con la entrega del informe, sino que tambin tiene responsabilidades de comunicacin, difusin y seguimiento de dicho informe. De hecho, tiene todo el sentido esta preocupacin con los procesos de comunicacin ya que, segn demuestra una encuesta realizada a evaluadores profesionales de la Asociacin Americana de Evaluacin (Torres, Preskill y Piontek, 1997), dichos profesionales estaban slo moderadamente satisfechos con sus esfuerzos y resultados en la informacin y comunicacin de resultados. Los dos impedimentos ms mencionados para una buena informacin y comunicacin tenan que ver con la falta de tiempo invertida en esta tarea, en primer lugar, y la complejidad poltica y organizativa en los procesos de evaluacin, por otro. Las razones mencionadas son: falta de claridad entre los agentes crticos sobre sus necesidades de informacin, falta de respuesta ante los esfuerzos por comunicar e informar, cambio de cliente o destinatario de la evaluacin en mitad del proceso, situaciones muy cargadas polticamente, resistencia ante los hallazgos negativos, caractersticas de individuos particulares e interpretacin errnea de los hallazgos. Sin embargo, y a pesar de la importancia concedida a la comunicacin, en las experiencias de evaluacin analizadas en Espaa, los procesos de comunicacin de los resultados son normalmente deficitarios. Los informes no suelen ser completos, no suelen estar accesibles y su difusin suele ser bastante restringida. En este sentido destacamos la variabilidad encontrada respecto al acceso a los informes de evaluacin 5 . El carcter pblico de los informes de evaluacin no est claro en muchos casos. Esto nos sugiere una lnea de investigacin sobre la difusin y acceso a la informacin producida por las evaluaciones. Qu criterios se estn siguiendo en las administraciones pblicas espaolas? Y cules se deberan seguir? 5. CONCLUSIONES En este captulo se han destacado las caractersticas especficas de la evaluacin y cmo stas deben reflejarse en la metodologa al uso. Para esto, se han analizado las funciones de evaluacin y se ha apuntado la utilidad para dichas funciones como el sentido ltimo de la evaluacin. As mismo, se han destacado tres caractersticas especficas de la evaluacin y que la definen diferencialmente con otro tipo de prcticas: su carcter poltico, de enjuiciamiento sistemtico y su carcter prctico y aplicado, el cual se traduce en una especial preocupacin por la utilizacin de sus hallazgos. Adems, se establecen las diferencias de la evaluacin con tres tipos de prcticas de anlisis con las que se suele confundir, como son la investigacin, los observatorios y el seguimiento. De esta manera, y una vez delimitadas las caractersticas especficas de la evaluacin, se concluye y discute cul es y debe ser el reflejo de dichas caractersticas en la metodologa de evaluacin. Se sealan, por lo tanto, cuatro elementos clave de dicha especifidad: la importancia del contexto, la centralidad de los criterios de evaluacin, la necesidad de incluir en el concepto de metodologa la forma de emitir juicios y establecer recomendaciones y, finalmente, la importancia de la comunicacin del proceso y de los resultados de la evaluacin.

En la metaevaluacin ya mencionada, el acceso a los informes de evaluacin fue muy heterogneo segn la experiencia de la que se tratara, habindonos encontrado evaluaciones en las que fue muy difcil, e incluso imposible, acceder a los informes de evaluacin realizados (Bustelo, 2001).

13

BIBLIOGRAFA
Alkin, M. C. (1985). A guide for evaluation decision makers. Beverly Hills, CA, Sage. Bustelo Ruesta, M. (1998). Deontologa de la evaluacin: el modelo de los cdigos ticos anglosajones. Gestin y Anlisis de Polticas Pblicas 11-12 (Enero/Agosto 1998): 141-156. (1999). Diferencias entre evaluacin e investigacin: una distincin necesaria para la identidad de la evaluacin de programas. Revista Espaola de Desarrollo y Cooperacin 4 (Primavera verano 1999): 9-29. (2001). La evaluacin de las polticas pblicas de igualdad de gnero de los gobiernos central y autonmicos en Espaa: 1995-1999. Tesis doctoral. Madrid, Universidad Complutense. Chelimsky, E. (1998). The role of experience in formulating theories of evaluation practice. American Journal of Evaluation 19 (1): 35-55. Cook, T. D. (1997). Lessons leamed in evaluation over the post 25 Years. En: E. Chelimsky, W. R. Shadish, (Ed.). Evaluation for the 21 st Century. A handbook. Thousand Oaks, Sage. 30-52. Cruz Roja Espaola (2001). Cooperacin internacional. Evaluacin de proyectos. Manual del alumno/a. Madrid, Cruz Roja Espaola. Dunn, W. N. (1981). Public policy analysis: An Introduction. Englewood Cliffs, Prentice-Hall. Joint Committee on Standards for Educational Evaluation (1994). The program evaluation standards. 2nd ed. How to assess evaluations of educational programs. Thousand Oaks, Sage. Lincoln, Y. y Guba, E. (1986). Research, evaluation, and policy analysis: Heuristics for disciplined Inquiry. Policy Studies Review 5 (February 86) (3): 546-565. Ministerio de Asuntos Exteriores (1998). Metodologa de evaluacin de la Cooperacin Espaola. Madrid, Ministerio de Asuntos Exteriores. SECIPI. (2001). Metodologa de evaluacin de la Cooperacin Espaola II. Madrid, Ministerio de Asuntos Exteriores. SECIPI. Monnier, E. (1990-91). Objetivos y destinatarios de las evaluaciones. Documentacin Administrativa 224225: 131-152. (1995). Evaluacin de la accin de los poderes pblicos. Madrid, Instituto de Estudios Fiscales. Ministerio de Economa y Hacienda. NORAD (1997). Evaluacin de proyectos de ayuda al desarrollo. Manual para evaluadores y gestores. Madrid, IUDC-UCM y CEDEAL. Palumbo, D. J., (Ed.). (1987). The politics of program evaluation. Newbury Park, Sage. Patton, M. Q. (1981). Creative Evaluation. Beverly Hills, Sage. (1985). Culture and evaluation. San Francisco, Jossey-Bass. (1997). Utilization focused evaluation. The new century text. 3rd. ed. Thousand Oaks, Sage. Rossi, P y Freeman, H. (1989). Evaluacin. Un enfoque sistemtico para programas sociales. Mxico, Trillas. Scriven, M. (1993). Hard-won lessons in program evaluation. San Francisco, Jossey-Bass. Shadish, W., Cook, T. y Levinton, L. (1991). Foundations of program evaluation. Theories of practice. Newbury Park, Sage. Stufflebeam, D. y Shinkfield, A. (1987). Evaluacin sistemtica. Gua terica y prctica. Madrid, Paids/MEC. Torres, R., Preskill, H. y Piontek (1996). Evaluation strategies for communicating and reporting. Thounsand Oaks, Sage. Torres, R., Preskill, H. y Piontek (1997). Communicating and reporting: Practices and concems of intemal and external evaluations. Evaluation Practice 18(2): 105-125. Vedung, E. (1997). Evaluacin de polticas pblicas y programas. Madrid, Ministerio de Trabajo y Asuntos Sociales. Instituto Nacional de Servicios Sociales. Weiss, C. H. (1987). Where politics and evaluation research meet. En: D. J. Palumbo, (Ed.). The politics of program evaluation. Newbury Park, Sage. 47-69. (1998). Evaluation. Methods for studying programs and policies. Second edition. Upper Saddle River (NJ), Prentice Hall.