EVALUACIÓN Y RESPONSABILIDAD 215

Y desacuerdos nunca pueden eliminarse del todo mejoran-

do las técnicas de medición y verificación, pero pueden ser
expuestos y aclarados mediante el debate y la persuasión
VIII. EVALUACIÓN Y RESPONSABILIDAD mutua. Para entender el papel de la argumentación en la eva-
luación, resulta esencial distinguir entre el establecimiento y
el uso de los criterios.
EL DEBATE para establecer los criterios de evaluación y las En el capítulo II tracé una distinción paralela entre el esta-
normas de responsabilidad forma parte esencial del proceso blecimiento y el empleo de las normas, entre la definición de
de desarrollo de las políticas. En efecto, el diálogo entre legis- los crite:ios sobre u1: problema de políticas y la búsqueda
ladores, gobernantes y electorado del que surgen las políticas de soluc10nes que satisfagan tales criterios. La distinción en-
en un sistema de gobierno mediante la discusión se refiere tre el establecimiento y uso de los criterios es igualmente im-
siempre, en forma directa o indirecta, a los problemas de la portante en la evaluación. En la etapa de establecimiento 0
evaluación. Los analistas han contribuido a este debate en di- reforma de los crit~rios de evaluación todos pueden proponer
versas formas, pero sobre todo mediante la nueva disciplina los_ s~yos Y persuadir a los demás de que los acepten. El análisis
de la investigación para la evaluación. º~}et1vo -por ~jemplo, a_clarar las consecuencias de la adop-
Esta nueva disciplina es un área amplia y creciente de aná- ~10n d~ un c~nJu,11~º particular de criterios, o señalar algunas
lisis de políticas que se ocupa de recolectar, verificar e in- mc~nsiste~~ias logicas entre diferentes criterios- puede apor-
terpretar la información sobre la ejecución y eficacia de las tar ~~eas utiles para el debate, pero no desempeña un papel
políticas y los programas públicos. Como vimos antes, la im- decisivo en esta ~tapa. La~ determinaciones empíricas que de-
portancia alcanzada por la investigación para la evaluación muestren que ciertos criterios se satisfacen efectivamente
en el campo del análisis profesional de políticas revela que los adqui_ere~ importancia sólo después de que se han obtenido
analistas han advertido, finalmente, que la prestación efectiva los cntenos de evaluación apropiados. En virtud de lo difícil
de los servicios públicos requiere algo más que el diseño de un que ~s ponerse de acuerdo sobre los criterios cuando dife-
programa óptimo desde punto de vista teórico: es más impor- rencian entre valores e intereses, gran parte del análisis de la
tante la forma como se aplica efectivamente el programa, evaluación se ocupa ~ás ~e la capacidad de diversas propues-
quién se beneficia y quién sale perjudicado con él; si el progra- tas ~ara establecer cntenos que de la aplicación de criterios
ma está logrando lo que se quería y, en caso contrario, cómo particulares a un programa dado.
podrá mejorarse o abandonarse.
Al parecer, muchos evaluadores suponen que éstas son de-
terminaciones puramente empíricas que no implican elec- LA EVALUACIÓN MÚLTIPLE
ciones de valor ni opiniones personales. Sin embargo, valores
y opiniones cuentan mucho en la evaluación, no sólo por la La evaluaci~n profesional es sólo una parte pequeña del pro-
ambigüedad de los resultados prácticos -la dificultad de asig- ceso de c_rí~1ca Y enjuiciamiento de las políticas públicas, en el
nar causas específicas a efectos particulares, de medir produc- que part1c1pan todos los miembros políticamente activos de
tos y evaluar consecuencias inesperadas, de distinguir entre una comunidad democrática en formas diferentes pero igual-
concepciones erróneas y fallas en la ejecución-, sino sobr_e 1:1:en~~ útiles._ Lo_s argumentos acerca de las pr~puestas de
todo por los inevitables desacuerdos acerca de la clase de cn- fiJacwn de cntenos desempeñan en la crítica de las políticas
terios de evaluación que son significativos, justos o política- un papel mayor aún que en la evaluación profesional de los pro-
mente aceptables en una situación dada. Tales ambigüedades gramas. Las políticas y sus instrumentos son constantemente
214
216 EVALUACIÓN Y RESPONSABILIDAD
EVALUACIÓN Y RESPONSABILIDAD 217
evaluados, antes y después de la ejecución, desde las divers~s
La evaluación múltiple se inicia con dos interrogantes bási-
perspectivas críticas de legisladores, jueces, gobe~antes, admi-
cos: "¿quién evalúa?" y "¿qué se evalúa?" La primera destaca
nistradores de programas, burócratas que los aplican, grupos
la importancia de que se tenga en cuenta la presencia de dife-
de interés, expertos independientes, medios de difusión y ciu-
rentes papeles de evaluación, mientras que la segunda llama
dadanos comunes.
nuestra atención sobre sus tres modos básicos: evaluación de
Estas perspectivas de evaluación son diferentes porque los
insumos, de resultados y de procesos.
criterios varían según el papel y la situación del evaluador, y
porque los distintos evaluadores tienden a concentrar s~ ,aten-
ción en diferentes aspectos del proceso de la elaborac10n de
Los PAPELES DE LA EVALUACIÓN
políticas. Los criterios generales de a~lica~i~n ~como la l~-
galidad, legitimidad, economía, eficacia, eficienci~ o la sensi-
La evaluación de políticas o programas tiene gran cantidad
bilidad a las necesidades públicas- suelen relac10narse con
de usos y usuarios. No es malo en sí mismo que los diferentes
los distintos papeles de jueces, políticos, funcionarios del pre-
criterios sean compartidos por personas que desempeñan pa-
supuesto, contadores públicos y usuarios de los servicio~ pú~li-
peles diferentes. Ello sólo refleja la diversidad de necesidades,
cos o sus representantes políticos. Además, algunos entenas,
intereses y preocupaciones de los actores e interesados. Mien-
como los de eficiencia y eficacia, se aplican primordialmente
tras los juicios expresados desde la perspectiva de un papel
a los productos o resultados de la administración pública,
particular no se presenten o interpreten como juicios perti-
mientras que otros (como el de la economía) se aplican a los
nentes para todos los papeles posibles, o como representa-
insumos y algunos más (legalidad, legitimidad) al proceso
tivos de sus posiciones, tendremos un estado saludable de
que transforma los insumos en producto_s; . , evaluación múltiple o plural.
Esta diversidad de criterios de evaluac10n y perspectivas cn-
Las dificultades empiezan cuando no es posible separar
ticas refleja la complejidad de la elaboración de políticas en
nítidamente los papeles y la crítica derivada de ellos. Por des-
una sociedad plural. La experiencia demuestra que el deb~t~
gracia, tales situaciones parecen en la práctica más la regla que
entre los defensores de criterios diferentes es a menudo util
la excepción. Es posible que el problema más común ocurra
para llegar a un acuerdo y permite un entendimiento más pro-
cuando se supone que las conclusiones de una evaluación
fundo de la política pública que el que podría obteners~ desde
realizada para ser utilizada en un papel particular son igual-
una sola perspectiva. Incluso los evaluadores profes10nales
mente pertinentes desde la perspectiva de otros papeles con
reconocen ahora que su trabajo adquiere importancia sól_o en
diferentes criterios de evaluación. Cuando los papeles no co-
un contexto amplio donde diversos actores y grupos de m~e-
rresponden a los criterios, las conclusiones de la evaluación
rés aportan sus propios criterios y pruebas. El nuevo ~1:u1:oa- serán casi inevitablemente deficientes.
do es el de "evaluación múltiple", que reconoce la legitimidad
Tales dificultades surgen, por ejemplo, cuando se reúnen
de diferentes criterios y perspectivas, pero sugiere tam b', ien la
los ecólogos académicos como evaluadores únicos del impac-
necesidad de llegar a un nivel de entendimiento que sea algo
to ambiental, que por ley debe determinarse en los proyectos
más que la mera suma de las diversas evaluaciones. Como se
federales de los Estados Unidos. Desde la perspectiva de un
indicó antes, la evaluación múltiple no trata de combinar t_?~os
administrador de proyectos o de un juez de derecho adminis-
los criterios parciales en un criterio general de buena pohtic~,
· · trativo, los criterios de evaluación pertinentes podrían ser la
sino de contribuir a un entendimiento compartl'd o d e las di-1
oportunidad de la evaluación, la probabilidad de que se hayan
versas perspectivas críticas y de sus diferentes funciones en e
advertido ciertos impactos potencialmente graves y, quizá, si
proceso de la deliberación pública. se han sugerido alternativas prácticas para el proyecto. Sin
218 EVALUACIÓN Y RESPONSABILIDAD EVALUACIÓN Y RESPONSABILIDAD 219
embargo, desde el punto de vista de los ecólogos, tales crite- ellos con facultades legítimas para fijar criterios de evalua-
rios son apenas vagamente comprendidos en el mejor de los ción. Además, tales esfuerzos deberían apreciar las complejas
casos y sólo se les da una atención secundaria. Su evaluación presiones que los distintos modos de evaluación ejercen sobre
se basaría probablemente en criterios tales como la idoneidad la evaluación misma.
del diseño muestral, el empleo de una teoría apropiada y la
caracterización y cuantificación correcta de las incertidum-
bres. En consecuencia, los ecólogos podrían aceptar o recha- Los MODOS DE EVALUACIÓN
zar las evaluaciones por razones en gran medida irrelevantes
para quienes finalmente deben resolver los problemas prácti- Sin embargo, tener en cuenta los distintos papeles no basta
cos de la gestión ambiental. 1 para entender los criterios con los que pueden evaluarse críti-
En la evaluación profesional de los programas públicos camente los programas y las políticas. Los analistas han des-
abundan los ejemplos de criterios inadecuados. Muchas eva- cubierto también que es útil distinguir entre tres modos gene-
luaciones de programas tienen un enfoque de estricta geren- rales de evaluación. En el modo del resultado, la evaluación
cia, ya que se ocupan del logro de metas y el control adminis- se concentra en los productos o consecuencias de una acti-
trativo y no de la adaptabilidad del programa a los valores vidad particular. En el modo del insumo, se hace hincapié en
divergentes de diferentes individuos y grupos. Tal perspectiva los recursos, habilidades y personas que participan en la acti-
no admite un análisis más estructural de los cambios en los vidad. Por último, en el modo del proceso se consideran los mé-
valores sociales y de la capacidad de la burocracia para adap- todos empleados para transformar los insumos políticos, eco-
tarse a ellos, lo cual podría ser la información más importante nómicos y de otra clase en productos o resultados. En este
para los altos niveles del gobierno. contexto también importan las reglas procesales que gobier-
Por su parte, los burócratas creen a menudo que el énfasis nan la participación en el programa y su administración. En
de muchos estudios de evaluación en la eficacia y eficiencia seguida examinaremos por separado cada uno de estos modos
está en conflicto con valores básicos como la participación de teniendo siempre presente que por lo común aparecen mez~
los empleados, el desarrollo personal y la alta moral. Otros dados en la práctica de evaluación de programas y políticas.
insisten en que la racionalidad económica debe equilibrarse La evaluación por productos o resultados se considera co-
con los criterios profesionales. De igual modo, la evaluación múnmente como el procedimiento obligado para la estima-
que se hace sobre las operaciones de un programa y sus efec- ción del valor de cualquier actividad deliberada. Consiste en
tos -una tarea importante para la asignación de recursos Y la comparar las metas u objetivos con los resultados. En el caso
elaboración de nuevas directrices- podría ser poco satisfac- de un programa educativo, por ejemplo, evaluaríamos la dife-
.<.,ta como instrumento de control de la agencia ejecutora. rencia entre las pruebas previas y las posteriores, o entre el
'"'<l::y alguna forma de remediar las tendencias comunes grupo experimental y el de control, de acuerdo con diferentes
• ~r los papeles de la evaluación o a utilizar criterios criterios. En los programas sanitarios, los resultados son cam-
90 Quizá no. Sin embargo, por lo menos debería-
bios en la incidencia y las tasas de las enfermedades· en los
·"1;.esfuerzos para crear una capacidad de críti- programas de mano de obra, los resultados son tasas'de em-
~rticulares o políticas enteras reconozcan pleo, y así sucesivamente.
"'ncia de varios papeles, cada uno de Este modo de evaluación ejerce una fuerte atracción intui-
;co Majone, "The Critical Appraisal º} tiva. En efecto, podríamos preguntarnos para qué se necesita
.plications", en Science, Technology, an cualquier forma de evaluación. Lo que pasa por alto el sentido
,o de 1985), p. 8. común es que la evaluación de los resultados puede realizarse
220 EVALUACIÓN Y RESPONSABILIDAD EVALUACIÓN Y RESPONSABILIDAD 221
con éxito sólo en condiciones muy limitadas. Una muy obvia dice poco a los tomadores de decisiones y a los críticos acerca
es que debe ser posible la medición, con precisión razonable, de lo que debe hacerse. Cuando los resultados se evalúan sin
del nivel y calidad del producto o consecuencia que se desea. una defini~ión_ raz,onablemente correcta y coherente del pro-
Si el indicador se expresa por la distancia entre metas y resul- g:ama, Y sm nmgun conocimiento de la forma como se está
tados, las metas tendrán que definirse con claridad, los resulta- eJecut_a,ndo, los resultados casi nunca aportan una guía para
dos deberán ser medibles sin ambigüedad y el instrumento de la acc10n porque el que toma las decisiones carece de infor-
medición deberá ser confiable. mación acerca de lo que produjo los resultados observados
Estas condiciones no se satisfacen a menudo en la prácti- La ev~luación por los puros resultados es el enfoque de "caj~
ca, ni siquiera aproximadamente. Cuando así ocurre, deben negra .2
emplearse otros modos de evaluación. La evaluación por los Quizás el ejemplo más conocido de este enfoque sea el de
insumos se centra en la cantidad y calidad de los recursos dis- las _pru~bas estandarizadas de conocimientos que se aplican
ponibles para la realización de cierta tarea: el número y ca- rutmanamente en las escuelas públicas estadunidenses. Consi-
lidad técnica del personal, la información disponible, el nivel de ~~rad~,s _Pºr ,~uc,?os evaluadores como el epítome de lo obje-
financiamiento, el apoyo político, etc. Pero se trata, a lo sumo, 11 va Y c1entifico en la evaluación educativa, las pruebas es-
de indicadores indirectos de la actuación. A menos que pueda tandariz_adas sirven de poco a padres y maestros, y no dicen a
suponerse una relación definida entre los insumos y los pro- los fu?c10_narios es~olares lo que deben hacer para mejorar la
ductos o resultados -una función de producción bien defini- expenencia educ~t1va ~e los estudiantes. A fin de mejorar las
da en el lenguaje de los economistas-, las variables de insu- escuelas, los func10nanos necesitan información acerca de lo
mos serán una mediocre aproximación a lo que realmente que_ oc:1ffe en el sal?i:1 de -~lases -contenido de los cursos, pro-
queremos saber: ¿qué tan eficaz es un programa dado o cuán c~~1m1entos de cahficac10n, métodos de enseñanza, interac-
adecuada es una política en particular? c10n entre estudiantes y maestros-, y las pruebas estandari-
Sin embargo, en algunas situaciones, las variables de insu- zadas no proporcionan tal información.3
mos constituyen toda la información que el evaluador tiene a El contenido de los cursos, los procedimientos de califi-
la mano; así ocuffe, por ejemplo, cuando el problema consiste c~ción, los métodos de enseñanza y la interacción entre estu-
en estimar los resultados probables o la viabilidad de un pro- diantes Y maest~os son ejemplos de las variables de proceso.
yecto nuevo. Además, para los fines de control, las variables de En muchos sentidos, la evaluación del proceso es el modo de
insumos son a menudo más importantes que los productos eva11:1~ción más sutil e informativo, ya que brinda una infor-
desde el punto de vista estratégico. Las detalladas reglas de la mac10n que 1,as medidas de insumos y productos casi segura-
contabilidad pública, que restringen severamente la libertad mente pasaran por alto. Incluso en las actividades comercia-
de los administradores para sustituir un insumo por otro en res- les, ~o~de los resultados pueden cuantificarse fácilmente, los
puesta al cambio de circunstancias y al surgimiento de nue- admm1stradores cuidadosos tratan de evitar una concentra-
vas oportunidades, constituyen un ejemplo histórico impor- ción demasiado estrecha en los resultados. Hacen esto por-
tante de la evaluación y el control por los insumos. que saben que las mejores mediciones de los resultados no
La mensurabilidad no es el único problema, ni siquiera el ~aptan más que una pequeña fracción del campo total que es
más grave, de la evaluación por los resultados. El problema importante para la organización. Por ejemplo, el volumen de
principal es que muchas veces este tipo de evaluación da a ventas es una medida clara e ilustrativa de los resultados, pero
gobernantes, administradores de programas y ciudadanos
. 2 Mic~ael Quinn Patton, Utilization-Focused Evaluation, Sage, Beverly
interesados muy escasa información para actuar. El mero H1lls, Cahf., 1978, pp. 155-158.
conocimiento de que los resultados son o no satisfactorios 3 !bid., pp. 155-157.
222 EVALUACIÓN Y RESPONSABILIDAD EVALUACIÓN Y RESPONSABILIDAD 223

tiende a hacer que los vendedores se concentren demasiado lación entre la actuación y los criterios de evaluación. Por
en vender lo más posible en el corto plazo, de modo que des- ejemplo, cuando el número de entrevistas realizadas por un
cuidan otras funciones importantes para las ventas futuras: empleado era el único criterio de evaluación a disposición del
quienes venden a comisión no tienen ningún incentivo para supervisor,
ordenar las existencias, hacer inventarios o adiestrar a nue-
vos vendedores que se convertirán en sus competidores, y su el interés del entrevistador en lograr una buena calificación lo
supervisor no puede afectar su sueldo con base en aquellas llevaba a efectuar la máxima-cantidad posible de entrevistas, de
otras metas que no se miden. modo que no podía dedicar mucho tiempo a buscar los empleos
Por tanto, como descubrió Willian G. Ouchi en un estudio para los solicitantes. Este rudimentario registro estadístico inter-
fería con el objetivo de la agencia de encontrar empleos en una
de 78 compañías de tiendas de departamentos, las ventas a
época en que éstos escaseaban. s
comisión tienden a prevalecer en áreas (como cosméticos,
aparatos especiales y muebles) que requieren un grado de co-
Incluso un más amplio sistema de supervisión introducido
nocimientos particulares relativamente grande y donde los
más tarde produjo graves desviaciones de las metas de la
vendedores desarrollan por consiguiente una especie de nor- agencia:
mas profesionales, o donde los clientes conocedores y con ini-
ciativa pueden sustituir a las normas profesionales como otra Creados como instrumento para mejorar el logro de los objetivos
fuente de evaluación y control. Incluso, algunas compañías de la organización, los registros estadísticos llevaban a los entre-
prohíben que se lleven registros de lo que vende cada persona vistadores a pensar en maximizar los índices como su meta prin-
en lo particular. 4 cipal, a veces a expensas de los mismos objetivos. Así, eludían
aquellas operaciones que los mantenían ocupados sin mejorar su
registro, como las entrevistas a clientes para quienes deberían
LA EVALUACIÓN Y EL CONTROL llenarse solicitudes, y gastaban su propio tiempo y el del público
en actividades que sólo trataban de elevar dichos índices. Su con-
Entre los muchos propósitos a los que podría servir la evalua- centración en esta meta, aunque era importante para sus califica-
ción en forma directa o indirecta, el control es ciertamente uno ciones, los volvía insensibles a aquellas peticiones de los clientes
que interfirieran con tal realización. La preocupación por la pro-
de los más importantes. En efecto, existe una relación muy
ductividad también afectaba las relaciones personales entre los
estrecha entre la evaluación y el control. Por una parte, para entrevistados, y esto constituía la disfunción más grave de los re-
controlar cualquier actividad u organización hay necesidad de gistros estadísticos.6
vigilar y evaluar su actuación según diversos criterios. Por
otra parte, los modos y criterios de evaluación tienen conse- De igual modo, hay pruebas de que cuando se paga a los
cuencias prácticas para el desempeño de las instituciones Y maestros sobre la base de su producción y ésta es medida por
los individuos: si estos últimos saben que ciertos aspectos de las calificaciones de los estudiantes, aquéllos concentran su
su trabajo son muy apreciados por los evaluadores, tenderán tiempo en los alumnos cuyas notas rondan el promedio del
a cambiar su comportamiento en consecuencia. grupo, y descuidan tanto a los más brillantes, que progresa-
En su clásico estudio de una agencia pública de empleos, rían por sí solos, como a los más atrasados, cuyas califica-
Peter Blau da algunos ejemplos instructivos de la estrecha re- ciones no mejorarían aunque les dedicaran algo más de tiem-
4 "The Relationship between Organizational Structure and Organiza- 5 The Dynarnics of Bureaucracy, University of Chicago Press, Chicago,
tional Control", en Administrative Science Quarterly, 22 (marzo de 1977), 1955, p. 38.
p. 95-113. 6 Ibid., p. 46.
224 EVALUACIÓN Y RESPONSABILIDAD EVALUACIÓN Y RESPONSABILIDAD 225

po. Cuando el pago del maestro depende del número de estu- pleto. Aquí la elección entre la evaluación por proceso o por
diantes que adquieren un conjunto de habilidades definidas resultados dependerá del costo y de la conveniencia econó-
con precisión como ocurría, por ejemplo, con los planes de mica. Un ejemplo habitual es la producción de bienes estan-
pago por resultados empleados en las escuelas primarias de In- darizados con el empleo de una tecnología muy conocida. En
glaterra a mediados del siglo XIX, existe también una tenden- el otro extremo encontramos actividades como la enseñanza,
cia a reducir el programa académico para excluir las materias cuyo resultado -la educación- resulta difícil de medir y
para las que no se aplican exámenes, incluidas muchas que se en la que el proceso es tan peculiar que resulta imposible ca-
consideran generalmente importantes pero en las que es difí- racterizar la enseñanza eficaz como el empleo consistente de
cil realizar pruebas. 7 técnicas estandarizadas. Por tanto, se evalúa a los maestros
Como lo sugieren estos ejemplos, un análisis cuidadoso de principalmente según criterios de insumos tales como sus
la actividad de producción relevante es esencial para la elec- antecedentes profesionales y los años de experiencia, y este
ción de un método apropiado de evaluación y control, porque método de evaluación se refleja en escalas de sueldos uni-
el conocimiento de la actividad proporciona las mejores pis- formes.
tas para las respuestas que favorecerá un modo particular de Las actividades que caen entre estos dos extremos suelen
evaluación. Para expresarlo más precisamente, hay dos pará- evaluarse mediante una mezcla de los tres métodos básicos.
metros vitales para determinar las condiciones en las cuales En las empresas con fines lucrativos, por ejemplo, se paga a
son apropiados diferentes modos de evaluación y control: la los administradores, por lo menos en parte, por sus resul-
mensurabilidad de los resultados y el conocimiento del proceso tados -ventas y beneficios-, pero las actividades técnicas
que los genera.8 Si para simplificar imponemos_un_a dicoto- internas, como la de investigación y desarrollo experimental,
mía a estos parámetros, obtendremos el cuadro s1gmente: la contabilidad o administración de personal, se evalúan con
combinación de criterios de insumos y procesos. Por otra
CONOCIMIENTO IJEL PROCESO parte, los métodos tradicionales de evaluación y control de
los programas públicos se basan en gran medida en los insu-
Completo Incompleto mos, aunque algunos analistas creen que los recientes avan-
rJJ
~ 8 ------------------------- ces de la medición de resultados en áreas como la atención
8 ~ Alta Evaluación por el Evaluación por médica y los servicios sociales conducirán finalmente a un
P4 ;::, proceso o el resultado el resultado
cambio en el interés de las políticas, de los insumos a los
~~ Evaluación por resultados. Si así ocurre, este desarrollo tendría consecuen-
~ o,_¡B. Evaluación por
rJJ

el insumo cias importantes para la responsabilidad pública.

~ rii a¡a el proceso
A

Las cuatro celdillas representan las situaciones en que J? 0 - LA RESPONSABILIDAD

drían aplicarse los diferentes modos de evaluación. La meJor
es obviamente aquella en que hay gran mensurabilidad de los Nuestro análisis de los diferentes papeles y modos de evalua-
resultados y el proceso de transformación se conoce por com- ción, y de la relación existente entre la evaluación y el con-
trol, se relaciona directamente con el problema de la respon-
1 Rrºchard J Murnane y David K. Cohen, "Merit Pay and the Evaluationd
· · " Harvar sabilidad pública. En una democracia es de esperar que los
Problem: Why Most Merit Pay Plans Fail and a Few Survrve , en administradores y prestadores de servicios públicos sean res-
EducationalReview, 56, núm. 1 (febrero de 1986~, PJ:· 1-17. ,, 97 _99.
s Ouchi, "Organizational Structure and Orgamzat10nal Control , PP· ponsables ante quienes los consumen y quienes los pagan, o
 EVALUACIÓN Y RESPONSABILIDAD 227
226 EVALUACIÓN Y RESPONSABILIDAD
Pode~os medir_ la indigencia. Podemos medir las habilidades
ante sus representantes políticos. La responsabilidad no educativa~ Y sociales obtenidas en la escuela. Podemos relacionar
puede exigirse sin contar con criterios de actuación adecuados; los camb10s de estas medidas con la forma de la atención qu
pero tales criterios son a menudo difíciles de definir, como proveemos.9 e
hemos visto. Los criterios de insumos tradicionales, tales co-
mo las reglas presupuestarias, las directrices administrativas Sostiene Culyer que la existencia de tales medidas repre-
o lo numeroso del personal, podrían bastar para los fines de s~nta un gran cambio -de hecho un cambio revoluciona-
supervisión, pero no podrán satisfacer la demanda crecien- r~º-:- en 1~ forma como administramos y financiamos los ser-
te de una responsabilidad estatal en términos de resultados y v1c10s soc1~les y como esperamos que los profesionales que
de una recompensa para quienes los alcancen eficiente- los proporc10nan respondan al conjunto de la sociedad.
mente. }Pero qu~ s_ignifi~a la mensurabilidad en el presente contex-
Los defensores de la responsabilidad por resultados sostie- to. Con suficiente mgenio, siempre se podrán inventar medi-
nen que, mientras logren sus metas específicas, los admi- das escalares de aspectos particulares del desempeño. Sin
nistradores públicos deben quedar en libertad de escoger la e_mbargo, las met~s de la mayoría de los programas públicos
forma como asignarán los recursos. Este procedimiento los tienen ~uchas anstas. Se supone, por ejemplo, que las escue-
dejaría a salvo de los controles embrollados e ineficaces de l~s i:ne3oran la ~':pacidad cognoscitiva, pero también que so-
los insumos y les daría incentivos para mejorar los resultados, cializan a los nmos y les enseñan los valores democráticos
así como los administradores privados tienen libertad para Por tanto, se ~ecesitan varias medidas para reflejar las distin~
variar sus métodos de producción pero se les recompensa de tas met~s Y evitar la distorsión de la actividad educativa.
acuerdo con las ventas y las ganancias. Aun s1 suponemos que el grado en que se alcanza cada meta
Al igual que en la evaluación por resultados, la idea de la res- puede ser medido en forma clara y objetiva, todavía tendría-
ponsabilidad por resultados ejerce una fuerte atracción intui- mos que resolver el problema de alcanzar un consenso acerca
tiva. Esto parece simple y razonable, pero su aplicación es del peso que se asignará a cada objetivo. Mientras no se tenga
difícil. La renuencia congénita de las democracias liberales a ese _consen~o, no habrá ninguna medida del desempeño en
otorgar una discrecionalidad excesiva a los administradores con3unto. Sm embargo, es de esperarse el desacuerdo acerca de
públicos es sólo una parte del problema. Otra razón más inme- los pesos, porque esta cuestión es fundamentalmente un de-
diata es el hecho de que la mayoría de los programas públicos bate. acerca de la manera como debe organizarse la actividad
tienen metas vagas y diversas, de modo que resulta difícil lle- Y acerca _de cuáles intereses son más importantes.
gar a un acuerdo acerca de si se ha tenido éxito. Ademas, sabemos que el funcionamiento del sector público
No siempre se entiende con claridad la naturaleza de la di- rara vez puede expresarse exclusivamente por medio de medi-
ficultad. Por ejemplo, algunos analistas sostienen que ahora d~s d~ productos. En general se requiere una combinación de
es posible medir objetivamente el desempeño, lo cual es nece- c~'!tenos d~ insumos, procesos y productos, y diferentes grupos
sario para aplicar el concepto de responsabilidad por resulta- discor~aran también acerca de los pesos que deben asignarse
dos. A. J. Culyer, un economista británico, ha escrito recien- a los diferentes elementos de la combinación. En el caso de la
temente que educac10n,
·' por e3emp
· 1o, 1os smd1catos
· · de maestros prefieren
criterios de insumos tales como los años de experiencia en la
en los campos de la atención médica, la educación y los servicios
sociales personales hoy se puede medir y vigilar el resultado. Por 9 The Withering of,the Welfare State? Whither the Welfare State? Depar-
ejemplo, podemos medir la salud. Podemos medir la dependencia tamento de Economrn de la Universidad de la Columbia Británica Van-
de los jóvenes y los ancianos. Podemos medir la incapacidad. couver, 1986, p. 25. '
 EVALUACIÓN Y RESPONSABILIDAD EVALUACIÓN Y RESPONSABILIDAD 229
228

enseñanza, el tamaño de los grupos y las horas de trabajo, un simple juicio de éxito o fracaso. La utilización exclusiva de
mientras que los padres se interesan más por diversos aspec- medidas de resultados a corto plazo conduce a menudo a la
conclusión de que la mayoría de las políticas públicas son ine-
tos del resultado y el proceso.
En virtud de que la cuestión de los pesos es tan polémica, ficaces. El fenómeno aparentemente ubicuo del "poco efecto"
la mayoría de los debates sobre las políticas de salud, edu- preocupa a los evaluadores profesionales. Como escribe Carol
cación o servicios sociales eluden el problema. En lugar de Weiss, uno de los principales obstáculos para el empleo de la
discutir abiertamente lo que deberían ser los pesos, se obser- evaluación por resultados es precisamente su decepcionante
va una tendencia a delegar en los prestadores del servicio las tendencia a mostrar que el programa ha tenido escaso efecto.12
decisiones referentes a la asignación de los recursos. Pero A las organizaciones no les va mejor: "Medidas contra las altu-
tal delegación no es consistente con la idea de la responsabili- ras olímpicas de la meta, la mayoría de las organizaciones se
dad por resultados, porque las diferentes decisiones acerca de califican igual: una eficacia muy baja. Las diferencias entre
los pesos de prestadores individuales significan que cada uno una organización y otra tienen escasa importancia"_ 13 Los pro-
de ellos está tratando de aportar una mezcla de servicios algo gramas y organizaciones, como las teorías científicas, pare-
diferente.10 Así pues, no se requiere tanto el desarrollo de me- cen haber nacido para ser refutados; y la evaluación, tal corno
didas "objetivas" de resultados (aunque una mejor medición se concibe y practica de ordinario, no puede desempeñar un
sería ciertamente una ayuda) como iniciar y sostener un diá- papel vital en su desarrollo.
logo amplio acerca del significado y la implicació:1 de dife- El fenómeno del "poco efecto" resulta menos sorprendente
rentes conjuntos de pesos entre prestadores y usuarios de ser- cuando reconocernos que la evaluación que se hace exclusi-
vamente en términos de los resultados a corto plazo tendrá
vicios públicos.
Las dificultades de la evaluación por resultados son mayo- que ser poco concluyente en circunstancias normales. Primero,
res aún en los debates acerca de la responsabilidad del go- a fin de realizar su trabajo, los evaluadores deben suponer
bierno ante la legislatura y el electorado. Es posible que e~ el que sus modelos y técnicas de medición no tienen proble-
pasado se haya llegado a un acuerdo sobre unos cuantos ente- mas, o por lo menos no tantos como las hipótesis de trabajo
ríos estables -el mantenimiento de la ley y el orden y de una incorporadas en el programa que evalúan. Así, una conclu-
moneda estable en el interior, y de la paz en el exterior- para sión de poco o nulo efecto podría interpretarse corno un fra-
la evaluación de las actividades gubernamentales. Pero en vir- caso del modelo del evaluador tanto corno un fracaso del pro-
tud de la gran expansión de estas actividades y del alarga- grama.
miento del periodo en el que deben basarse los juicios razo- Segundo, toda descripción razonablemente correcta y cohe-
nados del desempeño, la actuación de cualquier gobierno es rente de un programa en particular deberá tener en cuenta el
mucho menos clara y los criterios de evaluación son por con- marco de las políticas en el que se da. En particular, su posi-
ción respecto del núcleo de la política tenderá a influir de
siguiente más controversiales. 11 .
En tales condiciones, sería difícil que la confianza que su- manera significativa sobre la manera corno se aplica el pro-
puestamente genera la rendición de cuentas pueda depe:nder grama, el nivel de apoyo que disfruta y su significado para
de la relación entre algún resultado que pueda ser medido ,Y diferentes actores de las políticas. Incluso las medidas más
un criterio de éxito predeterminado. Más bien depende de me- 12 "Evaluation Research in the Political Context", en E. L. Struening Y
, · f ·, que M. Guttentag (comps.), Handbook of Evaluation Research, vol. 2, Sage, Lon-
todos de evaluación capaces de aportar mas m ormac10n
dres, 1975, pp. 13-25.
13 Amitai Etzioni, "Two Approaches to Organizational Analysis: A Critique
Mumane y Cohen, op. cit., p. 5.
10 d s anda Suggestion", en Administrative Science Quarterly, 5, núm. 2 (1960),
Geoffrey Vickers, The Art of Judgment, Chapman and Hall, Lon re '
11
p. 258.
1965, p. 149.
230 EVALUACIÓN Y RESPONSABILIDAD EVALUACIÓN Y RESPONSABILIDAD 231
refinadas de productos y resultados pasarán por alto casi cisamente cómo cualquier gobierno podría satisfacer nuestras
seguramente estos aspectos del programa, de modo que pue- expectativas.
den subestimar sus efectos. Al mismo tiempo, el cambio -en gran medida autoinduci-
Por último, cuando se evalúan los esfuerzos para cambiar do, como vimos en el capítulo anterior- se ha vuelto tan rá-
significativamente el comportamiento de gran número de per- pido que el pasado se convierte en una guía cada vez menos
sonas, un marco temporal será poco apropiado porque no ten- confiable para el futuro. Por tanto, los resultados de las políti-
drá en cuenta la severidad de los problemas administrativos cas se vuelven cada vez más elusivos, porque estamos menos
iniciales y la posibilidad del aprendizaje en la práctica. Por seguros acerca de los límites de lo posible en la administra-
ejemplo, en el caso de la educación compensatoria en los tér- ción pública y porque sospechamos que posiblemente aún no
minos del Título I de la Ley de Educación Primaria y Secun- sea tiempo de que se obtengan los resultados más importan-
daria de los Estados Unidos, los estudios de evaluación realiza- tes. En estas condiciones, la mera comparación de los resulta-
dos pocos años después de la promulgación de la legislación de dos inmediatos con las expectativas tenderá a ser poco infor-
1965 demostraron ampliamente que los estudiantes atrasados mativa y poco concluyente.
no estaban mejorando en sus habilidades básicas. Pero los es- De acuerdo con los psicólogos sociales, el aprendizaje es la
tudios realizados tras un decenio de aplicación revelaron gran- forma dominante en que la racionalidad se muestra en situa-
des avances en la administración del programa y otros tam- cio1:1es d~ gran complejidad cognoscitiva. Esto sugiere que la
bién importantes en los resultados educativos. Los nuevos rac10nahdad de la elaboración de políticas depende más del
hallazgos sugieren la existencia de un patrón de aprendizaje mejoramiento de la capacidad de aprendizaje de los diversos
de los administradores de programas y sus partidarios en el órganos de deliberación pública que de maximizar el logro de
Congreso, a medida que identificaban obstáculos y luego ela- metas particulares.
boraban diversas estrategias para atacarlos. 14 No es tarea de los analistas la resolución de desacuerdos
En resumen, los grandes problemas de la responsabilidad fundamentales acerca de los criterios de evaluación y los crite-
pública y la evaluación de políticas se asocian a la elección de rios de responsabilidad; sólo el proceso político puede hacer
criterios para la medición del éxito. Expertos y ciudadanos tal cosa. Sin embargo, los analistas pueden contribuir al apren-
por igual deben afrontar el conflicto inevitable entre los crite- dizaje social refinando los criterios de evaluación de los pro-
rios rudimentarios pero intuitivamente atractivos, por una gramas públicos y estimulando un entendimiento más amplio
parte, y los criterios más refinados pero también más contro- de las políticas públicas que el que se puede obtener desde una
versiales por la otra. Es posible que anteriormente este conflic- sola perspectiva. No se necesita ahora tanto desarrollar medi-
to no haya sido grave. Como ha observado Geoffrey Vickers, en das "objetivas" de los resultados -la vieja meta de la investiga-
un pasado no muy distante hubo épocas en que las expectativas ción para la evaluación- como facilitar un diálogo profundo
populares eran más o menos claras, realistas y verificables: el entre quienes defienden criterios distintos.
mantenimiento de la ley y el orden, la protección contra la
agresión extranjera, una moneda y un nivel de tributación es-
tables, el alivio de la pobreza extrema. En la actualidad espe-
ramos mucho más de nuestro gobierno, pero no sabemos pre-
h?"
14 Paul A. Sabatier, "What ~an We Leam fr~m Impl~mentation Researc ·.)'
en Franz-Xavier Kaufmann, Giandomemco MaJone y Vmcent Ostrom (comps '
Guidance, Control, and Evaluation in the Public Sector, Walter de Gruyter,
Berlín, 1986, pp. 313-326.