Doctoral thesis by Blanca Lopez
University of Sussex. Doctoral thesis, 2018
Over time, the predominant tendency of many governments’ agencies has been to evaluate a programm... more Over time, the predominant tendency of many governments’ agencies has been to evaluate a programme or policy investing large amount of resources in supporting policy evaluation. However, recommendations suggested by policy evaluators are not always taken up. Moreover, there is relatively little evidence of the extent of policy evaluation effectiveness (i.e. the influence of evaluation on the programme evaluated) and the factors which have significant impact on it. This dissertation aims to shed light on this issue by focusing on the Mexican and Chilean experiences of policy evaluation in the health care sector.
It provides a detailed analysis of the extent to which evaluations have led to changes in policies and programmes and reveals a rather limited effectiveness of policy evaluation in these countries. I argue that shortcomings in the effectiveness of policy evaluation can be explained by institutional and political factors, primarily the nature of Intra Governmental Relations (IGR), but also the quality of bureaucracy, the level of democracy, the autonomy of policy evaluators, and the type of policy evaluation framework. While all of these factors seem to have some influence, the relationship between the executive and legislature is clearly the key determinant of the take up of recommendations.
Thus, the findings of this thesis suggest that strengthening coordination between the different parts of government is needed to enhance the effectiveness of policy evaluation. In addition, the analysis also suggests that policy evaluation is likely to be more effective when it incorporates budgetary incentives.
Publications by Blanca Lopez
Revista de Administración Pública. INAP. La evaluación en el sector público, 2010
On January 7th, 2010, the Organization for Economic Co-operation and Development (OECD) presented... more On January 7th, 2010, the Organization for Economic Co-operation and Development (OECD) presented a study about the evolution of the budgetary process in Mexico, in which it expresses its opinion about the advances of the amendments implemented in this issue in our country. One of the chapters is dedicated to the Performance Evaluation System and its relationship with account rendering.
The study was requested by the Mexican finance authorities, as member of the OECD. The exact purpose of the study was to have an integral panorama of the budgetary process, an evaluation of the national experiences and specific political recommendations.
In this sense, and from the OECD point of view, the implemented
amendments are analyzed by the Mexican Government regarding budget and management with foundation in performance and the Performance Evaluation System (SED) as its main component. This article has the purpose of analyzing the data and perspective offered by the study of the international organism, as well as some important questions in the development of Mexican SED for placing it in a more
precise and comprehensible context.
The work is divided into four sections, the first is an inventory of the study and includes objectives and challenges of the SED as well as amendments made to the Federal Law of Financial Responsibility and Budget; the second section discusses lack of precision in the study in regard to the regulations which originated the evaluation system. In the third section the way in which SED operates from the judicial dispositions around a budget based on results is discussed. Last, the conclusions section which raises some reflections for debate.
Resumen
El 7 de enero de 2010, la Organización para la Cooperación y el Desarrollo Económico (OCDE) presentó un estudio sobre la evolución del proceso presupuestario de México, en el cual vierte su opinión acerca del avance de las reformas implementadas en la materia por nuestro país. Uno de los capítulos está dedicado al Sistema de Evaluación del Desempeño y su relación con la rendición de cuentas.
El estudio fue encargado por las autoridades hacendarias de México, como miembro de la propia OCDE. El propósito expreso del estudio fue contar con un panorama integral del proceso presupuestario, evaluación de las experiencias nacionales y recomendaciones de política especificas. En ese sentido, y desde la visión de la OCDE,
se analizan las reformas implementadas por el Gobierno mexicano en materia de presupuesto y gestión con base en el desempeño y el Sistema de Evaluación del Desempeño (SED) como su componente central.
Este artículo tiene como propósito analizar los datos y la perspectiva ofrecidos por el estudio del organismo internacional, así como algunas cuestiones centrales en el desarrollo del SED mexicano para ubicarlo en un contexto más preciso y comprensible.
El trabajo está dividido en cuatro apartados, el primero es un recuento del estudio e incluye objetivos y retos del SED y las reformas a la Ley Federal de Presupuesto y Responsabilidad Hacendaria; en el segundo, se discuten lo que parecen ser algunas imprecisiones del estudio con base en la normatividad que dio origen al sistema de
evaluación.
En el tercer apartado, se presenta desde una perspectiva diferente, la forma en que a partir de las disposiciones jurídicas alrededor del Presupuesto basado en Resultados, opera el SED. Por último, la sección de conclusiones plantea algunas reflexiones para el debate.
Studies, working papers by Blanca Lopez
Public perceptions section. This section documents how various stakeholders from both countries p... more Public perceptions section. This section documents how various stakeholders from both countries perceive the state of the environment and public services in the border region, as well the performance of NADB throughout its 25-year history. This was part of consultancy within the consulting firm Consultoría en Ingeniería de Proyectos.
SEDESOE. Report, working paper, 2018
Abordar el análisis de los sistemas de M&E mayormente reconocidos a nivel internacional y naciona... more Abordar el análisis de los sistemas de M&E mayormente reconocidos a nivel internacional y nacional para tener una perspectiva amplia de la operación de estos sistemas en distintos contextos. Los sistemas a revisar son:
• El Sistema de Evaluación y Control de Gestión (SECG) de Chile.
• El Sistema Nacional de Evaluación de Resultados de la Gestión Pública (SINERGIA) de Colombia.
• El Presupuesto basado en Resultados (PbR) y el Sistema de Evaluación del Desempeño (SED) de México a nivel federal.
• El papel del Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL).
• El Sistema de Evaluación de Desempeño en el estado de Jalisco “Evalúa Jalisco”.
• Evalúa CDMX.
• El Instituto de Evaluación de Políticas Públicas (INEVAP) de Durango.
• El Sistema Estatal de Evaluación y el Órgano Evaluador de Políticas Públicas del Estado de Zacatecas (OEPPEZ).
• El Sistema Estatal de Evaluación del Desempeño (SEED) de Chihuahua.
También se exploran algunos modelos de Organizaciones de la Sociedad Civil (OSC) por su incidencia en las políticas públicas, como las siguientes:
• El modelo “Bogotá cómo vamos” de Colombia.
• El observatorio ciudadano “Jalisco cómo vamos”.
• El Plan Estratégico de Juárez (PEJ) de Ciudad Juárez, Chih.
Papers by Blanca Lopez
Revista de El Colegio de San Luis, 2024
En México, la Secretaría de la Función Pública coordina el Modelo de Evaluación de la Gestión Gub... more En México, la Secretaría de la Función Pública coordina el Modelo de Evaluación de la Gestión Gubernamental para examinar el valor público de entidades y dependencias del Poder Ejecutivo federal. El objetivo de este artículo es revisar los resultados de este Modelo mediante el análisis cualitativo de los informes anuales de evaluación 2014-2019. De la revisión destaca que los resultados se presentan como ranking o tablero de control, aunque no son evaluaciones integrales de desempeño basadas en criterios de eficacia, eficiencia y otros, ni incluyen los niveles de la gestión pública. Otros hallazgos son los traslapes y la falta de coordinación con otros sistemas de monitoreo y evaluación, interacción con la ciudadanía y entidades evaluadas, armonización normativa y uso de evaluaciones, así como discrepancias entre evaluaciones del Modelo de Evaluación de la Gestión Gubernamental y auditorias, que obstaculizan su institucionalización. Finalmente, se sugieren acciones para mejorar el diseño del Modelo y fortalecer la evaluación de la gestión pública, pero también se refieren algunas limitaciones del estudio para analizar las capacidades institucionales y efectividad de las evaluaciones. /
In Mexico, the Ministry of Public Administration coordinates the Government Management Evaluation Model to examine public value of ministries and agencies at the federal Executive branch. For this, the article aims to review the Government Management Evaluation Model’s outputs, through qualitative analysis of annual evaluation reports 2014-2019. The review highlights that results are shown as ranking or scoreboard but not such as comprehensive performance evaluations based on efficiency, efficacy criteria and so on, neither including public management levels. Other findings are related to the lack of coordination and overlapped monitoring and evaluation systems, agencies and citizenry interaction, regulatory harmonisation, and evaluation use, as well as discrepancies amongst Government Management Evaluation Model’s evaluations and audits, which hinder institutionalization. Finally, suggestions are for improving the Government Management Evaluation Model’s design and for strengthen public management evaluation but also mentions some limitations of the study for analyzing institutional capabilities and evaluation effectiveness.
Boletin Mexicano de Derecho Comparado, 2023
Los sistemas de monitoreo y evaluación (M&E) de programas públicos en los gobiernos locales y cen... more Los sistemas de monitoreo y evaluación (M&E) de programas públicos en los gobiernos locales y central de México operan desde entes centralizados, descentralizados o autónomos.
Por ello, el propósito de este estudio es examinar el nivel de autonomía o control gubernamental de los tres órganos constitucionales autónomos (OCA) de evaluación conocidos como Inevap, Evalúa CDMX y Coneval, mediante un análisis descriptivo y una visión multidimensional de la autonomía gerencial, adopción de políticas, estructural, financiera, legal e intervencionista.
Derivado del análisis, se concluye que ninguno cumple el nivel máximo, y aunque tienen rasgos de relevancia constitucional, no son reconocidos como OCA. También se discute la falta de rendición de cuentas, evaluaciones de desempeño, participación social, legitimidad y democratización de los procesos de designación de titulares y consejera(o)s de los OCA, la importancia de evaluar los poderes Judicial y Legislativo, otros OCA y municipios, y se compara la autonomía versus independencia de estos sistemas M&E.
Finalmente, si la creación de los OCA tiene como objetivo desempeñar funciones altamente especializadas y técnicas como la política de evaluación, que son exclusivas del Estado, la existencia de sistemas M&E dentro de los poderes tradicionales como el Ejecutivo es una contradicción para el sistema constitucional y el diseño institucional de los órganos “autónomos” de evaluación.
Abstract:
The Monitoring and Evaluation (M&E) systems of public programs at the local and central level in the Mexican government operate within centralized, decentralized, or autonomous agencies.
For this reason, the aim of this paper is to examine whether the level of autonomy or governmental control of autonomous evaluation agencies (OCA) known as Inevap, Evalúa CDMX y Coneval, through a descriptive analysis and multidimensional view of managerial, policy, structural, financial, legal, and interventional autonomy.
The analysis concludes that none of these agencies are recognized as autonomous. It also discusses the lack of accountability, performance evaluations, citizen participation, legitimacy and appointment of agency head and board members of these OCA, the relevance to evaluate the Legislative and Judicial branches, another autonomous agency, and municipalities, as well as to compare autonomy versus independence of these M&E systems.
Finally, while the creation of autonomous agencies aims to performance highly specialized and technical functions such as evaluation policy, which is the exclusive competence of the State, the mere existence of M&E systems within the Executive branch is contradictory to the State’s constitutional system and the design of “autonomous” evaluation agencies.
Te interesa el tema, te platico algunos datos interesantes...
En este artículo hago un ejercicio comparativo de la autonomía de los tres Órganos Constitucionales Autónomos (OCA) de evaluación como el Instituto de Evaluación de Políticas Públicas del estado de Durango (Inevap), Consejo de Evaluación de la Ciudad de México (Evalúa CDMX) y el Consejo Nacional de Evaluación de la Política de Desarrollo Social (Coneval), y aunque éste último es entidad paraestatal sectorizada a la Secretaría de Bienestar, su análisis es útil para identificar la brecha para convertirse en OCA.
• Si la creación de un OCA tiene como objetivo desempeñar funciones altamente especializadas y técnicas como la política de evaluación, que son exclusivas del Estado, sin depender de los tres poderes (Ejecutivo, Legislativo, Judicial) como los derechos humanos (CNDH), derechos político-electorales (INE), política monetaria (Banxico), se esperaría una escalada de conversión de organismos que coordinan sistemas M&E en OCA.
• Sin embargo, solamente el Evalúa CDMX e Inevap son OCA y existen otros 31 sistemas de Monitoreo y Evaluación (M&E) de políticas, programas y organismos públicos, la mayoría operando desde los gobiernos locales y central en dependencias centralizadas o descentralizadas. Estas contradicciones representan un desafío para el sistema Constitucional y el diseño institucional de los órganos autónomos de evaluación.
• Respecto al origen de los OCA, es un concepto neoliberal para descentralizar agencias públicas, delegar servicios con mayor eficiencia y generar satisfacción ciudadana. La autonomía o independencia de los sistemas M&E es determinante para tener una visión externa, objetiva e imparcial de los programas a evaluar, entre otras. Por eso, algunos gobiernos han optado por crear OCA de evaluación para fortalecer la independencia no solamente del sistema M&E, sino de la entidad que lo opera.
• Algunas desventajas son los costos políticos, falta de coordinación y rendición de cuentas, fragmentación en unidades administrativas y discrecionalidad en las designaciones, etc. Tampoco existe consenso entre especialistas sobre los OCA existentes, la mayoría lograron su autonomía entre 2012-2018 y los tipos de autonomía que ejercen (plena, operativa, resolutiva, etc.).
• A partir de un análisis comparativo de estos tres organismos según las dimensiones de autonomía: gerencial-gestión, adopción de políticas, estructural, financiera, legal e intervencionista; dividido en nivel mínimo, medio y máximo, concluyo que ninguno cumple el nivel máximo de estas dimensiones. Y aunque el Inevap y Evalúa CDMX presentan debilidades solamente en la autonomía financiera, según los especialistas no son OCA sino “órganos de relevancia constitucional”, mientras el Coneval es la entidad con mayor control gubernamental.
• Otras conclusiones están relacionadas con la falta de rendición de cuentas, evaluaciones de desempeño, participación social, legitimidad y democratización de designaciones de titulares y consejera/os de los OCA e importancia de evaluar los poderes Judicial, Legislativo, OCA y municipios, donde el Inevap tiene importantes avances. Por último, se discuten las ventajas y desafíos de la autonomía versus recentralización de órganos autónomos e independencia de los sistemas M&E.
Revista Estudios Políticos, 2022
Este artículo realiza un análisis crítico desde una perspectiva histórica sobre la institucionali... more Este artículo realiza un análisis crítico desde una perspectiva histórica sobre la institucionalización de los sistemas de Monitoreo y Evaluación (M&E) implantados por el gobierno mexicano a nivel central, desde los distintos poderes, dependencias y actores políticos con algunas implicaciones en el diseño integral de la política de evaluación.
Lo anterior ha generado fragmentación y caos administrativo por la duplicidad de funciones de organismos públicos, exceso de regulación e ineficiencia gubernamental. El texto presenta los principales factores y propuestas para armonizar estos sistemas M&E, mejorar la coordinación interinstitucional, interacción gobierno-ciudadanía e institucionalización de la política de evaluación.
Abstract
This article aims to develop a critical analysis from an historical perspective regarding institutionalization of the Monitoring and Evaluation (M&E) systems established by the Mexican federal government within different branches, public agencies and political actors, with some implications regarding evaluation policy design.
The latter has become into fragmentation and administrative chaos due to overlapped powers, excessive regulation and inefficiency. This paper summarizes main features and proposals to harmonising M&E systems, to improve inter-agency coordination, government-citizenry interaction and institutionalization of evaluation policy.
Te interesa el tema, aquí te platico los principales resultados...
1) Existe una percepción generalizada que considera el origen de la evaluación en la política social y el Coneval, sin embargo, existen sistemas de Monitoreo y Evaluación (M&E) de dependencias y políticas públicas que operan desde décadas atrás.
2) Los sistemas M&E toman relevancia en Latinoamérica con la Nueva Gestión Pública (NGP) que da prioridad al Presupuesto basado en Resultados (PbR) y descentralización de funciones y organismos públicos para operarlos.
3) Para entender el alcance de la evaluación, se pueden considerar los niveles micro, meso y macro de la gestión.
4) En México, desde 1930 se discutían temas de evaluación en los Congresos económicos y de planeación, y Comisiones de eficiencia.
5) Sin embargo, la década de los 80s es clave porque se institucionaliza el M&E con la Ley de Planeación, el Plan Nacional de Desarrollo y la Secretaría de la Contraloría General de la Federación (actualmente Secretaría de la Función Pública SFP) que tiene la función de evaluar.
6) Desde la Secretaría de Desarrollo Social (actualmente Secretaría de Bienestar):
• En 1992 comienzan a evaluar la política de desarrollo social.
• Entre 2000-2001, la evaluación se fortaleció gracias al programa Progresa (actualmente Prospera programa de inclusión social) y su evaluación de impacto, y el Congreso que obligaba evaluar los programas de subsidios y con Reglas de Operación.
• En 2005, se crea el Coneval para coordinar la evaluación del sector social.
7) Aquí es donde se complica el contexto y surgen más sistemas M&E.
8) Por ejemplo, la SFP coordina:
• El subsistema de evaluación de desempeño para medir funciones y metas de funcionaria/os del Sistema Profesional de Carrera.
• El Modelo integral de dirección y evaluación del desempeño de los Órganos Internos de Control.
• Convenios o bases de desempeño para evaluar entidades paraestatales (Pemex, CFE, etc.), y
• El Sistema de Control Interno y la Evaluación de la Gestión Gubernamental (Siceg) para evaluar dependencias y entidades.
9) En 2006, desde la Secretaría de Hacienda (SHCP) con la Reforma hacendaria:
• Resurge el Sistema de Evaluación de Desempeño SED (desde 1997) que integra los indicadores de gestión y estratégicos para dar seguimiento al gobierno;
• El PbR vincula el diseño, planeación e implementación de programas públicos con el proceso presupuestario, mediante la evaluación.
• Realiza evaluaciones de costo y beneficio de programas y proyectos de inversión.
10) Aunque te parezca extraño, el Coneval coordina las evaluaciones del sector social, mientras que la SHCP coordina el resto de sectores.
11) Esto no acaba…
12) El sector educativo tiene:
• La Comisión Nacional para la Mejora Continua de la Educación (Mejoredu) y su sistema M&E que realiza evaluaciones diagnósticas, formativas para mejorar el desempeño escolar, etc.;
• El Sistema de evaluación y acreditación de la educación superior y
• Programa internacional de evaluación de estudiantes.
13) En el sector ambiental, el sistema M&E realiza evaluaciones:
• de impacto ambiental y
• a la Política de cambio climático.
14) El sistema M&E a cargo de la Secretaría de Energía realiza evaluaciones de impacto social.
15) La Política Nacional Anticorrupción tiene un Modelo de Seguimiento y Evaluación de la Corrupción (Mosec) para evaluar los resultados e impacto en el mediano y largo plazo, aunque todavía no opera.
16) El poder Legislativo tiene:
• El Sistema de Evaluación del Diputados, pero aún no funciona.
• Realiza evaluaciones de políticas públicas, a través de la Auditoría Superior de la Federación.
17) El poder Judicial es el más discrecional para valorar su desempeño y no se identifica un sistema M&E.
18) Por esto afirmo que la política de evaluación está fragmentada, traslapa en funciones y objetivos de estos organismos públicos responsables del M&E y genera caos organizativo con altos costos administrativos y políticos.
19) Finalmente, presento varias propuestas para armonizar estos sistemas M&E, mejorar la coordinación interinstitucional e interacción gobierno-ciudadanía.
Over time, the predominant tendency of many governments’ agencies has been to evaluate a programm... more Over time, the predominant tendency of many governments’ agencies has been to evaluate a programme or policy investing large amount of resources in supporting policy evaluation. However, recommendations suggested by policy evaluators are not always taken up.
Moreover, there is relatively little evidence of the extent of policy evaluation effectiveness (i.e. the influence of evaluation on the programme evaluated) and the factors which have significant impact on it.
This dissertation aims to shed light on this issue by focusing on the Mexican and Chilean experiences of policy evaluation in the health care sector. It provides a detailed analysis of the extent to which evaluations have led to changes in policies and programmes and reveals a rather limited effectiveness of policy evaluation in these countries.
I argue that shortcomings in the effectiveness of policy evaluation can be explained by institutional and political factors, primarily the nature of Intra Governmental Relations (I...
Revista Polis México, 2022
La efectividad de la evaluación está en la medida en que se utilice para orientar las decisiones ... more La efectividad de la evaluación está en la medida en que se utilice para orientar las decisiones públicas para mejorar los programas y respecto al Congreso para cumplir su función legislativa.
Por ende, el objetivo de este artículo fue conocer el uso de la evidencia evaluativa de programas públicos en el Congreso mexicano, mediante un análisis cualitativo de las evaluaciones a programas del sector salud, la revisión documental del trabajo legislativo y entrevistas a congresistas y funcionaria(o)s del poder Legislativo entre 2007-2018.
Los resultados reflejan el uso limitado de la evaluación relacionado con su naturaleza política y otros factores institucionales. Finalmente, se presentan algunas propuestas para incidir en el uso de la evidencia evaluativa en la agenda legislativa.
Abstract:
The effectiveness of evaluation is on the extent is used to guide public decisions for improving public programs and for legislative actions at Congress.
Therefore, this study aims to find out the use of evaluative evidence at the mexican Congress, through a qualitative analysis of health sector programs’ evaluations, a review of the legislative work and interviews of Congress people and staff at the legislative branch during 2007–2018.
The main findings point to the limited use of evaluation due to its political role and other institutional factors. Finally, some proposals to enable the use of evaluative evidence in legislative agenda are offered.
Revista Mexicana de Ciencias Políticas y Sociales, 2021
Este artículo tiene como propósito describir el Sistema de Monitoreo y Evaluación (M&E) en el est... more Este artículo tiene como propósito describir el Sistema de Monitoreo y Evaluación (M&E) en el estado de Chihuahua y analizar sus logros y desafíos, especialmente en torno a las características del mercado de evaluaciones, los procedimientos y costos de contratación.
Para su realización se emplea una metodología mixta que incluye el análisis cuantitativo relacionado con la información estadística sobre las contrataciones y evaluaciones realizadas y una metodología cualitativa, sobre el diseño y organización del Sistema de M&E y el proceso de evaluación.
A partir de este estudio de caso, se concluye que el Sistema de M&E muestra avances importantes, pero también requiere la revisión de su diseño institucional, la relevancia de las políticas y los programas que se seleccionan para ser evaluados, aumentar la transparencia de los procesos de contratación y definir criterios para determinar los precios pagados en cada caso.
Su valor radica en la importancia del análisis del diseño institucional de estos sistemas. Aunque dicho análisis se desarrolla a nivel local, permite entender la operación de otros sistemas a nivel nacional y las propuestas son válidas en cualquier contexto.
Abstract:
This paper aims to describe the Monitoring and Evaluation (M&E) System in the state of Chihuahua and to analyze its achievements and challenges, particularly regarding the market, procedures and costs of evaluations.
For this purpose, mixed methodology is used, including quantitative analysis of statistical data on evaluations performed, as well as qualitative analysis of the m&e design, organization and the evaluation process. The case study shows relevant progress of the M&E system.
However, its institutional design, the relevance of policies and programs selected for evaluation and the insufficient transparency of hiring processes need to be revised, as well as the criteria for determining the prices for each case. Its value lies in the importance of analyzing the institutional design of these systems and even though it is on a local level it allows for understanding the operation of other systems on a national level, and proposals are valid in any context.
Uploads
Doctoral thesis by Blanca Lopez
It provides a detailed analysis of the extent to which evaluations have led to changes in policies and programmes and reveals a rather limited effectiveness of policy evaluation in these countries. I argue that shortcomings in the effectiveness of policy evaluation can be explained by institutional and political factors, primarily the nature of Intra Governmental Relations (IGR), but also the quality of bureaucracy, the level of democracy, the autonomy of policy evaluators, and the type of policy evaluation framework. While all of these factors seem to have some influence, the relationship between the executive and legislature is clearly the key determinant of the take up of recommendations.
Thus, the findings of this thesis suggest that strengthening coordination between the different parts of government is needed to enhance the effectiveness of policy evaluation. In addition, the analysis also suggests that policy evaluation is likely to be more effective when it incorporates budgetary incentives.
Publications by Blanca Lopez
The study was requested by the Mexican finance authorities, as member of the OECD. The exact purpose of the study was to have an integral panorama of the budgetary process, an evaluation of the national experiences and specific political recommendations.
In this sense, and from the OECD point of view, the implemented
amendments are analyzed by the Mexican Government regarding budget and management with foundation in performance and the Performance Evaluation System (SED) as its main component. This article has the purpose of analyzing the data and perspective offered by the study of the international organism, as well as some important questions in the development of Mexican SED for placing it in a more
precise and comprehensible context.
The work is divided into four sections, the first is an inventory of the study and includes objectives and challenges of the SED as well as amendments made to the Federal Law of Financial Responsibility and Budget; the second section discusses lack of precision in the study in regard to the regulations which originated the evaluation system. In the third section the way in which SED operates from the judicial dispositions around a budget based on results is discussed. Last, the conclusions section which raises some reflections for debate.
Resumen
El 7 de enero de 2010, la Organización para la Cooperación y el Desarrollo Económico (OCDE) presentó un estudio sobre la evolución del proceso presupuestario de México, en el cual vierte su opinión acerca del avance de las reformas implementadas en la materia por nuestro país. Uno de los capítulos está dedicado al Sistema de Evaluación del Desempeño y su relación con la rendición de cuentas.
El estudio fue encargado por las autoridades hacendarias de México, como miembro de la propia OCDE. El propósito expreso del estudio fue contar con un panorama integral del proceso presupuestario, evaluación de las experiencias nacionales y recomendaciones de política especificas. En ese sentido, y desde la visión de la OCDE,
se analizan las reformas implementadas por el Gobierno mexicano en materia de presupuesto y gestión con base en el desempeño y el Sistema de Evaluación del Desempeño (SED) como su componente central.
Este artículo tiene como propósito analizar los datos y la perspectiva ofrecidos por el estudio del organismo internacional, así como algunas cuestiones centrales en el desarrollo del SED mexicano para ubicarlo en un contexto más preciso y comprensible.
El trabajo está dividido en cuatro apartados, el primero es un recuento del estudio e incluye objetivos y retos del SED y las reformas a la Ley Federal de Presupuesto y Responsabilidad Hacendaria; en el segundo, se discuten lo que parecen ser algunas imprecisiones del estudio con base en la normatividad que dio origen al sistema de
evaluación.
En el tercer apartado, se presenta desde una perspectiva diferente, la forma en que a partir de las disposiciones jurídicas alrededor del Presupuesto basado en Resultados, opera el SED. Por último, la sección de conclusiones plantea algunas reflexiones para el debate.
Studies, working papers by Blanca Lopez
• El Sistema de Evaluación y Control de Gestión (SECG) de Chile.
• El Sistema Nacional de Evaluación de Resultados de la Gestión Pública (SINERGIA) de Colombia.
• El Presupuesto basado en Resultados (PbR) y el Sistema de Evaluación del Desempeño (SED) de México a nivel federal.
• El papel del Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL).
• El Sistema de Evaluación de Desempeño en el estado de Jalisco “Evalúa Jalisco”.
• Evalúa CDMX.
• El Instituto de Evaluación de Políticas Públicas (INEVAP) de Durango.
• El Sistema Estatal de Evaluación y el Órgano Evaluador de Políticas Públicas del Estado de Zacatecas (OEPPEZ).
• El Sistema Estatal de Evaluación del Desempeño (SEED) de Chihuahua.
También se exploran algunos modelos de Organizaciones de la Sociedad Civil (OSC) por su incidencia en las políticas públicas, como las siguientes:
• El modelo “Bogotá cómo vamos” de Colombia.
• El observatorio ciudadano “Jalisco cómo vamos”.
• El Plan Estratégico de Juárez (PEJ) de Ciudad Juárez, Chih.
Papers by Blanca Lopez
In Mexico, the Ministry of Public Administration coordinates the Government Management Evaluation Model to examine public value of ministries and agencies at the federal Executive branch. For this, the article aims to review the Government Management Evaluation Model’s outputs, through qualitative analysis of annual evaluation reports 2014-2019. The review highlights that results are shown as ranking or scoreboard but not such as comprehensive performance evaluations based on efficiency, efficacy criteria and so on, neither including public management levels. Other findings are related to the lack of coordination and overlapped monitoring and evaluation systems, agencies and citizenry interaction, regulatory harmonisation, and evaluation use, as well as discrepancies amongst Government Management Evaluation Model’s evaluations and audits, which hinder institutionalization. Finally, suggestions are for improving the Government Management Evaluation Model’s design and for strengthen public management evaluation but also mentions some limitations of the study for analyzing institutional capabilities and evaluation effectiveness.
Por ello, el propósito de este estudio es examinar el nivel de autonomía o control gubernamental de los tres órganos constitucionales autónomos (OCA) de evaluación conocidos como Inevap, Evalúa CDMX y Coneval, mediante un análisis descriptivo y una visión multidimensional de la autonomía gerencial, adopción de políticas, estructural, financiera, legal e intervencionista.
Derivado del análisis, se concluye que ninguno cumple el nivel máximo, y aunque tienen rasgos de relevancia constitucional, no son reconocidos como OCA. También se discute la falta de rendición de cuentas, evaluaciones de desempeño, participación social, legitimidad y democratización de los procesos de designación de titulares y consejera(o)s de los OCA, la importancia de evaluar los poderes Judicial y Legislativo, otros OCA y municipios, y se compara la autonomía versus independencia de estos sistemas M&E.
Finalmente, si la creación de los OCA tiene como objetivo desempeñar funciones altamente especializadas y técnicas como la política de evaluación, que son exclusivas del Estado, la existencia de sistemas M&E dentro de los poderes tradicionales como el Ejecutivo es una contradicción para el sistema constitucional y el diseño institucional de los órganos “autónomos” de evaluación.
Abstract:
The Monitoring and Evaluation (M&E) systems of public programs at the local and central level in the Mexican government operate within centralized, decentralized, or autonomous agencies.
For this reason, the aim of this paper is to examine whether the level of autonomy or governmental control of autonomous evaluation agencies (OCA) known as Inevap, Evalúa CDMX y Coneval, through a descriptive analysis and multidimensional view of managerial, policy, structural, financial, legal, and interventional autonomy.
The analysis concludes that none of these agencies are recognized as autonomous. It also discusses the lack of accountability, performance evaluations, citizen participation, legitimacy and appointment of agency head and board members of these OCA, the relevance to evaluate the Legislative and Judicial branches, another autonomous agency, and municipalities, as well as to compare autonomy versus independence of these M&E systems.
Finally, while the creation of autonomous agencies aims to performance highly specialized and technical functions such as evaluation policy, which is the exclusive competence of the State, the mere existence of M&E systems within the Executive branch is contradictory to the State’s constitutional system and the design of “autonomous” evaluation agencies.
Te interesa el tema, te platico algunos datos interesantes...
En este artículo hago un ejercicio comparativo de la autonomía de los tres Órganos Constitucionales Autónomos (OCA) de evaluación como el Instituto de Evaluación de Políticas Públicas del estado de Durango (Inevap), Consejo de Evaluación de la Ciudad de México (Evalúa CDMX) y el Consejo Nacional de Evaluación de la Política de Desarrollo Social (Coneval), y aunque éste último es entidad paraestatal sectorizada a la Secretaría de Bienestar, su análisis es útil para identificar la brecha para convertirse en OCA.
• Si la creación de un OCA tiene como objetivo desempeñar funciones altamente especializadas y técnicas como la política de evaluación, que son exclusivas del Estado, sin depender de los tres poderes (Ejecutivo, Legislativo, Judicial) como los derechos humanos (CNDH), derechos político-electorales (INE), política monetaria (Banxico), se esperaría una escalada de conversión de organismos que coordinan sistemas M&E en OCA.
• Sin embargo, solamente el Evalúa CDMX e Inevap son OCA y existen otros 31 sistemas de Monitoreo y Evaluación (M&E) de políticas, programas y organismos públicos, la mayoría operando desde los gobiernos locales y central en dependencias centralizadas o descentralizadas. Estas contradicciones representan un desafío para el sistema Constitucional y el diseño institucional de los órganos autónomos de evaluación.
• Respecto al origen de los OCA, es un concepto neoliberal para descentralizar agencias públicas, delegar servicios con mayor eficiencia y generar satisfacción ciudadana. La autonomía o independencia de los sistemas M&E es determinante para tener una visión externa, objetiva e imparcial de los programas a evaluar, entre otras. Por eso, algunos gobiernos han optado por crear OCA de evaluación para fortalecer la independencia no solamente del sistema M&E, sino de la entidad que lo opera.
• Algunas desventajas son los costos políticos, falta de coordinación y rendición de cuentas, fragmentación en unidades administrativas y discrecionalidad en las designaciones, etc. Tampoco existe consenso entre especialistas sobre los OCA existentes, la mayoría lograron su autonomía entre 2012-2018 y los tipos de autonomía que ejercen (plena, operativa, resolutiva, etc.).
• A partir de un análisis comparativo de estos tres organismos según las dimensiones de autonomía: gerencial-gestión, adopción de políticas, estructural, financiera, legal e intervencionista; dividido en nivel mínimo, medio y máximo, concluyo que ninguno cumple el nivel máximo de estas dimensiones. Y aunque el Inevap y Evalúa CDMX presentan debilidades solamente en la autonomía financiera, según los especialistas no son OCA sino “órganos de relevancia constitucional”, mientras el Coneval es la entidad con mayor control gubernamental.
• Otras conclusiones están relacionadas con la falta de rendición de cuentas, evaluaciones de desempeño, participación social, legitimidad y democratización de designaciones de titulares y consejera/os de los OCA e importancia de evaluar los poderes Judicial, Legislativo, OCA y municipios, donde el Inevap tiene importantes avances. Por último, se discuten las ventajas y desafíos de la autonomía versus recentralización de órganos autónomos e independencia de los sistemas M&E.
Lo anterior ha generado fragmentación y caos administrativo por la duplicidad de funciones de organismos públicos, exceso de regulación e ineficiencia gubernamental. El texto presenta los principales factores y propuestas para armonizar estos sistemas M&E, mejorar la coordinación interinstitucional, interacción gobierno-ciudadanía e institucionalización de la política de evaluación.
Abstract
This article aims to develop a critical analysis from an historical perspective regarding institutionalization of the Monitoring and Evaluation (M&E) systems established by the Mexican federal government within different branches, public agencies and political actors, with some implications regarding evaluation policy design.
The latter has become into fragmentation and administrative chaos due to overlapped powers, excessive regulation and inefficiency. This paper summarizes main features and proposals to harmonising M&E systems, to improve inter-agency coordination, government-citizenry interaction and institutionalization of evaluation policy.
Te interesa el tema, aquí te platico los principales resultados...
1) Existe una percepción generalizada que considera el origen de la evaluación en la política social y el Coneval, sin embargo, existen sistemas de Monitoreo y Evaluación (M&E) de dependencias y políticas públicas que operan desde décadas atrás.
2) Los sistemas M&E toman relevancia en Latinoamérica con la Nueva Gestión Pública (NGP) que da prioridad al Presupuesto basado en Resultados (PbR) y descentralización de funciones y organismos públicos para operarlos.
3) Para entender el alcance de la evaluación, se pueden considerar los niveles micro, meso y macro de la gestión.
4) En México, desde 1930 se discutían temas de evaluación en los Congresos económicos y de planeación, y Comisiones de eficiencia.
5) Sin embargo, la década de los 80s es clave porque se institucionaliza el M&E con la Ley de Planeación, el Plan Nacional de Desarrollo y la Secretaría de la Contraloría General de la Federación (actualmente Secretaría de la Función Pública SFP) que tiene la función de evaluar.
6) Desde la Secretaría de Desarrollo Social (actualmente Secretaría de Bienestar):
• En 1992 comienzan a evaluar la política de desarrollo social.
• Entre 2000-2001, la evaluación se fortaleció gracias al programa Progresa (actualmente Prospera programa de inclusión social) y su evaluación de impacto, y el Congreso que obligaba evaluar los programas de subsidios y con Reglas de Operación.
• En 2005, se crea el Coneval para coordinar la evaluación del sector social.
7) Aquí es donde se complica el contexto y surgen más sistemas M&E.
8) Por ejemplo, la SFP coordina:
• El subsistema de evaluación de desempeño para medir funciones y metas de funcionaria/os del Sistema Profesional de Carrera.
• El Modelo integral de dirección y evaluación del desempeño de los Órganos Internos de Control.
• Convenios o bases de desempeño para evaluar entidades paraestatales (Pemex, CFE, etc.), y
• El Sistema de Control Interno y la Evaluación de la Gestión Gubernamental (Siceg) para evaluar dependencias y entidades.
9) En 2006, desde la Secretaría de Hacienda (SHCP) con la Reforma hacendaria:
• Resurge el Sistema de Evaluación de Desempeño SED (desde 1997) que integra los indicadores de gestión y estratégicos para dar seguimiento al gobierno;
• El PbR vincula el diseño, planeación e implementación de programas públicos con el proceso presupuestario, mediante la evaluación.
• Realiza evaluaciones de costo y beneficio de programas y proyectos de inversión.
10) Aunque te parezca extraño, el Coneval coordina las evaluaciones del sector social, mientras que la SHCP coordina el resto de sectores.
11) Esto no acaba…
12) El sector educativo tiene:
• La Comisión Nacional para la Mejora Continua de la Educación (Mejoredu) y su sistema M&E que realiza evaluaciones diagnósticas, formativas para mejorar el desempeño escolar, etc.;
• El Sistema de evaluación y acreditación de la educación superior y
• Programa internacional de evaluación de estudiantes.
13) En el sector ambiental, el sistema M&E realiza evaluaciones:
• de impacto ambiental y
• a la Política de cambio climático.
14) El sistema M&E a cargo de la Secretaría de Energía realiza evaluaciones de impacto social.
15) La Política Nacional Anticorrupción tiene un Modelo de Seguimiento y Evaluación de la Corrupción (Mosec) para evaluar los resultados e impacto en el mediano y largo plazo, aunque todavía no opera.
16) El poder Legislativo tiene:
• El Sistema de Evaluación del Diputados, pero aún no funciona.
• Realiza evaluaciones de políticas públicas, a través de la Auditoría Superior de la Federación.
17) El poder Judicial es el más discrecional para valorar su desempeño y no se identifica un sistema M&E.
18) Por esto afirmo que la política de evaluación está fragmentada, traslapa en funciones y objetivos de estos organismos públicos responsables del M&E y genera caos organizativo con altos costos administrativos y políticos.
19) Finalmente, presento varias propuestas para armonizar estos sistemas M&E, mejorar la coordinación interinstitucional e interacción gobierno-ciudadanía.
Moreover, there is relatively little evidence of the extent of policy evaluation effectiveness (i.e. the influence of evaluation on the programme evaluated) and the factors which have significant impact on it.
This dissertation aims to shed light on this issue by focusing on the Mexican and Chilean experiences of policy evaluation in the health care sector. It provides a detailed analysis of the extent to which evaluations have led to changes in policies and programmes and reveals a rather limited effectiveness of policy evaluation in these countries.
I argue that shortcomings in the effectiveness of policy evaluation can be explained by institutional and political factors, primarily the nature of Intra Governmental Relations (I...
Por ende, el objetivo de este artículo fue conocer el uso de la evidencia evaluativa de programas públicos en el Congreso mexicano, mediante un análisis cualitativo de las evaluaciones a programas del sector salud, la revisión documental del trabajo legislativo y entrevistas a congresistas y funcionaria(o)s del poder Legislativo entre 2007-2018.
Los resultados reflejan el uso limitado de la evaluación relacionado con su naturaleza política y otros factores institucionales. Finalmente, se presentan algunas propuestas para incidir en el uso de la evidencia evaluativa en la agenda legislativa.
Abstract:
The effectiveness of evaluation is on the extent is used to guide public decisions for improving public programs and for legislative actions at Congress.
Therefore, this study aims to find out the use of evaluative evidence at the mexican Congress, through a qualitative analysis of health sector programs’ evaluations, a review of the legislative work and interviews of Congress people and staff at the legislative branch during 2007–2018.
The main findings point to the limited use of evaluation due to its political role and other institutional factors. Finally, some proposals to enable the use of evaluative evidence in legislative agenda are offered.
Para su realización se emplea una metodología mixta que incluye el análisis cuantitativo relacionado con la información estadística sobre las contrataciones y evaluaciones realizadas y una metodología cualitativa, sobre el diseño y organización del Sistema de M&E y el proceso de evaluación.
A partir de este estudio de caso, se concluye que el Sistema de M&E muestra avances importantes, pero también requiere la revisión de su diseño institucional, la relevancia de las políticas y los programas que se seleccionan para ser evaluados, aumentar la transparencia de los procesos de contratación y definir criterios para determinar los precios pagados en cada caso.
Su valor radica en la importancia del análisis del diseño institucional de estos sistemas. Aunque dicho análisis se desarrolla a nivel local, permite entender la operación de otros sistemas a nivel nacional y las propuestas son válidas en cualquier contexto.
Abstract:
This paper aims to describe the Monitoring and Evaluation (M&E) System in the state of Chihuahua and to analyze its achievements and challenges, particularly regarding the market, procedures and costs of evaluations.
For this purpose, mixed methodology is used, including quantitative analysis of statistical data on evaluations performed, as well as qualitative analysis of the m&e design, organization and the evaluation process. The case study shows relevant progress of the M&E system.
However, its institutional design, the relevance of policies and programs selected for evaluation and the insufficient transparency of hiring processes need to be revised, as well as the criteria for determining the prices for each case. Its value lies in the importance of analyzing the institutional design of these systems and even though it is on a local level it allows for understanding the operation of other systems on a national level, and proposals are valid in any context.
It provides a detailed analysis of the extent to which evaluations have led to changes in policies and programmes and reveals a rather limited effectiveness of policy evaluation in these countries. I argue that shortcomings in the effectiveness of policy evaluation can be explained by institutional and political factors, primarily the nature of Intra Governmental Relations (IGR), but also the quality of bureaucracy, the level of democracy, the autonomy of policy evaluators, and the type of policy evaluation framework. While all of these factors seem to have some influence, the relationship between the executive and legislature is clearly the key determinant of the take up of recommendations.
Thus, the findings of this thesis suggest that strengthening coordination between the different parts of government is needed to enhance the effectiveness of policy evaluation. In addition, the analysis also suggests that policy evaluation is likely to be more effective when it incorporates budgetary incentives.
The study was requested by the Mexican finance authorities, as member of the OECD. The exact purpose of the study was to have an integral panorama of the budgetary process, an evaluation of the national experiences and specific political recommendations.
In this sense, and from the OECD point of view, the implemented
amendments are analyzed by the Mexican Government regarding budget and management with foundation in performance and the Performance Evaluation System (SED) as its main component. This article has the purpose of analyzing the data and perspective offered by the study of the international organism, as well as some important questions in the development of Mexican SED for placing it in a more
precise and comprehensible context.
The work is divided into four sections, the first is an inventory of the study and includes objectives and challenges of the SED as well as amendments made to the Federal Law of Financial Responsibility and Budget; the second section discusses lack of precision in the study in regard to the regulations which originated the evaluation system. In the third section the way in which SED operates from the judicial dispositions around a budget based on results is discussed. Last, the conclusions section which raises some reflections for debate.
Resumen
El 7 de enero de 2010, la Organización para la Cooperación y el Desarrollo Económico (OCDE) presentó un estudio sobre la evolución del proceso presupuestario de México, en el cual vierte su opinión acerca del avance de las reformas implementadas en la materia por nuestro país. Uno de los capítulos está dedicado al Sistema de Evaluación del Desempeño y su relación con la rendición de cuentas.
El estudio fue encargado por las autoridades hacendarias de México, como miembro de la propia OCDE. El propósito expreso del estudio fue contar con un panorama integral del proceso presupuestario, evaluación de las experiencias nacionales y recomendaciones de política especificas. En ese sentido, y desde la visión de la OCDE,
se analizan las reformas implementadas por el Gobierno mexicano en materia de presupuesto y gestión con base en el desempeño y el Sistema de Evaluación del Desempeño (SED) como su componente central.
Este artículo tiene como propósito analizar los datos y la perspectiva ofrecidos por el estudio del organismo internacional, así como algunas cuestiones centrales en el desarrollo del SED mexicano para ubicarlo en un contexto más preciso y comprensible.
El trabajo está dividido en cuatro apartados, el primero es un recuento del estudio e incluye objetivos y retos del SED y las reformas a la Ley Federal de Presupuesto y Responsabilidad Hacendaria; en el segundo, se discuten lo que parecen ser algunas imprecisiones del estudio con base en la normatividad que dio origen al sistema de
evaluación.
En el tercer apartado, se presenta desde una perspectiva diferente, la forma en que a partir de las disposiciones jurídicas alrededor del Presupuesto basado en Resultados, opera el SED. Por último, la sección de conclusiones plantea algunas reflexiones para el debate.
• El Sistema de Evaluación y Control de Gestión (SECG) de Chile.
• El Sistema Nacional de Evaluación de Resultados de la Gestión Pública (SINERGIA) de Colombia.
• El Presupuesto basado en Resultados (PbR) y el Sistema de Evaluación del Desempeño (SED) de México a nivel federal.
• El papel del Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL).
• El Sistema de Evaluación de Desempeño en el estado de Jalisco “Evalúa Jalisco”.
• Evalúa CDMX.
• El Instituto de Evaluación de Políticas Públicas (INEVAP) de Durango.
• El Sistema Estatal de Evaluación y el Órgano Evaluador de Políticas Públicas del Estado de Zacatecas (OEPPEZ).
• El Sistema Estatal de Evaluación del Desempeño (SEED) de Chihuahua.
También se exploran algunos modelos de Organizaciones de la Sociedad Civil (OSC) por su incidencia en las políticas públicas, como las siguientes:
• El modelo “Bogotá cómo vamos” de Colombia.
• El observatorio ciudadano “Jalisco cómo vamos”.
• El Plan Estratégico de Juárez (PEJ) de Ciudad Juárez, Chih.
In Mexico, the Ministry of Public Administration coordinates the Government Management Evaluation Model to examine public value of ministries and agencies at the federal Executive branch. For this, the article aims to review the Government Management Evaluation Model’s outputs, through qualitative analysis of annual evaluation reports 2014-2019. The review highlights that results are shown as ranking or scoreboard but not such as comprehensive performance evaluations based on efficiency, efficacy criteria and so on, neither including public management levels. Other findings are related to the lack of coordination and overlapped monitoring and evaluation systems, agencies and citizenry interaction, regulatory harmonisation, and evaluation use, as well as discrepancies amongst Government Management Evaluation Model’s evaluations and audits, which hinder institutionalization. Finally, suggestions are for improving the Government Management Evaluation Model’s design and for strengthen public management evaluation but also mentions some limitations of the study for analyzing institutional capabilities and evaluation effectiveness.
Por ello, el propósito de este estudio es examinar el nivel de autonomía o control gubernamental de los tres órganos constitucionales autónomos (OCA) de evaluación conocidos como Inevap, Evalúa CDMX y Coneval, mediante un análisis descriptivo y una visión multidimensional de la autonomía gerencial, adopción de políticas, estructural, financiera, legal e intervencionista.
Derivado del análisis, se concluye que ninguno cumple el nivel máximo, y aunque tienen rasgos de relevancia constitucional, no son reconocidos como OCA. También se discute la falta de rendición de cuentas, evaluaciones de desempeño, participación social, legitimidad y democratización de los procesos de designación de titulares y consejera(o)s de los OCA, la importancia de evaluar los poderes Judicial y Legislativo, otros OCA y municipios, y se compara la autonomía versus independencia de estos sistemas M&E.
Finalmente, si la creación de los OCA tiene como objetivo desempeñar funciones altamente especializadas y técnicas como la política de evaluación, que son exclusivas del Estado, la existencia de sistemas M&E dentro de los poderes tradicionales como el Ejecutivo es una contradicción para el sistema constitucional y el diseño institucional de los órganos “autónomos” de evaluación.
Abstract:
The Monitoring and Evaluation (M&E) systems of public programs at the local and central level in the Mexican government operate within centralized, decentralized, or autonomous agencies.
For this reason, the aim of this paper is to examine whether the level of autonomy or governmental control of autonomous evaluation agencies (OCA) known as Inevap, Evalúa CDMX y Coneval, through a descriptive analysis and multidimensional view of managerial, policy, structural, financial, legal, and interventional autonomy.
The analysis concludes that none of these agencies are recognized as autonomous. It also discusses the lack of accountability, performance evaluations, citizen participation, legitimacy and appointment of agency head and board members of these OCA, the relevance to evaluate the Legislative and Judicial branches, another autonomous agency, and municipalities, as well as to compare autonomy versus independence of these M&E systems.
Finally, while the creation of autonomous agencies aims to performance highly specialized and technical functions such as evaluation policy, which is the exclusive competence of the State, the mere existence of M&E systems within the Executive branch is contradictory to the State’s constitutional system and the design of “autonomous” evaluation agencies.
Te interesa el tema, te platico algunos datos interesantes...
En este artículo hago un ejercicio comparativo de la autonomía de los tres Órganos Constitucionales Autónomos (OCA) de evaluación como el Instituto de Evaluación de Políticas Públicas del estado de Durango (Inevap), Consejo de Evaluación de la Ciudad de México (Evalúa CDMX) y el Consejo Nacional de Evaluación de la Política de Desarrollo Social (Coneval), y aunque éste último es entidad paraestatal sectorizada a la Secretaría de Bienestar, su análisis es útil para identificar la brecha para convertirse en OCA.
• Si la creación de un OCA tiene como objetivo desempeñar funciones altamente especializadas y técnicas como la política de evaluación, que son exclusivas del Estado, sin depender de los tres poderes (Ejecutivo, Legislativo, Judicial) como los derechos humanos (CNDH), derechos político-electorales (INE), política monetaria (Banxico), se esperaría una escalada de conversión de organismos que coordinan sistemas M&E en OCA.
• Sin embargo, solamente el Evalúa CDMX e Inevap son OCA y existen otros 31 sistemas de Monitoreo y Evaluación (M&E) de políticas, programas y organismos públicos, la mayoría operando desde los gobiernos locales y central en dependencias centralizadas o descentralizadas. Estas contradicciones representan un desafío para el sistema Constitucional y el diseño institucional de los órganos autónomos de evaluación.
• Respecto al origen de los OCA, es un concepto neoliberal para descentralizar agencias públicas, delegar servicios con mayor eficiencia y generar satisfacción ciudadana. La autonomía o independencia de los sistemas M&E es determinante para tener una visión externa, objetiva e imparcial de los programas a evaluar, entre otras. Por eso, algunos gobiernos han optado por crear OCA de evaluación para fortalecer la independencia no solamente del sistema M&E, sino de la entidad que lo opera.
• Algunas desventajas son los costos políticos, falta de coordinación y rendición de cuentas, fragmentación en unidades administrativas y discrecionalidad en las designaciones, etc. Tampoco existe consenso entre especialistas sobre los OCA existentes, la mayoría lograron su autonomía entre 2012-2018 y los tipos de autonomía que ejercen (plena, operativa, resolutiva, etc.).
• A partir de un análisis comparativo de estos tres organismos según las dimensiones de autonomía: gerencial-gestión, adopción de políticas, estructural, financiera, legal e intervencionista; dividido en nivel mínimo, medio y máximo, concluyo que ninguno cumple el nivel máximo de estas dimensiones. Y aunque el Inevap y Evalúa CDMX presentan debilidades solamente en la autonomía financiera, según los especialistas no son OCA sino “órganos de relevancia constitucional”, mientras el Coneval es la entidad con mayor control gubernamental.
• Otras conclusiones están relacionadas con la falta de rendición de cuentas, evaluaciones de desempeño, participación social, legitimidad y democratización de designaciones de titulares y consejera/os de los OCA e importancia de evaluar los poderes Judicial, Legislativo, OCA y municipios, donde el Inevap tiene importantes avances. Por último, se discuten las ventajas y desafíos de la autonomía versus recentralización de órganos autónomos e independencia de los sistemas M&E.
Lo anterior ha generado fragmentación y caos administrativo por la duplicidad de funciones de organismos públicos, exceso de regulación e ineficiencia gubernamental. El texto presenta los principales factores y propuestas para armonizar estos sistemas M&E, mejorar la coordinación interinstitucional, interacción gobierno-ciudadanía e institucionalización de la política de evaluación.
Abstract
This article aims to develop a critical analysis from an historical perspective regarding institutionalization of the Monitoring and Evaluation (M&E) systems established by the Mexican federal government within different branches, public agencies and political actors, with some implications regarding evaluation policy design.
The latter has become into fragmentation and administrative chaos due to overlapped powers, excessive regulation and inefficiency. This paper summarizes main features and proposals to harmonising M&E systems, to improve inter-agency coordination, government-citizenry interaction and institutionalization of evaluation policy.
Te interesa el tema, aquí te platico los principales resultados...
1) Existe una percepción generalizada que considera el origen de la evaluación en la política social y el Coneval, sin embargo, existen sistemas de Monitoreo y Evaluación (M&E) de dependencias y políticas públicas que operan desde décadas atrás.
2) Los sistemas M&E toman relevancia en Latinoamérica con la Nueva Gestión Pública (NGP) que da prioridad al Presupuesto basado en Resultados (PbR) y descentralización de funciones y organismos públicos para operarlos.
3) Para entender el alcance de la evaluación, se pueden considerar los niveles micro, meso y macro de la gestión.
4) En México, desde 1930 se discutían temas de evaluación en los Congresos económicos y de planeación, y Comisiones de eficiencia.
5) Sin embargo, la década de los 80s es clave porque se institucionaliza el M&E con la Ley de Planeación, el Plan Nacional de Desarrollo y la Secretaría de la Contraloría General de la Federación (actualmente Secretaría de la Función Pública SFP) que tiene la función de evaluar.
6) Desde la Secretaría de Desarrollo Social (actualmente Secretaría de Bienestar):
• En 1992 comienzan a evaluar la política de desarrollo social.
• Entre 2000-2001, la evaluación se fortaleció gracias al programa Progresa (actualmente Prospera programa de inclusión social) y su evaluación de impacto, y el Congreso que obligaba evaluar los programas de subsidios y con Reglas de Operación.
• En 2005, se crea el Coneval para coordinar la evaluación del sector social.
7) Aquí es donde se complica el contexto y surgen más sistemas M&E.
8) Por ejemplo, la SFP coordina:
• El subsistema de evaluación de desempeño para medir funciones y metas de funcionaria/os del Sistema Profesional de Carrera.
• El Modelo integral de dirección y evaluación del desempeño de los Órganos Internos de Control.
• Convenios o bases de desempeño para evaluar entidades paraestatales (Pemex, CFE, etc.), y
• El Sistema de Control Interno y la Evaluación de la Gestión Gubernamental (Siceg) para evaluar dependencias y entidades.
9) En 2006, desde la Secretaría de Hacienda (SHCP) con la Reforma hacendaria:
• Resurge el Sistema de Evaluación de Desempeño SED (desde 1997) que integra los indicadores de gestión y estratégicos para dar seguimiento al gobierno;
• El PbR vincula el diseño, planeación e implementación de programas públicos con el proceso presupuestario, mediante la evaluación.
• Realiza evaluaciones de costo y beneficio de programas y proyectos de inversión.
10) Aunque te parezca extraño, el Coneval coordina las evaluaciones del sector social, mientras que la SHCP coordina el resto de sectores.
11) Esto no acaba…
12) El sector educativo tiene:
• La Comisión Nacional para la Mejora Continua de la Educación (Mejoredu) y su sistema M&E que realiza evaluaciones diagnósticas, formativas para mejorar el desempeño escolar, etc.;
• El Sistema de evaluación y acreditación de la educación superior y
• Programa internacional de evaluación de estudiantes.
13) En el sector ambiental, el sistema M&E realiza evaluaciones:
• de impacto ambiental y
• a la Política de cambio climático.
14) El sistema M&E a cargo de la Secretaría de Energía realiza evaluaciones de impacto social.
15) La Política Nacional Anticorrupción tiene un Modelo de Seguimiento y Evaluación de la Corrupción (Mosec) para evaluar los resultados e impacto en el mediano y largo plazo, aunque todavía no opera.
16) El poder Legislativo tiene:
• El Sistema de Evaluación del Diputados, pero aún no funciona.
• Realiza evaluaciones de políticas públicas, a través de la Auditoría Superior de la Federación.
17) El poder Judicial es el más discrecional para valorar su desempeño y no se identifica un sistema M&E.
18) Por esto afirmo que la política de evaluación está fragmentada, traslapa en funciones y objetivos de estos organismos públicos responsables del M&E y genera caos organizativo con altos costos administrativos y políticos.
19) Finalmente, presento varias propuestas para armonizar estos sistemas M&E, mejorar la coordinación interinstitucional e interacción gobierno-ciudadanía.
Moreover, there is relatively little evidence of the extent of policy evaluation effectiveness (i.e. the influence of evaluation on the programme evaluated) and the factors which have significant impact on it.
This dissertation aims to shed light on this issue by focusing on the Mexican and Chilean experiences of policy evaluation in the health care sector. It provides a detailed analysis of the extent to which evaluations have led to changes in policies and programmes and reveals a rather limited effectiveness of policy evaluation in these countries.
I argue that shortcomings in the effectiveness of policy evaluation can be explained by institutional and political factors, primarily the nature of Intra Governmental Relations (I...
Por ende, el objetivo de este artículo fue conocer el uso de la evidencia evaluativa de programas públicos en el Congreso mexicano, mediante un análisis cualitativo de las evaluaciones a programas del sector salud, la revisión documental del trabajo legislativo y entrevistas a congresistas y funcionaria(o)s del poder Legislativo entre 2007-2018.
Los resultados reflejan el uso limitado de la evaluación relacionado con su naturaleza política y otros factores institucionales. Finalmente, se presentan algunas propuestas para incidir en el uso de la evidencia evaluativa en la agenda legislativa.
Abstract:
The effectiveness of evaluation is on the extent is used to guide public decisions for improving public programs and for legislative actions at Congress.
Therefore, this study aims to find out the use of evaluative evidence at the mexican Congress, through a qualitative analysis of health sector programs’ evaluations, a review of the legislative work and interviews of Congress people and staff at the legislative branch during 2007–2018.
The main findings point to the limited use of evaluation due to its political role and other institutional factors. Finally, some proposals to enable the use of evaluative evidence in legislative agenda are offered.
Para su realización se emplea una metodología mixta que incluye el análisis cuantitativo relacionado con la información estadística sobre las contrataciones y evaluaciones realizadas y una metodología cualitativa, sobre el diseño y organización del Sistema de M&E y el proceso de evaluación.
A partir de este estudio de caso, se concluye que el Sistema de M&E muestra avances importantes, pero también requiere la revisión de su diseño institucional, la relevancia de las políticas y los programas que se seleccionan para ser evaluados, aumentar la transparencia de los procesos de contratación y definir criterios para determinar los precios pagados en cada caso.
Su valor radica en la importancia del análisis del diseño institucional de estos sistemas. Aunque dicho análisis se desarrolla a nivel local, permite entender la operación de otros sistemas a nivel nacional y las propuestas son válidas en cualquier contexto.
Abstract:
This paper aims to describe the Monitoring and Evaluation (M&E) System in the state of Chihuahua and to analyze its achievements and challenges, particularly regarding the market, procedures and costs of evaluations.
For this purpose, mixed methodology is used, including quantitative analysis of statistical data on evaluations performed, as well as qualitative analysis of the m&e design, organization and the evaluation process. The case study shows relevant progress of the M&E system.
However, its institutional design, the relevance of policies and programs selected for evaluation and the insufficient transparency of hiring processes need to be revised, as well as the criteria for determining the prices for each case. Its value lies in the importance of analyzing the institutional design of these systems and even though it is on a local level it allows for understanding the operation of other systems on a national level, and proposals are valid in any context.