Guide Version1.0
Guide Version1.0
Guide Version1.0
méthodologique
D’EVALUATION DES
POLITIQUES PUBLIQUES
VERSION PROVISOIRE
Remerciements
Ce guide a été élaboré par le Centre d’Analyse des Politiques Economiques et Sociales de la
Présidence du Faso avec l’appui financier de la Fondation pour le Renforcement des
Capacités en Afrique (ACBF). Nous voudrions exprimer nos remerciements à toutes les
personnes qui ont contribué de leurs temps, leurs connaissances et leurs expertises à sa
réalisation. Nous tenons à remercier tout particulièrement les partenaires du CAPES du
secteur public et privé, des OSC et des collectivités territoriales.
i
Table des matières
Avant-propos .................................................................................................................................................... i
Remerciements ................................................................................................................................................ i
Abréviations et acronymes............................................................................................................................. iv
Listes des figures ............................................................................................................................................. v
Liste des tableaux ........................................................................................................................................... vi
Introduction..................................................................................................................................................... 1
Quel est l’objet de ce guide ? ...................................................................................................................... 1
Qui est le public visé ? ................................................................................................................................. 1
Pourquoi l’évaluation des politiques publiques est importante ? .............................................................. 1
Comment utiliser ce guide ?........................................................................................................................ 2
Commentaires et révision ........................................................................................................................... 2
1 Première partie : Concepts et considérations liés à l’Evaluation des politiques publiques .................... 3
1.1 Gestion axée sur les résultats ......................................................................................................... 4
1.2 Structure logique d’un projet ou d’un programme ........................................................................ 4
1.3 Chaine de valeur d’une action publique ......................................................................................... 5
1.4 Qu’entend-t-on par évaluation ? .................................................................................................... 5
1.4.1 Finalités ...................................................................................................................................... 5
1.4.2 Objets ......................................................................................................................................... 5
1.4.3 Moment ...................................................................................................................................... 6
1.4.4 Les parties prenantes ................................................................................................................. 7
1.5 Questions, critères et typologies de l’évaluation ........................................................................... 7
1.5.1 La question évaluative ................................................................................................................ 7
1.5.2 Les critères de l’évaluation ......................................................................................................... 7
1.5.3 Les critères de l’évaluation Vs la logique d’intervention............................................................ 8
1.5.4 Les critères de l’évaluation Vs les questions d’évaluation ......................................................... 9
1.5.5 Les typologies de l’évaluation .................................................................................................... 9
1.6 Etude de référence initiale et finale ............................................................................................. 10
1.7 Normes et éthiques dans le cadre de l’évaluation ....................................................................... 11
2 Deuxième partie : les étapes clés de l’EPP ............................................................................................ 12
2.1 Démarche proposée ..................................................................................................................... 13
2.2 Phase : Préalable........................................................................................................................... 13
2.3 Phase 1 : Cadrage opérationnel .................................................................................................... 14
2.4 Phase 2 : Diagnostic ...................................................................................................................... 15
2.5 Phase 3 : Scénarios ....................................................................................................................... 15
ii
2.6 Phase post évaluation................................................................................................................... 15
2.7 Stratégie d’évaluation................................................................................................................... 16
2.7.1 Modèles et méthodes d’évaluation ......................................................................................... 16
2.7.2 Méthodes de collecte de données ........................................................................................... 17
2.8 Fiches techniques ......................................................................................................................... 21
2.8.1 Fiches techniques des évaluations ex ante .............................................................................. 22
2.8.2 Fiches techniques des évaluations formatives ou à mi-parcours............................................. 25
2.8.3 Fiches techniques des évaluations ex post............................................................................... 28
2.8.4 L’équipe d’évaluation ............................................................................................................... 29
2.9 Rapport d’évaluation : structuration type et contenu ................................................................. 30
2.10 Valorisation des résultats de l’évaluation .................................................................................... 33
2.11 L’évaluation, une théorie de changement et d’organisation apprenante.................................... 34
ANNEXE ......................................................................................................................................................... 35
Annexe 1 : Cadre logique ............................................................................................................................. I
Annexe 2 : Format du TDR........................................................................................................................... II
Annexe 3 : Format fiche de cadrage............................................................................................................ V
Annexe 4 : Plan synoptique du cahier de charge ou rapport de démarrage ............................................ VI
Annexe 5 : Liste indicatives de questions évaluatives............................................................................... VII
Annexe 6 : Quelques ressources en ligne pour l’évaluation ...................................................................... XI
iii
Abréviations et acronymes
iv
Listes des figures
v
Liste des tableaux
Tableau 1 : Types de question évaluation ....................................................................................................... 7
Tableau 2 : Définition des critères de l'évaluation .......................................................................................... 8
Tableau 3 : Critères de l'évaluation Vs les questions d'évaluation ................................................................. 9
Tableau 4 : Typologies de l'évaluation ............................................................................................................ 9
Tableau 5 : Matrice de l'évaluation ............................................................................................................... 14
Tableau 6 : Evaluation ex ante des intentions............................................................................................... 22
Tableau 7 : Evaluation ex ante de l'implantation de l'intervention .............................................................. 22
Tableau 8 : Analyse coût-bénéfice ................................................................................................................ 23
Tableau 9 : Evaluation d'impact prospective ................................................................................................ 24
Tableau 10 : Evaluation des effets et impacts probables d'une intervention ............................................... 24
Tableau 11 : Evaluation d'implantation d'une intervention .......................................................................... 25
Tableau 12 : Evaluation de la production d'une intervention ....................................................................... 26
Tableau 13 : Evaluation des effets d'une intervention.................................................................................. 27
Tableau 14 : Evaluation économique ............................................................................................................ 27
Tableau 15 : Evaluation des effets et impacts ............................................................................................... 28
Tableau 16 : Analyse coût-bénéfice d'une intervention achevée ................................................................. 29
Tableau 17 : Structuration d'un rapport d'évaluation................................................................................... 30
vi
Introduction
Quel est l’objet de ce guide ?
L’objet du présent guide est de favoriser une compréhension commune et une pratique f iable
et harmonisée de l’évaluation des projets/programmes/politiques au Burkina Faso. Il s’agit
d’une référence documentaire qui complète les outils déjà existants et qui se veut d’être plus
concis et plus facile à utiliser. Il ne sera pas destiné à être lu d’un bout à l’autre, mais de
permettre au lecteur, en cas de besoin, à y trouver des informations détaillées.
A ce titre il parait pertinent qu’il urge d’agir au renforcement des capacités des parties
prenantes à pouvoir jouer le rôle de suivi-évaluateur et de manière plus spécifique à pouvoir
analyser les effets des politiques sociales et économiques mises en œuvre. C’est pourquoi,
1
de par sa mission, le Conseil d’analyse des politiques économiques et sociales de la
Présidence du Faso prend l’initiative de proposer un guide à l’attention de diverses parties
prenantes dans le but de les renforcer à jouer le rôle qui est le leur pour la bonne mise en
œuvre des politiques publiques.
Commentaires et révision
Ce guide sera régulièrement révisé et mis à jour de façon à tenir compte des enseignements
tirés sur terrain, et pour en assurer la conformité avec les normes internationales. Les
suggestions ou les questions peuvent être adressées au Centre d’Analyse des Politiques
Economiques et Sociales de la Présidence du Faso (adresse CAPES)
2
1 Première partie : Concepts et considérations liés à
l’Evaluation des politiques publiques
3
1.1 Gestion axée sur les résultats
La gestion axée sur les résultats est une approche globale de la gestion des projets et des
programmes par laquelle les pays s'engagent à gérer et à mettre en œuvre l'action publique
en se concentrant sur les résultats souhaités et en utilisant les données possibles en vue
d'améliorer le processus de décision. Elle vise principalement à définir, avant tout mise en
œuvre, des résultats mesurables ainsi que les méthodologies et les outils à utiliser pour obtenir
ces résultats. Ce mode de travail contribue à améliorer la performance et la redevabilité grâce
à une logique claire : il s’agit de planifier, de gérer et de mesurer une intervention en se
concentrant sur les résultats que l’on veut obtenir. En définissant à l’avance les résultats
attendus d’une intervention et les moyens de déterminer s’ils ont été atteints, il s’agit de pouvoir
au mieux observer si l’action publique a réellement eu un impact sur la cible concernée.
Pour leur mise en œuvre, le projet ou le programme vient répondre à un besoin et se met en
œuvre suivant la structure logique ci-après :
Figure 1 : Structure logique d'un projet-programme
produisent des
résultats
•Résultats
et un impact sur
le •Impact
développement
4
1.3 Chaine de valeur d’une action publique
L’action publique dans la plupart des cas est organisée suivant une chaine de valeur
représentée ci-après. Elle part d’un besoin à satisfaire pour atteindre des objectifs souhaités,
auxquels on affecte des ressources pour réaliser des actions qui doivent produire des
résultats, ayant un impact sur le développement.
Figure 2 : Chaine de valeurs de l'action publique
L’évaluation de politique publique est un processus qui vise à déterminer le mérite, la valeur,
et la significativité d’une politique publique ou de ses composantes pour voir ce qui fonctionne
ou non, pour qui, dans quelle mesure, dans quelles circonstances, comment, pourquoi, selon
qui, quelles en sont les conséquences et qu’est-ce qui devrait ou pourrait être fait. L’évaluation
s’intéresse aussi bien aux effets escomptés qu’à ceux qui ne le sont pas, que ceux-ci soient
positifs ou négatifs.
1.4.1 Finalités
Les finalités de l’évaluation sont fonction des parties prenantes :
- Connaitre, être informé pour le public, les bénéficiaires et les partenaires techniques
et financiers.
1.4.2 Objets
L’évaluation porte sur des objets de taille variable que sont : le projet, le programme et la
politique.
5
Figure 3 : Objets de l'évaluation
Politique
Programme
Projet
Projet
1.4.3 Moment
Les moments pour réaliser une évaluation sont celles de mise en œuvre d’un projet,
programme ou politique. Que ça soit à l’identification ou à la préparation du projet ; le
démarrage, la réalisation ou la fin du projet ; ou quelques années après le projet (post),
l’évaluation peut se réaliser. Suivant les moments, l’objectif visé varie :
Identication &
préparation du projet Post projet
•Etude de faisabilité •Evalution retrospective
(Evaluation ex ante) (d'impact)
Démarrage -
Réalisation - fin projet
•Evaluation en cours
•Evaluation à mi parcours
•Evaluation finale
6
1.4.4 Les parties prenantes
Les parties prenantes à l’évaluation varient suivant le type de l’évaluation. Il s’agit : i)
l’opérateur en charge de la mise en œuvre du projet ou de l’action objet de l’évaluation
(Maitrise d’œuvre, MOE), ii) l’organisme commanditaire du projet ou de l’action (Maitrise
d’ouvrage, MOA), iii) les bénéficiaires du projet ou de l’action, iv) les bailleurs du projet ou de
l’action évaluée et v) l’opérateur en charge de conduire de l’évaluation. D’une manière
synthétique, il s’agira très souvent d’un commanditaire de la commande de l’évaluation, d’un
opérateur en charge de sa mise en œuvre (l’évaluateur) et des parties prenantes à sa
réalisation : l’opérateur en charge de la mise en œuvre du projet ou de l’action évalué, les
bénéficiaires, les bailleurs et le MOA.
Dans le cadre du contrôle citoyen de l’action publique, il est noté que la société civile, les
Organisations non gouvernementales ou toute personne morale ou physique intéressée par
la mise en œuvre d’une action publique peut initier une intervention d’évaluation.
Suivant les questions, les instruments convoqués diffèrent : étude de cas, analyse cout-
bénéfice, analyse cout-efficacité, etc.
1
Module 5, Banque Mondiale, International program for development evaluation trainin, 2012
7
Tableau 2 : Définition des critères de l'évaluation
Critère Définition
Pertinence Mesure dans laquelle une intervention est adaptée aux priorités des parties prenantes
(par exemple, la population locale et les donateurs). Elle étudie aussi les autres
approches qui auraient pu être plus adaptées pour répondre aux besoins identifiés.
Cohérence Mesure en lien avec le critère de la pertinence. Elle vise à voir si le projet répond
effectivement à un besoin, combien de structures sont-elles attelées à y répondre, les
structures sont-elles complémentaires ou en situation de concurrence ? (cohérence
externe). En outre, elle mesure aussi l’adéquation entre le projet et l’objet de
l’organisation qui le porte.
Efficacité Mesure dans laquelle une intervention a atteint, ou est susceptible d’atteindre, les
résultats immédiats escomptés
Efficience Mesure dans laquelle les résultats ont été obtenus de la manière la moins coûteuse
possible – mesure selon laquelle les ressources (fonds, expertise, temps, etc.) sont
converties en résultats de façon économe. (OCDE/CAD 2002).
Impact Effets à long terme, positifs et négatifs, primaires et secondaires, induits par une action
de développement, directement ou non, intentionnellement ou non. (CAD/OCDE
2002).
Durabilité La mesure dans laquelle les apports d’une intervention sont susceptibles de se
maintenir une fois que les contributions des donateurs ont pris fin. La durabilité peut
être environnementale, institutionnelle et financière.
2
Banque Mondiale, International program for development evaluation trainin, 2012
8
Figure 6 : Critères d'évaluation Vs logique d'intervention d'une action publique
3
Secrétariat général pour la modernisation de l’action publique, Primature France, (2015). EPP : principes,
processus et méthodes.
9
d'atteinte des objectifs sur des solutions aux besoins: pertinence et
avant la mise en œuvre problèmes de gestion cohérence
de l'intervention.
Evaluation formative Evaluation de secteur: Evaluation externe: Evaluation de l'effort
ou à mi-parcours: évaluation réalisée dans consultants externes consenti: relation entre
enrichissement de la un domaine caractérisé les ressources, la
connaissance et mise à par l'existence quantité et la qualité
disposition de d'expertise, de des livrables
l’information pour méthodologies et outils
améliorer l'intervention. particuliers
suffisamment
développés
Evaluation finale: Evaluation thématique: Auto-évaluation: Evaluation des effets et
appréciation des genre, participation acteurs impliqués dans impacts: établissement
conséquences à court citoyenne etc. la mise en œuvre de de la causalité entre es
terme l'intervention résultats observés et
l'intervention.
Evaluation ex-post: Evaluation du Evaluation conjointe: Evaluation
effets à moyen ou long développement: Valeur équipe mixte économique: efficience
terme, durabilité des de l'intervention dans le de l'intervention ou
résultats et leçons pour processus de relations entre les
des interventions développement ressources et les effets
futures obtenus
Evaluation
participative:
implication des acteurs
surtout les bénéficiaires
Meta-évaluation:
évaluation de
l'évaluation
Source : MPD (2016)4
Les études de référence initiale et finale ne sont pas en soi des évaluations, mais constituent
une partie importante de la mesure du changement. Elles contribuent en général à l’évaluation
des projets/programmes (p. ex., évaluation finale ou de l’impact), mais peuvent aussi faciliter
le suivi des changements dans les projets/programmes à long terme. Les données de
référence d’une étude initiale sont utilisées à des fins de comparaison au cours du
projet/programme et/ou à son achèvement (étude de référence finale) afin de déterminer dans
quelle mesure les objectifs du projet/programme ont été atteints.
4
Ministère du Plan et du Développement Bénin, (2016). Guide méthodologique national d’évaluation.
10
1.7 Normes et éthiques dans le cadre de l’évaluation
La démarche de mise en œuvre des évaluations doit être conforme aux normes et éthiques
en la matière.
- méthode : en mettant en œuvre les trois (03) principes précédents dans le cadre d’une
gouvernance et d’un protocole de travail (TDR) opposables aux commanditaires, aux
évaluateurs et aux parties prenantes.
Des principes directeurs de propriété formulés par Américan Evaluation Association5, peuvent
être pris en compte :
- l’accord formel : les obligations des parties prenantes à l’évaluation (Que faut-il faire ?
Comment ? Par qui ? et Quand ?) doivent être convenues à travers des dialogues et
des écrits pour qu’elles aient une compréhension commune de toutes les clauses de
la convention ;
- le droit des parties prenantes et les rapports humains : l’évaluation doit respecter
la dignité humaine et les droits de l’Homme ;
- la diffusion des conclusions : les parties prenantes à une évaluation doivent être
informées des résultats de l’évaluation, y compris ses limites, en garantissant la
confidentialité afin de ne pas exposer les agents d’exécution et les évaluateurs aux
intimidations ;
5
American Evaluation Association, tiré de OCS (2009, p.17-18).
11
- les conflits d’intérêts : ils doivent être réglés de façon objective pour ne pas
compromettre le processus évaluatif et les résultats de l’évaluation ;
12
2.1 Démarche proposée
L’évaluation d’une action publique (projet ou programme) peut être conduite à travers cinq (05)
phases. Il s’agit de :
- les objectifs de la mission d’évaluation et les attentes par rapport à l’action à évaluer,
- le profil de l’équipe de la mission d’évaluation (auquel cas elle doit être recrutée) ou sa
composition dans le cas où elle est connue déjà,
6
Secrétariat général pour la modernisation de l’action publique, (2015). EPP : principes, processus et méthodes.
7
Annexe 3
13
- dans le cas où l’équipe de la mission est déjà identifiée, il peut être émis une lettre de
mission ou un appel à candidature pour son recrutement (dans le cas échéant).
Enfin, une fois que l’équipe de la mission est identifiée, il est procédé à une orientation politique
de la mission d’évaluation permettant de préciser et de valider avec l’opérateur en charge de
mise en œuvre du projet :
Dans certains cas, la fiche de cadrage peut prendre la forme de Termes de Références
(TDR)8 de la mission.
L’outil, souvent accepté et utilisé pour la méthode de l’évaluation est la matrice de l’évaluation.
Le tableau ci-après présente un modèle type :
Tableau 5 : Matrice de l'évaluation
8
Annexe 2
14
Elle peut être sanctionnée par l’adoption d’un cahier de charges ou note de cadrage 9. En outre,
afin de faciliter la collecte des données, il faut prévoir les lettres d’introduction de l’équipe
auprès des structures ou personnes vers lesquelles elle peut collecter les données.
A ce niveau, il peut être élaboré un rapport de diagnostic (à titre de rapport provisoire) qui peut
être partagé avec les diverses parties prenantes. Cependant, pour des raisons pratiques, il est
suggéré d’élargir le rapport provisoire aux différents scénarios de transformation, même s’il
faut réviser plus tard le diagnostic effectué après la discussion et la confrontation avec les
parties prenantes.
Une fois, la phase de diagnostic réalisé, il faut élaborer les divers scénarios de transformation.
Le modèle type de rapport final est proposé dans les sections suivantes.
9
Annexe 4
15
- Faire le plaidoyer pour la prise en compte des recommandations effectuées.
Pour ce faire, il faudra donc au niveau de la structure en charge des opérations de l’action
ayant été évaluée de :
L’observation après mise en œuvre, facile à mettre en œuvre, consiste à constater de quelle
manière la politique a été mise en œuvre, de mesurer les résultats immédiats atteints et
d’améliorer la compréhension des comportements des groupes bénéficiaires par rapport aux
mécanismes de mise en œuvre.
Elle comporte un grand risque de subjectivité (du fait de l’absence d’une situation de
référence), car ne permet pas d’isoler les effets de la politique des autres facteurs possible de
changement. Les conclusions auxquelles elle conduit sont très fragiles et ne peuvent être
étendues à d’autres situations similaires.
L’observation avant et après mise en œuvre, consiste à vérifier si la période de mise en œuvre
de la politique a coïncidé avec une modification de certains indicateurs. Elle permet une
description plus fine et quantifiée des effets.
Bien qu’elle ait les mêmes limites que l’observation après mise en œuvre, elle est meilleure
qu’à celle-ci du fait qu’elle exige d’avoir une situation de référence. Toutefois, la pertinence
des résultats peut être soutenue par l’usage de plusieurs indicateurs et la réalisation de
plusieurs recoupements.
16
L’évaluation par un groupe témoin non équivalent consiste à la comparaison du groupe cible
ayant bénéficié de l’action évaluée à un autre groupe témoin dont les caractéristiques ne sont
pas complètement semblables. Elle permet de mieux cerner l’impact ou les effets externes
d’une politique (sans garantir une relation causale) et de révéler les mécanismes des
comportements face à des politiques incitatives.
L’évaluation par un groupe témoin non équivalent permet d’identifier sans ambiguïté les
relations causales. La multiplication des groupes témoins permet de consolider les
conclusions. Cependant, cette méthode appelle des outils d’analyse statistique complexes qui
permet d’isoler les biais liés au non équivalence.
Le groupe témoin équivalent consiste à identifier sans équivoque, les relations de causalité
donc les effets propres d’une action évaluée. Elle est beaucoup utilisée dans le domaine
thérapeutique (l’usage des souris pour faire des examens cliniques).
Dans le domaine des sciences sociales, notamment concernant la mise en œuvre de politique,
programme ou projet de développement, cette méthode d’évaluation pose des problèmes
d’ordre éthique. C’est comme, si pour mesurer les effets de la mise en œuvre d’une politique
de lutte contre la tuberculose, il faudra prendre deux villages de la même province et appliquer
à l’un un programme national de lutte contre la tuberculose et maintenir le second sans
intervention pendant cinq ans afin de pouvoir mesurer les effets de l’action menée sur le
groupe ayant bénéficié de celle-ci.
Il est rappelé qu’au cœur de l’évaluation se retrouve la mesure des effets de l’action évaluée
de manière objective pour s’assurer, si les effets obtenus après la mise en œuvre d’une action,
sont imputables à celles-ci. Il s’en suit donc l’évaluateur doit se poser comme questions :
- Ce qui serait passé si l’action évaluée n’avait pas été mise en œuvre ?
Il est enfin utile de rappeler que lors de la réalisation de l’évaluation, les résultats atteints non
prévus constituent des données importantes dont il faut tenir compte dans l’analyse. Ils
contribuent à la fonction d’amélioration continue de l’évaluation.
Il est rappelé que les données constituent des faits ou des chiffres bruts qui n’ont pas encore
été traités ou analysés, tandis que l’information est une donnée analysée dans le but d’être
utilisé soit à titre de compte rendu ou à titre explicatif lors de l’exercice d’évaluation.
17
Les données secondaires permettent de vérifier et d’approuver l’analyse et les données
primaires. Il est nécessaire de vérifier leur pertinence et leur fiabilité. A titre d’exemple, il peut
s’agir de :
- Des cartes et des photos aériennes de la zone de l’étude, fournies par le ministère en
charge,
- Des informations sur la santé, la sécurité alimentaire et le niveau nutritionnel, par les
partenaires techniques et financiers,
Les données qualitatives s’appuient sur des mots pour mesurer et expliquer et utilisent une
logique semi structurée (rapports d’observation, perceptions, jugements de valeur, couleur,
etc.). Elles sont très souvent participatives et expriment mieux la réalité. Exemple :
- Lors des discussions, les villageois ont reconnu avoir reçu les moustiquaires
distribuées mais ne l’utilisent plus pour diverses raisons,
Les données quantitatives sont souvent considérées comme plus objectives et moins biaisées
que les données qualitatives. Il est nécessaire d’assurer un équilibre entre les deux types de
données en adoptant une approche mixte qui exploite les avantages des deux approches : les
données quantitatives mesurant ce qui est arrivé et les données qualitatives examinant
comment et pourquoi c’est arrivé.
18
Figure 8 : Exemple de triangularisation de données
Ce que les
responsables
de projet
disent avoir
fait
Au sujet de
la gratuité
de la
césarienne
Ce que les
Ce que donne
bénéficiaires
l'examination
disent avoir
des données
constatés
i- Définir les questions d’évaluation (spécifiques) que vous allez mesurer – cela
permettra de déterminer quelle méthodologie sera utilisée pour traiter les questions
sélectionnées. Par exemple, dans le cadre d’une enquête sur les connaissances
en matière d’assainissement, les attitudes et les pratiques/comportements
pourraient être utilisés pour évaluer en quoi les comportements ont été modifiés
par les activités de sensibilisation à l’assainissement.
b. Échantillons par choix raisonné (non aléatoire) : Ils sont composés de manière
qualitative et ne font pas appel aux statistiques ; ils comprennent généralement
des échantillons ciblés, plus petits, de la population, mais sont insuffisamment
10
Inspiré de Monitoring and evaluation guide, IFRC, 2012, p.47
19
fiables d’un point de vue statistique pour permettre des généralisations sur
l’ensemble de la population. Les échantillons aléatoires sont plus complexes,
plus coûteux, exigent un travail plus considérable que les échantillons
déterminés par choix raisonné, et ne sont pas nécessaires pour les méthodes
qualitatives comme les groupes de discussion. Cependant, les échantillons
aléatoires sont souvent prévus dans les grands projets/programmes, car ils
sont plus précis et peuvent limiter les biais au minimum. Comme cela est
indiqué plus haut, il peut être préférable d’utiliser une méthode mixte,
combinant les deux méthodes d’échantillonnage pour la collecte de données
quantitatives et qualitatives.
Suivant la manière dont l’enquête est réalisée, on distingue : i) les enquêtes semi-structurées
(utilisent les questions ouvertes : par exemple, Que pensez-vous de la décision du
gouvernement de rendre gratuite l’école ?) qui favorisent une grande flexibilité dans les
réponses mais exigent que l’interviewer aient les compétences pour conduire la discussion ;
ii) les enquêtes structurées (utilisent des questions fermées : par exemple, Avez-vous
bénéficié des activités du projet ?) qui envoient vers des réponses prédéfinies (oui, non, vrai,
faux, ou choix multiples). Si elles peuvent être efficaces pour l’analyse statistique, il faut attirer
l’attention sur le fait qu’elles doivent être conçues pour ne pas prêter à confusion et être
comprises aisément.
20
Suivant le moment et la fonction de l’enquête, elle peut être : i) descriptive : en décrivant les
attitudes, les opinions, dans le but d’obtenir des données représentatives sur une population
à un instant donnée ; ii) comparative : en comparant les résultats entre deux groupes (au
même moment) ou la même population (en deux instants distincts).
L’échantillon à choisir et les outils de collecte de données sont fonctions de la méthode utilisée.
- Tester à l’avance les outils de collecte de données. Cela permet de détecter les
questions ou les techniques posant problème, de vérifier le temps nécessaire pour la
collecte, de recenser des questions éthiques éventuelles et de renforcer les
compétences des personnes chargées de la collecte des données.
- Effectuer une traduction et une traduction inverse des outils de collecte des données.
Cela permet de garantir que les outils sont corrects du point de vue linguistique,
adaptés à la réalité culturelle et satisfaisants.
- Former les personnes chargées de la collecte des données. Cela inclut de présenter
le système de collecte de données ; les techniques, les outils et l’éthique de la collecte
des données ; les compétences en communication interpersonnelle adaptées à la
culture cible ; et un exemple concret de collecte de données.
11
Inspiré de Monitoring and evaluation guide, IFRC, 2012, p.47
12
Les fiches de cette partie sont inspirées de Guide national d’évaluation du Bénin, 2016, Ministère du plan et
du développement
21
2.8.1 Fiches techniques des évaluations ex ante
Éléments de coûts:
salaires et avantages de l'unité d'évaluation de l'organe
responsable de l'exécution de l'intervention;
prise en charge des membres de l'instance
d'évaluation;
ateliers;
Honoraires des consultants (équipe d'évaluation);
Enquête de terrain;
voyages;
communications;
impression et reproduction (divers documents et
rapport d'évaluation);
fournitures et équipements;
autres.
22
Evaluation ex ante d'implantation
Éléments de coûts:
salaires et avantages de l'unité d'évaluation de l'organe
responsable de l'exécution de l'intervention;
prise en charge des membres de l'instance
d'évaluation;
ateliers;
Honoraires des consultants (équipe d'évaluation);
Enquête de terrain;
voyages;
communications;
impression et reproduction (divers documents et
rapport d'évaluation);
fournitures et équipements;
autres.
Analyse coût-bénéfice
Modèle d'évaluation :
Analyse coût-bénéfice: tous les coûts et les bénéfices sont
exprimés en unités monétaires.
Bénéfice social net= bénéfices actualisés - coûts
actualisés. Questions évaluatives : questions
sur les rendements des ressources.
Méthodes de collecte de données : Sources primaires
(entrevue, sondage, etc.) et secondaires. De manière spécifique:
Quels sont les effets/impacts
Méthodes d'analyse de données : Analyse quantitative. positifs espérés (bénéfices
sociaux) de l'intervention
Éléments de coûts: exprimés en unités monétaires ;
salaires et avantages de l'unité d'évaluation de l'organe Quels sont les effets/impacts
responsable de l'exécution de l'intervention; négatifs espérés (coûts sociaux)
prise en charge des membres de l'instance de l'intervention exprimés en
d'évaluation; unités monétaires.
ateliers;
Honoraires des consultants (équipe d'évaluation);
Enquête de terrain;
voyages;
communications;
23
Analyse coût-bénéfice
impression et reproduction (divers documents et
rapport d'évaluation);
fournitures et équipements;
autres.
Définition/objectif: Elle consiste à faire une enquête de référence pour disposer des informations sur
les groupes de traitement et de comparaison avant la mise en œuvre de l'intervention. Elle vise à
définir les deux groupes, vérifier leur similitude, évaluer l’efficacité du ciblage et établir si les
bénéficiaires y compris les groupes les plus défavorisés visés seraient effectivement touchés.
Ce type d'évaluation contribue à mieux affiner les objectifs de l'intervention. Ce faisant, c'est une
évaluation dont l'objectif est d'avoir une meilleure estimation du contrefactuel13
Modèle d'évaluation :
Modèle expérimental et quasi-expérimental (mesure avant
l'intervention).
Définition/objectif: Elle consiste à estimer les effets et impacts probables d'une intervention sur la
clientèle cible visée y compris sur les groupes les plus défavorisés concernés par ladite intervention.
13
Gertler et al, 2011, p. 13.
24
Evaluation des effets et impacts probables d'une intervention
Modèle d'évaluation :
- Évaluation comportementale marginale des réformes
politiques;
- Analyse d’équilibre partiel : modèle multi-marchés,
estimation de forme réduite;
- Analyse d’équilibre général: Matrices de comptabilité
sociale (MCS), Modèles d’équilibre général calculable
(EGC);
- etc.
Evaluation d'implantation
25
Evaluation d'implantation
Éléments de coûts:
salaires et avantages de l'unité d'évaluation de l'organe
responsable de l'exécution de l'intervention;
prise en charge des membres de l'instance
d'évaluation;
ateliers;
Honoraires des consultants (équipe d'évaluation);
Enquête de terrain;
voyages;
communications;
impression et reproduction (divers documents et
rapport d'évaluation);
fournitures et équipements;
autres.
Evaluation de la production
Définition/objectif: Elle analyse les relations entre le volume et la qualité des services produits avec
les ressources utilisées.
26
Tableau 13 : Evaluation des effets d'une intervention
Evaluation d'effets
Définition/objectif: Elle consiste à mesurer les changements attribuables à court terme à une
intervention non encore achevée.
Modèle d'évaluation :
- modèles expérimentaux;
- modèles quasi expérimentaux;
- modèles implicites;
- modèle de double différence;
- modèle de régression par discontinuité;
- modèle faisant recours à l'utilisation de variable
instrumentale;
- modèle de causalité ou de régression.
Evaluation économique
27
Evaluation économique
Éléments de coûts:
salaires et avantages de l'unité d'évaluation de l'organe
responsable de l'exécution de l'intervention;
prise en charge des membres de l'instance d'évaluation;
ateliers;
Honoraires des consultants (équipe d'évaluation);
Enquête de terrain;
voyages;
communications;
impression et reproduction (divers documents et rapport
d'évaluation);
fournitures et équipements;
autres.
Définition/objectif: Elle consiste à mesurer les changements attribuables à moyen ou long terne à
une intervention déjà achevée.
Modèle d'évaluation :
- modèles expérimentaux;
- modèles quasi expérimentaux;
- modèles implicites;
- modèle de double différence;
- modèle de régression par discontinuité;
- modèle faisant recours à l'utilisation de variable
instrumentale;
- modèle de causalité ou de régression.
Questions évaluatives :
Méthodes de collecte de données : Sources primaires
questions sur les effets.
(entrevue, sondage, etc.) ou secondaires.
Éléments de coûts:
salaires et avantages de l'unité d'évaluation de l'organe
responsable de l'exécution de l'intervention;
prise en charge des membres de l'instance d'évaluation;
ateliers;
Honoraires des consultants (équipe d'évaluation);
Enquête de terrain;
28
Évaluation d'effets et d'impacts
voyages;
communications;
impression et reproduction (divers documents et rapport
d'évaluation);
fournitures et équipements;
autres.
Analyse coût-bénéfice
Modèle d'évaluation :
Analyse coût-bénéfice: tous les coûts et les bénéfices sont
exprimés en unités monétaires.
Bénéfice social net= bénéfices actualisés - coûts actualisés.
Questions évaluatives :
Méthodes de collecte de données : Sources primaires questions sur les rendements
(entrevue, sondage, etc.) et secondaires. des ressources.
De manière spécifique:
Méthodes d'analyse de données : Analyse quantitative.
Quels sont les
Éléments de coûts: effets/impacts positifs
salaires et avantages de l'unité d'évaluation de l'organe (bénéfices sociaux) de
responsable de l'exécution de l'intervention; l'intervention exprimés en
unités monétaires ;
prise en charge des membres de l'instance d'évaluation;
Quels sont les
ateliers;
effets/impacts négatifs
Honoraires des consultants (équipe d'évaluation);
(coûts sociaux) de
Enquête de terrain; l'intervention exprimés en
voyages; unités monétaires.
communications;
impression et reproduction (divers documents et rapport
d'évaluation);
fournitures et équipements;
autres.
29
De manière générale, les compétences ci-après sont attendues des membres de l’équipe de
l’évaluation :
- Indépendance
- Connaissance du domaine
- Compétences analytiques
- Relations interpersonnelles
Enfin, il est souhaité que lors de la composition de l’équipe d’évaluation, une attention soit
portée à la notion du genre de manière à y trouver tous les genres.
1. un résumé exécutif ;
2. une introduction ;
8. les conclusions ;
9. les annexes.
Tableau 17 : Structuration d'un rapport d'évaluation
30
Quelles sont les limites de
l’évaluation ?
2 Introduction Présentation du projet d’évaluation et du
contexte dans lequel l’évaluation a eu lieu;
Description sommaire du contexte et du
cadre géographique, socio-économique,
politique, environnemental et historique;
Annonce des différents chapitres que
contient le rapport.
3 Description de Description claire de l'objet évalué en mettant Quelles sont les origines
l'intervention en exergue le contexte de sa mise en œuvre, de l'objet évalué ?
évaluée sa logique d’intervention et sa nature Quelles sont les objectifs
d'intervention. l'objet évalué ?
- Lorsqu'il s'agit d'une politique publique, la Comment l'objet évalué a-
section doit aborder les orientations de la t-il été mis en œuvre ?
politique, les plans stratégiques, les projets Quels sont les plans, les
et programmes qui ont permis son projets et les programmes
opérationnalisation; qui ont permis
- Dans le cas d'un projet ou programme, se d’opérationnaliser l'objet
focaliser sur les composantes de la théorie évalué ?
du changement sans oublier la couverture Quels en sont les
de l'intervention et les principales bénéficiaires ou les
hypothèses; cibles ?
- souligner si l'intervention est sensible au Quels sont les acteurs
genre, à l'équité, aux droits humains, à impliqués dans la mise en
l'environnement etc. œuvre de l'objet évalué ?
Combien a coûté la mise
en œuvre de l'objet
évalué?
NB: les aspects transversaux
tels que l'équité, le genre et les
droits humains pris en charge
par l'intervention évaluée
devront être également
abordés.
4 Description de présentation des objectifs de l’évaluation, Pourquoi réaliser
l'évaluation du champ de l’évaluation ainsi que la l’évaluation et pour quelle
méthodologie utilisée pour atteindre les finalité ?
résultats; comment les résultats
description de(s) modèle (s) d'évaluation, sont obtenus ?
des méthodes et outils de collecte des quel (s) est (sont) le (s)
données, l'échantillonnage utilisée et les modèle (s) d'évaluation?
sources de données; quelles sont les méthodes
présentation de la manière dont la et outils de collecte de
méthodologie intègre les préoccupations données (enquête,
des groupes les plus défavorisés pour tenir entretien, focus-group,
compte du genre, de l'équité, des droits etc.) ?
humains etc. Quelles sont les
Présentation des limites de la démarche caractéristiques de
méthodologique, les problèmes l’échantillon, le plan
rencontrés, et les approches de solution. d’échantillonnage ?
NB: Inclure les détails pertinents sur la Comment les données ont
méthodologie afin de donner la possibilité à été analysées ?
d'autres de s'en inspirer. Quelles sont les forces et
les faiblesses des
méthodes choisies ?
31
5 Résultats de Présentation des résultats clés de
l'évaluation l'évaluation par critère et par question
(rapport évaluative ainsi que les principales
diagnostic) conclusions révélées par les données;
Présentation des réponses de manière
claire, concise et basée sur des preuves et
faits vérifiables;
Présentation des résultats clés de
l'évaluation sur les groupes les plus
défavorisés;
Justification des questions évaluatives
dont les réponses n’auraient pas été
apportées.
NB: recourir à des tableaux, des exemples, des
citations, des illustrations, et graphiques pour
souligner les résultats importants.
6 Discussion Argumentation en termes d'explication et y-a-t-il d'autres éléments
analytique d'interprétation des résultats obtenus; qui expliqueraient les
Établissement du jugement de l'équipe résultats obtenus ?
d'évaluation; les résultats sont-ils
Présentation des enseignements de généralisables ?
l’évaluation ainsi que des leçons apprises. les résultats sont-ils
Il s’agit d’identifier les succès qui devraient fiables?
être consolidés ou étendus et les échecs quelles sont les forces et
ou mauvaises pratiques qu’il est les faiblesses de la mise
nécessaire de changer. en œuvre de l'intervention
Mettre un accent sur les groupes les plus ?
défavorisés. les résultats sont-ils liés à
d’autres facteurs
exogènes ?
y-a-t-il des résultats
inattendus?
7 Recommandation Présentation de façon succincte les quelles sont les
s principales recommandations réalistes et recommandations
applicables dans le contexte de concernant l'intervention ?
l'intervention évaluée; y a-t-il des prévisions et ou
Déclinaison claire des recommandations des hypothèses ?
avec une hiérarchisation nette des actions y a-t-il des
prioritaires et des organisations recommandations quant
responsables. aux évaluations futures?
Présentation des recommandations en
faveur des groupes les plus défavorisés s'il
y a lieu.
8 Conclusions Rappel des objectifs de l'évaluation; quelles sont les
Rappel des principaux résultats de principales conclusions de
manière concise. l'évaluation?
Rappel des principaux recommandations quelles sont les
NB: la conclusion ne doit contenir aucune principales
nouvelle information et doit être en lien avec les recommandations ?
sections précédentes du rapport.
9 Annexes les termes de référence de l’évaluation ;
la liste des personnes interviewées et les
sites visités ;
les détails sur la méthodologie y compris
ses limites ;
les outils de collecte de données;
32
la liste des membres de l'instance
d'évaluation;
la liste des participants à toutes les
séances d'examen et de validation du
rapport;
les données relatives aux évaluateurs et la
justification de la composition de l’équipe.
Source: UNICEF (2009)14, FIDA (2009)15, ACDI (2002)16; MPD (2016)17.
Les résultats de l’évaluation doivent être communiqués auprès des parties concernées par la
mission de l’évaluation. Il est rappelé que la confrontation des résultats est un exercice
important à ne pas omettre. Pour leur valorisation, les résultats peuvent être valorisés de
plusieurs manières : i) des séances de travail avec les parties concernées, ii) des conférences
ou publications dans la presse, iii) des missions d’informations auprès des institutions ou
autorités gouvernementales.
Il existe plusieurs catégories d’acteurs qui peuvent être ciblés pour la valorisation des résultats.
Il s’agit de :
14
UNICEF (2009) : FONDS DES NATIONS UNIES POUR L'ENFANCE (2009), Guide Normes de qualité du rapport
d’évaluation, Bureau régional de l'Unicef pour l'Afrique de l'Ouest et du Centre,
30 p.
15
FIDA (2009) : FONDS INTERNATIONAL DE DEVELOPPEMENT AGRICOLE (2009). Manuel de
l'Évaluation: Méthodologie et processus, Bureau de l'Évaluation, Rome, Italie, 103 p.
16
ACDI (2002) : AGENCE CANADIENNE DE DEVELOPPEMENT INTERNATIONAL (2002), Comment faire une
évaluation: Le rapport d'évaluation, Gatineau, Québec, 9 p.
17
MPD (2016) : Ministère du plan et du développement (2016), Guide national d’évaluation
33
Suivant chaque catégorie de cible, le support de communication doit être adapté afin de
rendre la communication claire et compréhensible.
Le modèle logique codifié et utilisé par lequel toute intervention projet ou action publique est
souvent représenté est le cadre logique (les acteurs sont unanimes sur celui-ci qui n’est pas
le seul). Il porte le descriptif clair et détaillé de la relation entre les ressources, les composantes
de l’intervention, les activités, les résultats, la clientèle cible et les risques (internes ou
externes) auxquels l’intervention est exposée. Un exemple est à l’annexe 1.
Dans la pratique, très souvent, l’équipe d’évaluation pourra se retrouver en situation de non
disponibilité de la planification initiale du projet. De manière à être obligé de la reconstituer en
amont avant de pouvoir conduire la mission d’évaluation. Il est donc nécessaire pour les
évaluateurs de pouvoir lire ce modèle ou de le reconstituer.
Par ailleurs, une certaine opinion considère l’évaluation comme un contrôle administratif dans
le but de sanctionner. Il est nécessaire de ne pas la présenter ainsi, elle ne l’est pas. Il faut
agir à dissuader les parties concernées qu’elle est un exercice porteur d’amélioration continue
dans la mise en œuvre de leur projet/programme.
34
ANNEXE
35
Annexe 1 : Cadre logique
Objectif 1:
Objectif n:
Ressources Composantes/Activités Extrants Effet à court terme Effet à moyen terme Impact
NATURE DE L'INTERVENTION
CLIENTÈLE-CIBLE
FACTEURS
EXTERNES OU
HYPOTHÈSES
I
Annexe 2 : Format du TDR18
N° Rubrique Contenu
1 Contexte et
justification Brève présentation de l'intervention ou action à évaluer.
Présentation claire et précise du contexte dans lequel intervient
l'évaluation.
Présentation des raisons qui motivent l'évaluation. Souligner si
l'évaluation était déjà programmée ou non dès le lancement de
l'intervention;
mentionner le moment de l'intervention où l'évaluation intervient (mi-
parcours, finale, ex post) et les raisons du choix du moment, ainsi que
son commanditaire.
2 Objectifs de
l'évaluation exposer les raisons globale et spécifiques pour lesquelles l’évaluation est
effectuée. À cet égard, l'objectif principal est défini de même que les
objectifs spécifiques.
NB: indiquer déjà à ce niveau si l'équipe d'évaluation aura en charge une
partie ou la totalité de la dissémination des résultats.
3 Résultats
Les résultats attendus de l'évaluation sont identifiés en rapport avec les
attendus
objectifs définis.
NB: indiquer déjà à ce niveau si l'équipe d'évaluation aura en charge une
partie ou la totalité de la dissémination des résultats.
4 Portée de
La portée d'une évaluation définit son étendue et son ampleur à travers les
l'évaluation et
critères d'évaluation retenus et les questions évaluatives présentant un
questions
intérêt pour l'ensemble des parties prenantes.
évaluatives
La portée de l'évaluation est fonction du contexte et des contraintes en
présence.
Critère 1: Questions
Critère 2: Questions
..................
Critère n: Questions
NB: le genre, les droits humains, l'équité, l'environnement etc. sont des
considérations importantes à prendre en compte.
5 Démarche 1er cas: Le consultant à recruter et/ou l'équipe interne à constituer proposera
méthodologique la démarche méthodologique nécessaire à la conduite de la mission.
de l'évaluation
2ème cas: Le consultant et/ou l'équipe interne devra suivre la démarche
globale de conduite de la mission déclinée en x étapes. À titre illustratif, ces
étapes peuvent regrouper le lancement de la mission après le
recrutement, l'élaboration du référentiel d'évaluation, l'examen du
référentiel d'évaluation par l'instance d'évaluation, l'élaboration des
outils de collecte de données, la collecte des données, le traitement et
l'analyse des données, la tenue par l'instance d'évaluation des séances
d'examen d'avancement des travaux et des produits livrés, l'examen
par l'instance du rapport préliminaire, la tenue de l'atelier de validation
du rapport.
NB: indiquer déjà à ce niveau si l'équipe d'évaluation aura en charge une
partie ou la totalité de la dissémination des résultats.
6 Principaux Il est indispensable de donner des précisions sur la nature et la forme des
livrables de la livrables attendus. À cet effet, les éléments ci-dessous peuvent être utilisés
mission dans les termes de référence.
Rapport de démarrage ou cahier de charge : document retraçant la
méthodologie d’évaluation détaillée de la mission, le (s) modèles
18
Adapté du Guide national d’évaluation, Ministère du plan et du développement (2016)
II
N° Rubrique Contenu
d'évaluation, les outils d’évaluation, le plan de collecte et d’analyse des
données, un chronogramme prévisionnel mis à jour.
Rapport d'étape ou rapport diagnostic : rapport qui indique le niveau
d'avancement des travaux avec les produits subséquents notamment
liés aux diagnostics ;
Rapport provisoire constitué de l’intégralité du travail. Il fait l’objet d’un
examen par le commanditaire et l'instance d'évaluation.
Rapport définitif: rapport qui prend en compte des amendements de
l'instance d'évaluation élargie à d'autres acteurs et des éventuelles
demandes de compléments, de modifications et de précisions du
commanditaire. Ce rapport final est assorti d’un résumé exécutif.
10 Chronogramme Dans les TdR, le chronogramme présente de façon indicative les étapes de
indicatif de la
la mission, les responsables et les échéances. Il revient au prestataire ou à
mission
l'équipe interne constituée d'établir un chronogramme comportant des
précisions relatives à la mise en œuvre des différentes étapes de l'exercice
ainsi que leurs échéances, en tenant compte de la durée de la mission et de
la date de son démarrage.
III
N° Rubrique Contenu
salaires et avantages de l'unité d'évaluation de l'organe responsable de
l'exécution de l'intervention;
prise en charge des membres de l'instance d'évaluation;
ateliers;
Honoraires des consultants (équipe d'évaluation);
Enquête de terrain;
voyages;
communications;
impression et reproduction (divers documents et rapport d'évaluation);
fournitures et équipements;
autres.
IV
Annexe 3 : Format fiche de cadrage19
Fiche de cadrage
à produire par le ministère pilote de l’évaluation
2. Principales parties prenantes de l’action à évaluer (services de l’État, centraux et déconcentrés, opérateurs nationaux et
locaux, collectivités, organismes de sécurité sociale, etc., liste préfigurant la composition du futur comité d’évaluation) :
7. Profil possible/envisagé de l’équipe d’évaluation (évaluateurs internes au ministère, inspection(s), personnalité qualifiée,
chercheur/universitaire, prestataire privé…) :
Principaux risques
8. Principaux risques liés au jeu des acteurs (soutiens/opposants), aux suites de l’évaluation, au calendrier, etc. :
9. Évolutions, projets parallèles ou travaux en cours ou prévus (réorganisation, projet de loi, études, consultations, assises…)
susceptibles d’avoir un impact sur l’action évaluée ou sur le déroulement des travaux d’évaluation :
19
Adapté du Secrétariat général pour la modernisation de l’action publique, (2015). EPP : principes, processus
et méthodes.
V
Annexe 4 : Plan synoptique du cahier de charge ou rapport de
démarrage20
Après la fiche de cadrage et la lettre de mission, le cahier des charges (souvent appelé note
de cadrage par les services d’inspections) est chronologiquement le troisième document
nécessaire à la bonne réalisation d’une EPP. Produit par la maîtrise d’œuvre, c’est à dire
l’équipe d’évaluateurs qui va réaliser concrètement l’évaluation, il traduit et reformule la
commande telle que la maîtrise d’œuvre la comprend et telle qu’elle pense pouvoir y répondre,
notamment au vu des ressources dont elle dispose (nombre et compétences des évaluateurs),
des contraintes méthodologiques (recueil des données, besoins en consultations, sondages,
benchmark…) et des délais fixés par la maîtrise d’ouvrage. Dans le cahier des charges, la
maîtrise d’œuvre va donc formaliser sa « feuille de route » pour atteindre les objectifs fixés à
l’évaluation.
Le cahier des charges reprend donc, en les développant et en les complétant, les éléments
de la fiche de cadrage (surtout dans la première partie dans le plan de cahier des charges
suggéré ci-dessous). Il peut les modifier et donc les remplacer sur certains points.
Le cahier des charges de l’évaluation comporte les éléments suivants et peut suivre le plan
indiqué ici.
3. Objectifs de l’évaluation
1. Questions évaluatives
2. Matrice de l’évaluation
6. Calendrier prévisionnel
20
Adapté du Secrétariat général pour la modernisation de l’action publique, (2015). EPP : principes, processus
et méthodes.
VI
Annexe 5 : Liste indicatives de questions évaluatives21
CATEGORIES COMPOSANTES EXEMPLE DE QUESTIONS OBSERVATIONS
(Critères d'évaluation)
I- Questions sur 1- Raison d’être Quel est le problème à l’origine de l’intervention gouvernementale ?
les intentions Pourquoi est-ce un problème public ?
Est-ce que la définition politique de la raison d’être possède une
contrepartie scientifique ?
Quelle est cette contrepartie le cas échéant ?
Le problème existe-t-il toujours ?
L'intervention a-t-il encore une raison d’être ; est-ce qu’elle possède
(Pertinence) toujours une pertinence ? Les composantes de l’intervention sont-
elles nécessaires ?
Le problème aurait-il été entrepris sans l’aide de l’État ?
Problème social ?
2- Cibles Que cherche-t-on à modifier (comportements, attitudes, etc.) par
cette intervention ?
Quelle est la situation précise que l’on souhaite modifier directement
par l'intervention ?
Quelle est la variable d’intervention ?
Quelle est la chaîne de causes à effets qui va de l'intervention à la
situation à modifier ?
Quelle clientèle est visée par cette intervention ?
(Pertinence) Les groupes défavorisés sont-ils concernés par l'intervention?
A-t-on visé les bonnes clientèles cibles ?
Doit-on viser d’autres clientèles ?
3- Objectifs Quel est le résultat escompté ?
Quelle situation finale désire-t-on retrouver après l’intervention ?
Quel est l’état souhaité de la cible de l'intervention ?
Dans quelle mesure les objectifs de l’intervention sont-ils en
adéquation avec les besoins et priorités ?
(Pertinence) Dans quelle mesure les objectifs de l’intervention sont-ils en
adéquation avec les besoins et priorités des groupes défavorisés ?
Dans quelle mesure les objectifs de l’intervention sont-ils en
adéquation avec la réduction des iniquités entre les groupes les plus
aisés et les groupes les plus défavorisés ?
21
Source Guide national d’évaluation, Ministère du plan et du développement (2016)
VII
II- Questions sur
l'intervention
et ses
effets/impacts
- l’effort consenti 4- Nature de Quelle est donc la nature de cette intervention ? Description de
l’intervention l'intervention du point de
vue qualitatif.
5- Ressources Quelles sont les ressources financières, humaines et matérielles
investies consenties à l’atteinte des objectifs de l'intervention ?
Est-ce que l'intervention utilise des ressources de la manière la plus
(Efficience) économique pour atteindre les résultats visés d'équité ?
6- Activités de Comment ces ressources sont-elles transformées par la production Vient avant la nature de
production publique pour offrir le bien-être ou subvention que reçoit la l’intervention.
population ? Décrire comment
l'intervention est conçue
ou la combinaison
précise des moyens pour
atteindre les objectifs.
VIII
Quelles sont les différences entre les divers lieux d'implantation pour
ce qui est des points forts et des points faibles? Comment expliquer
ces différences?
- les effets/impacts 8- Impacts Quel est l’impact brut de l'intervention ?
Quelle est l’évolution naturelle de la situation cible ?
(Impact) Quel est l’impact net de l'intervention ?
Quel est l’impact net de l'intervention sur les groupes les plus
défavorisés ?
Comment les résultats affectent-ils les droits et les responsabilités
des individus, les communautés et les institutions les plus
défavorisés ?
Dans quelle mesure les résultats ont-ils contribué à réduire les
iniquités entre les plus aisés et les groupes les plus défavorisés ?
Quels facteurs externes à l'intervention peuvent également
influencer la situation cible ?
Existe-t-il des théories qui suggéraient déjà des facteurs externes et
des impacts possibles ?
L'intervention affecte-t-il d’autres situations que la situation cible ?
Comment se compare la situation espérée (telle que définie par les
objectifs) à la situation finale ?
(Utilité)
9- Atteinte des Comment se compare la situation cible après intervention avec la
objectifs situation souhaitée ?
Dans le cas d’une variable cible quantifiable, quel est le résultat :
(Efficacité) Ciblet1-Objectif ?
Est-ce que l'intervention a obtenu des résultats satisfaisants en
relation avec les résultats déclarés des objectifs axés sur l'équité ?
10- Rendement Quelle est la productivité du moyen d’intervention ? Rendement absolu des
III- Questions des Quel est le ratio impacts nets/effort ? le ratio avantages-coûts ? ressources
d’évaluation ressources Les impacts et les ressources de l'intervention sont-ils distribués
proprement dans le temps ?
dite (Efficience) Les impacts sur diverses cibles prévues et non prévues s’expriment-
ils dans les unités comparables ?
Les diverses ressources s’expriment-elles également dans des
unités comparables ?
Dispose-t-on de l’expertise pour estimer l’intérêt et le coût des
différentes possibilités méthodologiques à cette étape ?
IX
11- Solutions de Comparé à des solutions de rechange, quel est le rang de Rendement relatif des
rechange l'intervention étudiée en termes de rendement absolu des ressources
(Efficience) ressources ?
12- Valeur Quelle est la pertinence du problème quant au rendement observé
des ressources ?
(Efficience) Quel est le rendement de l'intervention (en ratio avantages-coûts)
par rapport à d'autres destinées à régler d’autres problèmes ?
Quel est le rendement de l'intervention par rapport à ceux obtenus
par les contribuables quand ils disposent eux-mêmes des
ressources consacrées à ladite intervention ?
Autres questions 13- Gouvernance Quels sont les modes de gestion en cours dans le secteur ?
Les méthodes de gestion sont-elles à même de produire les effets
(Gouvernance) escomptés de la politique ?
14- Système Comment circule l’information entre les différents centres de
d'information décision ?
Comment est gérée l’information sur l'intervention ? Quel est le
(Système degré de transparence du système d’information mis en place ?
d'information)
15- Appropriation Les parties prenantes sont-elles toutes associées à la réflexion et à
l’action ?
(Appropriation) Ont-elles accepté l'intervention ? Convient-elle à leurs aspirations ?
Le transfert des compétences est-il à même de permettre la
capitalisation et la pérennisation par les bénéficiaires eux-mêmes ?
X
Annexe 6 : Quelques ressources en ligne pour l’évaluation
Une variété de sites Internet propose une sélection complète de ressources relatives au suivi
et à l’évaluation, y compris des guides, des outils, des formations, des liens vers d’autres sites
sur le suivi et de l’évaluation, des associations et des organisations internationales, des
groupes de discussion sur Internet, etc. La liste suivante est un échantillon :
- EvaluationWiki.org. 2011. Recueil public de termes définis par des utilisateurs et autres
informations sur le suivi et l’évaluation. www.evaluationwiki.org
- Site web des nouvelles MandE : http://mande.co.uk/. [Une des ressources Internet les
plus complètes sur le suivi et l’évaluation. Comprend un forum de formation :
www.mande.co.uk/emaillists.htm].
- MEASURE (Measure and Evaluation to Assess and Use Results Evaluation). 2008.
http://www.cpc.unc.edu/ measure. [Financé par l’USAID, MESURE propose des
publications sur le suivi et l’évaluation, des outils, des formations et d’autres ressources,
y compris une trousse d’outils de formation sur le suivi et l’évaluation en matière de
population, de santé et d’environnement, www.cpc.unc.edu/ measure/phe-training.]
- National Science Foundation (NSF). 2011. User-Friendly Handbook for Mixed Method
Evaluations. http:// www.nsf.gov/pubs/1997/nsf97153/start.htm [Ressource en ligne
complète].
XI
- Site web du PNUD sur l’évaluation. 2011. Programme des Nations Unies pour le
développement. http:// www.undp.org/eo/
- Site web du Groupe des Nations Unies pour l’évaluation (UNEG). Ressources sur
l’évaluation. 2011. www.uneval.org/evaluationresource/index.jsp?ret=true. Groupe des
Nations Unies pour l’évaluation.
- Site web de l’UNICEF et liens externes pour l’évaluation et les leçons apprises. 2011.
Fonds des Nations Unies pour l’enfance. www.unicef.org/evaluation/index_18077.html
- Croix-Rouge américaine et Catholic Relief Services. RS. 2008. M&E Training and
Capacity-Building Modules, Washington, DC, and Baltimore, MD.
http://pqpublications.squarespace.com/publications/2011/1/18/metraining-and-capacity-
building-modules.html
- Bamberger, Michael, Rugh, Jim, and Mabry, Linda. 2006. Real World Evaluation:
Working Under Budget, Time, Data and Political Constraints. Thousand Oaks, London,
New Delhi: SAGE Publications.
www.realworldevaluation.org/RealWorld_Evaluation_resour.html
- Chaplowe, Scott G. 2008. Monitoring and Evaluation Planning. M&E Training and
Capacity-Building Modules American Red Cross and Catholic Relief Services (CRS),
Washington, DC, and Baltimore, MD.
http://pqpublications.squarespace.com/storage/pubs/me/MEmodule_planning.pdf
- FIDA (Fonds international de développement agricole). 2002. A Guide for Project M&E.
IFAD, Rome. http:// www.ifad.org/evaluation/guide/toc.htm
XII
- OCDE/CAD (Organisation de coopération et de développement économiques / Comité
d’aide au développement). 2011. Site web du CAD sur l’évaluation du développement:
http://www.oecd.org/document/35/0,3343,en_21571361_34047972_31779555_1_1_1_1,
00.html
- USAID (United States Agency for International Development). 2007. M&E Fundamentals
– A Self-Guided Minicourse. USAID, Washington, DC.
www.cpc.unc.edu/measure/publications/pdf/ms-07-20.pdf
- Programme alimentaire mondial des Nations Unies (PAM). 2011. Monitoring and
Evaluation Guidelines. http://www.wfp.org/content/monitoring-and-evaluation-guidelines
- Rugh, Jim. 2008. The Rosetta Stone of Logical Frameworks. Compiled by Jim Rugh for
CARE International and InterAction’s Evaluation Interest Group.
http://www.mande.co.uk/docs/Rosettastone.doc. [Résumé utile des différentes
terminologies des cadres logiques utilisées par les organisations internationales.]
- CARE. 2001. Guidelines to CARE Malawi for the Design of Future Baseline and
Evaluation Studies. http://pqdl.care.org/Practice/Baseline%20Guidelines.pdf
- Cody, Ronald. 2011. Data Cleaning 101. Robert Wood Johnson Medical School. NJ.
http://www.ats.ucla.edu/stat/sas/library/nesug99/ss123.pdf
- Davies, Rich and Dart, Jess. 2005. The “Most Significant Change” (MSC) Technique.
http://www.mande.co.uk/docs/MSCGuide.pdf
- Emergency Capacity Building Project. 2007. The Good Enough Guide: Impact
Measurement and Accountability in Emergencies.
http://www.oxfam.org.uk/what_we_do/resources/downloads/Good_Enough_Guide.pdf
XIII
- Mack, Natasha, Woodsong, Cynthia, MacQueen, Kathleen M, Guest, Greg and Namey,
Emily. 2005. Qualitative Research Methods. Family Health International (FHI) and the
Agency for International Development (USAID).
http://www.fhi.org/en/rh/pubs/booksreports/qrm_datacoll.htm
- Magnani, Robert. 1997. Sample Guide. Food and Nutrition Technical Assistance
(FANTA). Academy for Educational Development. Washington, DC.
http://www.fantaproject.org/downloads/pdfs/sampling.pdf
- PAM (Programme alimentaire mondial des Nations Unies). 2011. Monitoring and
Evaluation Guidelines – How to Plan a Baseline Study.
http://www.wfp.org/content/monitoring-and-evaluation-guidelines
- PAM (Programme alimentaire mondial des Nations Unies). 2011. Monitoring and
Evaluation Guidelines – How to consolidate, process and analyse qualitative and
quantitative data. http://www.wfp.org/content/monitoring-andevaluation-guidelines
- Banque mondiale. 2004. Reconstructing Baseline Data for Impact Evaluation and Results
Measurement.
http://siteresources.worldbank.org/INTPOVERTY/Resources/3356421276521901256/pre
mnoteME4.pdf
XIV