Performance, efficacité,

efficience :
les critères d’évaluation
des politiques sociales
sont-ils pertinents ?

Virginie GALDEMAR
Léopold GILLES
Marie-Odile SIMON

décembre 2012

www.credoc.fr N° 299
 Sommaire
Synthèse .......................................................................................................................... 4

Introduction ..................................................................................................................... 7

PREMIERE PARTIE : EMERGENCE DU CONCEPT DE PERFORMANCE DANS LES POLITIQUES

PUBLIQUES ET CONSEQUENCES SUR L’USAGE DES INDICATEURS .................................... 9
I. Définition et mesure de la performance dans le secteur public ........................... 9
I.1. Qu’est-ce que la performance dans le secteur public ? ............................................ 9
I.2. Qu’est-ce qu’un bon indicateur de mesure de performance?.................................... 13
I.2.1. Les qualités d’un bon indicateur de politique sociale ............................................ 13
I.2.2. Une interprétation difficile................................................................................ 15
I.2.3. Disposer du temps nécessaire à l’observation ..................................................... 16
II. A quand remonte la notion de performance dans le secteur public français ? ... 18
II.1. Trois étapes symboliques ................................................................................... 18
II.1.1. En 1946, création du Comité central d'Enquête sur le coût et le rendement des
services publics. ............................................................................................. 18
II.1.2. En 1968, lancement de la Rationalisation des Choix Budgétaires (RCB). ................ 18
II.1.3. En 2001, vote de la Loi Organique relative aux Lois de Finances (LOLF). ............... 20
II.2. Une évolution similaire dans de nombreux pays .................................................... 20
III. La LOLF : une nouvelle conception de la construction du budget de l’Etat,
tournée vers les résultats ................................................................................. 21
III.1. Les finalités de la LOLF....................................................................................... 21
III.2. Des objectifs stratégiques aux indicateurs de performance ..................................... 22
III.3. Une nécessité : accompagner l’Administration vers la performance .......................... 24
IV. Le périmètre de la LOLF trop restreint .............................................................. 25
IV.1. Une réforme qui inclut les opérateurs… ................................................................ 26
IV.2. …les organismes de sécurité sociale… .................................................................. 27
IV.3. …mais pas les collectivités locales........................................................................ 28
V. LOLF : un choix d’indicateurs qui pose parfois question .................................... 30
V.1. Un problème d’hétérogénéité des indicateurs ........................................................ 31
V.2. Une inadéquation entre objectifs et indicateurs ..................................................... 31
V.3. Une liste d’indicateurs retenus qui peut paraître incomplète .................................... 31
V.4. Certains indicateurs retenus sont difficiles à interpréter.......................................... 31
V.5. Un objectif de publication annuelle parfois inadapté aux délais de production ............ 32
V.6. Une fiabilité variable des indicateurs .................................................................... 32
V.7. Un comité en charge d’auditer les indicateurs ....................................................... 33
VI. La LOLF : pour les gestionnaires, un dispositif de suivi parmi d’autres ............. 35

DEUXIEME PARTIE : l’exemple des Structures d’Insertion par l’Activité Economique

(SIAE) ............................................................................................................................ 37
I. De nouvelles règles de conventionnement du secteur qui privilégient le retour à
l’emploi ............................................................................................................. 39
I.1. Une cadre qui semblait nécessaire ....................................................................... 40

2
 I.2. Des indicateurs de performance incomplets, qui manquent de souplesse et de fiabilité
...................................................................................................................... 42
I.2.1. L’indicateur de retour à l’emploi ne permet pas d’évaluer l’ensemble des actions des
SIAE ............................................................................................................. 42
I.2.2. La cible à atteindre pose question ..................................................................... 45
I.2.3. La fiabilité de l’indicateur n’est pas satisfaisante, même si elle s’améliore .............. 47
I.3. Les craintes sur la sélection des publics à l’entrée des SIAE difficiles à vérifier .......... 49
II. Quels indicateurs complémentaires au taux de retour à l’emploi ?.................... 50
II.1. Une description de l’offre disponible en termes de taux d’équipement ...................... 51
II.2. La description des modalités de l’accompagnement ............................................... 52
II.3. La description des publics accueillis ..................................................................... 52
II.4. La mesure de l’impact ........................................................................................ 53
II.4.1. L’impact sur le devenir des bénéficiaires ............................................................ 53
II.4.2. L’impact économique des SIAE sur les territoires ................................................ 54

TROISIEME PARTIE : l’exemple dU REVENu DE SOLIDARITE ACTIVE (RSA) ................... 56

I. L’approche évaluative du point de vue de l’Etat : des indicateurs non
contextualisés et difficiles à interpréter ............................................................ 58
I.1. La LOLF, des indicateurs incomplets..................................................................... 58
I.2. Le Comité National d’Evaluation ou comment approcher la complexité d’une politique
décentralisée .................................................................................................... 60
I.2.1. Mesurer l’effet du RSA sur la pauvreté : des indicateurs qui rendent compte des
évolutions du revenu mais qui ne permettent pas d’appréhender les effets du
dispositif sur l’intensité de la pauvreté............................................................... 60
I.2.2. L’impact du RSA sur le retour à l’emploi : des indicateurs qui ne permettent pas
réellement d’apprécier les effets attendus .......................................................... 62
II. Au niveau départemental : des logiques institutionnelles associées à des
objectifs de moyens .......................................................................................... 64
II.1. Des indicateurs de pilotage en quête de pertinence et de fiabilité ; le reflet d’un
dispositif complexe à appréhender ...................................................................... 64
II.2. Des indicateurs au service d’une rationalité instrumentale ...................................... 65
II.2.1. Des indicateurs de pilotage et d’efficience .......................................................... 65
II.2.2. Des indicateurs de mesure de l’insertion des usagers, au regard des objectifs
nationaux : .................................................................................................... 66
II.2.3. Production d’indicateurs et échelons de référence ............................................... 68
III. Au niveau local : la performance du point de vue des professionnels en relation
avec les bénéficiaires du RSA ............................................................................ 69
III.1. Les indicateurs d’évaluation des pratiques professionnelles du social : l’influence des
démarches qualité dans le secteur social.............................................................. 70
III.2. Des indicateurs qualitatifs fondés sur la praxis ...................................................... 71
III.3. Des indicateurs nécessairement imparfaits ........................................................... 75

Conclusion ...................................................................................................................... 77

Bibliographie .................................................................................................................. 79

Table des figures ............................................................................................................ 80

3
SYNTHESE

En France, la recherche de la performance dans le secteur public, entendue comme l’optimisation

des services rendus aux citoyens, a connu différentes étapes depuis l’après-guerre, la plus récente
étant la Loi Organique Relative aux Lois de Finances (LOLF), votée en 2001 et mis en œuvre à
partir de 2006. Avec cette réforme budgétaire, l’Administration est passée d’une logique de
moyens à une logique de résultats, étape essentielle de l’amélioration de la performance selon la
théorie du Nouveau Management Public (NMP). En instituant une déclinaison systématique des
objectifs stratégiques en indicateurs, la LOLF a entrainé la multiplication de ces indicateurs : près
de 900 pour caractériser le budget général, plus de 1000 en associant les budgets annexes. Ces
indicateurs mesurent trois aspects de la performance : l’efficacité pour le citoyen, la qualité pour
l’usager et l’efficience pour le contribuable. Sur le plan culturel comme sur le plan technique, un tel
changement nécessite un accompagnement de l’ensemble des acteurs impliqués pour produire les
effets escomptés en termes d’évaluation de la performance.

Les premières années de fonctionnement ont fait apparaître deux principales limites à l’exercice de
la LOLF. La première est liée à son champ d’application, trop restreint. Si la LOLF s’applique aux
opérateurs de l’Etat et aux organismes de sécurité sociale depuis la refonte du PLFSS (votée en
2005, mise en application en 2008), elle ne concerne pas les collectivités locales. La deuxième
limite de la LOLF est liée aux indicateurs en eux-mêmes, qui peuvent poser des problèmes
d’hétérogénéité, d’inadéquation aux objectifs poursuivis, de difficultés d’interprétation, de
périodicité ou encore de fiabilité. A la fois pour connaître et pallier à ces limites, le Comité
interministériel d'audit des programmes (CIAP) réalise depuis 2009 des audits sur les différents
programmes et missions de la LOLF. Il en ressort que si la qualité des indicateurs s’améliore
progressivement, les possibilités d’interprétation restent insuffisantes.

Les gestionnaires des dispositifs financés par l’Etat sont à la source de nombreuses informations
qui alimentent les indicateurs de performance. Ils sont souvent démunis face à la recrudescence
des demandes d’informations chiffrées, d’autant qu’ils ne sont pas toujours convaincus de la
pertinence des indicateurs demandés et qu’ils n’en voient pas forcément l’intérêt au niveau local.
Or l’adhésion des gestionnaires à la démarche de performance est indispensable pour qu’elle joue
pleinement son rôle.

Dans cette logique de performance, la question peut se poser de savoir si cette approche peut s’en
tenir uniquement à des indicateurs permettant d’appréhender l’atteinte des objectifs, sans inclure
des indicateurs visant à évaluer les moyens effectifs mis en œuvre pour produire les effets
escomptés.

4
Les deux exemples développés dans ce cahier de recherche illustrent bien ces enjeux. Dans le
secteur de l’Insertion par l’Activité Economique (IAE) comme dans l’insertion des bénéficiaires du
Revenu de Solidarité Active (RSA), les financeurs et les gestionnaires s’appuient sur de
nombreuses données chiffrées pour piloter le dispositif. Mais les approches sont différentes: le
secteur de l’IAE est engagé dans une véritable démarche de mesure de la performance, dans le
cadre de la LOLF, alors que pour le dispositif d’insertion RSA, les approches évaluatives suivent des
logiques différenciées à chaque échelon de mise en œuvre du dispositif, en fonction des objectifs
visés par les acteurs.

Dans le secteur de l’IAE, même si de nouvelles règles de contractualisation en vigueur depuis 2009
ont donné un cadre plus structuré aux relations entre l’Etat et les structures de l’IAE, la qualité du
dialogue de gestion semble très variable selon les territoires et selon les interlocuteurs.

La mesure de la performance du secteur de l’IAE sur le retour à l’emploi des salariés en insertion
apparaît à la fois imparfaite et trop réductrice. La fiabilité de l’indicateur retenu de retour à l’emploi
peut en effet être questionnée, en ce sens qu’il repose sur des données déclaratives et que
l’information est parfois manquante ou incomplète. De plus, l’identification des situations à la sortie
de la structure ne donne pas d’indications sur la durabilité de l’insertion. Une évaluation d’impact
qui s’appuierait sur une enquête systématique auprès des salariés, 6 mois après la sortie,
semblable à celle qui est réalisée sur les sortants de contrats aidés, apparaitrait plus satisfaisante.

Par ailleurs, si la reprise d’emploi est sans conteste le résultat final visé par les structures, il est
souvent difficile à obtenir, à la fois en raison du cumul de difficultés auquel font face les salariés en
insertion, et en raison de la situation du marché du travail qui présente peu d’opportunités
d’emploi. Les structures obtiennent cependant des résultats en matière d’autonomisation des
publics (réduction de l’éloignement à l’emploi), qu’il serait nécessaire d’évaluer et de valoriser, tout
comme l’impact économique et social qu’elles produisent sur les territoires. Au-delà de l’atteinte
des résultats, se pose ici la question de l’adéquation entre l’objectif général d’insertion
professionnelle et les effets de ciblage pouvant être induits auprès des publics concernés.

L’exemple du pilotage et de l’évaluation du RSA est abordé, quant à lui, aux trois niveaux de
déploiement du dispositif : national, département et local. Il met à jour des principes évaluatifs
correspondant aux intérêts et objectifs propres aux différents acteurs impliqués à chaque échelon
de mise en œuvre du RSA.

L’Etat, via la LOLF, se doit d’être garant des résultats et de la conformité des résultats avec les
objectifs visés, sans pour autant assumer le pilotage opérationnel des dispositifs mis en œuvre
localement.

Les collectivités territoriales, responsables de la mise en œuvre du RSA, évaluent quant à elles
l’atteinte d’objectifs de moyens dans une logique organisationnelle et de recherche d’efficience. En
l’absence d’indicateurs de résultats communs, la dynamique opérationnelle ne rencontre que peu
d’obstacles, même si elle n’est pas toujours jugée satisfaisante par les responsables locaux. Dans
cette logique de décentralisation et d’auto-évaluation des collectivités territoriales, l’état actuel des

5
systèmes d’information mobilisés pour alimenter les indicateurs fait souvent obstacle à une réelle
évaluation des résultats.

Enfin, la prise en compte du regard des professionnels sur leur pratique au sein du dispositif
implique une approche évaluative pluraliste aux critères d’évaluation éminemment qualitatifs.

Les dispositifs des politiques sociales sont traversés de tensions évaluatives inhérentes à la variété
des indicateurs existants, reflets des logiques d’acteurs propres aux différents échelons.

Dans un processus itératif, la production de critères d’évaluations du secteur social doit tendre, en
tenant compte des différentes difficultés et enjeux évoqués, à renforcer la mise en cohérence
nécessaire entre les objectifs visés par l’Etat, les moyens mis en œuvre par les responsables de
dispositifs et les résultats escomptés pour les bénéficiaires et par les professionnels qui les
accompagnent.

6
INTRODUCTION

En France, la pratique de l’évaluation des politiques publiques n’est pas nouvelle, mais l’approche a
évolué depuis les années 90. En parallèle des programmes d’évaluation (qui visent à estimer la
valeur de l’intervention publique en mettant en relation ses résultats, ses impacts et les besoins
que cette intervention cherche à satisfaire), les tableaux de bord ou autres outils de suivi et de
mesure de la performance à périodicité régulière se multiplient.

Dans le domaine des politiques sociales, qui n’échappe pas à cette tendance, le recours aux
tableaux de bord, pour apprécier les politiques qui sont conduites, engendre généralement de
nombreuses craintes et critiques aussi bien de la part des statisticiens que des acteurs concernés.
L’exercice est particulièrement ardu, en particulier à cause de :

1- la difficulté à définir clairement les objectifs assignés à une politique donnée :

- La multiplicité des intervenants génère des attentes différentes,

- Les objectifs peuvent évoluer dans le temps en fonction des priorités des élus
successifs,

2- la difficulté à construire des indicateurs quantitatifs et/ou qualitatifs pertinents

pour illustrer ces objectifs :

- la nature des aides apportées se prête souvent mal à la quantification en indicateurs,

- le résumé des objectifs en un nombre limité d’indicateurs simples apparait réducteur,

voire source d’effets pervers,

3- la difficulté à interpréter les variations des indicateurs retenus :

- la forte interaction avec le contexte économique et social rend difficile la mesure des
effets propres des actions mises en œuvre,

- l’impact de l’action publique mesuré par l’indicateur observé n’est pas immédiat.

L’objet de ce cahier de recherche est de comprendre pourquoi de tels outils de suivi se multiplient
et dans quelle mesure sont-ils pertinents pour mesurer l’efficacité et l’efficience des dispositifs, en
particulier dans le domaine des politiques sociales.

Dans une première partie, nous rappellerons que la multiplication des indicateurs de suivi est la
conséquence de l’émergence du concept de performance dans les politiques publiques et de la mise
en œuvre des principes du new public management.

Nous commencerons par définir ce qu’on entend par performance dans le secteur public et ce
qu’est un bon indicateur de performance.

Puis, nous resituerons les grandes étapes du développement de la notion de performance dans le
secteur public, la dernière en date étant la mise en place de la Loi Organique relative aux Lois de
Finances (LOLF), qui s’appuie sur un recours systématique aux indicateurs de performance pour
orienter les arbitrages budgétaires du Parlement.

7
Nous étudierons ensuite les limites de la LOLF qui sont apparues au cours des premières années de
mise en pratique et les améliorations apportées pour y remédier.

Pour conclure cette première partie, nous verrons que la LOLF n’est, pour les gestionnaires de
dispositifs financés par l’Etat, qu’un outil de suivi parmi d’autres et qu’ils ont parfois des difficultés
pour répondre à l’ensemble des demandes qui émanent de leurs différents financeurs ou
partenaires.

Dans une deuxième partie, pour identifier la démarche engagée dans le domaine des politiques
sociales, nous analyserons, de façon pragmatique, l’évaluation réalisée pour le suivi de deux
dispositifs différents : le secteur de l’insertion par l’activité économique et le dispositif d’insertion
du RSA.

En effet, ces dispositifs présentent chacun des particularités qui les rendent complémentaires pour
illustrer la question étudiée dans ce cahier de recherche :

• le secteur de l’IAE est financé en partie par l’Etat et entre donc dans le champ de la LOLF, il
est régi par des règles de conventionnement qui s’appliquent à toutes les structures
d’insertion par l’activité économique même si les unités territoriales des directions
régionales des entreprises, de la concurrence, de la consommation, du travail et de l'emploi
(DIRECCTE) ont une marge de manœuvre dans la négociation des conventions ;

• le dispositif d’insertion des bénéficiaires du RSA est piloté par les Conseils Généraux et
n’est pas soumis à la LOLF, chaque Conseil Général fixe les objectifs assignés aux porteurs
de projet qu’il choisit de financer et détermine les indicateurs qu’il souhaite suivre.

A partir d’entretiens réalisés auprès d’une série d’acteurs impliqués dans la gestion et le suivi de
ces deux dispositifs au niveau national et dans différents départements, nous proposons, dans ce
cahier de recherche, une analyse comparative des pratiques de suivi et d’évaluation de ces deux
dispositifs. Ce cahier de recherche en vise nullement à donner une vision exhaustive, compte tenu
du nombre limité d’entretiens réalisés et de la grande diversité des pratiques des départements
dans le cadre de la décentralisation. Néanmoins, il permet d’identifier les différentes logiques qui
peuvent présider à la mise en place de dispositifs d’évaluation et leur cohérence entre elles. Ce
Cahier de recherche pointe également les difficultés rencontrées dans la mise en place d’indicateurs
et les limites soulignées par les acteurs interrogés, et débouche sur une série de propositions
d’amélioration des dispositifs d’évaluation.

8
PREMIERE PARTIE : EMERGENCE DU CONCEPT DE PERFORMANCE
DANS LES POLITIQUES PUBLIQUES ET CONSEQUENCES SUR
L’USAGE DES INDICATEURS

I. DEFINITION ET MESURE DE LA PERFORMANCE DANS LE

SECTEUR PUBLIC

I.1. Qu’est-ce que la performance dans le secteur public ?

La notion de performance correspond à l’atteinte d’objectifs ou de résultats attendus, et plus

largement à la création de valeur. Si dans le monde de l’entreprise, la création de valeur est
généralement associée à l’accroissement du profit, elle doit être entendue dans le secteur public
comme une optimisation des services rendus aux citoyens.

Secteur privé et secteur public présentent de nombreuses similitudes. Ils produisent tous deux des
biens et des services, en étant soumis à des contraintes de gestion de leurs ressources financières,
techniques et humaines. Cependant, la nature des objectifs poursuivis dans les deux secteurs est
différente : dans le secteur privé, l’objectif de rentabilité économique est inhérent à un projet
d'entreprise qui doit s’autofinancer pour s’inscrire dans la durée. Il est au cœur des attentes des
actionnaires lorsque le capital des entreprises est ouvert. Dans le secteur public, le soutien
financier de l’Etat et des collectivités fait passer au second plan l’objectif de rentabilité
économique : la finalité principale recherchée est la satisfaction de l’intérêt général correspondant
à la responsabilité d'un service public face au gouvernement et aux citoyens.

Aujourd’hui, la distance entre les deux secteurs n’est cependant plus aussi marquée que par le
passé : d’une part, l’Etat met de plus en plus en avant l‘objectif de la réduction des déficits publics,
qui peut être assimilé à une recherche de rentabilité, d’autre part la montée du concept de
responsabilité sociale et environnementale dans le secteur privé correspond à une prise en compte
de l’intérêt général dans la stratégie de développement des entreprises. Ce rapprochement entre
les deux secteurs est accentué par le fait que les services publics sont de plus en plus souvent en
concurrence entre eux ou avec le secteur privé.

Une différence notable subsiste cependant entre les deux secteurs : les services publics ne
choisissent pas leur clientèle, tous les usagers devant être satisfaits selon le principe de l’équité et
de l’égalité des citoyens, alors que les entreprises privées peuvent sélectionner certains
« segments » de clientèle. Il arrive toutefois que certains organismes publics visent des publics dits
prioritaires en fonction de leurs attributions, de leurs champs d’intervention spécifiques ou de leurs
stratégies d’action.

9
Enfin, des différences existent sur le plan de la gestion des ressources humaines : dans le secteur
public, la sécurité de l’emploi est généralisée avec le statut de la fonction publique, tandis que dans
le secteur privé, l’emploi n’est pas protégé mais les rémunérations tiennent mieux compte de
l’implication personnelle. La montée en puissance des « contractuels » au sein de la Fonction
publique est cependant un facteur de rapprochement progressif des deux secteurs sur ce plan.

Du fait des nombreuses similitudes entre les deux secteurs, des méthodes de management
traditionnellement employées dans le secteur privé se sont peu à peu répandues dans le secteur
public. L’objectif était de remédier aux travers qui lui sont généralement reprochés : rigide,
coûteux, peu efficace, trop centralisé, insuffisamment innovant. Ces méthodes de management ont
cependant été adaptées pour tenir compte des différences entre les deux secteurs, constituant le
courant du Nouveau Management Public (NMP), apparu dès le début des années 801.

Alors que le secteur public était jusque-là orchestré essentiellement par le respect de règles et de
procédures, selon une « logique de moyens », le NMP privilégie l’atteinte de résultats et prône la
généralisation de la culture de l’évaluation, afin d’optimiser l’allocation des ressources vers les
actions les plus efficientes.

Le NMP recommande également une séparation claire entre la conception (décision politique) et la
mise en œuvre (gestion). Il distingue en effet la pertinence et la cohérence des politiques publiques
(qui relève de la responsabilité des décideurs politiques) et l’efficacité des services qui mettent en
œuvre les politiques décidées (qui est sous la responsabilité des gestionnaires). L’effet
de « bonnes » politiques (c'est-à-dire proposant des solutions adaptées aux problèmes que
rencontrent les citoyens) peut être minimisé voire anéanti par une mise en œuvre inefficace, tandis
que de « mauvaises » politiques peuvent être appliquées avec efficacité. La mesure de la
performance doit donc permettre de renseigner à la fois sur l’efficacité des choix de politique et
sur l’efficience des choix de gestion.

Le NMP propose toute une série d’instruments pour le pilotage et le contrôle du nouveau système
de gestion des affaires publiques, en particulier un système d'indicateurs mesurant l’impact,
l'effectivité, l'efficacité, l'efficience des politiques et la satisfaction des clients. Ces
indicateurs constituent l'outil principal de gestion du nouveau système.

1
Le Nouveau Management Public : Avantages et Limites, Anne Amar, Ludovic Berthier, CEROG, IAE d’Aix-en-
Provence

10
 Définition des principaux critères de mesure de performance

Impact : quels sont les effets de l’action publique ?

Les effets englobent les réalisations (effets immédiats ou « output »), les résultats (effets à moyen
terme ou « outcome ») et les impacts (effets à long terme). Ils sont attendus (explicitement prévus
dans les objectifs) ou inattendus, et peuvent être positifs ou négatifs.

Pour mesurer l’impact, il faut être en mesure d’observer les changements par rapport à la situation
de départ et de déterminer s’ils sont au moins en partie imputables à l’action publique.

Effectivité : dans quelle mesure les réalisations prévues ont-elles été mises en œuvre ?

Efficacité : dans quelle mesure les effets obtenus sont-ils conformes aux objectifs retenus et aux
effets attendus ? Comment aurait-on pu optimiser les effets observés ?

Efficience : quels moyens (matériels, humains, financiers,…) ont effectivement été mobilisés ? Les
effets obtenus sont-ils en adéquation avec l’ensemble des moyens mobilisés ? Aurait-on pu
atteindre les mêmes résultats à moindre coût ?

La difficulté majeure de mise en œuvre du NMP repose sur le choix de ces indicateurs. La
définition de critères qui soient « évaluables », c'est-à-dire pouvant faire l’objet d’une mesure,
apparaît en effet comme la seule façon de s’assurer, in fine, que l’objectif de la politique concernée
est atteint. Or certains des services proposés par le secteur public se prêtent mal à la mise en
place d’indicateurs statistiques qui apparaissent trop réducteurs par rapport à la nature des
objectifs recherchés. Ainsi, comment mesurer l’efficacité d’un système éducatif, d’un système de
santé, d’une aide sociale ? Comment quantifier des effets de nature essentiellement qualitative ?

Par ailleurs, les systèmes d’information doivent permettre de renseigner ces indicateurs. Ils
apparaissent en ce sens comme des piliers de la mesure de la performance, ce qui suppose des
remontées d’informations fiables et régulières.

11
 Les qualités d’un système d’information

Les données d’un système d’information doivent satisfaire certaines conditions pour pouvoir être
mobilisées et alimenter des indicateurs de performance :

- Les données doivent correspondre à la mesure de l’objectif recherché

- Les données doivent reposer sur des définitions claires, exemptes de toute ambiguïté. C’est
une condition indispensable à la compilation des données en indicateurs, alors que les données
proviennent généralement de sources différentes.

- Les données doivent être complètes dans le sens où elles doivent être collectées auprès de
l’ensemble des producteurs de données et où les variables attendues doivent être
systématiquement renseignées.

- Les données doivent être exactes. Une procédure de dépistage et de correction des erreurs à
tous les stades de la collecte et de la compilation des statistiques doit être en place pour
garantir la fiabilité des données.

- Les données doivent être accessibles.

Dans l’idéal, c’est au moment de la création ou de la remise à plat du système d’information que
les besoins liés au suivi de performance doivent être pris en compte, au même titre que les besoins
liés à la gestion. Si les systèmes d’information ne permettent pas de fournir toutes les données
nécessaires au renseignement des indicateurs sélectionnés, il est cependant possible de mettre en
place des systèmes d’enquêtes ad-hoc.

12
 I.2. Qu’est-ce qu’un bon indicateur de mesure de
performance ?

Un indicateur permet de mesurer l’écart entre le résultat obtenu et les objectifs poursuivis,
pour déterminer si ces derniers sont en voie d'être atteints. Il faut au préalable s’assurer que les
indicateurs ont fait l’objet d’une définition explicite et partagée, afin de limiter les erreurs de
construction et les interprétations divergentes : pour cela, il est indispensable de positionner la
valeur de l’indicateur par rapport à une valeur de référence ou une cible à atteindre (une norme,
une moyenne, une prévision, un objectif). Le choix de la référence est déterminant pour le
jugement qui sera porté. Il fait partie intégrante de la construction de l’indicateur.

I.2.1. Les qualités d’un bon indicateur de politique sociale

A l’occasion d’un café de la statistique2 consacré à la fiabilité des indicateurs, Jean-René

Brunetière3 détaillait les dix qualités d’un bon indicateur. Son intervention ne concernait pas
spécifiquement l’évaluation des politiques publiques mais s’y applique parfaitement. Les dix
qualités énoncées sont les suivantes :

- clarté (pas d’ambigüité dans la définition),

- pertinence (cohérent avec l’objectif),

- sélectivité (indépendant des phénomènes autres que ceux que l’on veut mesurer),

- fiabilité,

- comparabilité,

- sensibilité (précision ne doit pas être inférieure aux variations que l’on veut observer),

- accessibilité (peut être obtenu à un coût raisonnable),

- pérennité (possible de le suivre dans le temps),

- utilité (liens de causalité entre l’action menée et le résultat de l’indicateur),

- ne pas entraîner des effets contraires à ceux recherchés (l’existence de l’indicateur peut
induire des effets pervers).

Anthony Athkinson et ses coauteurs ont énuméré les conditions techniques auxquelles doivent
répondre les indicateurs sociaux dans les deux rapports qu’ils ont rédigé pour l’Union Européenne

2
Les cafés de la statistique sont des conférences-débats organisées tous les mois par l’association française de
la statistique pour mieux comprendre comment la statistique éclaire les grandes questions sociétales
3
Peut-on se fier aux indicateurs ? Les cafés de la statistique, séance du 14 novembre 2006, conférence de
Jean-René Brunetière

13
en 2005 et 2007 et reprises dans les réflexions du comité de protection sociale4 (instance
consultative mise en place dans le but de promouvoir la coopération en matière de politiques de
protection sociale entre les États membres et la Commission européenne) :

- ciblage pertinent,

- possibilité d’interprétation aisée et acceptée par tous,

- robustesse statistique et fiabilité,

- s’adapter aux interventions politiques sans être manipulables,

- comparable d’un pays à l’autre et comparable dans le temps,

- actualisable en temps adéquat et se prêtant à révision,

- ne générant pas un travail trop lourd en termes de production,

- s’intégrant dans un ensemble d’indicateurs équilibré entre les différentes dimensions,

- cohérents entre eux, chaque dimension ayant un poids proportionné au sein de cet
ensemble,

- être le plus transparent et accessible possible aux citoyens.

Ces deux listes apparaissent très complémentaires. De nombreux critères sont communs comme la
pertinence, la fiabilité, la pérennité, le mode de production accessible. D’autres critères
sont additionnels : Jean-René Brunetière insiste sur l’utilité de l’indicateur (il doit effectivement y
avoir un lien de causalité entre l’action menée et le résultat de l’indicateur) et sa
sensibilité (l’évolution doit être proportionnée aux changements qu’elle indique), Anthony
Athikson insiste quant à lui sur la cohérence de l’ensemble des indicateurs retenus. Il évoque
également la souplesse de l’indicateur : il doit être à la fois adaptable, actualisable, révisable. Si
les deux auteurs évoquent la clarté, Jean-René Brunetière fait plutôt référence à la clarté de la
définition de l’indicateur alors qu’Anthony Athikson insiste plutôt sur son interprétation. Ce dernier
précise également qu’il faut que cet indicateur soit partagé : il doit à la fois être accepté par tous
et accessible à tous. Jean-René Brunetière relève, par ailleurs, la nécessité de prévenir les risques
d’effets pervers (par exemple la focalisation sur le bon résultat de l’indicateur, au détriment
d’autres objectifs plus qualitatifs, ou encore une sélection des publics pour améliorer la valeur de
l’indicateur). Enfin, Anthony Athkinson met en exergue, de façon très pragmatique, la nécessité de
prendre en compte le coût de production des indicateurs.

Si l’indicateur remplit effectivement toutes ces qualités, l’ensemble des utilisateurs le considèreront
comme légitime. Ils seront plus enclins à accepter les jugements qui reposeront sur son analyse,
en particulier l’attribution de financements publics.

4
A. Atkinson, B. Cantillon, E. Marlier, B. Nolan : taking forward the EU Social Inclusion Process. An independent
report commissioned by the Luxembourg presidency of the council of the European union, 2005

A. Atkinson, B. Cantillon, E Marlier, B. Nolan : The EU and social Inclusion, The police press, university of
Bristol, 2007

14
Mais un tel indicateur existe-t-il dans tous les domaines, quel que soit l’objectif poursuivi ? Il faut
tenter dans tous les cas de s’en approcher. Dans l’idéal, il faut concevoir plusieurs indicateurs par
objectif, les suivre et les analyser sur une période donnée, à titre « expérimental », puis éliminer
les moins pertinents. Comme on le verra dans la seconde partie de ce Cahier de Recherche, il est
cependant très rare que les administrations, collectivités ou organismes publics procèdent de cette
façon par manque de temps.

I.2.2. Une interprétation difficile

Le plus souvent, ce n’est pas le niveau de l’indicateur qui importe mais sa variation sur une période
donnée. Dans le domaine social, l’interprétation des variations des indicateurs est complexe, car il
faut isoler les effets propres de l’action publique des variations liées aux différentes
caractéristiques des bénéficiaires ou à l’évolution du contexte économique et social dans son
ensemble.

Pour mesurer précisément les effets, il faudrait idéalement pouvoir observer la situation des
bénéficiaires d’une action donnée et la comparer avec ce qui se serait passé pour ces mêmes
bénéficiaires en l’absence d’action publique. Comme une personne ne peut pas au même instant à
la fois être dans le programme et en dehors du programme, il est souvent nécessaire, pour
mesurer les effets propres d’un programme, de construire ce que l’on appelle communément un
groupe « témoin ».

La meilleure comparaison possible consiste à construire un groupe témoin en tout point semblable
au groupe test, la seule différence entre les deux groupes étant que l’un est exposé au programme
mais pas l’autre (expérimentation randomisée). On peut ainsi observer directement les effets du
programme, par différence entre les observations au sein du groupe cible et du groupe témoin.

Hormis dans le cadre d’expérimentations prévoyant spécifiquement la constitution d’un groupe

témoin, il est très difficile de constituer une population témoin qui soit parfaitement comparable :
par construction, l’action publique s’applique à tous ceux qui répondent à des critères donnés (âge,
niveau de ressources, situation familiale, état de santé, situation vis-à-vis de l’emploi…). Les
populations non bénéficiaires ne sont donc par définition pas similaires aux populations
bénéficiaires, y compris dans le cas où elles sont éligibles mais n’ont pas recours au service auquel
elles peuvent prétendre (par choix mais aussi par méconnaissance de leurs droits).

A défaut d’une comparaison entre groupe test et groupe témoin avec affectation aléatoire, d’autres
types de comparaison peuvent cependant être effectués :

• En comparant les mêmes individus avant et après l’entrée dans l’action (comment ont
évolué leur situation par rapport à l’emploi, leurs revenus, leur état de santé…). Cette
comparaison est généralement effectuée en interrogeant à intervalle régulier un panel de
bénéficiaires ou en reconstituant lors d’une seule interrogation leur trajectoire passée.

Cependant, ce type de comparaison avant-après ne permet pas de contrôler les effets

environnementaux. Il est impossible d’isoler les effets imputables à des facteurs exogènes au

15
dispositif de ceux qui sont liés au dispositif lui-même : une reprise d’emploi d’un jeune peut être le
fruit de l’accompagnement renforcé dont il a bénéficié mais aussi d’une reprise de l’économie locale
ou de ses démarches personnelles. Ce même jeune aurait en effet peut-être retrouvé un emploi
même sans cet accompagnement.

• En comparant la situation d’individus similaires mais non identiques au temps « t »,

certains étant passés par le dispositif, d’autres non.

Mais dans ce deuxième type de comparaison, on ne contrôle pas toutes les différences
individuelles. Les individus peuvent sembler similaires au regard de variables observables (comme
l’âge, le sexe, le niveau de diplôme, la période d’inactivité,…) mais être différents au regard
d’autres variables plus difficiles à observer (état de santé, motivation personnelle…).

Autre difficulté pour l’interprétation d’indicateurs sociaux : le lien de causalité entre l’évolution des
indicateurs et les actions mises en place apparaît délicat à établir à cause des phénomènes
d’interdépendance qui existent entre les différentes actions. A titre d’exemples : les
performances du système éducatif ont un impact direct sur le marché de l’emploi ; un jeune
accompagné par une mission locale peut en parallèle bénéficier d’un suivi par Pôle emploi. Des
méthodes de modélisation statistiques permettent de raisonner « toutes choses égales par
ailleurs », et ainsi de mesurer les effets séparément les uns des autres, mais elles nécessitent de
faire des hypothèses a priori sur les variables qui sont liées entre elles pour les intégrer dans le
modèle.

I.2.3. Disposer du temps nécessaire à l’observation

L’impact de l’action publique sur l’indicateur observé n’est pas forcément immédiat. On
distingue trois catégories d’effets : les réalisations (effets immédiats), les résultats (effets à moyen
terme) et les impacts (effets à long terme). Il faut laisser le temps à l’action publique d’influer sur
l’indicateur.

Par exemple, l’impact d’une réforme du système éducatif sur l’insertion des jeunes ne peut se
mesurer véritablement qu’une fois que les jeunes sont diplômés et ont intégré le monde du travail
(effets à long terme). On peut toutefois mettre en place des indicateurs de réalisation
« intermédiaires » concernant l’acquisition de compétences à différentes étapes du parcours
scolaire ou sur les taux de redoublement (effets à moyen terme).

Les deux dernières catégories d’effets (à moyen et long terme) sont les plus difficiles à prendre en
compte, dans la mesure où elles nécessitent de prendre du temps pour observer (on se heurte ici
au décalage entre le temps politique et le temps de l’évaluation) et où l’information permettant de
renseigner de tels indicateurs est plus difficile à collecter. Par exemple, si l’on se pose la question
du retour à l’emploi après le passage par un dispositif d’insertion, il est relativement aisé de
connaître la situation d’emploi des bénéficiaires à la sortie du dispositif. Il est plus complexe de

16
renseigner cet indicateur 6 mois, 12 mois ou 18 mois après la sortie car il faut suivre le même
nombre d’individus dans le temps ce qui, par expérience, n’est pas chose facile. Or ces dispositifs
d’insertion ont également pour objectif de pérenniser le retour à l’emploi. Si les personnes ont
effectivement un emploi à la sortie mais ne parviennent pas à le conserver, l’objectif n’est pas
complètement atteint. Une enquête longitudinale de suivi de cohorte, bien que couteuse, permet
cependant de renseigner ce type d’indicateur d’impact à moyen et long terme.

Au-delà du temps nécessaire pour observer les phénomènes attendus, se pose le problème du
temps nécessaire pour produire l’indicateur lui-même. Il faut parfois s’appuyer sur une
version provisoire (disponible rapidement), semi-définitive puis définitive de l’indicateur (qui peut
être disponible plusieurs mois voire plusieurs années après), mais il faut alors prendre en compte
la marge d’erreur associée, qui peut être importante pour l’indicateur provisoire et qui se réduit au
fur et à mesure que la valeur est consolidée. La publication doit alors être assortie d’un intervalle
de confiance ou présentée sous forme de « fourchette » pour rendre compte de la marge d’erreur.

En référence à la théorie du Nouveau Management Public (NMP), pertinence et fiabilité des

indicateurs retenus sont les clés de la qualité de la mesure de la performance, entendue dans le
secteur public comme l’optimisation des services rendus aux citoyens.

17
II. A QUAND REMONTE LA NOTION DE PERFORMANCE DANS LE
SECTEUR PUBLIC FRANÇAIS ?

II.1. Trois étapes symboliques

En France, on peut considérer que la recherche de la performance dans les services publics
remonte à l’après-guerre. On peut citer trois étapes symboliques de l’émergence de cette notion.

II.1.1. En 1946, création du Comité central d'Enquête sur le coût et

le rendement des services publics

Cette instance est créée pour proposer des mesures de nature à réduire les coûts et à améliorer la
qualité et le rendement des services des ministères, des établissements publics, des collectivités
locales et des organismes chargés d'assurer un service public.

Ce comité existe toujours et est rattaché depuis 2010 à la Cour des comptes5. Il publie
régulièrement des rapports proposant des améliorations sur des sujets très divers, certains d’entre
eux répondant à des besoins précis identifiés par le Premier ministre ou un membre du
gouvernement.

Ainsi, au cours des 10 dernières années, ce Comité a travaillé par exemple sur les méthodes
d’évaluation de la satisfaction des usagers du service public (2002), sur le coût et l’organisation de
la fonction gestion des ressources humaines dans l’administration (2005), sur la simplification du
droit par ordonnances (2006), sur la notation et l’évaluation des agents de l’Etat (2007), sur la
formation continue des agents de l’Etat (2007), sur les maisons des services publics (2008)…

II.1.2. En 1968, lancement de la Rationalisation des Choix

Budgétaires (RCB)

Sur le modèle du Planning Programming Budgeting System (PPBS) américain, le gouvernement

français a souhaité expérimenter une méthode tendant à la rationalisation des choix budgétaires et
au contrôle des résultats de l’action administrative par des études d’analyses de système et de
coût-efficacité. La méthode consistait à définir des objectifs et à comparer systématiquement
tous les moyens utilisables pour les atteindre. Etaient pris en compte les coûts et avantages directs
mais aussi tout ce qui constituait une charge ou un gain indirect pour la collectivité.

5
Philippe Séguin, Florence Descamps, Jeanne Siwek-Pouydesseau, et al., Le Comité d'enquête sur le coût et le
rendement des services publics : soixante ans de dialogue au service de la réforme de l'Etat, vol. Hors série,
École nationale d'administration, 2007

18
Pendant plus de dix ans, de nombreuses études ont été menées par les cellules RCB des différents
ministères. Elles donnaient lieu à des documents d’information destinés au Parlement et ont
également été appliquées à des politiques publiques précises. Bernard Perret6 cite par exemple une
étude sur la périnatalité dont les conclusions ont contribué, par leurs effets sur les choix
budgétaires, à la diminution de la mortalité infantile.

Cependant, la RCB n’a jamais été rattachée à la procédure budgétaire et son impact sur les
décisions budgétaires est resté faible. Elle n’a pas par ailleurs pas obtenu de consensus parmi les
économistes de l’époque.

Elle a finalement été abandonnée dans les années 1980, l’Etat privilégiant, à partir de cette
période, l’évaluation globale des politiques mises en place. L’évaluation vise à la construction
d’un jugement sur la valeur de l’intervention publique qui se fonde sur ses résultats, ses impacts et
les besoins que cette intervention cherche à satisfaire, en s’appuyant sur des données collectées et
analysées spécifiquement à cet effet. Si l’évaluation peut aussi apparaître comme un outil
d’optimisation de la dépense, elle participe plus globalement d’une démarche de transparence, de
responsabilisation et de management.

Les travaux d’évaluation des politiques publiques, coordonnés par le Conseil Scientifique de
l’Evaluation (créé par le gouvernement Rocard en 1990) puis par le Conseil National de l’Evaluation
(créé en 1998), s’appuyaient sur des méthodes pluridisciplinaires et participatives (associant
l’ensemble des acteurs impliqués, y compris les bénéficiaires), appliquées à l’évaluation de
politiques dans leur ensemble (politique de l’emploi, contrats de plan Etat-régions, politique de
développement rural…). Dans son dernier rapport, le CNE faisait le constat que l’approche
dominante de ses travaux était de nature sociologique, et que l’apport de disciplines comme la
gestion et l’économie était probablement insuffisant. Les travaux du CNE ont eu, comme la RCB, un
impact limité sur les choix budgétaires. Le CNE a été dissous en 2008.

S’il n’existe plus d’instance nationale et interministérielle en charge de l’évaluation, chaque

ministère continue à mener ses propres études et évaluations dans le champ qui le concerne.
L’approche est plus ciblée que par le passé, avec un recours accru aux mesures d’impact.

La tentative de développer les programmes d’expérimentation sociale depuis 2007 (RSA,

Fonds d’Expérimentation pour la Jeunesse) correspond également à une volonté d’optimiser les
allocations budgétaires en vérifiant l’efficacité de dispositifs innovants avant de les généraliser. Ces
innovations sociales sont testées dans un premier temps à une échelle réduite compte tenu des
incertitudes existantes sur leurs effets, et mises en œuvre dans des conditions qui permettent d’en
évaluer les effets, dans l’optique d’une généralisation à l’ensemble du territoire.

Ces expérimentations permettent de réaliser des mesures d’impact rigoureuses en ayant recours à
des échantillons contrôlés (comparaison du groupe de bénéficiaires de l’innovation sociale avec un
groupe témoin ayant les mêmes caractéristiques, les deux groupes étant composés aléatoirement).
L’effet propre du dispositif testé est ainsi mesurable, sous réserve que les conditions

6
Bernard Perret, De l’échec de la RCB à la LOLF, Revue Française d’Administration Publique, n° 117, 2006

19
d’expérimentation soient semblables aux conditions de généralisation. Pour s’en assurer, il est
préférable de multiplier les sites d’expérimentation.

II.1.3. En 2001, vote de la Loi Organique relative aux Lois de

Finances (LOLF)

Cette loi a profondément réformé le dispositif établi en matière budgétaire et défini par
l'ordonnance du 2 janvier 1959. Elle a été mise en œuvre à partir du 1er janvier 2006. Outre une
nouvelle architecture du budget de l'Etat, cette réforme a mis en place de nouveaux modes de
gestion dans les administrations, reposant sur la performance. Avec cette loi, l’Etat est passé
d’une logique de moyens à une logique de résultats, afin que chaque euro dépensé soit plus
utile. Jusque là, le Parlement s’intéressait davantage aux moyens consacrés à une politique qu’aux
résultats concrets obtenus grâce à ces moyens (voir paragraphe 3 ci-après).

II.2. Une évolution similaire dans de nombreux pays

En suivant cette trajectoire, la France n’a pas fait exception. Au cours des années quatre-vingt-dix,
de nombreux pays de l’OCDE ont amorcé un mouvement de déploiement d’un système de gestion
de la performance dans la sphère publique7. L’ensemble des pays impliqués dans ce mouvement
sont guidés par des motivations communes :

- le souhait de maîtriser les dépenses et les déficits publics ;

- la volonté d’améliorer l’efficacité des politiques publiques pour les contribuables et la

qualité du service rendu aux usagers;

- le souci de renforcer l’information et la transparence de l’action publique pour les citoyens

et leurs représentants au Parlement.

La plupart des pays, qui se sont lancés dans une réforme des procédures budgétaires, ont en
parallèle réorganisé leur administration. Ces réformes sont le plus souvent associées à une
diffusion de la culture de l’évaluation.

Cette réflexion sur la performance du service public est menée également dans le cadre européen
et mondial (exemple : mesure de la performance des systèmes éducatifs dans l’union européenne8,
évaluation de la performance des services publics de l’emploi par l’OCDE9).

7
H. Guillaume , G. Dureau et F. Silvent, Gestion publique : l’État et la performance, Presses de Sciences Po et
Dalloz, 2002
8
Rapport européen sur la qualité de l’éducation scolaire, seize indicateurs de qualité, Communauté
européenne, mai 2000
9
Les services publics de l’emploi : gérer la performance, OCDE, 2005

20
La mesure de la performance mise en place par ce nouveau cadre budgétaire peut être présentée
comme le chaînon qui articule le contrôle de gestion (qui vise à identifier les coûts, les activités et
les résultats pour améliorer le rapport entre les moyens mobilisés et les résultats produits) et
l’évaluation des politiques publiques (qui vise à apprécier si les moyens mis en œuvre et les
résultats obtenus permettent d’atteindre les objectifs fixés).

III. LA LOLF : UNE NOUVELLE CONCEPTION DE LA

CONSTRUCTION DU BUDGET DE L’ETAT, TOURNEE VERS LES
RESULTATS

III.1. Les finalités de la LOLF

La Loi Organique relative aux Lois de Finances (LOLF) vise à la fois à mesurer l’efficacité de
l’action publique, en affichant une plus grande transparence sur ses objectifs et ses résultats vis-à-
vis du Parlement, des acteurs sociaux, des contribuables et des citoyens, et à mesurer et améliorer
son efficience, en rapportant la qualité du service rendu aux bénéficiaires ou aux usagers aux
moyens mobilisés.

Sur le plan de la transparence : le budget de l’état n’est plus présenté par nature de dépenses
(personnel, fonctionnement…) mais par grandes politiques publiques (transport, travail, défense,
solidarité, intégration, culture, justice….) désormais appelées « missions ». Le Parlement et le
citoyen sont ainsi en mesure d’apprécier la totalité des moyens déployés pour mettre en œuvre
chaque politique de l’Etat. Les missions se déclinent ensuite en programmes10. Chaque programme
regroupe les crédits destinés à mettre en œuvre une action ou un ensemble cohérent d’actions
relevant d’un même ministère et auquel sont associés des objectifs précis, définis en fonction de
finalités d’intérêt général, ainsi que des résultats attendus et faisant l’objet d’une évaluation.

En matière d’efficacité : chaque année, l’Administration présente dans les Projets Annuels de
Performances (PAP), ses objectifs, sa stratégie et l’utilisation prévisionnelle des crédits et des
personnels mis à sa disposition. Elle rend compte de son action dans les Rapports Annuels de
Performances (RAP). Les budgets annuels ne sont ainsi pas reconduits automatiquement d’année
en année, mais sont attribués au regard des résultats obtenus l’année précédente.

La LOLF doit conduire à :

- mieux définir les objectifs et les priorités des politiques publiques,

- s’interroger davantage sur les leviers d’actions et les outils utilisés pour définir une
stratégie d’action,

10
34 missions et 133 programmes dans le budget général en 2006 ; 33 missions et 130 programmes en 2010 ;
32 missions et 125 programmes en 2012.

21
 - mieux allouer les moyens,

- prendre les mesures correctrices et engager les réformes nécessaires à l’amélioration du

service public rendu au citoyen, à l’usager et au contribuable.11

Le Conseil d’Analyse Economique12 présente une analyse de la LOLF selon le principe de la boucle
des préférences développée en économie politique: cette boucle commence par l’expression des
préférences par les citoyens ; celle-ci donne ensuite lieu à une traduction de ces préférences par
les responsables politiques en programmes d’actions publiques ; enfin, il appartient à
l’Administration de mettre en œuvre ces actions, en s’appuyant sur des organisations et en
mobilisant des leviers adéquats. Cette boucle théorique connaît naturellement des
dysfonctionnements. Les imperfections du « marché politique » aboutissent à une traduction
imparfaite des préférences individuelles en préférences étatiques ; les imperfections de
l’intervention publique génèrent des politiques publiques aux résultats perfectibles. Tout l’objet de
la LOLF est d’améliorer le « bouclage » de la boucle. Le débat sur la définition de la « maquette »
missions – programmes – actions est l’occasion d’une discussion approfondie sur les préférences
des citoyens.

III.2. Des objectifs stratégiques aux indicateurs de

performance

Pour qualifier la performance de l’action publique, la LOLF définit trois axes de performance,
correspondant à différents points de vue13 :

• celui du citoyen qui exprime des objectifs d’efficacité socio-économique mesurant les
résultats d’une politique publique donnée. Par exemple : l’indicateur « Proportion d’élèves
maîtrisant, en fin d’école primaire, les compétences de base en français et en
mathématiques » a été retenu pour évaluer l’objectif « Conduire tous les élèves à la
maîtrise des compétences de base exigibles au terme de la scolarité primaire ».

• celui de l’usager du service public qui exprime des objectifs de qualité de service
rendu. Par exemple : l’indicateur « pourcentage des demandeurs d’emploi et des
employeurs satisfaits des services rendus par Pôle emploi » est prévu pour mesurer le

11
Alexandre Sine, Brice Lannaud, la mesure de la performance de l’action publique, complément C du rapport,
économie politique de la LOLF, Conseil d’Analyse Economique, 2007,

http://www.ladocumentationfrancaise.fr/var/storage/rapports-publics/074000323/0000.pdf
12
Edward Arkwright, Christian de Boissieu, Jean-Hervé Lorenzi et Julien Samson, Économie politique de la LOLF

Conseil d’Analyse Economique, 2007

13
En 2012, 47% des indicateurs du budget de l’état mesurent l’efficacité pour le citoyen, 20% la qualité pour
l’usager et 33% l’efficience pour le contribuable.

22
 niveau d’atteinte de l’objectif « Améliorer l’efficacité du service rendu à l’usager par Pôle
emploi »;

• celui du contribuable qui exprime des objectifs d’efficience de la gestion rapportant les
résultats obtenus aux ressources consommées. Par exemple : l’indicateur « coût des
examens des élèves et des concours de personnels par candidat présent » est prévu pour
évaluer l’objectif « réussir la programmation et la gestion des grands rendez-vous scolaires
» ou encore l’indicateur « coût de la mise en relation positive » pour mesurer l’objectif
« Améliorer l’efficacité du service rendu à l’usager par Pôle emploi ».

Ces différents points de vue peuvent se retrouver dans un même objectif, traduits au travers de
plusieurs indicateurs, comme c’est le cas pour l’objectif « améliorer l’efficacité du service rendu à
l’usager par pôle emploi », pour lesquels certains indicateurs renvoient à la qualité pour l’usager
(comme le taux de satisfaction des demandeurs d’emploi ou des employeurs), d’autres à
l’efficience pour le contribuable (comme le coût de la mise en relation positive).

Ces axes de performance correspondent à des objectifs dits stratégiques, qui sont détaillés
dans le Projet de Loi de Finances (PLF) chaque année. Ces objectifs doivent ensuite être déclinés
en objectifs opérationnels pour les gestionnaires à tous les niveaux de l’administration chargés
de mettre en œuvre les différents programmes. Les objectifs opérationnels sont soit une
déclinaison directe des objectifs stratégiques (mêmes indicateurs avec des cibles adaptées,
négociées lors du dialogue de gestion entre le responsable du service concerné et le responsable
du programme) soit indirecte (indicateurs intermédiaires qui représentent des jalons dans
l’obtention des résultats visés). Ils sont éventuellement enrichis d’objectifs complémentaires
(indicateurs complémentaires) permettant de couvrir des champs du programme non pris en
compte dans les objectifs stratégiques.

Deux raisons peuvent justifier la déclinaison des objectifs stratégiques nationaux sous forme
d’objectifs intermédiaires :

- lorsque des objectifs stratégiques d’un programme sont transverses à plusieurs acteurs
(opérateurs et services) ayant des champs d’action et de compétences différents et
complémentaires. Il convient de définir pour chacun d’eux un objectif intermédiaire
spécifique, du ressort de leur champ de compétences. Ces objectifs doivent être
complémentaires entre eux, et leur réalisation conjointe doit logiquement permettre
d’atteindre l’objectif stratégique national du programme (par exemple, en matière de
logement social, si l’objectif stratégique est de réduire le délai d’attente pour l’attribution
d’un logement, il peut se traduire localement par un objectif opérationnel d’un nombre
donné de logements sociaux à construire).

- lorsque des objectifs d’efficacité socio-économique ou de qualité de service donnent lieu au

suivi d’indicateurs reposant sur des enquêtes lourdes conduites sur un échantillon national
qui serait coûteux à décliner au plan local, ces objectifs peuvent alors être déclinés au plan
opérationnel sous forme d’objectifs intermédiaires.

23
Pour chaque objectif, des indicateurs mesurent les résultats des actions menées. Ils sont
accompagnés de plusieurs valeurs cibles, sur lesquelles les responsables de programmes
s’engagent : une valeur pour l’année du projet de loi de finances et une valeur cible de moyen
terme (un à cinq ans).

Ces indicateurs représentent la clé de l’appréciation portée sur l’atteinte des objectifs. Ils
représentent un moyen d’étalonnage, permettent un suivi dans le temps et éventuellement une
appréciation comparée de la performance. Comme nous l’avons signalé au début de cette première
partie, la qualité de l’ensemble du système de mesure de performance repose à la fois sur la
pertinence et la fiabilité de la sélection d’indicateurs retenus.

Dans le cadre de la LOLF, on dénombre entre un et six indicateurs par objectif14. Le nombre
forcément limité d’indicateurs retenus amène à se demander si quelques indicateurs simples
peuvent rendre compte de la complexité des circonstances et de la diversité des attentes des
citoyens-usagers. Par ailleurs, la focalisation des gestionnaires sur un faible nombre d’indicateurs
ciblés, forcément réducteurs, pourrait conduire à dénaturer l’objectif poursuivi.

III.3. Une nécessité : accompagner l’Administration vers la

performance

Pour être performant, chaque acteur (Etat, collectivité locale, organisme public) doit définir
l’organisation la mieux adaptée, l’agencement des moyens et la programmation des tâches. A
chaque niveau de la chaîne permettant de délivrer le service public, il est nécessaire de définir les
objectifs et les rôles de chacun, puis de se doter d’un tableau de bord stratégique adapté.

Le recours aux indicateurs, qui a été rendu systématique avec la LOLF, requiert cependant du
temps pour que les acteurs se les approprient. On peut mentionner trois conditions nécessaires de
réussite d’un tel système instauré au niveau de l’Etat :

- une définition claire et partagée de ce qu’est la performance ; elle doit en particulier

permettre d’éviter les objectifs et indicateurs d’activité mesurant une quantité des biens ou
services produits (par exemple nombre de bénéficiaires d’un dispositif donné) ;

- un processus complet, du Parlement aux administrations de terrain, de définition de la

stratégie, des objectifs, des indicateurs et des cibles, de dialogue, de prise de décision ; ce
processus doit garantir la circulation de l’information et des mécanismes de responsabilité ;

- une stabilité du système dans le temps, de manière à suivre les indicateurs et

examiner les résultats dans la durée15.

14
En 2012, 423 objectifs dans le budget général (hors budgets annexes), soit 3,4 objectifs en moyenne par
programme, et 888 indicateurs, soit 2,1 indicateurs en moyenne par objectif.
15
En 2012, 88% des indicateurs du budget général sont inchangés par rapport à l’année précédente ; 6% sont
des indicateurs modifiés, 6% sont des nouveaux indicateurs.

24
C’est pour aller dans ce sens que le ministère a conçu un guide de la performance, à destination de
toutes les personnes concernées par la LOLF.

Par ailleurs, différents organismes publics proposent des formations à destination des dirigeants,
cadres et agents des services publics.

- L’Institut de la Gestion Publique et du Développement Economique (IGDPE) propose des

formations pour accompagner les réformes pilotées par les ministères économiques et
financiers, en particulier la mise en place de la LOLF.

- L’Institut de la Performance Publique (IPP) propose des modules de formation pour

accompagner la réforme du budget ayant pour finalité une meilleure performance des
services publics. Ces formations concernent aussi bien les questions juridiques que les
questions d’organisation et de définition de procédures, ou encore la productivité ou
l’efficience des services publics.

En instituant une déclinaison systématique des objectifs stratégiques en indicateurs, la LOLF a

entrainé la multiplication des indicateurs (près de 900 pour caractériser le budget général, plus de
1 000 en associant les budgets annexes).

Ces indicateurs mesurent la performance selon trois points de vue complémentaire : l’efficacité des
politiques du point de vue du citoyen, la qualité du service du point de vue l’usager, et l’efficience
des programmes du point de vue du contribuable.

La plupart d’entre eux sont renseignés à partir d’informations provenant directement des
gestionnaires des dispositifs évalués.

Sur les plans à la fois culturel et technique, la production et l’utilisation de ces indicateurs nécessite
un accompagnement de l’ensemble des acteurs impliqués, qui bénéficient pour cela de formations.

IV. LE PERIMETRE DE LA LOLF TROP RESTREINT

Incontestablement, la LOLF a permis d’introduire une dynamique de progrès, tant sur le plan de la
classification des objectifs, de l’affectation des moyens, du suivi des résultats, que de la
mobilisation des acteurs. Cependant, plusieurs limites de la LOLF sont apparues à l’issue des
premières années de fonctionnement : la première concerne son périmètre.

La mise en œuvre des services publics dépasse en effet très largement le cadre étatique et les
opérateurs directs de l’Etat. Pour une politique publique donnée, les acteurs impliqués sont
multiples : aux côtés du Parlement et du Gouvernement, des administrations centrales et de leurs
services déconcentrés, figurent des opérateurs aux statuts divers (entreprises publiques,
établissements publics, groupements d’intérêt public, associations, entreprises privées délégataires
de service public, etc.). Les cofinancements sont fréquents.

25
Dans le cas précis des politiques sociales, les dispositifs sont même minoritairement financés par
l’État : ils relèvent essentiellement des budgets des administrations de sécurité sociale
(principalement : caisses nationales d’assurance maladie, vieillesse, chômage, et caisse nationale
d’allocations familiales) et des collectivités locales (allocation personnalisée autonomie, revenu de
solidarité active, aide sociale à l’enfance, etc.).

Dans ces conditions, il est difficile pour l’Etat de fixer une stratégie globale, des objectifs partagés
et des indicateurs pertinents.

IV.1. Une réforme qui inclut les opérateurs…

Les règles de suivi budgétaire de la LOLF s’appliquent cependant progressivement aux opérateurs
de l’Etat. Est qualifiée « d’opérateur » toute entité qui contribue à la mise en œuvre d’une mission
de service public de l’Etat, c'est-à-dire à laquelle il revient d’exécuter la totalité ou une part
significative d’un programme. Ces entités représentent en 2012 près de 39 milliards d'euros, soit
près de 10% du budget total de l’Etat (dont plus de la moitié est versée à des opérateurs dans le
domaine de la recherche et de l’enseignement supérieur). La liste de ces opérateurs est annexée à
chaque projet de loi de finances. On en compte 560 en 2012. Parmi ces opérateurs figurent par
exemple les Agences Régionales de Santé, Pole emploi, l’ANRU (Agence Nationale pour la
Rénovation Urbaine), l’ACSE (Agence nationale pour la Cohésion Sociale et l'Egalité des chances)…

Figure 1 : Répartition des crédits versés aux opérateurs par mission

(PLF 2012)

Source : Ministère de l’économie et des finances

Les opérateurs de l’État sont, de par leur activité, parties prenantes de la réalisation des objectifs
de performance des missions, programmes et actions déterminées par la loi de finances. Ce lien
entre l’État et les opérateurs impose donc à ces derniers de participer à l’effort de maîtrise des

26
dépenses publiques ; ils doivent également s’inscrire dans le cadre budgétaire et comptable de la
LOLF et répondre à l’exigence d’information et de contrôle sur leurs emplois, leurs financements et
leurs résultats en termes de performance.

Pour satisfaire ce dernier aspect, s’est développée depuis 2009 une politique de contractualisation
sur les objectifs fixés entre l’opérateur et sa tutelle. Par analogie avec les projets annuels de
performance, les opérateurs doivent produire un document de performance, qui formalise les
objectifs et indicateurs associés à leur budget de l’année. Ceux-ci doivent être élaborés dans le
cadre d’un dialogue de gestion associant la tutelle technique, la tutelle financière et l’opérateur,
puis être soumis au vote du conseil d’administration simultanément au vote du budget. Ces
engagements doivent au minimum décliner les objectifs des PAP, mais peuvent être complétés par
des objectifs complémentaires.

Cependant, à ce jour, aucun compte d’exécution budgétaire ou comptable ne réconcilie, pour une
politique donnée, les budgets et les comptes de l’Etat avec ceux de ses opérateurs16, ce qui rend
difficile une mesure globale de la performance.

IV.2. … les organismes de sécurité sociale…

C’est le poids déterminant des régimes de sécurité sociale dans le financement du système de
protection sociale qui a motivé la transposition de la démarche objectifs-résultats au Projet de Loi
de Financement de la Sécurité Sociale (PLFSS). La loi organique relative aux lois de
financement de la Sécurité sociale (LOLFSS), promulguée le 2 août 2005 (et mise en
application pour la première fois dans le cadre du PLFSS 2008), est le pendant de la LOLF pour les
organismes de sécurité sociale. Elle a pour objectif de rénover la présentation du PLFSS pour en
faire un outil de pilotage plus efficace.

A la différence du Projet de Loi de Finance, le PLFSS n’associe pas de cibles quantifiées aux
indicateurs, mais des tendances souhaitables d’évolution.

Dans le domaine sanitaire et social cohabitent donc deux documents qui proposent des indicateurs
de performance : les programmes de qualité et d’efficience (PQE) des différentes branches de la
protection sociale (maladie ; accidents du travail et maladies professionnelles ; retraite ; famille ;
financement ; invalidité et dispositifs gérés par la CNSA) issus du PLFSS, et les Programmes
Annuels de Performance des missions dans le secteur sanitaire et social (au nombre de 4 : santé ;
solidarité, insertion et égalité des chances ; travail et emploi ; ville et logement) issus du PLF. Or,
les objectifs comme les indicateurs qui sont présentés dans ces documents ne sont pas toujours en
cohérence.

D’après Mireille ELBAUM, qui a comparé ces deux documents sur l’exercice 200917, les problèmes
de cohérence sont de deux types : cohérence statistique, en ce qui concerne les définitions, les

16
La mise en œuvre de la loi organique relative aux lois de finances (LOLF) : un bilan pour de nouvelles
perspectives, cour des comptes, Novembre 2011

27
champs et les périodes d’observation d’indicateurs proches mais aussi cohérence s’agissant de
l’articulation entre les deux démarches : chaque série d’indicateurs fournissant un instrument
d’évaluation à l’action publique qui ne se focalise pas sur les mêmes aspects. Par exemple, dans le
PLF, l’objectif de réduction des inégalités de santé est appréhendé au travers du taux de
reconnaissance des campagnes de prévention de l’INPES. Dans le PLFSS, il est associé à des
indicateurs mesurant la répartition de l’offre de soins de ville et hospitalière et aux inégalités
financières.

Les objectifs des deux exercices sont en effet un peu différents : le PLF est conçu pour être
directement associé à la présentation et au vote des crédits de la loi de finance. Les PQE ne sont
pas, quant à eux, directement utiles à la présentation et au vote des prévisions de recettes et de
dépenses figurant dans le PLFSS : ils visent uniquement à l’éclairer par des informations ou
illustrations complémentaires, et proposent une vision d’ensemble des politiques de protection
sociale et de leurs résultats.

Plus généralement, le PLF et le PLFSS s’inscrivent parmi un ensemble d’opérations de suivi

gouvernemental d’indicateurs concernant les politiques sanitaires et sociales, et notamment des
indicateurs de cohésion sociale européens déclinés en France sous forme d’annexe au « rapport de
stratégie nationale », des objectifs associés à la loi de 2004 relative à la politique de santé
publique, ou encore la fixation d’un objectif de lutte contre la pauvreté, assorti d’un tableau de
bord d’indicateurs associés à des cibles sur 5 ans.

La juxtaposition de ces différentes batteries d’indicateurs pose la question de la cohérence de

l’ensemble des indicateurs produits, et de leur rôle dans les processus de prise de décision
politiques.

IV.3. … mais pas les collectivités locales

Une des principales limites actuelles de la LOLF est qu’elle n’intègre pas dans son périmètre les
collectivités locales.

Il faut souligner que les collectivités locales disposent déjà, depuis plusieurs années, d’un cadre
juridique, budgétaire et comptable qui, à bien des égards, est en cohérence avec les principes
consacrés par la LOLF18. Cependant, ce cadre ne fait pas l’objet de remontées d’informations
agrégées et articulées avec la LOLF, ce qui pourrait être éventuellement lié à des procédures
comptables qui n’auraient pas encore eu le temps de converger et d’être mises en cohérence. Mais
de façon inattendue, les nouvelles normes comptables appliquées aux collectivités, notamment
celles concernant les régions (2010), ne sont toujours pas articulées avec l’architecture en missions
et programmes telle que prévue par la LOLF.

17
Mireille ELBAUM : Les indicateurs de performance en matière de politiques sociales : quel sens pour l’action
publique ? OFCE, n°2009-16, juillet 2009
18
La LOLF et les collectivités locales, une démarche de performance déjà engagée Article paru dans Bercy
Colloc Information spéciale – 31 janvier 2008

28
Certaines collectivités locales ont cependant déjà engagé de leur propre initiative des démarches
de performance. Une enquête menée en France au premier trimestre 2008 auprès de 360
collectivités faisait apparaître que 42% d’entre elles avaient déjà engagé une démarche de
performance; et que 25% d’entre elles comptaient engager une telle démarche dans les 2 ans à
venir. Selon Marie-Christine Steckel19, ces initiatives s’expliquent à la fois par la volonté de faire
face aux attentes des citoyens (à la fois usagers et contribuables) et par la nécessité d’optimiser
les ressources disponibles pour absorber les dépenses liées aux transferts de compétences de l’Etat
vers les collectivités (insertion, dépendance,…) insuffisamment compensés par l’Etat.

La Cour des comptes signale, dans son bilan de l’année 2011, que plusieurs collectivités
territoriales ont même déjà mis en place un volet performance dans le cadre de leur budget.
Cependant, à ce stade, aucune consolidation n’est possible : la description des politiques publiques
n’est pas la même selon les collectivités concernées, les volets performance ne sont pas
comparables et ces initiatives restent finalement relativement isolées.

A l’occasion de la mise en place de la LOLF, des expérimentations ont été conduites avec
différentes collectivités territoriales volontaires – communes, départements, régions – afin de tenir
compte de la grande diversité des collectivités territoriales en termes de taille et de modes
d’organisation. Cette approche permettait ainsi de ne pas imposer a priori de « moule commun »
qui n’aurait pas reflété les besoins, objectifs, moyens et priorités propres à chaque collectivité.

Aucun bilan d’ensemble n’a pour l’instant été tiré de ces différentes expérimentations, mais les
actions engagées ne se sont pas a priori limitées aux seules questions de budget et de
performance : il s’est agi généralement de démarches plus larges de modernisation de la gestion
publique locale, passant également par une modernisation des systèmes d’information et une
réorganisation des services.

La Cour des comptes estime souhaitable d’élargir aux collectivités territoriales le pilotage des
politiques publiques par objectifs conduisant à une restitution des résultats, tel que le prévoit la
LOLF. Au-delà du suivi budgétaire et comptable des politiques publiques, la nécessité de construire
des dispositifs d’évaluation cohérents et rigoureux, qui couvrent à la fois l’Etat et les collectivités
territoriales, a été rappelée à plusieurs reprises par la Cour dans ses rapports sur les politiques
décentralisées, et notamment le rapport relatif à la protection de l’enfance (2009) et celui sur le
RMI-RSA (2011).

Les premières années de fonctionnement de la LOLF ont fait apparaître une limite importante liée à
son champ d’application, trop restreint : si la LOLF s’applique aux opérateurs de l’Etat et, depuis la
refonte du PLFSS, aux organismes de sécurité sociale, elle ne concerne pas les collectivités locales.
Même si celles-ci sont nombreuses à développer des initiatives visant à améliorer leur
performance, il n’est pas envisagé pour le moment de systématiser et d’uniformiser ces
expériences.

19
La performance publique en France : un jeu d’influences croisées entre le national et le local, Marie-Christine
STECKEL, revue de gestion et finances publiques, juin 2010

29
V. LOLF : UN CHOIX D’INDICATEURS QUI POSE PARFOIS
QUESTION

Comme évoqué plus haut, la mise en place d’indicateurs doit s’appuyer dans l’idéal sur une étude
préalable qui permet de lister une grande quantité d’indicateurs possibles, et qui étudie leur
évolution sur une période donnée afin de choisir, avant de démarrer le suivi, ceux qui semblent le
plus pertinents pour mesurer les objectifs recherchés. Plus généralement, l’expertise de
statisticiens, économistes et chercheurs peut être mobilisée pour la construction, la production et
l’interprétation des indicateurs ainsi que pour le choix des cibles, qui doit être systématiquement
associé à une analyse fine du contexte et des prévisions d’évolution de la conjoncture économique
et sociale.

Dans le cadre de la LOLF, compte tenu de l’ampleur du champ concerné et des délais de mise en
œuvre, les études préalables n’ont pas pu être menées de façon systématique (pour certains
programmes, des recherches existantes ont néanmoins pu être exploitées), et le choix des
indicateurs a donc été opéré « au fil de l’eau » au cours des premiers exercices budgétaires.

Comme le rappelle François Ecalle20, les premières observations de la Cour des comptes sur les
projets de performance pour 2006 n’étaient pas très satisfaisantes pour diverses raisons parmi
lesquelles on peut citer : le fait que les objectifs et indicateurs ne couvraient souvent qu’une petite
partie des programmes ; le fait que les indicateurs n’étaient pas toujours chiffrés; ou encore le fait
qu’il s’agissait souvent d’indicateurs d’activité qui ne tenaient pas compte des moyens mis en
œuvre ou, au contraire, d’indicateurs de moyens sans référence aux résultats du programme21.

Autre point d’insatisfaction relevé par François Ecalle : certains objectifs étaient trop soumis aux
effets de facteurs extérieurs à l’Administration dont le gestionnaire du programme ne pouvait être
tenu pour responsable. Par exemple, les indicateurs du type « taux d’insertion dans l’emploi
durable des bénéficiaires d’une mesure d’aide au retour à l’emploi » n’ont guère de sens par eux-
mêmes, s’ils ne sont pas mis en perspective avec l’évolution du marché de l’emploi.

De même, une analyse détaillée des indicateurs sociaux de la LOLF (menée sur l’exercice 2009) ont
amené Mireille Elbaum22 à formuler quatre principales réserves concernant le choix des
indicateurs retenus, qui rejoignent les limites avancées par François Ecalle.

20
François ECALLE, De la rationalisation des choix budgétaires à la LOLF, complément au rapport du CAS
21
En 2006, les indicateurs d’activité, de moyens ou de contexte représentaient 18 % de l’ensemble des
indicateurs. Cette catégorie a maintenant complètement disparu au profit des indicateurs d’efficacité,
d’efficience ou de qualité.
22
opus cit.

30
 V.1. Un problème d’hétérogénéité des indicateurs

Comme le souligne Mireille Elbaum, le problème d’hétérogénéité concerne aussi bien les objectifs
des différents programmes que la nature des indicateurs mobilisés pour les suivre. Nous nous
attachons cependant ici uniquement à la question des indicateurs.

Les indicateurs de la LOLF se rapportent parfois aux résultats finaux des politiques (par exemple le
taux de retour à l’emploi durable des publics en difficulté), mais aussi aux résultats intermédiaires
d’action déterminée (taux d’insertion des publics concernés par différentes mesures d’aide au
retour à l’emploi). De nombreux indicateurs sont par ailleurs des indicateurs de suivi de l’activité et
non des résultats des programmes, et sont ciblés sur certains dispositifs en particulier et pas
d’autres, ce qui donne une dimension très politique à la sélection opérée.

Cette hétérogénéité des indicateurs sélectionnés au sein d’une même mission, voire d’un même
programme, ne permet pas, au final, de disposer d’une vision d’ensemble cohérente des politiques
suivies.

V.2. Une inadéquation entre objectifs et indicateurs

Les indicateurs retenus sont parfois partiels ou ponctuels, ce qui peut générer des biais
d’interprétation. Par exemple : le taux d’appels téléphoniques traités par le dispositif d’accueil
téléphonique, de suivi et de traitement des situations de maltraitance envers les personnes âgées
est l’unique indicateur retenu pour mesurer l’atteinte de l’objectif de lutte contre la maltraitance
des personnes âgées, qui passe pourtant par d’autres vecteurs que la mise en place de numéros
verts.

V.3. Une liste d’indicateurs retenus qui peut paraître

incomplète

Même si la liste des indicateurs retenus est longue (plus d’un millier en comptant les budgets
annexes), certains indicateurs significatifs manquent à l’appel. Par exemple, la liste comprend très
peu d’indicateurs permettant d’évaluer le non-recours, qui est un aspect important à prendre en
compte pour mesurer l’efficacité des politiques.

V.4. Certains indicateurs retenus sont difficiles à interpréter

Certains indicateurs sont difficilement interprétables si l’on ne prend pas en compte les données de
contexte. Par exemple, le taux d’insertion des bénéficiaires de certaines mesures d’aide à l’emploi

31
ou à la formation (les contrats aidés, les contrats de professionnalisation ou encore les structures
d’insertion par l’activité économique) est sensible à la conjoncture économique et reflète pour une
large part les caractéristiques de leurs publics en terme d’âge, de qualification et de parcours
professionnel. Seule la comparaison avec une population témoin permettrait de mesurer l’existence
d’un effet positif du dispositif sur le retour à l’emploi. Cependant ce type de comparaison apparaît
particulièrement complexe, notamment en raison des biais de sélection des bénéficiaires à l’entrée
des différents dispositifs.

V.5. Un objectif de publication annuelle parfois inadapté aux

délais de production

L’évaluation d’une politique sociale suppose généralement la production d’études statistiques dont
la réalisation est couteuse en temps, d’autant plus lorsque la complexité de l’exercice et les
controverses qu’elle entraîne rendent nécessaire la réalisation de plusieurs études reposant sur des
méthodes différentes. Or l’annualité des procédures budgétaires conduit le Parlement à réexaminer
chaque année les objectifs et indicateurs sélectionnés, ce qui peut conduire dans certains cas à
produire des indicateurs qui n’ont pas pu faire l’objet des vérifications et contrôles qui seraient
souhaitables. Il serait donc préférable d’évaluer certains programmes sur une base pluriannuelle
afin de permettre la production et la publication d’indicateurs solides et fiables.

V.6. Une fiabilité variable des indicateurs

Nombre des indicateurs produits sont renseignés à partir d’informations collectées par les différents
gestionnaires qui peuvent être impliqués dans la mise en œuvre des dispositifs évalués. Ce
processus hétérogène de consolidation des données peut générer des niveaux de fiabilité variables
des indicateurs produits.

Par exemple, le taux de sortie du RSA par dépassement de ressources est calculé sur la base des
données des CAF, qui sont issues des déclarations trimestrielles de ressources des bénéficiaires,
indispensables pour effectuer le calcul du montant des droits. La remontée d’information est
organisée par la CNAF, à une date et une périodicité fixée identique pour toutes les CAF. Le calcul
de l’indicateur LOLF est donc effectué sur des bases identiques pour l’ensemble des CAF.

En revanche, s’agissant du taux d’insertion dans l’emploi à la sortie des structures d’insertion par
l’activité économique, le processus de remontée d’information est plus difficile à contrôler car les
données sont saisies au cours du temps par les structures d’insertion, sur la base des déclarations
des salariés. Un extranet est mis à disposition de toutes les structures d’insertion, mais elles ne
saisissent pas toutes l’information, et dans un certain nombre de cas, elles ne connaissent pas la
situation d’un nombre significatif de salariés.

32
 V.7. Un comité en charge d’auditer les indicateurs

De manière à pallier l’ensemble de ces limites, le Comité interministériel d'audit des programmes
(CIAP) réalise depuis 2009 des audits centrés sur le dispositif de performance, c'est-à-dire les
objectifs et indicateurs de performance figurant dans les PAP et les RAP.

Il doit notamment :

- veiller à l’adéquation entre les objectifs et les indicateurs ;

- s’efforcer de limiter le nombre des indicateurs en éliminant en particulier les indicateurs

non renseignés, de pure activité, dont le coût de collecte est trop élevé, non fiables ou
entraînant des biais manifestes ;

- auditer les cibles retenues pour chaque indicateur ;

- distinguer les actions relevant d’indicateurs de performance chiffrés et celles appelant une
démarche plus qualitative d’évaluation de politiques publiques.

Les audits sont ainsi organisés autour de questions correspondant aux trois dimensions de la
qualité d’un dispositif de performance.

- La pertinence marque l’aptitude des objectifs et indicateurs choisis à traduire la performance de

manière significative et fidèle (est-ce que les objectifs reflètent bien la stratégie, est-ce que les
indicateurs mesurent bien la performance ?) ;

- La fiabilité concerne, non plus la définition de l’indicateur, mais la qualité des données utilisées
et des traitements effectués. Il s’agit de savoir si la chaîne de production des indicateurs et les
dispositifs de contrôle interne présentent une fiabilité suffisante ;

- L’utilité : il s'agit de "sortir des PAP et des RAP" pour voir si, au-delà de la confection des
documents budgétaires, le dispositif de performance est effectivement utilisé dans la gestion des
services et dans la conduite des politiques.

En deux ans23, près d’un quart du dispositif de performance budgétaire a été examiné par le CIAP
(23% des programmes, 29 % des indicateurs). Les constats sont les suivants :

- Pertinence des indicateurs étudiés : 57 % de satisfaisants, 27 % d’acceptables et 16 %

d’insuffisants ;

- Fiabilité des données utilisées pour la production des indicateurs : 46 % de satisfaisants, 28

% d’acceptables et 26 % d’insuffisants ;

23
CIAP, rapport d’activité : huitième cycle d’audits, décembre 2011

33
 - Utilité opérationnelle des indicateurs : 39 % de satisfaisants, 33 % d’acceptables et 28 %
d’insuffisants.

Le fait qu’un indicateur soit considéré comme étant d’une fiabilité insuffisante ne signifie pas que le
chiffre fourni soit faux, mais que le processus de production ne présente pas une garantie
suffisante de qualité.

La production de certains indicateurs est associée à des difficultés spécifiques, auxquelles il s’avère
plus ou moins difficile de remédier :

- les indicateurs fondés sur des systèmes d’information imparfaits ;

- les indicateurs « composites », qui amalgament des données en provenance de sources

multiples et hétérogènes ;

- les indicateurs « ad hoc », c'est-à-dire créés spécifiquement pour les besoins du dispositif
de performance. Il s’agit de cas où la mesure de l’efficacité socio-économique ne peut être
effectuée à partir de sources administratives ou d’applications de gestion, ce qui exige
souvent la réalisation d’enquêtes spécifiques sur échantillon.

Si la qualité des indicateurs s’améliore progressivement, les audits font cependant apparaître que
l’interprétation et l’exploitation du dispositif de performance sont encore très insuffisantes. Les
commentaires portent essentiellement sur la description des variations, sans en analyser en
détail les causes.

En résumé, au-delà de la question de son périmètre, la LOLF présente une autre limite importante
concernant les indicateurs eux-mêmes. Parmi les problématiques qui ont été relevées :
l’hétérogénéité des indicateurs, leur inadéquation avec les objectifs, l’incomplétude de la liste des
indicateurs, les difficultés d’interprétation, la périodicité annuelle, et le degré de fiabilité variable
selon les indicateurs.

Il faut toutefois souligner que le choix des indicateurs LOLF est contraint par des questions :

- de complexité des dispositifs dont les objectifs sont parfois difficiles à résumer en un nombre
limité d’indicateurs quantitatifs ;

- de sensibilité aux variations à l’échelle d’une année, alors que la mesure des résultats finaux
peut nécessiter plusieurs années d’observation ;

- de périmètre de la LOLF qui oblige à se limiter aux dispositifs financés par l’Etat.

Pour connaître et pallier ces limites, le Comité interministériel d'audit des programmes (CIAP)
réalise depuis 2009 des audits. La qualité des indicateurs s’améliore donc progressivement mais
l’analyse des évolutions est encore trop succincte.

34
VI. LA LOLF : POUR LES GESTIONNAIRES, UN DISPOSITIF DE
SUIVI PARMI D’AUTRES

Comme nous l’avons évoqué plus haut, beaucoup d’indicateurs inscrits dans la LOLF sont obtenus
par agrégation d’informations produites par différents gestionnaires des dispositifs financés par
l’Etat qui ont des statuts très divers : service déconcentré de l’Etat, collectivité locale, association,
entreprise privée…

Si ces informations sont importantes pour pouvoir réaliser des arbitrages budgétaires au niveau de
l’Etat, elles ne présentent pas nécessairement le même intérêt localement pour les gestionnaires
des dispositifs. Par exemple, les structures d’insertion par l’activité économique se sentent plus
concernées par l’autonomisation de leur public ou par la viabilité financière de leur structure que
par le taux de retour à l’emploi à la sortie qui est mis en avant dans la LOLF.

Par ailleurs, lorsque les gestionnaires de dispositifs ont plusieurs financeurs, ils peuvent avoir à
faire remonter des données différentes afin de répondre aux demandes de chacun. Sans être
radicalement différentes, les données demandées peuvent nécessiter des reconstructions selon
différentes définitions. C’est en ce sens que les gestionnaires souhaitent que les demandes de
statistiques formulées par les différents financeurs puissent être harmonisées. Cette harmonisation
pourrait être facilitée par la mise en place d’instances territoriales de type conférence des
financeurs, qui au-delà de la simplification des dossiers, permettrait de conduire un dialogue de
gestion commun.

Les gestionnaires peuvent également avoir des besoins d’information qui leur sont propres, pour
suivre leur activité ou alimenter les partenaires locaux. Ils construisent alors et renseignent à
périodicité régulière leurs propres tableaux de bord, qui constituent de véritables outils de pilotage
de leur activité. Là encore, les données ne sont pas forcément radicalement différentes de celles
déjà transmises par ailleurs mais sont parfois compilées différemment.

Les structures gestionnaires peuvent donc être amenées à multiplier le suivi d’indicateurs pour
répondre à ces différentes attentes. Elles risquent alors de concentrer leurs efforts sur la
production des données statistiques attendues au détriment de l'action concrète d’une
part, et de l'évaluation réelle des résultats d’autre part.

Autre conséquence : les gestionnaires se sentent parfois démunis pour répondre à toutes les
demandes, qui peuvent nécessiter une adaptation des systèmes d’information existants ou
l’organisation de collectes d’information spécifiques. D’autant qu’ils ne sont pas toujours
convaincus de la pertinence des indicateurs demandés, qu’ils jugent trop restrictifs voire inadaptés
pour rendre compte de leur action.

Or l’acceptation des indicateurs de performance par les gestionnaires est nécessaire à deux
niveaux : pour que la dynamique liée au management par objectifs fonctionne (et que les
gestionnaires adaptent leur organisation pour avoir les meilleurs résultats possibles au regard des

35
indicateurs suivis) mais aussi pour que les indicateurs soient fiables (les gestionnaires devant
s’impliquer dans la production de l’information).

Cette acceptation dépend de la valeur mobilisatrice d’un indicateur pour un niveau de gestion
et dépend aussi de la façon dont les gestionnaires sont associés à l’élaboration des indicateurs et à
leur analyse. Ils doivent pouvoir donner leur avis sur la pertinence et la fiabilité des indicateurs
retenus, avoir un retour sur la valeur de l’indicateur et sur l’interprétation des variations, et que
s’instaure un véritable dialogue de gestion sur la base de ces informations.

Lorsque les structures sont regroupées en réseau, le réseau qui les fédère peut proposer des outils
pour aider à renseigner les indicateurs communs (logiciels de saisie, guides méthodologiques…).
Ainsi, les Centres Communaux d’Action Sociale (CCAS), qui doivent réaliser chaque année une
analyse des besoins sociaux de l’ensemble de la population de la commune, peuvent s’appuyer sur
des outils proposés par l’Union Nationale des CCAS. Le réseau peut également être force de
proposition auprès des financeurs pour proposer des indicateurs qui reçoivent l’assentiment de
tous.

En résumé, les gestionnaires des dispositifs financés par l’Etat sont à la source de nombreuses
informations qui alimentent les indicateurs de performance. Ils sont souvent démunis face à la
recrudescence des demandes d’informations chiffrées, d’autant qu’ils ne sont pas toujours
convaincus de la pertinence des indicateurs demandés et qu’ils n’en voient pas forcément l’intérêt
au niveau local. Or l’adhésion des gestionnaires à la démarche de performance est indispensable
pour qu’elle fonctionne.

Ces aspects seront développés dans la deuxième partie de ce document au travers de deux
exemples qui nous ont paru significatifs de l’évolution décrite dans cette première partie.

36
DEUXIEME PARTIE : L’EXEMPLE DES STRUCTURES D’INSERTION
PAR L’ACTIVITE ECONOMIQUE (SIAE)

Méthodologie recueil des données

Les informations utilisées dans cette partie proviennent :

- d’une recherche documentaire,

- de la réalisation d’entretiens avec des experts ayant une connaissance nationale du secteur de
l’IAE et de son évaluation (DGEFP, DARES, CNIAE, réseaux de l’IAE),

- de la réalisation d’entretiens avec une dizaine de responsables de différents types de structures

(Entreprises d’Insertion, Entreprises de Travail Temporaires d’Insertion, Associations
Intermédiaires, Ateliers et Chantiers d’Insertion) intervenant dans trois départements
différents : Val de Marne, Isère, Gironde24, qui nous ont fait part de leur expérience du suivi
d’indicateurs dans le cadre des nouvelles conventions avec l’Etat, mais également des relations
avec les autres financeurs.

Le secteur de l’Insertion par l’Activité Economique (IAE) est né, à la fin des années 1970, à
l’initiative de travailleurs sociaux à la recherche de nouveaux outils pour contribuer à la réinsertion
des publics en difficulté dont ils assuraient le suivi.

Leur dénominateur commun est l’utilisation du support « travail » comme outil de réinsertion des
personnes, ces structures ayant donc à la fois un pied dans le monde du social, et un pied dans le
monde économique « classique ».

Leur objectif est d’offrir aux personnes qu’elles salarient et qui rencontrent des difficultés sociales
et professionnelles particulières un parcours professionnel adapté et un accompagnement
personnalisé qui leur permettent de s’insérer, notamment par l’accès à l’emploi en milieu «
ordinaire ».

24
Ces trois départements ont été identifiés d’après une typologie des départements qui figure dans le bilan de
mise en œuvre de la réforme par le Centre National d’Appui et de Ressources de l’Insertion par l’activité
économique (CNARIAE) comme ayant des pratiques de dialogue de gestion associant des partenaires plus ou
moins diversifiés (Etat, Pôle emploi, Conseil Général, Conseil Régional).

37
Le secteur de l’IAE regroupe aujourd’hui environ 5 000 structures25, répartis en quatre catégories
correspondant à la diversité des difficultés rencontrées par les personnes orientées vers l’IAE :

· Les entreprises d’insertion (EI),

· Les entreprises de travail temporaire d’insertion (ETTI),

· Les associations intermédiaires (AI),

· Les ateliers et chantiers d’insertion (ACI).

Chaque année, plus de 250 000 salariés en insertion sont embauchés ou mis à disposition,
représentant plus de 70 000 ETP.

La loi n°98-657 du 29 juillet 1998 de lutte contre les exclusions, complétée en 2005 par la loi
relative à la cohésion sociale, a fixé le cadre dans lequel interviennent aujourd’hui ces structures. A
l’occasion du Grenelle de l’insertion qui s’est tenu de novembre 2007 à mai 2008, et qui avait pour
objectif de repenser les politiques d'insertion et d'accompagnement des personnes en difficulté, un
plan de modernisation de l’IAE a été adopté. Il s’articule autour de trois axes : la
redynamisation des conseils départementaux de l’IAE (CDIAE), la rénovation des modalités de
conventionnement des structures de l’IAE et la rénovation des modalités de financement.

En conclusion du rapport général, le Grenelle a mis en avant l’importance de développer

l’évaluation dans ce secteur, selon quatre axes complémentaires :

- développer l’évaluation du service rendu aux personnes, c’est-à-dire la mesure de

résultats individuels obtenus. Le rapport précisait que les résultats ne sauraient se limiter
au prisme unique du retour à l’emploi et qu’ils devaient être adaptés aux différentes
composantes et phases du parcours d’insertion ;

- rendre systématique et plus contraignante l’évaluation des opérateurs chargés de la mise en

œuvre des politiques, c’est-à-dire la mesure des performances de chaque structure ;

- mieux évaluer les politiques nationales (leur efficacité par rapport à leurs objectifs, leur
efficience globale, leurs effets sur leurs destinataires) ;

- évaluer la mise en œuvre locale de ces politiques, c’est-à-dire la mesure des

performances conjointes d’un ensemble d’acteurs sur un territoire.

25
Source : cnariae.fr. Ces données sont issues de plusieurs sources (DARES, ASP, réseaux) et reprennent les
éléments disponibles les plus récents (de 2006 à 2010). Il s’agit donc plus d’ordres de grandeurs que de
données absolues.

38
I. DE NOUVELLES REGLES DE CONVENTIONNEMENT DU SECTEUR
QUI PRIVILEGIENT LE RETOUR A L’EMPLOI

D’après l’article 11 de la loi relative à la lutte contre les exclusions de 1998, les publics accueillis
dans les SIAE sont « des personnes sans emploi rencontrant des difficultés sociales et
professionnelles particulières ». Dans ce contexte, afin de pallier la moindre productivité des
salariés dans le cadre d’une activité marchande et afin de prendre en charge une partie du coût de
leur accompagnement, ces structures reçoivent des financements de l’Etat. Chaque structure signe
une convention établie avec l’Unité Territoriale de la Direction régionale des entreprises, de la
concurrence, de la consommation, du travail et de l'emploi (UT Direccte), qui détermine les
conditions d'exercice de l'activité et ouvre droit à des aides financières.

Le secteur reçoit environ 600 millions € de l’Etat26. Les modalités d’attribution de ces aides varient
selon les structures : une aide au poste d’insertion en Entreprises d’Insertion (EI), une aide au
poste d’accompagnement en Entreprise de Travail Temporaire d’Insertion (ETTI), une aide à
l’accompagnement socioprofessionnel en Association Intermédiaire (AI) et Atelier et Chantier
d’Insertion (ACI), une prise en charge d’une partie de la rémunération versée aux salariés
(contrats aidés en ACI), et des exonérations de cotisations sociales.

En plus de l’aide de l’Etat, le secteur de l’IAE reçoit des aides du Fonds Social Européen (environ
100 millions €), des collectivités locales (environ 200 millions €), des Conseils généraux (aide au
poste et suivi RSA : 40 M€), des Communes et Communautés d’agglomérations, et des Conseils
régionaux (appui à la formation des salariés en insertion).

Suite à la mise en œuvre du plan de modernisation de l’IAE et à l’application de la LOLF depuis

2009, les financements de l’Etat accordés aux SIAE27 le sont au regard des résultats obtenus par
ces structures. Les SIAE étant financées au titre de la politique de l’emploi (les crédits affectés à
l’insertion par l’activité économique sont intégrés au sein du programme « accès et retour à
l’emploi » de la mission travail dans le cadre de la LOLF), les indicateurs principaux de résultat sont
des indicateurs de retour à l’emploi :

- un taux d’insertion dans l’emploi durable, qui comprend les sorties en CDI ou dans la
fonction publique, CDD ou missions d’intérim de plus de 6 mois et les créations
d’entreprise,

- un taux de « sorties dynamiques » qui intègre les sorties dans l’emploi durable et
celles vers un emploi de transition (CDD ou mission d’intérim de moins de 6 mois, contrats
aidés chez un employeur de droit commun, contrat d’apprentissage et de
professionnalisation) et « les sorties positives » (formations pré-qualifiantes ou
qualifiantes, embauches dans une autre SIAE…).

26
CNIAE : l’insertion par l’activité économique, présentation ADF, 2010.
27
Les nouvelles modalités de conventionnement Etat/SIAE sont décrites dans la circulaire DGEFP1 n° 2008-21
du 10 décembre 2008.

39
Ces objectifs doivent être négociés a minima entre la structure, les services déconcentrés de l’Etat
(DIRECCTE) et Pôle emploi, le minimum requis étant : un taux d’insertion dans l’emploi
durable au moins égal à 25% et un taux de « sorties dynamiques » au moins égal à
60%. Cette négociation, appelée également « dialogue de gestion », peut être élargie à d’autres
financeurs (en particulier les Conseils généraux).

Les nouvelles modalités de conventionnement prévoient la possibilité d’un accord triennal. Ce

cadre, en permettant une inscription plus rapide des crédits, doit permettre de pérenniser et
sécuriser le secteur. Chaque année, en cours de conventionnement, une phase de renégociation ou
d’actualisation de la convention doit alors être organisée. L’actualisation de la convention permet
un éventuel ajustement des objectifs (justifiés par une évolution du contexte territorial, des
difficultés au sein de la structure pendant l’année…).

Dans la pratique, d’après le bilan établi en 2011 par le CNAR-IE28, seuls 36 départements
négociaient des conventions pluriannuelles. Les autres départements établissaient toujours des
conventions annuelles. Par ailleurs, 76 départements seulement associaient Pôle emploi au
dialogue de gestion (alors qu’il devrait l’être systématiquement), 66 associaient le Conseil général,
21 le Conseil régional.

I.1. Une cadre qui semblait nécessaire

Ces nouvelles modalités de conventionnement ont représenté une évolution importante des
relations entre les SIAE et les représentants de l’Etat. Pour aider les structures à négocier ces
conventions et à en faire un outil de pilotage, un guide d’accompagnement a été produit par le
Centre National d’Appui et de Ressources- Insertion par l’activité économique (CNAR-IAE)29. La
plupart des réseaux de structures et associations d’insertion (CNEI, FNARS, COORACE,…) ont par
ailleurs réalisé des guides ou argumentaires sur les Nouvelles Modalités de Conventionnement
(NMC) adaptés aux spécificités de leurs adhérents.

Des formations ont également été proposées aux responsables de SIAE. D’après le bilan du CNAR-
IAE, en 2009 et 2010, près de 1 500 SIAE (soit moins d’un tiers des structures) ont fait l’objet d’un
accompagnement, individuel ou collectif, aux NMC. La plupart des structures accompagnées l’ont
été en 2009. En 2011, différents réseaux continuaient cependant d’organiser des réunions
d’information au sujet de la réforme NMC.

La majorité des acteurs interrogés dans le cadre de ce Cahier de recherche, tant au niveau national
que départemental, porte un jugement globalement positif sur le cadre donné par ces nouvelles
règles. Ils estiment qu’il est normal que les structures aient à rendre des comptes une fois par an

28
Nouvelles Modalités de Conventionnement Etat/SIAE, Bilan de la mise en œuvre de la réforme sur le territoire
national et de l’accompagnement des SIAE, Centre National d’Appui et de Ressources (CNARIAE), 2011.
29
Guide des nouvelles modalités de conventionnement Etat-IAE, CNAR –IAE, 2009.

40
sur l’action menée auprès de leurs publics et trouvent intéressant d’avoir une discussion avec les
représentants de l’Etat sur leur fonctionnement.

Cependant, pour les responsables de structures qui ont connu l’avant-réforme, le changement ne
leur semble pas si important. Ils avaient déjà l’occasion de présenter un bilan et d’échanger avec
les services de l’Etat. Le processus est néanmoins plus structuré depuis 2009 et les dossiers plus
fournis en données statistiques. Tous s’accordent à dire que ce nouveau cadre a ainsi contribué
à la structuration du secteur, à la professionnalisation des intervenants et au
développement de l’informatisation dans les structures ainsi qu’à une montée en
compétence des services déconcentrés.

Les principaux réseaux du secteur de l’IAE avaient d’ailleurs appelé lors du Grenelle de l’insertion à
une réforme du conventionnement (couplé à une réforme du financement qui n’a pas encore
abouti). Ils regrettent cependant que les nouvelles modalités de fonctionnement n’aient pas été
assorties d’une hausse des moyens affectés à l’IAE. Sur le terrain, les responsables de structure
ont ainsi le sentiment qu’on leur demande de faire toujours plus, aussi bien en termes de résultats
qu’en termes d’évaluation à moyens constants, voire avec moins de moyens.

Dans la pratique, il apparait que la qualité du dialogue de gestion entre la structure et la DIRECCTE
varie en fonction des interlocuteurs. Certaines structures apprécient ce point régulier qui peut être
l’occasion de collecter des informations ou demander des conseils, particulièrement si leur
interlocuteur à la DIRECCTE connait bien le secteur. Il arrive cependant que cet entretien laisse les
responsables de structures « sur leur faim », avec le sentiment que la DIRECCTE n’apporte pas
d’aide concrète et se focalise sur les données statistiques sans tenir compte des spécificités de la
structure et des difficultés auxquelles elle fait face. En particulier, la crise économique qui sévit
depuis 2009 a pu avoir de graves conséquences financières sur certaines structures, qui ont eu du
mal à assurer leur viabilité financière et qui ont parfois dû licencier des salariés permanents et
supprimé des postes d’insertion.

Dans certains départements, le turn-over des chargés de missions de la DIRECCTE est important,
ce qui ne facilite pas la construction de relations sur le long terme. Une des structures interrogées
est même restée plusieurs mois sans interlocuteur désigné. Parallèlement à la réforme du
conventionnement, une nouvelle organisation territoriale de l’Etat s’est mise en place (création des
DIRECCTE et des UT DIRECCTE), ce qui a pu entrainer des perturbations dans l’organisation des
services en charge de l’IAE.

Si la transmission du dossier de conventionnement et des données statistiques qui en font partie a

lieu chaque année, l’entretien consacré au dialogue de gestion n’est quant à lui pas systématique.
Certaines structures n’ont eu un entretien qu’une année sur deux. Dans tous les cas, les structures
reçoivent ensuite par courrier la notification du renouvellement de l’agrément et de l’obtention de
la subvention.

Beaucoup de structures regrettent que les relations avec la DIRECCTE se limitent à l’entretien
annuel. Il n’y a généralement pas d’autres échanges tout au long de l’année. Dans les trois
départements étudiés, les relations avec les Conseils généraux sont plus régulières, au travers de
différentes instances et comités. Le dialogue de gestion est moins formalisé (pas de

41
programmation d’entretien annuel), mais au final les structures sont dans l’ensemble plus
satisfaites du mode de relations avec cet autre financeur.

Ces dialogues de gestion donnent lieu au suivi d’indicateurs dont la pertinence est discutée dans la
suite de ce document.

I.2. Des indicateurs de performance incomplets, qui

manquent de souplesse et de fiabilité

I.2.1. L’indicateur de retour à l’emploi ne permet pas d’évaluer

l’ensemble des actions des SIAE

Les indicateurs de retour à l’emploi mis en avant par la LOLF (taux d’insertion dans l’emploi durable
et taux de sorties dynamiques) sont désormais devenus prioritaires pour les services de l’Etat,
reléguant les autres indicateurs au deuxième plan. Or, dès leur mise en place, ces indicateurs
étaient loin de faire l’unanimité30.

En premier lieu, le secteur de l’IAE regrettait d’être jugé au travers d’un indicateur dont le niveau
ne dépend pas uniquement de son intervention. Si l’autonomisation des publics en insertion est
bien entièrement de leur ressort, la sortie vers l’emploi dépend du potentiel économique de la zone
et du dynamisme du secteur d’activité dans lequel les structures d’insertion évoluent.

Face à cette focalisation des objectifs des SIAE sur le retour à l’emploi, des craintes de dérive du
sens même des SIAE se sont fait jour : demander à une SIAE une performance évaluée
uniquement à l’aune du retour à l’emploi risquait de pousser les SIAE à ne recruter que des
personnes proches de l’emploi ou à remettre leurs salariés en emploi à tout prix, dans des
conditions qui ne seraient pas propices à une insertion durable.

La mesure de l’impact des SIAE au travers du seul indicateur de retour à l’emploi apparait en effet
très partielle dans la mesure où elle ne prend pas en compte l’impact des SIAE :

o Sur le règlement des difficultés sociales des personnes qu’elles

accompagnent et sur l’accroissement de leur autonomie ;

o Sur l'environnement économique et social : contribution au dynamisme

économique et au maillage partenarial du secteur de l’insertion notamment

Dans son guide d’accompagnement, le CNAR-IAE invite d’ailleurs les structures à ajouter aux
indicateurs de retour à l’emploi des indicateurs plus qualitatifs dans leurs conventions avec les
financeurs. Le choix des indicateurs complémentaires doit reposer sur l’élaboration d’un diagnostic
détaillé, qui permet de préciser les apports de la SIAE à son territoire et à ses habitants. Ce
diagnostic doit faire apparaitre les points forts et les points faibles du territoire, des publics, et de

30
Comment évaluer la performance de l’IAE ? Jacques Dughéra, alternatives économiques n°44, mai 2010.

42
la structure pour que les objectifs du projet d’insertion soit en lien direct avec les problématiques
territoriales identifiées.

Le projet d’insertion inclut quatre axes ou actions-clés, qui peuvent chacun se décliner en
indicateurs d’activité ou en indicateurs de résultats intermédiaires, le retour à l’emploi
correspondant à un objectif de résultat final :

- axe 1 : accueil et intégration en milieu de travail : s’assurer que les personnes,

envoyées par les différents prescripteurs ou qui se présentent spontanément,
correspondent aux publics que la structure entend recruter, compte tenu de son projet
d’insertion ; informer les nouveaux salariés recrutés sur des postes d’insertion du
fonctionnement de la structure ; réaliser un diagnostic de leur situation au niveau social et
professionnel ;

- axe 2: accompagnement social et professionnel : accompagnement sur des

problématiques sociales identifiées, éventuellement effectué par un partenaire de la
structure ; encadrement sur les postes de travail ; préparation à la sortie ;

- axe 3 : formation des salariés en insertion : en dehors de l’offre « classique » des

organismes de formation, pas toujours adaptée aux publics des SIAE, des actions de
formation spécifiques sont mises en place de façon mutualisée par les structures
d’insertion.

- axe 4 : contribution à l’activité économique et au développement territorial : utilité

sociale au-delà de la remise au travail de demandeurs d’emploi, partenariats tissés au
service des salariés en insertion, contribution au développement du territoire à travers les
activités mises en œuvre et les emplois proposés.

Le guide propose, d’ajouter à ces dimensions un indicateur sur l’effet « emploi », par exemple trois
mois après la sortie de structure. Aucune structure interrogée dans le cadre de ce travail de
recherche n’a mis en place ce type de suivi. Outre les problèmes de faisabilité (elles n’ont pas la
possibilité de garder contact de façon systématique avec leurs anciens salariés), elles mettent aussi
en avant le fait que ce type de suivi est plutôt du ressort de Pôle Emploi.

Le réseau de la fédération Envie31 a réalisé un bilan de la mise en œuvre des nouvelles modalités
de conventionnement pour ses adhérents en 2009, et avait constaté à l’époque que seulement
17% des entreprises avaient négocié des indicateurs autres que le retour à l’emploi, tels que :

- la consommation du budget formation de l’entreprise ;

- le fait de trouver un logement ;

- l’obtention de modules de formation continue via l’AFPA ;

- la réalisation d’un bilan final de formation pour au moins 80% des salariés;

31
La Fédération Envie, créée en 1984, regroupe 48 entreprises présentes sur deux activités : la rénovation et la
vente d’appareils électroménagers à petits prix ; la collecte et le traitement des déchets d’équipements
électriques et électroniques.

43
 - le maintien en poste d’au moins 80% des salariés en insertion à l’issue de leur premier
CDDI.

D’après le Bilan du CNAR-IAE , on retrouve selon les réseaux et Départements, d’autres indicateurs
négociés comme :

- le passage ou l’obtention du permis de conduire ;

- la lutte contre l’illettrisme ;

- la résolution de problèmes de garde d’enfants ;

- le départ à la retraite ;

- des attestations de compétences dans le cadre de dispositifs clairement identifiés ;

- les orientations vers les MDPH ;

- l’accès à des formations qualifiantes pendant le parcours d’insertion ;

- l’inscription dans un « parcours de santé » ;

- une solution durable d’hébergement.

Dans les trois départements enquêtés pour cette recherche, le bilan effectué par les structures est
de fait très détaillé et suit les 4 axes du projet d’insertion (accueil et intégration, accompagnement,
formation, contribution à l’activité économique).

Outre les éléments relatifs à la description du fonctionnement de la structure (description du

projet, moyens humains et matériels, bilan financier), il comprend généralement des éléments
relatifs au profil et à la situation professionnelle des salariés à l’entrée de la structure, à l’activité
des salariés dans la structure, aux difficultés rencontrées, à l’accompagnement social et
professionnel mis en place pour résoudre ces difficultés et enfin à la situation à la sortie. Des focus
sur des publics prioritaires sont effectués : bénéficiaires du RSA, salariés de plus de 50 ans,
travailleurs handicapés, habitants de zones prioritaires…

Dans un des 3 départements étudiés, les structures doivent également détailler trois exemples de
parcours d’accompagnement, qui correspondent à des parcours réels de salariés de la structure et
qui doivent illustrer la diversité des actions mises en œuvre par la structure.

Toutes les structures mettent en avant le temps qu’elles consacrent à la constitution de ce bilan,
d’autant que les autres financeurs et le conseil d’administration formulent par ailleurs d’autres
demandes. Si les structures jugent pour la plupart intéressant de produire ce bilan détaillé,
certaines estiment que le temps qu’elles doivent y consacrer est trop important et intervient au
détriment de leur action auprès des publics à insérer. Un interlocuteur a utilisé le terme
d’ « asphyxie administrative » pour qualifier son sentiment face aux demandes toujours plus
nombreuses d’informations chiffrées et de justificatifs. D’autant que les financements accordés par
la DIRECCTE sont minoritaires dans le budget global des structures.

44
Si le bilan transmis à l’UT DIRECCTE contient beaucoup de données statistiques sur le profil des
publics comme sur les actions dont ils bénéficient, aucun indicateur n’est assorti d’une valeur-cible
en dehors du taux de retour à l’emploi. Il peut arriver cependant que des DIRECCTE aient exprimé
des exigences concernant l’embauche de catégories de publics particulières (femmes, travailleurs
handicapés,…). Selon les structures, ces exigences ne sont pas toujours réalistes : une structure
d’insertion qui travaille dans le gros œuvre se voit ainsi régulièrement demander d’embaucher des
femmes.

Quant au Conseil général, il fixe généralement un objectif de nombre de bénéficiaires du RSA socle
à embaucher dans la structure. Il s’intéresse à leur parcours et à leur devenir, mais sans fixer
d’objectif de taux de retour à l’emploi. Les Conseil généraux interrogés sont attentifs au fait que la
définition d’objectifs de retour à l’emploi peut porter préjudice au recrutement des bénéficiaires du
RSA, qui font partie des publics les moins employables.

I.2.2. La cible à atteindre pose question

D’après les acteurs interrogés au niveau national, les taux de 25% d’emploi durable et de 60% de
sortie positive ont été fixés selon une double logique :

- une comparaison avec les taux de sortie vers l’emploi d’autres dispositifs d’insertion et avec
les taux de sortie de SIAE qui suivaient déjà cet indicateur ;

- un taux d’insertion qui soit politiquement acceptable (demander un taux de sortie positive
de 60%, c’est admettre que 40% sortent de ces dispositifs sans solution).

Ces cibles s’imposent à toutes les structures quel que soit le contexte dans lequel la SIAE exerce
son activité d’insertion, ce qui parait inadapté pour trois raisons:

o les caractéristiques du public qu’elle accueille et en particulier son niveau

d’éloignement de l’emploi peut varier selon le projet social de la structure et
son public cible, mais aussi selon la conjoncture économique;

o le potentiel économique du territoire dans lequel la structure exerce son activité

peut varier fortement d’une structure à l’autre ;

o la résolution des difficultés sociales dépend de l’accompagnement social et

professionnel mis en place par l’ensemble des partenaires publics et privés
présents sur le territoire de la SIAE dans le cadre du parcours d’insertion.

Ces cibles ne sont pas adaptées à toutes les tailles d’établissement. Certaines structures ont en
effet très peu de salariés en insertion (quelques personnes). Dans ce cas, raisonner en taux de
sortie n’a statistiquement pas beaucoup de sens dans la mesure où la situation d’une seule
personne peut faire fortement évoluer le taux.

Si le taux de sortie positive (60%) n’est pas négociable, la ventilation entre sortie durable, sortie
de transition et autre sortie positive semble pouvoir être modulée dans certains départements :

45
certaines des structures interrogées ont ainsi pu faire baisser le taux d’emploi durable à 20% ou
moins, pour tenir compte des spécificités de leur public et du contexte économique local.

Pour la plupart des structures, ces taux sont difficiles à atteindre. Elles ont souvent le sentiment
qu’on leur demande de faire mieux que les dispositifs de droit commun alors qu’elles travaillent
avec un public en grande difficulté. Cette focalisation sur le taux de retour à l’emploi est d’autant
moins bien vécue que la structure doit faire face à des difficultés financières et disposent de ce fait
de moyens limités pour atteindre les objectifs. Les responsables, qui doivent assurer la survie de
leur structure, expriment ainsi leur incompréhension devant les priorités de la DIRECCTE.

Les indicateurs nationaux, qui sont calculés à partir des résultats de l’ensemble des structures
conventionnées dans le secteur, font apparaitre que les valeurs cibles ne sont pas atteintes (cf.
Figure 2). La Délégation Générale à l'Emploi et à la Formation Professionnelle (DGEFP) est
consciente du fait que la cible est difficile à atteindre. Elle a d’ailleurs été fixée sur la base de
performances de dispositifs d’insertion dans une période économique plus favorable. Elle indique
qu’on en est encore à la phase de consolidation de l’indicateur, dont la fiabilité s’améliore d’années
en années, et qu’il est donc prématuré de lancer une réflexion sur le réétalonnage de la cible.

Figure 2 : Taux d’insertion à la sortie

des structures d’insertion par l’activité économique (EI, ETTI, AI)
32
Taux d’insertion à la sortie
2008 2009 2010
(en emploi + formation qualifiante)
Entreprise d’insertion (EI) 22,8% 21,9% 25,8%
Dont emploi durable nd 9,9% 10,9%
Entreprise de travail temporaire d’insertion (ETTI) 46,7% 50,8% 51,3%
Dont emploi durable Nd 20,6% 22,7%
Association Intermédiaire (AI) 48,3% 46,0% 50,4%
Dont emploi durable nd 20,3% 21,9%
Source : publication DARES
NB : la sortie n’est pas connue pour 15 à 20% des salariés et connue mais non codée dans
les items prévus pour 20 à 25% des salariés selon le type de structures.

Les SIAE n’ayant pas atteint leurs objectifs font état de réactions variées de l’UT Direccte selon les
départements : certaines structures ont parfois le sentiment que la DIRECCTE considère que la
structure ne remplit pas sa mission, sans tenir compte de tout le travail qui est accompli en
matière d’accompagnement social et de formation. A l’inverse, d’autres structures estiment que la
DIRECCTE s’est montrée compréhensive et sensible aux arguments avancés par les responsables
de la structure pour justifier ce résultat, même si elle leur demande d’améliorer la performance
pour l’année suivante.

32
Ce taux calculé au niveau national ne représente qu’une partie du taux de sorties dynamiques discuté
localement avec les structures.

46
Jusqu’à présent, l’attribution des financements de l’Etat n’est pas officiellement conditionnée aux
performances des SIAE en matière de retour à l’emploi. Il n’y a en effet pas de lien automatique
entre l’atteinte des objectifs et l’octroi des aides. Les UT DIRECCTE doivent cependant prendre en
compte cet élément dans la négociation.

De fait, quelques structures interrogées qui n’avaient pas réussi à atteindre leurs objectifs de taux
de retour à l’emploi ont déjà subi une baisse du montant de leur aide (pour l’aide à
l’accompagnement et non pour l’aide au poste), sans que le lien entre la baisse des crédits et la
non-atteinte des objectifs soit toujours annoncé explicitement par la DIRECCTE. En fait, les critères
de répartition de l’enveloppe budgétaire attribuée au département ne sont pas connus des
structures, qui ne savent donc pas quelle place est précisément accordée à l’atteinte des objectifs
de taux de retour à l’emploi parmi les autres critères possibles, comme la qualité de
l’accompagnement ou la pertinence de l’action de la structure dans le paysage local.

Au-delà de ces cas précis où une baisse de l’aide a été constatée, les structures ont plutôt le
sentiment que la pression sur l’atteinte des objectifs s’intensifie d’une année sur l’autre. En
particulier, 2012 est pour les structures interrogées une année charnière, un délai de 3 ans leur
ayant été accordé pour atteindre les objectifs fixés en 2009. Elles craignent que l’attribution des
financements soit à l’avenir conditionnée à l’atteinte des objectifs.

I.2.3. La fiabilité de l’indicateur n’est pas satisfaisante, même si elle

s’améliore

Les données utilisées pour calculer l’indicateur national proviennent de l’Agence de Services et de
Paiement (ASP), chargée depuis la loi de cohésion sociale de 2005 de collecter en continu des
informations sur les structures de l’IAE et les salariés en insertion. La collecte se fait par le bais
d’un extranet que la plupart des structures utilisent33 : hormis pour les Associations intermédiaires,
les données saisies interviennent en effet dans le calcul du financement accordé par l’Etat.

Les données concernant la situation à la sortie des salariés étant renseignées par les structures, en
s’appuyant sur les déclarations des salariés sortants, la DARES émet des réserves sur la fiabilité de
cet indicateur. Il existe en effet une forte marge d’incertitude. Les responsables des structures
ne sont pas toujours en capacité de fournir des informations précises sur la situation de leur salarié
à la sortie. Pour les données relatives aux sortants de l’année 2010, la sortie est ainsi inconnue
pour 15 à 20% des sortants selon les structures, et n’est pas précisée pour 20 à 25% des sortants
selon les structures. Pour cette dernière catégorie, il peut s’agir d’une reprise d’emploi que la
structure n’est pas en mesure de caractériser, faute d’informations précises sur le type de contrat,
ou de situations particulières non prévues dans la liste des motifs de sortie (arrêt du parcours
d’insertion pour résoudre des difficultés sociales, congé de maternité, hospitalisation,

33
L’insertion par l’activité économique en 2010 : hausse des embauches après une année 2009 marquée par la
crise, Dares analyses, novembre 2012, n°78.

47
incarcération…). Des ajustements dans les nomenclatures sont à l’étude pour mieux repérer ces
situations particulières au niveau national.

Les dernières données nationales publiées datent de 2010, compte tenu du temps nécessaire à la
consolidation et à l’exploitation des données. Avec le temps, la qualité des données va
probablement s’améliorer car cette information étant alors discutée lors du dialogue de gestion, les
structures sont incitées à mesurer plus précisément le taux de retour à l’emploi. Ainsi, certains
responsables des structure interrogés nous ont expliqué se montrer plus exigeants vis-à-vis de
leurs salariés permanents sur la recherche de l’information et sur la saisie des données. Mais il n’en
demeure pas moins qu’il s’agit d’une information déclarative. Certaines DIRECCTE étudient la
possibilité de demander aux structures de fournir des justificatifs sur la situation de sortie (copie
des contrats de travail). Outre la lourdeur administrative que cela génère, les structures n’ont pas
les moyens de contraindre les salariés à leur fournir ce document.

La deuxième réserve provient du fait que la situation est observée à la sortie de la structure. Or la
notion de sortie est plus ou moins facile à cerner selon les structures et laisse une marge
d’interprétation : pour les AI en particulier, les personnes peuvent figurer encore dans le fichier
mais ne pas avoir eu de mission au cours des 6 derniers mois. On peut dans ce cas considérer que
la personne est sortie du dispositif ou qu’elle est encore en parcours, selon que l’on estime que la
personne bénéficiaire sera amenée ou non à être à nouveau suivie.

Enfin, cet indicateur ne donne aucune information sur la pérennité du retour à l’emploi (par
exemple rupture du CDI avant la période d’essai ou non pérennisation du salarié par l’employeur
après un premier CDD de 6 mois). Certaines structures attendent d’ailleurs la fin de la période
d’essai du contrat de droit commun pour considérer que le salarié est effectivement sorti de la
structure. En cas de rupture prématurée du contrat, il peut ainsi réintégrer la SAIE. Sinon, il doit
attendre 6 mois pour se réinscrire.

Il serait ainsi plus pertinent de mesurer systématiquement la situation professionnelle 3 ou 6 mois

après la sortie, afin de s’assurer de la durabilité du retour à l’emploi. Cette information est connue
pour les anciens salariés des Ateliers et Chantiers d’Insertion, puisqu’ils bénéficient d’un contrat
aidé. L’ensemble des sortants de contrats aidés se voient en effet envoyer un questionnaire papier
6 mois après la fin de leur contrat, dans lequel ils doivent indiquer quelle est leur situation.
L’information est donc obtenue cette fois directement auprès du salarié, avec toutefois des taux de
non-réponse assez élevés (de l’ordre de 60%). Un traitement statistique de la non-réponse est
donc effectué afin de corriger ainsi le fait que les non-répondants ont souvent des profils
spécifiques qui sont susceptibles d’affecter leur taux d’insertion dans l’emploi. Une piste serait
d’élargir cette enquête à tous les sortants de SIAE.

L’indicateur consolidé au niveau national est calculé par la DARES, sur la base du calcul réalisé par
chacune des structures, qui sont destinataires de consignes techniques sur le mode de calcul. Seuls
les salariés ayant passé au moins 3 mois dans la structure sont comptabilisés au dénominateur. A
l’origine, tous les sortants de plus de 3 mois étaient pris en compte, quel que soit le motif de
sortie. Suite aux retours d’expérience des structures, la DGEFP a accepté de revoir le mode de
calcul, pour neutraliser les sorties de type décès, congé maladie ou maternité, départ à la retraite,

48
déménagement qui venaient peser sur le taux de sortie positive sans que les structures puissent
agir sur ces situations particulières.

I.3. Les craintes sur la sélection des publics à l’entrée des

SIAE difficiles à vérifier

Au moment de la mise en place des nouvelles règles de conventionnement, de nombreux acteurs

du secteur ont exprimé leur crainte de voir les SIAE opérer une sélection des publics pour atteindre
les objectifs attendus par l’Etat en matière de retour à l’emploi.

Trois ans après, que peut-on dire de cet éventuel effet pervers ? Au niveau national, la plupart des
acteurs estiment que cet effet est réel, mais qu’il leur est impossible de le mesurer. Ils continuent
de craindre que cela influe à terme sur la nature même du secteur.

Le profil administratif (âge, niveau de formation, origine géographique, durée de chômage,…) ne

permet pas de connaitre précisément l’éloignement à l’emploi mais constitue une première
indication. Il faut toutefois souligner que l’évolution du profil des salariés peut être influencé par de
nombreux paramètres, en particulier la situation économique (en période de crise, les SIAE
accueillent un public moins en difficulté, qui ne trouve plus d’emploi en milieu ordinaire).

Les données de la DARES, qui décrivent le profil des salariés de l’IAE, ne couvrent encore que le
début de la période concernée. Il est trop tôt pour vérifier au travers de cette source si les profils
des salariés ont évolué significativement.

Selon le Comité National des Entreprises d’Insertion, les données statistiques issues de leurs
observatoires ne montrent pas d’évolution inquiétante du profil des salariés en parcours d’insertion
en EI et ETTI entre 2008 et 2011. La part des salariés en parcours d’insertion ayant un niveau
inférieur au niveau V a même progressé de deux points entre 2009 et 2011 pour atteindre 83%,
tandis que la proportion de bénéficiaires du RMI/RSA a également cru de 3 points en quatre
années, et que la part des demandeurs d’emploi de longue durée (12 à 24 mois) est restée stable
au cours des trois dernières années34.

Sur le terrain, la plupart des structures affirment ne pas avoir modifié leur mode de recrutement.
Elles rappellent que travailler avec des publics en difficulté constitue leur raison d’être et que par
ailleurs, les conseils d’administration comme les financeurs se montrent très attentifs aux
catégories de publics accueillis. Les objectifs fixés avec l’UT DIRECCTE pour l’année suivante
incluent en effet des quotas sur certains publics prioritaires.

Certaines structures ont tout de même signalé faire attention au moment du recrutement à la
mixité des profils : si la SIAE comprend déjà des salariés très éloignés de l’emploi, pour lequel le

34
Rapport CNEI pour l’IGAS-IGF réforme du financement de l’IAE, note 1 : le public en insertion dans les EI et
les ETTI, octobre 2012

49
parcours d’insertion prendra au moins deux ans, elle privilégiera pour les nouveaux entrants des
salariés dont les difficultés d’insertion peuvent être résolues plus rapidement.

Cependant, au-delà du taux de retour à l’emploi, certaines structures évoquent le fait qu’elles
doivent tout de même satisfaire à des obligations de rentabilité économique, et qu’elles ne peuvent
donc pas fonctionner qu’avec des salariés en grande difficulté.

Par ailleurs, même si les « sanctions » financières restent rares dans le cas où l’objectif de retour à
l’emploi n’est pas atteint, les structures risquent de se montrer plus sélectives à l’entrée si ces
sanctions se multiplient.

Les points d’amélioration du dispositif d’évaluation de la performance des SIAE

Quatre pistes principales d’amélioration ont été évoquées par les acteurs interrogés :

- Un élargissement des critères de performance des structures de l’IAE à d’autres dimensions

comme la qualité de l’accompagnement socio-professionnel ou l’impact sur le territoire ;

- Une harmonisation des demandes de conventionnement entre les différents partenaires, afin
d’alléger le travail administratif des structures ;

- Une meilleure prise en compte, des spécificités de la structure dans le dialogue de gestion ;

- Un dialogue de gestion commun à l’ensemble des financeurs, pour permettre une meilleure
concertation dans le choix des objectifs35.

II. QUELS INDICATEURS COMPLEMENTAIRES AU TAUX DE RETOUR

A L’EMPLOI ?

Il semble y avoir un consensus de l’ensemble des acteurs concernés sur la nécessité d’élargir les
critères de performance du secteur de l’IAE à d’autres indicateurs que le seul retour à l’emploi. La
DGEFP a lancé il y a quelques mois un groupe de travail sur l’évaluation de la performance dans ce
secteur, qui n’a pas encore rendu de conclusions.

35
La proposition d’une conférence des financeurs est reprise dans le nouveau plan de lutte contre la pauvreté
et pour l’inclusion sociale adopté le 20 janvier 2013 par le Comité Interministériel de Lutte contre les Exclusions
(CILE). Ces conférences des financeurs pourront être complétées par des conférences territoriales de suivi des
parcours, visant à articuler les interventions de chacun au service du parcours individualisé des personnes en
insertion professionnelle.

50
D’autres acteurs ont cependant déjà proposé des indicateurs permettant d’avoir une meilleure
connaissance des structures d’insertion d’un territoire donné et une meilleure compréhension de
leur impact. Ainsi, le CNIAE a développé un programme d’études régionales qui lui a permis
d’analyser l’impact de l’IAE dans les territoires concernés. Ces études ont été menées entre 2004
et 2006 dans quatre régions (Aquitaine, Franche-Comté, Pays de la Loire, PACA). Elles ont donné
lieu à une synthèse en 200936, dont les principaux enseignements sont présentés ci-dessous.

II.1. Une description de l’offre disponible en termes de taux

d’équipement

Le rapport du CNIAE remarque que l’analyse de l’offre d’insertion des territoires est aujourd’hui
essentiellement appréciée au travers du nombre de postes offerts ou de la quantité de travail
proposée, ce qui permet d’approcher le dimensionnement de l’offre sans pour autant donner
d’indication sur l’adéquation entre l’offre et la demande des territoires.

Pour cela il faudrait, selon le CNIAE, mener une analyse en termes de « taux d’équipement » qui
rapporte l’offre à des indicateurs de « besoin ». Le taux d’équipement peut ainsi être calculé par
rapport à plusieurs catégories de publics cibles :

- • la population active ;

- • les demandeurs d’emploi ;

- • les allocataires du RSA socle.

Cette approche permet en particulier d’estimer l’importance du secteur de l’IAE par rapport aux
différents publics cibles : ainsi le nombre de postes offerts peut apparaitre relativement faible si on
le rapporte à l’ensemble de la population active (moins de 1% en France métropolitaine37) ;
cependant, si l’on considère uniquement les publics qui constituent son cœur de cible
d’intervention, le poids du dispositif est nettement plus significatif (9% des demandeurs d’emploi,
20% des allocataires du RSA).

Les disparités peuvent cependant être importantes d’une région à l’autre : ainsi, en Franche Comté
par exemple, plus d’un allocataire du RSA sur deux pouvait accéder à une place en SIAE. Cette
analyse en terme de taux d’équipement doit ainsi pouvoir être menée à l’échelle infra-
départementale, au niveau de chaque bassin d’emploi, afin d’analyser la capacité de réponse des
territoires par rapport aux besoins des publics. Ce type d’analyse permet d’orienter la réflexion des
acteurs en charge du pilotage de l’IAE sur la nécessité éventuelle d’un rééquilibrage de l’offre aux
différents échelons de territoire (bassin d’emploi, département, région).

36
Synthèse des études territoriales : résultats et perspectives, mars 2009, CNIAE, http://portail-iae.org
37
DARES, 2006.

51
 II.2. La description des modalités de l’accompagnement

L’intensité et la qualité de l’accompagnement font partie des clés de la réussite des parcours des
salariés en insertion. Différents indicateurs quantitatifs pourraient ainsi être développés pour
appréhender cette dimension de la performance des SIAE :

- Le taux d'accompagnement des bénéficiaires : permanents dédiés à l'accompagnement en

ETP / salariés en insertion en ETP,

- Le taux d'encadrement des salariés : permanents dédiés à l'encadrement en ETP / salariés

en insertion en ETP,

- La part des salariés en insertion ayant suivi une formation au cours des 12 derniers mois,

- La part des salariés en insertion ayant obtenu un titre, un diplôme ou une validation
supérieure au cours des 12 derniers mois,

- La part du chiffre d’affaires de la structure affectée à la formation des salariés en insertion

et salariés permanents.

Par ailleurs, il faut identifier les outils de formation et d’accompagnement mis en place:

- plan de formation pour l'équipe permanente,

- plan de formation pour les salariés en insertion,

- formations internes,

- outils et procédures d'accompagnement social et professionnel : diagnostic sur la situation

administrative, sociale et professionnelle de la personne, évaluation des capacités et des
compétences, etc.

Enfin, le parcours d’insertion professionnelle des salariés se construisant en partenariat avec les
services sociaux, les services publics de l’emploi et de la formation et les entreprises locales et
branches professionnelles, une évaluation qualitative des actions et partenaires externes mobilisés
par la structure peut être menée : mobilisation des actions proposées par les partenaires,
conventions de partenariat signées, démarches de mutualisation, participation à des réseaux,
collaboration avec d'autres types de SIAE…

II.3. La description des publics accueillis

Il s’agit de prendre en compte le profil des salariés en insertion accueillis dans les SIAE et
notamment la part de bénéficiaires de minima sociaux (et notamment du RSA socle), de chômeurs
longue durée, de jeunes sans qualification, de personnes de plus de 50 ans, ou encore de
personnes en situation de handicap ou sous main de justice.

Afin d’apprécier l’éloignement à l’emploi, il est possible de mesurer le cumul de difficultés

sociales et médico-sociales auquel sont confrontées les personnes en insertion. Cet

52
indicateur permet de faire le lien entre les besoins des personnes en insertion et l’offre
d’accompagnement disponible. Il peut être visualisé sous la forme d’un « sociogramme », dont un
exemple développé par la région Aquitaine est présenté ci-dessous (cf figure n°3).

Ces données peuvent être compilées par structure, par bassin d’emploi, par département ou par
région. Elles permettent d’éclairer les trajectoires dans la structure et les situations d’emploi à la
sortie.

Figure 3 : Exemple de sociogramme

Source : étude d’impact de l’insertion par l’activité économique en aquitaine en 2004,

CNIAE

II.4. La mesure de l’impact

II.4.1. L’impact sur le devenir des bénéficiaires

Les études d’impact menées par certains territoires se sont penchées sur l’impact des SIAE sur le
parcours d’insertion des personnes, au-delà de l’accès à l’emploi, en tenant de mesurer
notamment : l’accroissement de l’autonomie des personnes, l’acquisition de compétences
transférables et la réduction de leur distance à l’emploi.

53
Un indicateur semble particulièrement bien adapté : il s’agit de l’évolution des difficultés
identifiées au travers du sociogramme ci-dessus. D’après les entretiens réalisés, il semble
que les structures fournissent déjà un point assez complet des difficultés rencontrées par leurs
publics à l’entrée de la structure et de celles qui ont pu être résolues. Ce point est déjà discuté lors
du dialogue de gestion et figure dans les données statistiques transmises dans le dossier de
demande de conventionnement. Il parait pertinent de capitaliser ces données et de les agréger au
niveau départemental, régional et national afin de disposer d’indicateurs de l’impact social des
SIAE.

Par ailleurs, rappelons ici la piste évoquée plus haut consistant à appréhender le devenir
professionnel des salariés sortant de structures d’insertion 6 mois après leur sortie. Cette
information pourrait être obtenue en élargissant le champ de l’enquête réalisée par la DARES
auprès des bénéficiaires de contrats aidés à tous les sortants de SIAE.

II.4.2. L’impact économique des SIAE sur les territoires

Les SIAE sont des acteurs économiques des territoires sur lesquels ils interviennent puisqu’ils
participent à la production de richesses et distribuent des revenus tant au travers des salaires
versés que des achats aux entreprises du territoire. Le secteur mobilise d’importants financements
publics mais les études régionales du CNIAE semblent montrer que le retour sur investissement est
positif pour les collectivités.

L’impact des SIAE sur les territoires peut également être apprécié au travers de la nature des
activités et des modes de production des structures, qui peuvent s’inscrire dans des logiques de
développement durable et ainsi participer à proposer des modèles économiques plus respectueux
de l’environnement.

Ces apports restent cependant difficiles à valoriser au travers d’indicateurs statistiques ou

quantitatifs.

54
En résumé : les nouvelles règles de contractualisation en vigueur dans le secteur de l’IAE
depuis 2009 ont donné un cadre plus structuré aux relations entre l’Etat et les structures
de l’IAE.

Cependant, la qualité du dialogue de gestion semble très variable selon les territoires, et
selon les interlocuteurs. Si certaines structures considèrent avoir un véritable échange et
une marge de négociation avec leur UT DIRECCTE, d’autres n’obtiennent pas le soutien et
l’écoute espérés.

La mesure de la performance du secteur de l’IAE sur le retour à l’emploi des salariés en

insertion apparaît à la fois imparfaite et trop réductrice. La fiabilité de l’indicateur retenu
de retour à l’emploi peut en effet être questionnée, en ce sens qu’il repose sur des
données déclaratives et que l’information est parfois manquante ou incomplète. De plus,
l’identification des situations à la sortie de la structure ne donne pas d’indications sur la
durabilité de l’insertion. Une évaluation d’impact qui s’appuierait sur une enquête
systématique auprès des salariés, 6 mois après la sortie, semblable à celle qui est
réalisée sur les sortants de contrats aidés, apparaitrait plus satisfaisante.

Par ailleurs, si la reprise d’emploi est sans conteste le résultat final visé par les
structures, il est souvent difficile à obtenir, à la fois en raison du cumul de difficultés
auquel font face les salariés en insertion, et en raison de la situation du marché du
travail qui présente peu d’opportunités d’emploi. Les structures obtiennent cependant
des résultats en matière d’autonomisation des publics (réduction de l’éloignement à
l’emploi), qu’il serait nécessaire d’évaluer et de diffuser. Elles ont également un impact
économique et social sur les territoires où elles interviennent qui pourrait être mieux
valorisé.

Le nouveau plan de lutte contre la pauvreté et pour l’inclusion sociale, validé le 20

janvier 2013 par le Comité Interministériel de Lutte contre les Exclusions, prévoit le
lancement d’une réflexion partenariale pour réformer le financement du secteur et revoir
les critères de performance. Cette réflexion devrait s’appuyer en particulier sur les
conclusions du récent rapport de l’IGAS-IGF et sur les travaux du groupe de travail piloté
par la DGEFP sur la mesure de la performance dans le secteur de l’IAE.

55
TROISIEME PARTIE : L’EXEMPLE DU REVENU DE SOLIDARITE
ACTIVE (RSA)

Méthodologie de recueil des données

Les informations mobilisées dans cette partie proviennent :

- D’une recherche documentaire sur la base des rapports de la CNAF, Pôle Emploi, le Comité
National d’Evaluation du RSA, la DREES, la Cour des Comptes, l’IGAS, le CEE, la SFE,…

- De la réalisation d’entretiens d’acteurs dans 5 Conseils Généraux : Hérault, Côte d’Or,

Meurthe et Moselle, Yvelines et Deux-Sèvres (responsables au sein des directions insertion et/ou
emploi et/ou solidarité et/ou finance et/ou qualité).

- De travaux du CREDOC sur le RSA réalisés par le département Evaluation des Politiques
Sociales (évaluation qualitative, dans le cadre du Comité National d’Evaluation du RSA, du vécu
des bénéficiaires ainsi que des évaluations de Plans Départementaux d’Insertion et de Plans
Territoriaux d’Insertion).

Remarques méthodologiques : Les éléments d’information recueillis, pour cette étude, auprès
des départements interrogés ont valeur d’exemples et d’illustrations ; ils ne visent pas à atteindre
la représentativité des modes organisationnels départementaux mais plutôt à appréhender
l’hétérogénéité des pratiques départementales.

Rappel sur le dispositif du RSA

Après 20 ans d’existence, le Revenu Minimum d’Insertion (RMI) est remplacé par le Revenu de
Solidarité Active (RSA) - en application de la loi du 1er décembre 2008 - qui succède également à
l’Allocation de Parent Isolé (API). Ce nouveau dispositif a pour objectif d’apporter des réponses
aux insuffisances du RMI dans la lutte contre le chômage et la pauvreté ; il représente
alors une nouvelle étape dans la prise en charge et l’accompagnement des personnes exclues de
l’emploi.

Dispositif composite, il fait ainsi entrer de nouveaux types de publics dans le périmètre des
politiques sociales à la charge des départements. De fait, en même temps qu’elle augmente le
champ de responsabilité des départements et réaffirme leur fonction de chef de file des politiques
d’insertion, la loi du 1er décembre 2008 leur confie également le soin de définir les dispositifs
partenariaux d’accompagnement qu’ils souhaitent mettre en œuvre sur leur territoire.

56
L’enjeu pour les Conseils Généraux consiste à assumer la mise en œuvre de ce dispositif à
destination de l’ensemble des bénéficiaires, en intégrant les spécificités locales et en mettant à
profit les maillages partenariaux déjà effectifs.

Au niveau de l’Etat, l’historique de son financement est complexe. Bien que présenté dans les
projets de loi de finances comme « une prestation de solidarité nouvelle calculée en fonction des
revenus du travail, de la situation familiale et des autres ressources des ménages38 », le RSA
résulte de l'addition de prestations déjà existantes (RMI, API) et de la soustraction d'une partie de
la PPE (Prime Pour l’Emploi).

La possibilité de cumuler une partie de l’allocation avec les revenus d’activité, sans limite dans le
temps, renforce l'incitation à la reprise d'activité ou à l’augmentation du temps de travail.

Concrètement :

• en l’absence de revenu d’activité, le RSA versé permet de compléter les autres revenus du
foyer pour atteindre un montant forfaitaire, qui dépend de la composition du foyer ;
• en présence de revenus d’activité, le RSA versé garantit que le foyer perçoive le montant
forfaitaire, augmenté de 62% des revenus d’activité39 et ce, de manière pérenne, tant que
les conditions d’accès au dispositif sont remplies, et en particulier tant que le bénéficiaire
se trouve en dessous d'un certain seuil de ressources.

Une des caractéristiques régulièrement mise en évidence par les évaluations du RMI était celle
d’être un dispositif présentant le risque de créer des « trappes à inactivité ». Le RMI était une
allocation différentielle, dont le montant correspondait à la différence entre le plafond de
ressources garanti (en fonction du nombre de personnes du foyer) et les ressources du foyer
allocataire. En dehors de la période d’intéressement, ce mécanisme annulait tout gain financier à la
reprise d’un emploi dont le salaire était inférieur au montant du RMI, puisque l’allocation était
réduite à hauteur du revenu d’activité. Le bénéficiaire pouvait ainsi ne pas être incité à rechercher
ou reprendre un emploi si le gain qu’il procurait était trop faible, d’où l’effet observé de « trappe à
inactivité ». D’après Michèle LELIEVRE et E. NAUZE-FICHET40 « parmi les bénéficiaires du RMI,
30% étaient en accord avec l’opinion générale selon laquelle « il est parfois plus avantageux de
percevoir le RMI que de travailler avec un bas salaire », même si la majorité de ces mêmes
personnes pense toutefois que leur propre situation financière s’améliorerait avec un emploi
(70%).

38
Projet annuel de performances annexé au projet de loi de finances pour 2011, mission Solidarité, insertion et égalité des
chances, p. 23.
39
Après plusieurs réformes depuis sa création, l’intéressement relatif au dispositif du RMI était temporaire : en 2006, il était de
100% sur les 3 premiers mois puis de 50% sur les 9 mois suivants.
40
RMI, l’état des lieux, 1988 – 2008. Sous la direction de Michèle LELIEVRE, Emmanuelle NAUZE-FICHET. Editions La
Découverte, Paris, 2008, p. 168.

57
Présentation des axes d’analyse

Le RSA a été conçu comme un dispositif garantissant une allocation de subsistance et la possibilité
de cumuler revenus du travail et revenus de la solidarité publique ; il doit permettre à la fois une
réduction de la pauvreté et un retour à l’emploi, facilité par ailleurs par la mise en place d’un
accompagnement renforcé.

Du point de vue du suivi et de l’évaluation, les acteurs impliqués à chaque échelon de mise en
œuvre du RSA produisent leurs propres indicateurs et critères d’évaluation. La question de l’utilité
et de l’utilisation de ces indicateurs se pose de façon transversale à tous les échelons. Au service
de logiques d’actions distinctes, quels usages les acteurs nationaux, départementaux et locaux
font-ils de ces indicateurs ? Quels intérêts et objectifs viennent-t-ils renseigner ? Comment sont-ils
construits, quelle est leur pertinence et quelles sont leurs limites ? Nous nous proposons de
répondre à ces questions aux trois niveaux d’analyse du pilotage du dispositif du RSA afin
d’appréhender la cohérence et les complémentarités des différentes approches.

Au niveau national, l’Etat est garant de la mise en œuvre du RSA sur les territoires, selon les
normes d’action sociale prévues par la loi. Le niveau départemental correspond à celui de sa mise
en œuvre concrète, tant fonctionnelle qu’organisationnelle, soumis aux disparités d’application
inhérentes à la gestion décentralisée. Enfin, le niveau local est celui de la relation directe
d’accompagnement entre professionnels (travailleurs sociaux et conseillers en insertion) et
bénéficiaires.

I. L’APPROCHE EVALUATIVE DU POINT DE VUE DE L’ETAT : DES

INDICATEURS NON CONTEXTUALISES ET DIFFICILES A
INTERPRETER

I.1. La LOLF, des indicateurs incomplets

Dans une logique de résultat, la mesure des effets sur le retour à l’emploi et celle de la lutte
contre la pauvreté apparaissent comme les deux indicateurs majeurs au niveau national. Ils
figurent dans les projets annuels de performances (PAP) et les rapports annuels de performances
(RAP) de la LOLF, joints aux projets de loi de finance et de règlement, qui se déclinent en missions
et en programmes41. Ce sont des indicateurs majeurs de la mission « Solidarité, insertion et

41
Des projets annuels de performances (PAP) sont annexés au projet de loi de finances (PLF), en vertu de l’art. 51 de la loi
organique relative aux lois de finances (LOLF).

58
égalité des chances » et sont présentés, avec des ajustements, dans les PAP relatifs aux années
2011 et 201242 :

Mission : Solidarité, insertion et égalité des chances

Programme 304 – Lutte contre la pauvreté : revenu de solidarité active et expérimentations

sociales

Objectif 1 : améliorer l’accès à l’emploi et l’autonomie financière des bénéficiaires du RSA

Indicateurs 1.1 : Part des bénéficiaires du RSA sans emploi qui reprennent une activité

Indicateur 1.2 : Part des foyers bénéficiaires du RSA en emploi dont les revenus sont supérieurs à
150% du montant forfaitaire

Indicateur 1.3 : Taux de sortie du RSA pour dépassement de ressources

Dans ce cadre, la référence à la reprise d’activité, à travers l’indicateur 1.1, nous informe sur la
part des bénéficiaires du RSA qui ont eu au moins une fois dans l’année un revenu d’activité. Pour
2012, cet indicateur a été modifié au profit de « la part des foyers allocataires du RSA dont au
moins un des membres reprend une activité au cours de l’année ». Cependant, ce mode de calcul
ne nous permet pas d’évaluer la qualité (niveau de revenu procuré pour le travail) ni la
pérennité des emplois concernés.

Par ailleurs, au sein de cette Mission Solidarité, le « taux de sortie du RSA pour dépassement de
ressources » (indicateur 1.3) est à entendre comme le taux de sortie du RSA pour dépassement de
ressources liées à l’activité. Par rapport à l’indicateur 1.1 qui cumule toutes les reprises d’emploi
quelle que soit l’importance des revenus, celui-ci mesure les sorties « positives » du fait d’un
emploi qui apporte des revenus supérieurs au revenu garanti. Tout comme le premier indicateur,
les modes de calcul pouvaient conduire à compter le même allocataire à chacune de ses entrées et
sorties de l’année, si bien que la hausse peut signifier aussi bien l’instabilité des revenus,
que des sorties durables du RSA. Dans le PAP 2012, cet indicateur à donc été modifié pour
tenter de corriger ces biais et mesurer plus précisément ce franchissement du seuil.

Plus qu’une mesure objective du retour à l’emploi attendu, ces indicateurs de la mission Solidarité
cherchent à rendre compte de l’atteinte des objectifs nationaux du dispositif (insertion
professionnelle et lutte contre la pauvreté) mais, à ce stade, ils décrivent uniquement des
mouvements à l’intérieur de la population des bénéficiaires, de part et d’autre des seuils.

42
Mission Solidarité, insertion et égalité des chances, programme 304 « Lutte contre la pauvreté : revenu de solidarité active et
expérimentation sociale », Projet annuel de performance annexé au projet de loi de finances, 2011 et 2012

59
 I.2. Le Comité National d’Evaluation ou comment approcher
la complexité d’une politique décentralisée

Afin de suivre et d’orienter la mise en œuvre de cette nouvelle politique d’insertion, l’article 32 de
la loi n° 2008-1249 du 1er décembre 2008 généralisant le RSA prévoyait que soit institué un
Comité National d’Evaluation (CNE) comprenant des représentants des départements, de l’Etat, de
la CNAF et de la CCMSA, de Pôle Emploi, ainsi que des bénéficiaires du RSA et des personnalités
qualifiées. Ce comité a eu en charge de conduire l’évaluation des différentes étapes de déploiement
du dispositif sur les territoires.

Le Comité d’évaluation avait comme premier objectif la préparation des travaux de la conférence
nationale prévue avant fin 2011, deux ans après sa mise en œuvre par les Conseils Généraux.
Cette conférence devait évaluer la performance du RSA en matière de lutte contre la
pauvreté et de reprise d’activité, établir le coût du dispositif et analyser les
conséquences du dispositif sur le recours au temps partiel dans les secteurs marchands
et non marchands. Le Comité d’évaluation du RSA a élaboré ses travaux sur la base de
différentes enquêtes menées auprès des Conseils Généraux, des Caf, des caisses de MSA et des
directions territoriales de Pôle emploi.

Adossés aux exigences de conformité aux normes d’action publiques, le Comité National
d’Evaluation s’était donné pour mission d’évaluer le dispositif du RSA en 12 points. Dans la lignée
des deux objectifs - insertion professionnelle et lutte contre la pauvreté – précédemment déclinés
au travers du prisme de la LOLF, nous orientons notre analyse relative à ces missions du CNE
autour des deux premiers points prévus, dans la mesure où ils reflètent par ailleurs les enjeux
centraux du dispositif, à savoir :

« 1. Quel est l’effet du RSA sur la pauvreté, et, plus spécifiquement, combien de personnes
franchissent le seuil de la pauvreté grâce au rSa ?

2. Quel est l’effet du RSA sur l’insertion professionnelle des allocataires et, plus globalement, sur le
marché du travail ? »

I.2.1. Mesurer l’effet du RSA sur la pauvreté : des indicateurs qui rendent
compte des évolutions du revenu mais qui ne permettent pas
d’appréhender les effets du dispositif sur l’intensité de la pauvreté.

La lutte contre la pauvreté est l’un des principaux objectifs affichés par la loi du 1er décembre
2008, via deux effets :

- un effet direct, lié au supplément de revenu qu’il procure ;

- un effet indirect, via l’augmentation du niveau d’activité et des revenus d’activité des
ménages.

60
Le CNE propose deux indicateurs de mesure de l’impact du RSA sur la pauvreté, basés sur 2
ensembles distincts de données :

- Des données, issues des revenus déclarés, de la CNAF et de la CCMSA : le RSA accroît
d’environ 18% le revenu mensuel médian par unité de consommation des bénéficiaires. En
calculant ce que serait la distribution des revenus en l’absence de RSA activité, le CNAF
montre que cette composante du RSA permet en décembre 2010 de diminuer la pauvreté
(c'est-à-dire la proportion de la population métropolitaine de moins de 65 ans qui est en
deçà du seuil de pauvreté43) de 0,2 point (soit de 16,3% en l’absence de RSA activité à
16,1%, la valeur observée).
- Des données fondées sur la micro-simulation à partir de l’Enquête Revenus Fiscaux et
Sociaux (ERFS) qui présentent l’avantage de prendre en compte la fiscalité donc la PPE. Le
revenu annuel médian par unité de consommation des ménages (et non pas les foyers
allocataires) ayant perçu au moins une fois durant l’année du RSA est accru, du fait de la
prestation, de 11% si on ne prend pas en compte la fiscalité dont principalement la
réduction de PPE qui en résulte, et de 7% en prenant en compte cet effet. Le modèle de
micro-simulation permet également d’estimer qu’en 2010, le RSA a permis de faire baisser
le nombre de pauvres de 2% (-150 000 personnes pauvres) et le taux de pauvreté de 0,2
point par rapport à l’année précédente.

En l’absence de valeur cible relative à la lutte contre la pauvreté, ces résultats décrivent l’incidence
du dispositif sur le taux de pauvreté, mais ne permettent pas de renseigner sa performance en
matière de lutte contre la pauvreté permise par la généralisation du dispositif qui dispose de
caractéristiques propres au regard de son contexte d’application.

De plus, la mesure de l’effet du RSA sur l’intensité de la pauvreté44 est abordée dans deux
des annexes du rapport final du CNE. L’une réalisée par la CNAF, indique que « la croissance du
Revenu par Unité de Consommation entraine une diminution de l’intensité de la pauvreté qui passe
de 32 % à 19 % après prise en compte du RSA45 ». L’auteur annonce ensuite que ces chiffres ne
tiennent pas compte des nombreux facteurs : la fiscalité, la PPE ou encore l’effet de mesures
incitatives précédentes qui viennent surestimer cette diminution. Par ailleurs, le rapport de la
Direction Générale du Trésor46, précise que l’effet du RSA activité sur l’intensité de la pauvreté est

43
Le seuil de pauvreté en France et en Europe est fixé de façon relative. On considère comme pauvre une personne dont les
revenus sont inférieurs à un certain pourcentage (60% par l’INSEE) du revenu dit "médian". Ce revenu médian est celui qui
partage la population en deux, autant gagne moins, autant gagne davantage. Quand le revenu médian augmente, le seuil de
pauvreté s’accroît donc. En 2010 il était situé à 964 € par unité de consommation.

44
L’intensité de la pauvreté est un indicateur qui permet d'apprécier à quel point le niveau de vie de la population pauvre est
éloigné du seuil de pauvreté. L'INSEE mesure cet indicateur comme l'écart relatif entre le niveau de vie médian de la population
pauvre et le seuil de pauvreté. Il est calculé de la manière suivante : (seuil de pauvreté - niveau de vie médian de la population
pauvre) / seuil de pauvreté. Plus cet indicateur est élevé et plus la pauvreté est dite intense, au sens où le niveau de vie des
plus pauvres est très inférieur au seuil de pauvreté.
44
Comité d’évaluation du RSA, décembre 2011, annexe 2, L’effet du RSA sur les bas revenus, Brigitte Debras (Cnaf).
45
Comité d’évaluation du RSA, décembre 2011, annexe 2, L’effet du RSA sur les bas revenus, Brigitte Debras (Cnaf).
46
Comité d’évaluation du RSA, décembre 2011, annexe 3, Le non-recours au rSa : effet sur le revenu disponible des ménages
modestes, Guy Lalanne (DG Trésor).

61
également fortement atténué par le non recours, à savoir les personnes éligibles au RSA mais qui
ne font pas valoir leur droit. « L’intensité de la pauvreté serait réduite de 1,8 points pour
l’ensemble de la population et de 2,8 points sur les travailleurs par le RSA activité en l’absence de
non recours. Et en prenant en compte le non recours, l’effet sur l’intensité de la pauvreté n’est plus
que de 0,5 point sur l’ensemble de la population et de 1,3 point sur les travailleurs. »

La réduction du taux de pauvreté peut s’entendre comme une diminution de l’intensité de la

pauvreté - c’est-à-dire la distance qui sépare le revenu des foyers pauvres du seuil de pauvreté -
ou comme la réduction du nombre de foyers dont le revenu est inférieur à ce seuil. Or, le taux de
pauvreté présente des limites liées aux effets de seuil et aux effets indirects de la perte de droits
connexes : bénéficiaires perdant leurs droits à la CMU complémentaire ou les aides aux transports
ou la majoration de l’allocation logement, par exemple.

Aussi pourrions-nous par exemple observer, dans le même temps, un recul du nombre de
personnes pauvres (par effets de seuil et ne présageant rien sur leurs conditions réelles) et une
intensification de la pauvreté.

I.2.2. L’impact du RSA sur le retour à l’emploi : des indicateurs qui ne

permettent pas réellement d’apprécier les effets attendus

Le deuxième objectif majeur du RSA est de favoriser le retour à l’emploi des bénéficiaires. La
mesure de l’effet propre du RSA en termes de retour à l’emploi constitue donc un enjeu crucial en
termes d’évaluation des politiques publiques. Plusieurs méthodes ont pu être mises en œuvre pour
apporter des réponses à cette question évaluative, notamment la mobilisation de données
administratives ou la réalisation d’enquêtes ad hoc. Dans le cadre du comité national d’évaluation,
une méthode de calcul d’un taux de reprise d’emploi a été définie à partir des fichiers
administratifs. D’une manière schématique, cette méthode47 consiste à calculer le pourcentage des
bénéficiaires du RMI, de l’API ou du RSA socle sans emploi au titre du mois M-1 qui sont en emploi
au titre du mois M. Le périmètre du RMI, de l’API étant pratiquement le même que celui du RSA
socle, cette méthode permet de comparer les taux de reprise d’emploi avant et après la mise en
place du RSA. Cette approche se heurte cependant au changement du contexte économique :
évaluer le dispositif du RSA à l’aune du RMI pose le problème de la période de référence.

Dans son rapport de décembre 2011, le CNE reste relativement prudent quant aux mesures des
effets du RSA sur le taux retour à l’emploi. Des études locales sur des groupes de bénéficiaires
n’ont pas permis de faire ressortir de tendances marquantes relatives à ce taux. « On ne peut
rejeter l’hypothèse que l’incitation financière que le RSA apporte a un effet positif sur la reprise
d’activité des sans-emploi. Cependant la différence que représente le RSA par rapport au RMI,
antérieur en termes d’incitation financière et d’accompagnement, ne semble pas suffisante pour
provoquer une modification majeure des comportements de reprise d’emploi48 ». Ici à nouveau,

47
Premiers éléments de comparaison du taux de reprise d’emploi des bénéficiaires du RSA socle par rapport au RMI et à l’API.
Stéphane Donné – CNAF. Annexe 5 du rapport intermédiaire du CNE. Décembre 2010.
48
Comité National d’Evaluation du RSA, rapport final, décembre 2011.

62
nous nous interrogeons sur la pertinence et la valeur de cette différence attendue au regard
des contextes, économiques et sociodémographiques, propres aux deux périodes distinctes de
déploiement des deux dispositifs.

Sur la période des travaux du CNE, les résultats montrent que le taux de reprise d’emploi s’élève à
environ 2,5 % sur la période décembre 2007-août 2008. D’octobre 2008 à mars 2009, on constate
une diminution liée à l’effet de la crise économique : en mars 2009, ce taux s’élève à 2 %. En
juillet 2009, le niveau de reprise d’emploi est plus élevé (environ 3 %). Cet effet se confirme tout
au long du second semestre 2009. À partir de janvier 2010, le taux de reprise d’emploi diminue. Au
final, depuis la mise en place du RSA, entre 2,5% et 3,5% des foyers allocataires du RSA socle
sans revenu d’activité déclaré, connaissent - au cours du mois suivant - une reprise d’emploi. A
noter qu’en l’absence de valeur cible ce taux, de foyers allocataires ayant repris un emploi, est
difficilement exploitable et nous renseigne peu sur la portée réelle de cette évolution.

D’après le CNE, ces études « ne permettent pas d’exclure que les incitations financières puissent
avoir un effet positif sur l’emploi » mais différents facteurs sont avancés pour expliquer le faible
impact au niveau agrégé :

- des contextes économiques non identiques où la conjoncture actuelle, dégradée, a contraint

l’offre d’emploi faite aux bénéficiaires ;

- la connaissance imprécise par les bénéficiaires du mode de calcul du RSA (estimation floue du
montant du RSA-activité au regard des revenus d’activité perçus) en a limité l’impact ;

- le RSA, du moins à court terme, n’a pas significativement augmenté l’incitation financière à la
reprise d’emploi par rapport au RMI ;

- enfin, des freins autres que financiers limitent souvent le retour à l’emploi des bénéficiaires de
minima sociaux.

Ainsi, l’ensemble de ces différents facteurs expliquent les difficultés rencontrées à interpréter
les résultats.

Au niveau national, la production d’indicateurs est centrée sur l’atteinte des objectifs de
résultat, tant sur le plan de l’insertion professionnelle que sur la réduction de la pauvreté.

Cependant, ces indicateurs rencontrent des difficultés à produire des données fiables, concrètes et
pertinentes. En effet, cette approche évaluative nationale rencontre trois limites :

- une construction d’indicateurs difficilement interprétables, notamment concernant les effets

sur la pauvreté ;

- une période de référence problématique et l’absence d’indicateurs conjoncturels en ce qui

concerne l’impact sur le retour à l’emploi ;

- l’absence de valeur cible relative pour ces deux indicateurs, qui ne permet pas d’apprécier
la portée des résultats attendus.

63
II. AU NIVEAU DEPARTEMENTAL : DES LOGIQUES
INSTITUTIONNELLES ASSOCIEES A DES OBJECTIFS DE MOYENS

Pour les départements, c’est dans la mise en place des « dispositifs d’accompagnement », - depuis
l’instruction de la demande jusqu’à la sortie du dispositif - que se situe l’enjeu central du RSA à
l’échelon local. Afin de connaître les réalités territoriales, une enquête relative aux modes
d’organisation des Conseils Généraux a été mise en place par la DREES49 en septembre 2010
auprès de 96 départements. Tout d’abord, et de toute évidence, il s’agit d’un dispositif qui se
trouve mis en œuvre dans des contextes économiques et sociaux différents. Notons de plus, qu’à
caractéristiques similaires les départements n’ont pas toujours opté pour les mêmes choix, comme
le relève la DREES : « l’héritage et l’enracinement des pratiques, le contexte institutionnel local ou
encore la stratégie du Conseil Général constituent autant de facteurs explicatifs de la relative
diversité des modes d’organisation50. »

Dans ces modes d’organisation variés les acteurs cherchent l’optimisation des accompagnements
pour l’insertion sociale et professionnelle. Fondé sur le principe des « Droits et Devoirs » - un
revenu minimum assuré en contrepartie d’engagements dans des démarches d’insertion
professionnelle - le RSA trouve une justification politique de son fonctionnement dans la mise en
œuvre des « Droits ». L’insertion dépend de l’engagement du bénéficiaire et de la situation du
marché du travail mais il suppose que le bénéficiaire reçoive l’appui qui lui est nécessaire, appui
confié aux départements dès la mise en place du RMI. Ainsi, les départements se donnent à eux-
mêmes, une obligation de mettre en œuvre les moyens propres à permettre l’accompagnement de
bénéficiaires, en particulier ceux d’entre eux qui connaissent des difficultés personnelles limitant
leur possibilité de prendre ou de reprendre une activité professionnelle.

II.1. Des indicateurs de pilotage en quête de pertinence et de

fiabilité ; le reflet d’un dispositif complexe à appréhender

Les chefs de services des Conseils Généraux interrogés évoquent, très largement, la difficulté de
construire des indicateurs adaptés et pertinents pour suivre, en temps réel, les étapes de la mise
en œuvre du RSA et rendre compte des spécificités départementales. Les Conseils Généraux se
sont retrouvés pris dans des démarches d’auto-évaluation d’un dispositif encore en cours de
déploiement.

Devant l’aspect protéiforme des modes d’organisation, les outils semblent avoir été élaborés de
façon « artisanale » et non coordonnée. Aucun format commun d’évaluation des pratiques ne

49
Direction de la Recherche des Etudes, de l’Evaluation et des Statistiques.
50
Les modes d’organisation des conseils généraux avec la mise en place du revenu de solidarité active, DRESS, n°800, mars
2012. Céline ARNOLD et Michèle LELIEVRE.

64
préexistait pour les départements : « nous les avons construits nous- mêmes », « avec les moyens
du bord », « ils se sont construits au fur et à mesure ». Ce sentiment d’avoir dû faire face au fil de
l’eau, sans ligne de conduite établie, se double d’une difficulté d’accès aux informations :
changement de logiciel, accès chaotique aux bases d’information des partenaires (nombre
d’allocataires et flux financiers pour les CAF et Pôle Emploi notamment) et outils de suivi et de
reporting excessivement détaillés et précis, et souvent peu adaptés aux réalités du département.

II.2. Des indicateurs au service d’une rationalité

instrumentale

II.2.1. Des indicateurs de pilotage et d’efficience

Interrogés sur les indicateurs qu’ils ont construits depuis la mise en œuvre du dispositif, les acteurs
des Conseils généraux décrivent en premier lieu les indicateurs de pilotage de la montée en
charge du dispositif afin d’anticiper les dépenses affectées et de rendre compte de la qualité des
processus, garants de l’efficience de l’activité au plan départemental. A titre d’exemples ont été
identifiés :

Des indicateurs de mesure des moyens et des dépenses mis en œuvre :

• Un indicateur de comptage des allocataires

Cet indicateur permet de suivre le nombre de foyers bénéficiaires du RSA, sachant que les
départements le déclinent avec plus ou moins de précisions (volume et composition du foyer ou
simplement nombre de foyers indemnisés). L’utilité d’avoir un indicateur décliné selon les types de
ménages n’est pas une volonté partagée par tous les départements : « Travailler en détails sur les
compositions des foyers … je ne sais pas à quoi ça servirait… à détailler et préciser la connaissance
que l’on pourrait avoir du public mais au-delà… ça changera pas grand-chose à la manière dont on
prévoira nos dépenses. »

• Un indicateur de suivi financier des montants alloués pour le dispositif

A travers le suivi des composantes de l’acompte - grâce aux données CAF sur le nombre de foyers
payés par mois - certains départements peuvent faire « des petits ratios sur les dépenses
moyennes par foyer » en prenant en compte la part des rappels et des indus. Cependant le suivi
de cet indicateur n’est pas toujours aisé, certains se heurtent parfois à la non corrélation entre
l’évolution du nombre de foyers bénéficiaires et le montant versé ce qui rend difficile la « prévision
au plus juste du montant de l’allocation ».

65
Des indicateurs de qualité produite, ne tenant pas compte de la satisfaction et des besoins des
usagers :

• Un indicateur d’amélioration de la qualité des services rendus aux bénéficiaires

La recherche d’amélioration du service pour les usagers peut se mesurer à travers un indicateur de
temps de prise en compte de la demande : le « taux de Contrat d’Engagement Réciproque traité en
moins de 30 jours », par exemple. La présence d’une cible, souvent révisée, permet d’impliquer
l’ensemble des acteurs dans une démarche d’amélioration de la prise en charge et de faire
converger, sur un même territoire, les efforts de tous les organismes d’accompagnement aux
logiques d’intervention diverses.

• Un indicateur de suivi de la qualité de la prise en charge

Ici, l’exemple cité propose de réfléchir à un indicateur sur la qualité du contenu des engagements
réciproques avec l’identification du taux de rejet et la part des contrats renvoyés pour éléments
incomplets ou manquants. Cet indicateur, le plus souvent à l’état de projet dans les départements,
permettrait, pour certains d’entre eux et d’après une étude en profondeur d’un échantillon de
Contrats d’Engagement Réciproque (CER), de pointer des manques à pallier : « problèmes
administratifs, mauvaise saisie, mauvaise compréhension, besoin de formation des référents,
besoin d’information pour les bénéficiaires,… »

II.2.2. Des indicateurs de mesure de l’insertion des usagers, au

regard des objectifs nationaux :

• Un indicateur mesurant le taux d’allocataires en parcours

C’est un indicateur assez proche du taux de contractualisation. Il comptabilise les allocataires pris
en charge soit en CER, soit en PPAE donc ayant signé un contrat soit avec le Conseil Général, soit
avec Pôle Emploi. A noter que les départements incluent parfois de façon arbitraire « ceux qui sont
en attente de leur premier contrat (qui viennent d’ouvrir un droit) et ceux qui n’ont plus de contrat
depuis moins de 3 mois ». Cet indicateur peut être également renseigné en creux, en
comptabilisant les « perdus de vue dans le dispositif : on les a plus sous la main, on sait qu’ils sont
bénéficiaires du RSA mais c’est tout. »

• Un indicateur de mesure du taux de « bascule positive »

Il vient rendre compte de l’ensemble des évolutions positives de la situation des bénéficiaires à
l’intérieur du dispositif. Ces évolutions positives ou ascendantes, sont repérées par comptage des
bénéficiaires qui passent du RSA socle au RSA (socle + activité) puis du RSA (socle + activité) au
RSA activité. Peu de départements rendent compte de ces mouvements et ceux qui le font en
soulignent rapidement les limites : « C’est un indicateur qui n’a pas beaucoup de pouvoir car les

66
mouvements à l’intérieur sont très lents, ils sont plus liés à la conjoncture qu’à la performance du
dispositif ».

Tout comme pour le renseignement des indicateurs de la LOLF au plan national (visant à mesurer
les effets du RSA sur l’insertion des bénéficiaires), les indicateurs construits par certain Conseil
Général rendent compte de mouvements internes au sein des dispositifs mais ne cherchent pas à
mesurer les sorties. Le devenir des ex-bénéficiaires n’est en théorie plus dans le périmètre de
responsabilité des collectivités territoriales. En pratique, dans le discours, cette dimension est tout
de même présente et confère du sens à la finalité des actions, mais les indicateurs construits n’en
rendent pas compte.

De façon générale, la question de « l’après RSA » reste une grande nébuleuse pour les
acteurs interrogés : « Curieusement c’est certainement les choses les plus importantes que l’on a
du mal à mesurer. Par exemple que deviennent les gens qui sont sortis ? On est incapable de dire
combien de gens retournent à l’emploi. On a une idée sur le nombre de mouvements qui ne
généreraient pas un retour à l’emploi, donc par des ratios on peut approcher l’indicateur… mais on
fait que l’approcher. ». Les départements pointent des manques d’informations :

• Peu de visibilité sur les entrées/sorties

Dans certains cas les départements ont peu d’informations - par manque de compilation des
données des différents partenaires du dispositif - sur le flux et les caractéristiques des personnes
qui intègrent et sortent du dispositif « Qui entre ? Qui sort ? Non, on ne suit pas. Y’a les données
de la CAF mais c’est complexe… les personnes déjà inscrites qui reviennent, soumises/non-
soumises, etc… On n’a pas de niveau d’information assez précis pour qu’il y ait un indicateur qui
puisse être exploité et concret… c’est une des limites. »

• Peu de données construites sur les motifs de sortie du dispositif

La notion de sortie recouvre une grande diversité de situations que l’on peut décrire selon 3 types :

Des sorties suivies de nouvelles entrées, ce qui engendre des problématiques de doublons pouvant
avoir un impact fort sur la lecture des données à l’échelle nationale.

Des sorties caduques ou liées à un changement de situation (radiation, changement de situation

familiale, etc…). Bien souvent les départements n’ont pas connaissance des motifs de sorties
infructueuses et évoquent un problème d’accès aux données (souvent plus connus par les
organismes payeurs que par les organismes d’insertion). « Au niveau des sorties on ne peut pas
aller vraiment plus loin que les motifs dont on a connaissance nous. C'est-à-dire qu’une sortie pour
motif de ressources supérieures au plafond veut peut-être dire une sortie en emploi mais peut-être
pas forcément. Cela peut être un autre motif pour la personne qui peut faire que ses revenus
augmentent. »

Des sorties dans l’emploi pour lesquelles peu de départements parviennent à créer des indicateurs
arrivant à différencier les emplois précaires des emplois durables. Ils sont très inégaux sur ce

67
point, certains nous dirons « ah non, ça on n’a pas l’information. La difficulté c’est d’aller récupérer
l’information pour savoir si la personne est réellement en emploi, voir quel type d’emploi et puis
voir si c’est un emploi pérenne. »

• Aucun moyen imposé de suivi de la réalité de l’insertion dans l’emploi

En l’absence d’un suivi du devenir des bénéficiaires du RSA sur une durée suffisante, il n’est
possible d’appréhender l’efficacité du dispositif départemental dans son ensemble, ni de déterminer
les parcours les plus adaptés et les actions et organismes les plus efficaces, ni de les comparer
entre eux. Certains départements évoquent la perspective de mettre en place des suivis de
cohorte : « l’idée serait de faire du suivi de cohorte mais c’est complexe à mettre en place parce
qu’on est presque sur du suivi individualisé alors c’est un peu compliqué. »

II.2.3. Production d’indicateurs et échelons de référence

Les acteurs des Conseils Généraux décrivent devoir faire des arbitrages fréquents entre d’une part,
le renseignement systématique des indicateurs locaux et nationaux et d’autre part, les choix de
priorités au regard des moyens humains et de temps dont ils disposent.

Les données produites par les collectivités territoriales proviennent de choix d’indicateurs propres
aux réalités locales et aux partenariats antérieurs au dispositif du RSA. Afin de répondre aux
enquêtes Flash de la DGCS/DREES51, les acteurs départementaux en charge de l’évaluation
décrivent des postures d’ajustement et de reconstruction de résultats pour répondre aux
validations souhaitées par les administrations. « Alors oui des fois le découpage n’est pas
identique : on a construit des requêtes pour pouvoir répondre aux enquêtes de la DREES sinon, au
niveau des typologies de parcours, on a fait des ventilations pour pouvoir coller aux demandes
spécifiques de la DREES : notamment entre un parcours social, un parcours socio-professionnel et
un parcours professionnel parce que nous, nous n’avons pas tout à fait les mêmes découpages ».

A ce sujet, d’autres départements évoqueront le manque de moyens humains et de temps : « C’est

un arbitrage temps/intérêt. Certains indicateurs : je construis un peu le chiffre, sinon je ne remplis
pas (changement de situation au cours de l’année, en masse je n’ai pas les moyens techniques
pour extraire… ni les détails de l’accompagnement, des évolutions de situations). En masse ce qui
est gérable c’est le nombre de foyers, les orientations… » Cette production continuelle des
indicateurs, qui laisse penser que l’on ne dispose « jamais des bons indicateurs au bon moment »,
est chronophage pour les collectivités territoriales tout autant qu’elle semble engorger le dispositif
plus que parvenir à une meilleure lisibilité.

51
Les enquêtes Flash de Direction Générale de la Cohésion Sociale / Direction de la Recherche des Etudes, de l’évaluation et
des statistiques sont adressées régulièrement à tous les départements et visent à recueillir les modalités de mise en place de la
gouvernance du RSA dans les départements.

68
 Au vu des quelques exemples étudiés ici, les Conseils Généraux semblent piloter et évaluer
la mise en œuvre du dispositif du RSA dans une logique gestionnaire de flux de bénéficiaires et de
dépenses à couvrir. Ne disposant pas d’outil unique de pilotage ni d’objectif commun de taux de
sortie positive du dispositif, les acteurs locaux tendent à laisser de côté les objectifs nationaux et
développent des logiques territoriales visant à optimiser les processus.

Les indicateurs construits sont au service des organisations opérationnelles plurielles et des enjeux
politiques locaux, laissant parfois la question de l’utilité du dispositif pour les bénéficiaires, en
dehors des préoccupations d’évaluation et du suivi d’indicateur.

Souvent happés dans ces logiques de fonctionnement, les Conseils Généraux ne se positionnent
pas, à première vue, comme un maillon de la solidarité nationale participant à des objectifs
communs à toutes les collectivités.

III. AU NIVEAU LOCAL : LA PERFORMANCE DU POINT DE VUE DES

PROFESSIONNELS EN RELATION AVEC LES BENEFICIAIRES DU
RSA

Pouvant être appréhendés comme un « 3ème échelon » avec l’Etat et les collectivités locales, les
professionnels - conseillers Pôle Emploi et travailleurs sociaux des services des Conseils Généraux
ainsi que l’ensemble des professionnels socio-éducatifs des organismes et associations partenaires
- sont au cœur de la mise en œuvre du RSA sur les territoires. Ils appréhendent, au travers de la
relation à l’usager (bénéficiaire de l’allocation) et selon une approche très micro-évaluative, le
dispositif « vu de l’intérieur ».

Les professionnels de l’action sociale produisent - dans leur relation à l’usager - une praxis : espace
de récits des expériences professionnelles prises dans l’intersubjectivité de la relation d’aide. La
praxis contient les pratiques professionnelles quotidiennes, tant dans ce qu’elles ont de similaire
que de singulier, relatif aux arrangements des pratiques imposés par la prise en compte de
« l’autre ». Souvent confrontés à l’indicible des pratiques professionnelles où l’individualisation des
prises en charge prime sur la standardisation des processus d’accueil et d’accompagnement, les
professionnels décrivent les phénomènes et évolutions qui font sens pour eux, tant en termes
d’évolutions positives des parcours d’usagers, que de valorisation de leurs pratiques
professionnelles.

En référence aux normes d’action publique, cette praxis qui émane des pratiques individuelles peut
s’appréhender d’un point de vue plus collectif, de la part des travailleurs sociaux et des conseillers
en insertion, sous la forme de « normes des pratiques ». C’est sur cette base que nous pouvons
appréhender les logiques d’acteurs en charge d’ouvrir les droits des bénéficiaires, de les orienter,
de les accompagner et de favoriser leur évolution vers une sortie du dispositif. De cette approche
par les pratiques émerge également, de la part des professionnels, des propositions pour rendre

69
compte de la qualité des accompagnements réalisés et du sens que les uns (professionnels) et les
autres (bénéficiaires) investissent et attendent de cette relation d’aide.

Cette volonté de rendre compte de la qualité des accompagnements va générer une production de
nouveaux types d’indicateurs - issus des pratiques professionnelles - dans un contexte où « les
démarches-qualités » investissent le secteur de l’action sociale.

III.1. Les indicateurs d’évaluation des pratiques

professionnelles du social : l’influence des démarches qualité
dans le secteur social

Les « démarches-qualités » se sont répandues dans le secteur social depuis une dizaine d’années
avec la loi n°2002-2 du 2 janvier 2002 rénovant l’action sociale et médico-sociale qui institue dans
son article 312-8 l’évaluation interne et externe des établissements et services. Cette obligation
légale est devenue un enjeu majeur indiquant la nécessité pour les établissements sociaux et
médico-sociaux de rendre lisibles leurs pratiques de travail, tant au niveau des moyens que des
résultats. Une grande diversité de référentiels d’évaluation, appartenant largement au registre des
« démarches-qualité » a été mobilisés dans le secteur du social pour tendre à satisfaire à l’exercice
et les départements, via les Conseils Généraux, n’ont pas échappé à cette approche par la
« démarche-qualité ».

Les démarches qualité s’attachent à rendre compte de l’activité en examinant le fonctionnement

organisationnel et en le jugeant à l’aune de standards fonctionnels. Elles éclairent les liens entre
les normes généralistes et leur traduction concrète opérationnelle, elles identifient les écarts entre
ce qui était énoncé en termes de procédures et ce qui a été délivré en termes de prestation et de
service.

Ces démarches qualités peuvent se regrouper en 3 types :

- les démarches qualité à vocation de normalisation institutionnelle : compilation de normes

d’action publiques propres à un secteur, garantes de la conformité de l’activité) ;
- celles à vocation de normalisation organisationnelle : compilation de procédures et de
techniques, garantes de l’efficience de l’activité ;
- celles à vocation de normalisation clinique : critères de mesure de la situation des usagers,
garantes de l’efficacité de l’activité.
Ces trois types de démarches renvoient à une conception objective de la qualité qui vise la
standardisation de l’activité des organismes à différents niveaux. Ces démarches, sous tendues par
« l’illusion du tout rationnel », ne constituent qu’une dimension de l’évaluation qui appelle d’autres
dimensions complémentaires telle que l’évaluation pluraliste et qualitative.

La prise en compte de la qualité objective ou fonctionnelle des prestations délivrées est très
éloignée d’un questionnement sur les prestations, les pratiques professionnelles et l’usager.
L’utilisation exclusive d’une approche par les démarches-qualité pourrait obérer la singularité des

70
pratiques professionnelles au profit des seules prestations matérielles et procédures juridiques. Là
où la démarche qualité tend à stabiliser un contenu de « bonnes pratiques » et constitue un
encadrement nécessaire, le relais pris par l’évaluation qualitative et pluraliste permet de
questionner le sens et la diversité des pratiques professionnelles et de s’attacher à valoriser l’utilité
potentielle d’un écart à cette norme.

III.2. Des indicateurs qualitatifs fondés sur la praxis

L’approche par la pratique, dans une logique de rationalité interprétative (versus rationalité
instrumentale exposée auparavant), replace les acteurs dans un univers plus incertain, celui du
terrain. Confrontés à des situations incertaines, ils ont recours à une pluralité de modes
décisionnels qui intègrent l’influence de variables (plutôt que de données) sociales et
psychologiques. Les indicateurs proposés ci-dessous, à titre d’exemples, proviennent du discours
des responsables des Conseils Généraux recueilli au sujet de leurs « équipes de terrain » et est
accompagné d’une recherche documentaire. Souvent construits comme des agrégats de variables
sociales, ces indicateurs viennent caractériser, définir et préciser l’impact du dispositif sur les
personnes ; impact qui s’éprouve au fil de la relation d’aide, d’accompagnement social et
d’insertion professionnelle.

• Un indicateur de mesure de l’échelle de distance à l’emploi

L’échelle de distance à l’emploi est un outil à usages multiples. Elle peut servir à vérifier
l’orientation préconisée, à être un support aux bilans d’étape lors des entretiens entre le
bénéficiaire et son référent (du Conseil Général ou de Pôle Emploi notamment), à analyser
l’évolution de la situation du bénéficiaire dans son parcours et à déterminer les besoins en termes
d’insertion des bénéficiaires du RSA.

Cet indicateur est construit autour de plusieurs variables sociales qui rendent compte des situations
individuelles. Les professionnels en charge de l’accompagnement des bénéficiaires dans le
département du Nord Pas de Calais évaluent la distance à l’emploi d’après les items (et sous-items)
suivants :

71
 Figure 4 : Exemple d’échelle de distance à l’emploi

Date: LES ECHELLES DE DISTANCE A L'EMPLOI Nom

Dossier Unique: Prénom:
Emploi Age:

Les personnes de
Je suis satisfait de mon Je n'ai aucune difficulté Oui, pas de problème J'ai une famille qui me
3 mois ou moins. Oui, immédiatement. Aucun problème. l'association où je suis
logement actuel. de transport. particulier. soutient beaucoup.
bénévole.
0 0 0 0 0 0 0 0

Mon logement est En plus, je vois les

inadapté (insalubre, Je suis mobile à plus de Juste quelques soucis Oui, mais à temps Pas de contraintes Des relations avec les personnes de mon club,
6 mois.
cher, trop petit, 25 km. de santé. partiel. particulières. collègues. de ma chorale, de mon
bruyant). association...
1 1 1 1 1 1 1 1

En plus, je vois des

J'ai un hébergement Oui, mais je ne peux Oui, mais avec des
Je suis mobile à moins Des difficultés à personnes extérieures à
provisoire qui me plus exercer certains Plus d'un an. formations ou/et un Autres contraintes.
de 25 km. travailler en équipe. ma famille (voisins,
convient. métiers. accompagnateur.
amis).
2 2 4 2 2 4 2 2

J'ai un moyen de
Mon logement est locomotion autonome Oui, mais une activité Oui, mais pas n'importe J'ai des contraintes Des difficutés à être à En plus, je vois ma
Plus de 2 ans.
éloigné de tout. mais j'ai des difficultés à adaptée. quel emploi. horaires. l'heure. famille.
me déplacer.
5 3 5 3 5 5 5 3

Non, pas pour l'instant Je dois rester souvent

Je dois quitter mon Je n'ai que les Oui, mais je dois Problèmes avec la Les commerçants et les
Plus de 5 ans. (difficultés à résoudre, au domicile pour
logement. transports en commun. souvent m'absenter. hiérarchie. services administratifs.
papier administratif). m'occuper d'un proche.
8 5 8 5 15 8 8 4

Je n'ai aucun moyen de

Je dois m'occuper d'un Je ne veux voir
Je n'ai pas de logement. transport à ma Non, pas du tout. Je n'ai jamais travaillé. Je ne sais pas. Oui, souvent.
proche à plein temps. personne.
disposition.
9 6 20 6 20 20 20 20

Que pensez-vous de Disposez-vous d'un Est-ce que votre A quand remonte Selon vous, êtes-vous Avez-vous des Avez-vous des Quelles personnes
votre logement moyen de transport santé vous permet de votre dernier emploi? prêt à reprendre un contraintes familiales difficultés à vous rencontrez-vous dans
actuel? pour vous rendre à reprendre une emploi? qui vous gênent pour adapter à votre la semaine?
votre travail? activité? rechercher un emploi? travail?

Des points importants, réels freins à l’emploi A l’appréciation de l’Equipe Pluridisciplinaire ou Des points de vigilance qui peuvent être un frein important ou non
et l’orientation vers la sphère solidarité est à de l'Equipe d’Orientation. pour le retour à l’emploi, la sphère professionnelle est à proriser.
prioriser.

Proposition:

Avec l’échelle de distance à l’emploi, on comprend que ces items (logement, moyens de transport,
santé, dernier emploi, reprise d’un emploi, contraintes familiales et adaptation à l’environnement
de travail et aux relations sociales) sont autant d’axes de travail que les professionnels pourront
aborder aux fils des entretiens. Axes de travail, évaluables, reflets des évolutions de trajectoires,
au sein même des dispositifs.

• Un indicateur de « santé sociale »

Présenté par les professionnels de terrain, comme un indicateur difficile à construire tant il peut
être polymorphe, l’indicateur de « santé sociale » renvoie à une approche « plus globale » de la
personne en opposition à une évaluation segmentaire des personnes, induite par les
catégorisations à l’entrée dans les dispositifs. Il est inspiré de « l’indice de santé sociale », crée en
1987 par Marc et Marque-Luisa Miringoff52, qui a pour ambition de mesurer la qualité de vie en
prenant en compte la question sociale. Cet indice synthétique figure dans la famille des indicateurs
« sociaux » ou « socio-économiques » sans préoccupation environnementale. Cet indicateur peut
également s’inspirer de l’échelle de DUKE permettant d'explorer l'état de santé perçu à travers 17

52
The Social Health of the Nation, Marc Miringoff et Marque-Luisa Miringoff

72
questions et la création d'indices ou de scores de santé mentale, physique, sociale, perçue, globale,
des scores d'anxiété, de dépression, de douleur et d'incapacité et d'estime de soi. Voici ci-dessous
pour exemple, l’échelle de DUKE :

Figure 5 : Echelle de DUKE

En s’inspirant de cette approche, l’objectif d’un indicateur de « santé sociale » est de voir s’il est
possible d’observer une évolution des personnes sur ces items au sein des dispositifs d’insertion
professionnelle, particulièrement pour les personnes bénéficiant d’accompagnements sociaux ou
psycho-sociaux ; « Dans quelle mesure ne pourrait-on pas valoriser l’obtention d’une
Reconnaissance de la Qualité de Travailleur Handicapé pour une personne, comme une sortie «
positive » du dispositif ? ».

Un des objectifs est également de voir dans quelle mesure cet indicateur pourrait permettre de
travailler sur les écarts de perception entre l’évaluation du travailleur social et l’auto-diagnostic de
la personne elle-même. Cet indicateur, s’il est un outil partagé par l’ensemble des professionnels
des différents organismes, permettrait de créer une continuité de prise en charge au sein des
dispositifs, face au vœu souvent formulé par les professionnels «d’arrêter de segmenter et de
balader les gens au gré des évolutions de leur situation d’organismes en organismes, sans
cohérence dans le suivi partenarial ».

73
 • Un indicateur de sociabilité, a valeur d’illustration qualitative

Cet indicateur cherche à appréhender la nature, l’intensité et la qualité des liens sociaux des
personnes accompagnées. Il émane de la volonté de professionnels qui souhaitent visibiliser la
progression « réelle » des personnes, au-delà des objectifs directement visés par le dispositif.
L’accompagnement, et la progression à l’intérieur des dispositifs, ne pouvant pas être uniquement
sanctionnée à travers le retour à l’emploi.

Cet indicateur ne trouve pas de déclinaison graduelle (comme les deux précédents exemples) mais
il propose l’idée de venir compléter les grilles d’évaluations déjà établies et utilisées par les
professionnels, par des illustrations qualitatives a valeur évaluative, dans la mesure où elles
rendent compte d’évolutions individuelles. Ce critère ne possède donc pas, à ce jour, toutes les
caractéristiques d’un indicateur telles que nous les avons déclinées, mais vient, en complément,
décrire les effets moins directement pris en compte par les indicateurs nationaux et
départementaux.

Ces illustrations qualitatives peuvent être particulièrement pertinentes à utiliser pour rendre
compte d’actions collectives, de projet de développement social local où les personnes investissent
une dynamique de projets, reprennent confiance en elles dans le but d’une réinsertion
professionnelle visée à plus ou moins long terme. Cette pratique de terrain, mise en relief sous
forme de récits, peut, dans la mesure où elle est partagée par plusieurs professionnels, être
compilée sous forme de répertoires d’expériences probantes ou de plateformes de mutualisation
d’expérimentations ou d’innovations. La part de l’anodin et de l’arbitraire, inhérente à toute
pratique professionnelle fondée sur la relation humaine, laisse supposer que l’évaluation de la
qualité/performance du travail social ne peut se suffire d’une standardisation objective et
fonctionnelle des pratiques dans un dispositif d’accompagnement social, socio-professionnel et
professionnel.

Ces indicateurs qualitatifs, à l’état d’expérimentations, viennent rendre compte des pratiques
d’accompagnement et de leurs effets sur les bénéficiaires ; ils représentent à ce jour des tentatives
ponctuelles et relativement isolées sur les territoires. Mais à première vue, les professionnels
s’accordent à dire que cette valorisation du contenu des accompagnements tendrait à privilégier
une approche globale des problématiques des bénéficiaires et donc une meilleure cohérence dans
les propositions des aides apportées.

74
 III.3. Des indicateurs nécessairement imparfaits

Un indicateur cible toujours une partie de la réalité et induit nécessairement un sentiment

d’incomplétude ; ainsi le mécanisme de production d’indicateurs est infini. Comme sous l’effet
d’une spirale, un indicateur en appelle toujours un autre en complément, puis un autre. Le
dispositif du RSA apparait souvent aux yeux des référents, accompagné de tableaux de bords
versant dans une approche fonctionnelle et binaire plutôt qu’au service de la valorisation des
pratiques professionnelles. Le phénomène d’engorgement des dispositifs sociaux par leurs outils de
mesure n’est pas propre au RSA et il n’est d’ailleurs pas toujours au service de la simplification de
l’accès au droit pour les bénéficiaires.

Les référentiels d’évaluation des pratiques professionnelles du social sont bien souvent perçus
comme à la fois exagérément détaillés et fastidieux tout autant que trop généraux et peu adaptés,
nécessitant une reconstruction quasi-systématique et plus particularisée. Ce paradoxe semble
toutefois assez significatif des enjeux qu’induit la logique de la performance appliquée au social
appelant des formes complémentaires de « mesures » : recueil de récit, conférences de consensus
ou enquêtes de satisfaction, etc.

Si l’Etat correspond à l’acteur « qui décide », les collectivités territoriales à ceux « qui
organisent », les travailleurs sociaux sont ceux « qui font vivre » le dispositif dans la relation
directe aux bénéficiaires. Ces trois échelons sont totalement interdépendants dans la mesure où
aucun d’entre eux n’a vocation à se suffire à lui-même.

Centrée sur la praxis, les indicateurs qualitatifs sont éloquents pour ceux qui les produisent dans la
mesure où ils portent un regard sur les effets produits par un dispositif sur les bénéficiaires. Ils
rendent compte de l’impact des pratiques professionnelles sociales sur les parcours de vie et, par
un principe de réciprocité évaluative, viennent rendre plus lisible pour eux la performance (le sens
diraient-ils) de leur travail quotidien.

Ces indicateurs ne sont pas directement au service des objectifs nationaux, ni même dans la
logique des indicateurs de gestion des collectivités locales : ils sont le reflet d’une approche micro-
évaluative, complémentaire des deux approches précédentes, cherchant à approcher - dans une
logique de « continuum » des effets - les impacts du dispositif sur les bénéficiaires.

75
En synthèse, l’exemple du pilotage et de l’évaluation du Revenu de Solidarité Active aux
trois niveaux (national, département et local) met à jour des principes évaluatifs
correspondant aux intérêts et objectifs propres aux différents acteurs impliqués à
chaque échelon de mise en œuvre du dispositif et sans réel souci de cohérence.

L’Etat, via la LOLF, se doit d’être garant des résultats et de la conformité des résultats
avec les objectifs visés sans pour autant disposer de marges de manœuvre sur le
pilotage opérationnel des dispositifs mis en œuvre localement.

Les collectivités territoriales, responsables de la mise en œuvre du RSA, évaluent quant à

elles l’atteinte d’objectifs de moyens dans une logique organisationnelle et de recherche
d’efficience. En l’absence d’indicateurs de résultats communs, la dynamique
opérationnelle ne rencontre que peu d’obstacles, même si elle n’est pas toujours jugée
satisfaisante par les responsables locaux. Dans cette logique de décentralisation et
d’auto-évaluation des collectivités territoriales, la qualité des systèmes d’information
mobilisés pour alimenter les indicateurs fait souvent obstacle.

Enfin, la prise en compte du regard des professionnels sur leur pratique au sein du
dispositif implique une approche évaluative pluraliste où les critères de l’évaluation sont
de nature éminemment qualitative.

Aussi, malgré un souci de complémentarité des approches, le dispositif est caractérisé

par des tensions évaluatives inhérentes aux indicateurs variés - au service des logiques
propres des acteurs aux différents échelons – qui ne facilitent la mise en cohérence
nécessaire entre les objectifs, les moyens et les résultats pour les bénéficiaires.

76
CONCLUSION

La recherche de la performance dans le secteur public, avec notamment la mise en œuvre de la

LOLF depuis 2001, permet à l’Administration de s’appuyer sur un système d’indicateurs mesurant
l’impact, l’effectivité, l’efficacité, l’efficience et la satisfaction des usagers des différents
programmes financés par l’Etat. Ce nouveau cadre de gestion cherche ainsi à articuler le contrôle
de gestion - qui vise à produire les outils de connaissance des coûts, des activités et des résultats
pour améliorer le rapport entre les moyens mobilisés et les résultats produits – et l’évaluation des
politiques publiques qui vient apprécier si les moyens mis en œuvre permettent d’atteindre les
objectifs fixés. En instituant une déclinaison systématique des objectifs stratégiques en indicateurs,
la LOLF constitue une avancée réelle pour tenter de structurer et systématiser l’évaluation
des politiques publiques.

Le champ d’application de la LOLF se trouve toutefois restreint aux opérateurs de l’Etat avec des
indicateurs qui, à l’heure actuelle, ne concernent pas les résultats appréciables au niveau local.
Cependant, les indicateurs nationaux reposent, de fait, sur des données issues des acteurs locaux
qui ont la responsabilité de la mise en œuvre des dispositifs. Aussi, du fait de leur récurrence et
leur caractère chronophage, il est essentiel que les indicateurs de référence aient du sens
pour les acteurs présents aux différents échelons et responsables de la mise en œuvre au niveau
local, principalement centrés sur la mise en œuvre des dispositifs plus que sur leurs résultats dont
ils ne se sentent pas réellement responsables.

Sans que cela ne soit formalisé ni uniformisé pour le moment, les collectivités territoriales
développent de nombreuses initiatives visant à améliorer leur performance ; aussi, dans un objectif
de cohérence globale, il serait pertinent de pouvoir intégrer dans la LOLF des indicateurs
permettant d’évaluer les moyens mis en œuvre pour pouvoir donner du sens aux résultats, les
interpréter et assurer l’articulation les deux logiques (nationale et locale).

De plus l’introduction, dans ce cadre d’évaluation global, d’indicateurs qualitatifs, permis par
une approche micro-évaluative des enjeux de terrain, est nécessairement complémentaire pour
rendre compte des résultats concrets de l’action des travailleurs sociaux, sans lesquels les
dispositifs ne restent que des concepts théoriques, pour les bénéficiaires eux-mêmes.

Afin de mettre en cohérence ces différentes approches et s’assurer de la mobilisation de

l’ensemble des acteurs au service de la performance des politiques sociales, il faut tenir compte
d’un certain nombre de paramètres et prérequis nécessaires :

- Il apparait essentiel de construire les indicateurs en concertation avec les différents

types d’acteurs, afin qu’ils traduisent les priorités et enjeux réels de chaque échelon ;

77
 - Il parait indispensable de tenir compte de l’engorgement des systèmes d’évaluation et de
pilotage aux différents niveaux de mise en œuvre afin de ne pas superposer les indicateurs
mais de tendre à les simplifier et de les mettre en résonnance.

- Il s’agit, de plus, de ne pas minimiser les problématiques techniques de mise en relation

des systèmes d’information des différentes organisations concernées, qui peuvent
parfois limiter la production et le renseignement des indicateurs toujours en construction ;

- Parce qu’un indicateur donné ne permet pas d’appréhender les effets des dispositifs dans
toute leur complexité, il doit d’abord être considéré comme un outil d’aide à la réflexion,
plutôt que comme un critère de prise de décision automatique.

- Enfin, dans une visée mobilisatrice de l’évaluation, il est prioritaire de se concentrer sur
le sens et l’utilité des indicateurs à construire - pour les acteurs concernés et au regard
des objectifs à atteindre – plus que sur leur mesure et leur suivi.

Face aux dispositifs sociaux en évolution permanente, les systèmes de pilotage et d’évaluation
doivent s’adapter constamment. Cela étant, les imperfections inhérentes aux systèmes
d’évaluation ne mettent pas pour autant en cause leur utilité, dans la mesure où ils ont du sens
pour les acteurs et que ceux-ci se sentent responsables des résultats produits.

78
BIBLIOGRAPHIE

Amar A., Berthier L., Le Nouveau Management Public : Avantages et Limites, CEROG, IAE d’Aix-en-
Provence.

Arkwright E., de Boissieu C., Lorenzi JH., Samson J., Économie politique de la LOLF, Conseil
d’Analyse Economique, 2007.

Atkinson A., Cantillon B., Marlier E., Nolan B., The EU and social Inclusion, The police press,
university of Bristol, 2007.

Bercy Colloc Information spéciale, La LOLF et les collectivités locales, une démarche de
performance déjà engagée, Article, 31 janvier 2008.

Brunetière JR., Peut-on se fier aux indicateurs ? Les cafés de la statistique, conférence du 14
novembre 2006.

Comité National d’Evaluation du RSA, Rapport final, Ministère des Affaires Sociales et de la santé,
décembre 2011.

DARES Analyses, L’insertion par l’activité économique en 2010 : hausse des embauches après une
année 2009 marquée par la crise, n°78, novembre 2012.

Dughéra J., Comment évaluer la performance de l’IAE ? Alternatives économiques n°44, mai 2010.

Ecalle F., De la rationalisation des choix budgétaires à la LOLF, complément au rapport du CAS.

Elbaum M., Les indicateurs de performance en matière de politiques sociales : quel sens pour
l’action publique ? OFCE, n°2009-16, juillet 2009.

Guillaume H., Dureau G. et Silvent F., Gestion publique : l’État et la performance, Presses de
Sciences Po et Dalloz, 2002.

Lelièvre M., Arnold C., Les modes d’organisation des conseils généraux avec la mise en place du
revenu de solidarité active, DRESS, n°800, mars 2012.

Sous la direction de Michèle LELIEVRE, Emmanuelle NAUZE-FICHET, RMI, l’état des lieux, 1988 –
2008. Editions La Découverte, Paris, 2008.

Perret B., De l’échec de la RCB à la LOLF, Revue Française d’Administration Publique, n° 117, 2006.

Séguin P., Descamps F., Siwek-Pouydesseau J., Le Comité d'enquête sur le coût et le rendement
des services publics : soixante ans de dialogue au service de la réforme de l'Etat, vol. Hors-série,
École nationale d'administration, 2007.

Sine A., Lannaud B., la mesure de la performance de l’action publique, complément C du rapport,
économie politique de la LOLF, Conseil d’Analyse Economique, 2007.

Steckel MC., La performance publique en France : un jeu d’influences croisées entre le national et
le local, Revue de gestion et finances publiques, juin 2010.

79
TABLE DES FIGURES

Figure 1 : Répartition des crédits versés aux opérateurs par mission (PLF 2012) ....................... 26

Figure 2 : Taux d’insertion à la sortie des structures d’insertion par l’activité économique (EI, ETTI,
AI) .................................................................................................................... 46

Figure 3 : Exemple de sociogramme ..................................................................................... 53

Figure 4 : Exemple d’échelle de distance à l’emploi................................................................. 72

Figure 5 : Echelle de DUKE .................................................................................................. 73

80