Document généré le 28 nov.

2024 14:01

Service social

Défis et enjeux de l’évaluation dans le contexte de la

transformation des services
Céline Mercier

Volume 47, numéro 1-2, 1998

Évaluation – Colloque 1999

URI : https://id.erudit.org/iderudit/706781ar
DOI : https://doi.org/10.7202/706781ar

Aller au sommaire du numéro

Éditeur(s)
École de service social de l'Université Laval

ISSN
1708-1734 (numérique)

Découvrir la revue

Citer cet article

Mercier, C. (1998). Défis et enjeux de l’évaluation dans le contexte de la
transformation des services. Service social, 47(1-2), 63–70.
https://doi.org/10.7202/706781ar

Tous droits réservés © Service social, 1998 Ce document est protégé par la loi sur le droit d’auteur. L’utilisation des
services d’Érudit (y compris la reproduction) est assujettie à sa politique
d’utilisation que vous pouvez consulter en ligne.
https://apropos.erudit.org/fr/usagers/politique-dutilisation/

Cet article est diffusé et préservé par Érudit.

Érudit est un consortium interuniversitaire sans but lucratif composé de
l’Université de Montréal, l’Université Laval et l’Université du Québec à
Montréal. Il a pour mission la promotion et la valorisation de la recherche.
https://www.erudit.org/fr/
Défis et enjeux de l'évaluation
dans le contexte
de la transformation des services

Céline MERCIER

INTRODUCTION
Pour aller dans des endroits nouveaux, il faut prendre des chemins
inconnus.
Saint Jean de la Croix
À partir de cette citation de saint Jean de la Croix, je voudrais utiliser
dans cette présentation la métaphore des chemins connus et incon-
nus qui conduisent vers des destinations elles-mêmes connues ou
inconnues, pour proposer des éléments de réflexion sur les défis et
les enjeux de l'évaluation dans le contexte de l'actuelle transformation
des services. La première partie de cette présentation portera sur les
chemins connus. Dans la seconde, nous jetterons un coup d'œil du
côté des chemins inconnus.
De mon point de vue, la transformation des services en cours s'effec-
tue suivant une approche de « chemins connus ». Ces chemins ont
été tracés dans des « plans d'action », des « orientations », des « plans
de consolidation ». Les attentes reliées à l'évaluation sont ici principa-
lement de l'ordre de l'orientation et du guidage, le long de ces che-
mins connus. « La contribution attendue de l'évaluation à l'améliora-
tion des services sociaux et de santé » s'inscrit d'abord dans cette
demande d'information pour assurer le suivi de l'implantation des

Service social, vol. 47, n°s 1 et 2, 1998-1999

64 SERVICE SOCIAL

mesures et vérifier l'atteinte des objectifs. Cependant, même si la route

est bien balisée, elle n'est pas exempte de défis. J'en ai identifié deux :
l'un relié au contexte de décentralisation dans lequel s'effectue la trans-
formation; l'autre relié au caractère généralement intersectoriel des
mesures.
Par ailleurs, l'évaluation doit-elle en rester là? Dans quelle mesure
l'évaluation est-elle aussi concernée par les chemins inconnus et les
destinations non planifiées? Y a-t-il une contribution possible de cet
ordre? Ces questions seront abordées en seconde partie de l'exposé.

L E S CHEMINS CONNUS

L'actuelle transformation des services est en grande partie issue d'un

processus mixte de consultations et de planification. Au cours de ce
processus, on a voulu fixer des objectifs de déploiement de services
qui tiennent compte des besoins reconnus et des ressources disponi-
bles. Au moment de cerner les moyens les plus appropriés pour at-
teindre les objectifs, on s'est aussi appuyé sur l'expertise acquise sur
le terrain et sur les résultats issus des écrits spécialisés. Les plans
d'action (alcoolisme-toxicomanie, jeunesse, personnes âgées, santé
mentale) publiés par le Ministère à l'automne 1998 font ainsi une place
aux « données probantes » tirées de la documentation scientifique.
Les mesures proposées se trouvent ainsi en partie justifiées par le fait
que leur pertinence et leur efficacité ont pu être démontrées. Elles
sont fondées sur un niveau plus ou moins élevé d'évidence scientifi-
que. Cette reconnaissance explicite de la contribution de la recherche
évaluative à la transformation des services n'avait jamais été aussi
clairement exprimée auparavant. Elle est représentative d'une préoc-
cupation émergente pour le « transfert des connaissances » et la
« mise à profit des résultats de la recherche » dans l'organisation des
services.

Les questions
La forme même des plans d'action traduit la dimension opérationnelle
des mesures envisagées pour introduire les changements souhaités
dans les services. Ces plans d'action sont organisés autour de mesu-
res destinées à atteindre des objectifs bien identifiés, et ce, suivant un
échéancier donné. Les chemins vers les lieux à atteindre se trouvent
DÉFIS ET ENJEUX DE L'ÉVALUATION 65

ainsi clairement définis. Ces chemins étant tracés, le rôle de l'évalua-

tion est lui-même déterminé. Il s'agit essentiellement de répondre à
deux questions : 1) Est-ce qu'on est dans le chemin choisi?; 2) Jus-
qu'où est-on allé sur ce chemin? Les indicateurs permettent de ré-
pondre à ces questions : indicateurs de processus reliés aux moyens
à suivre; indicateurs de résultats reliés aux objectifs à atteindre.
Deux questions restent cependant en suspens : Est-ce que le chemin
choisi conduit vraiment où l'on voulait aller? Est-ce que c'est le meilleur
chemin? À cela on trouve deux types de réponses. La première ren-
voie aux données probantes {evidence-based). Elle vient rassurer les
inquiets ou confondre les sceptiques : ce type d'interventions ou de
services a déjà démontré (à des degrés divers d'évidence) sa perti-
nence, son efficacité et parfois même son efficience. Si ce type de
services, bien évalué ailleurs, a permis d'atteindre les objectifs sou-
haités, il n'y a pas de raison qu'il n'y en aille pas de même « ici ». Le
seul élément d'incertitude tient aux conditions locales de mise en
œuvre; or, l'évaluation de l'implantation permet justement d'apprécier
l'influence de ces conditions locales et d'effectuer les réajustements
nécessaires.
Quant à savoir si c'est le meilleur chemin, la réponse est moins évi-
dente et dépend de ce que l'on entend par « meilleur ». S'il s'agit d'un
meilleur entendu en termes économiques, l'évaluation de l'efficience
dans le contexte du système de santé québécois peut apporter des
réponses. S'il s'agit d'un meilleur entendu en termes de valeurs et
d'approches, il serait illusoire de penser que l'évaluation puisse ici
apporter quelque réponse crédible. Un programme s'inscrit à l'inté-
rieur d'un cadre de référence spécifique et le cadre d'évaluation s'ar-
ticule généralement à ce cadre de référence, en termes des dimen-
sions mesurées et des indicateurs retenus. De ce point de vue, éva-
luer avec le même protocole des programmes avec des philosophies,
des moyens et des objectifs différents, même s'ils ont la même mission,
risque de créer plus de confusion et d'insatisfaction que de conclusions
crédibles.

Les défis
Même si l'on ne s'en tient qu'aux deux premières questions, l'actuelle
transformation des services sociosanitaires pose déjà à l'évaluation
66 SERVICE SOCIAL

un certain nombre de défis. Le premier consiste à répondre aux atten-

tes très explicites contenues dans les plans d'action, qui sont essen-
tiellement de rendre compte des chemins parcourus et à parcourir, de
signaler les embûches et les accidents de parcours, de même que les
dérapages et les sorties de route. Pour répondre à ces attentes, l'éva-
luation possède elle aussi ses chemins connus, des stratégies et des
méthodologies reconnues. La façon même dont les plans d'action
sont conçus lui facilite d'ailleurs les choses, puisque d'emblée on a
voulu s'assurer que les mesures proposées soient évaluables. On
trouve donc dans les plans une identification explicite des objectifs et
des mesures, parfois même des indicateurs d'implantation et d'at-
teinte des objectifs.
Cependant, si l'on veut réellement tenir compte des conditions réelles
de mise en œuvre de ces plans d'action, on doit aussi considérer :
1) les conditions locales d'application de ces mesures; 2) leur carac-
tère intersectoriel, que celui-ci soit reconnu ou non.

Les conditions locales de mise en œuvre des mesures

La régionalisation a eu pour effet d'introduire la diversité dans le sys-
tème de santé et de services sociaux. Les processus de planification
s'opèrent désormais à l'échelle régionale et sous-régionale, de telle
sorte que la mise en œuvre de mesures provinciales est appelée
à prendre un caractère différent suivant les dynamiques et les res-
sources locales. Cette diversité est source de richesse et l'occasion
du développement d'une expertise locale, transférable. Par ailleurs, la
recherche elle-même s'est décentralisée et ne s'exerce plus seule-
ment dans les universités et les centres de recherche. La recherche
en partenariat a démultiplié les collaborations et les terrains de
recherche.
Le défi de l'évaluation est ici de documenter cette expertise locale de
développement de services et de recherche, et d'en assurer la conso-
lidation et la mise à profit. Des activités de repérage, de mise en ré-
seau sont d'abord nécessaires. Il faut savoir qui fait quoi, dans quel
cadre. On pourra par la suite penser à la mise en commun des proto-
coles et des instruments, puis à l'élaboration de protocoles qui per-
mettent d'intégrer la diversité, tout en demeurant centré sur les mesu-
res à évaluer. Il y a ici peut-être un modèle à inventer « d'évaluation
multi-sites, modulaire et décentralisée ». Les évaluations pourraient
DÉFIS ET ENJEUX DE L'ÉVALUATION 67

être effectuées à partir d'un protocole de base commun. Un ou plu-

sieurs sites pourraient développer des modules sur mesure pour com-
pléter le protocole de base. Ces modules seraient mis à la disposition
de tous, tout comme la banque des données dénominalisées issues
des mesures communes.

Le rôle de l'intersectoriel dans l'atteinte des objectifs

Plusieurs des mesures et des programmes prônés par les plans d'ac-
tion sont orientés vers l'intégration des services et privilégient des
approches globales. L'articulation avec des programmes émanant
d'autres secteurs (éducation, emploi-travail, justice, solidarité sociale)
représente plus que jamais une condition de succès pour l'atteinte
des objectifs des plans d'action. Dans quelques années, devra-t-on
constater une fois de plus les échecs répétés ou les succès très miti-
gés des tentatives d'interventions intersectorielles? Une contribution
possible de l'évaluation est ici d'intégrer des variables intersectorielles
dans les protocoles d'évaluation. Si l'on reconnaît la complémentarité
de deux secteurs ou plus dans la mise en œuvre d'une mesure à
évaluer et leur responsabilité partagée dans l'atteinte des objectifs, on
doit assigner à l'interaction entre ces secteurs une place dans la
conceptualisation des variables à considérer. À titre d'exemple, le ni-
veau d'accès à un programme d'un autre secteur peut représenter
une barrière ou un facilitateur pour l'implantation d'une mesure. L'ac-
cessibilité et la participation à ce programme peuvent aussi être consi-
dérées comme des variables importantes pour atteindre les objectifs
d'une mesure donnée d'un plan d'action. Concrètement, que l'on parle
de logement, de travail et d'éducation ou de clientèle à problèmes
multiples, on ne peut évaluer adéquatement l'implantation ou l'effica-
cité d'une mesure sans tenir compte de programmes de secteurs autres
que celui de la santé et des services sociaux. On a déjà fait des pas
importants vers une évaluation qui tienne compte de l'ensemble des
contributions (services du réseau, services communautaires, proches
et personne elle-même) dans l'atteinte des objectifs. La qualité des
services est de plus en plus conçue en termes de continuité, d'inté-
gration et d'harmonisation. Il s'agit maintenant de considérer, au-delà
des frontières du sociosanitaire, la contribution d'autres types d'orga-
nisations (municipalités, centres locaux d'emploi, commissions sco-
laires, par exemple). En ce domaine, il existe peu de précédents et
peu de projets d'évaluation se sont aventurés sur ces territoires en
dehors du secteur de la santé et des services sociaux.
68 SERVICE SOCIAL

LES CHEMINS INCONNUS

Les questions et les défis
Jusqu'ici il n'a été question que des chemins connus qui conduisent
aux endroits connus où l'on veut se rendre. Qu'en est-il des autres
chemins et des autres destinations? Comment savoir s'il ne vaudrait
pas mieux se diriger vers de nouvelles destinations ou emprunter
d'autres routes, vers des destinations inconnues? L'évaluation peut-
elle contribuer à la découverte de ces nouvelles destinations, à la
reconnaissance de ces nouvelles routes? Dans l'état actuel de nos
pratiques, l'évaluation a plutôt tendance à favoriser les démarches
sur les chemins familiers. Les attentes et les mesures incitatives (prio-
rités de recherche, modes d'attribution des subventions, appels d'of-
fres pour les commandites) encouragent des projets axés vers une
utilisation rapide des résultats et une contribution directe à la mise en
œuvre des politiques. Ce qui constitue une reconnaissance formelle
du rôle de l'évaluation dont on ne peut que se réjouir. En contrepartie,
ces dispositions favorisent peu l'innovation, n'incitant pas à s'écarter
des itinéraires déjà prévus dans les plans.
Pour relever ce défi, l'évaluation peut offrir un certain nombre de
concepts et de méthodologies. Sur le plan des concepts, par exem-
ple, la notion d'impact est particulièrement intéressante. Si l'on définit
l'impact comme l'ensemble des effets produits par une intervention,
on peut considérer, au-delà des effets attendus, désirés (en relation
avec les objectifs visés, donc l'efficacité), les effets imprévus et les
effets dérivés. Pour ce faire, les stratégies sont multiples : analyses
secondaires des données, croisement de banques de données, ap-
proches qualitatives, prise en considération de points de vue multi-
ples. Le défi ici est de déborder les cadres prévus par les indicateurs
pré-identifiés d'implantation et de résultats.
L'évaluation peut aussi reconnaître et documenter les interventions
novatrices. Les approches reliées à la théorie en émergence ont leur
pendant en évaluation de programmes. L'évaluation peut ainsi contri-
buer à concevoir et à raffiner des interventions issues de l'expérience
sur le terrain, développées pour répondre à de nouvelles problémati-
ques ou importées de l'extérieur ou d'autres secteurs. Un défi particu-
lier est ici de repérer ces pratiques en émergence et de leur accorder
une place, alors que l'essentiel de l'attention est tourné vers l'évalua-
tion de la conformité à des « plans ».
DÉFIS ET ENJEUX DE L'ÉVALUATION 69

LES ENJEUX
Lorsqu'on traite des enjeux reliés à l'évaluation, on s'intéresse géné-
ralement aux enjeux politiques autour de la définition du cadre et des
modalités de l'évaluation, d'une part, et de l'interprétation et de l'utili-
sation de ses résultats, d'autre part. En relation avec les défis que je
viens de relever et en raison de mon intérêt pour les « chemins incon-
nus », je voudrais aussi proposer un enjeu d'un autre type, lié au rôle
même de l'évaluation. Comme il a été mentionné plus haut, la contri-
bution de l'évaluation au développement des politiques et à leur mise
en œuvre est sans doute aujourd'hui mieux reconnue que jamais.
Cette reconnaissance du rôle de soutien et de producteur d'informa-
tion de l'évaluation risque de s'exercer aux dépens de son autre fonc-
tion, celle reliée à son sens premier de porter un jugement critique sur
la réalité. L'évaluation a aussi pour fonction de remettre en question
les croyances et les a priori et de contribuer à instaurer des change-
ments fondamentaux dans les pratiques.
Pour favoriser cette attitude critique, mais aussi pour encourager la
co-fertilisation entre les expériences, la personne qui fait de l'évalua-
tion se trouve dans une position privilégiée. D'une part, elle entre en
contact avec nombre d'organisations, de programmes, d'expérien-
ces. D'autre part, elle assure souvent l'interface entre différents grou-
pes d'acteurs et, comme on le souhaiterait, de différents secteurs.
Cette position devrait lui permettre de mettre en valeur la diversité, en
tant que levier pour l'innovation et l'invention : diversité des points de
vue sur le système et diversité des mises en œuvre sur le terrain.
Cette question de la diversité pose aussi celles de la conformité et de
la possibilité pour un système hautement planifié de se renouveler.
L'évaluation faisant partie de ce système, il lui appartient de par sa
fonction critique de remettre ce système en question et de stimuler
ainsi la recherche de réponses inédites.

CONCLUSION
De mon point de vue, les défis actuels de l'évaluation sont de deux or-
dres. Dans l'ordre de l'évaluation du connu et du prévu, il lui faut affiner
ses stratégies pour tenir compte de deux conditions de mise en œuvre
des mesures de transformation des services, soit les adaptations
locales et le caractère de plus en plus intersectoriel de ces mesures.
70 SERVICE SOCIAL

Pour tenir compte et tirer tout le profit possible des adaptations loca-
les, il semble que l'on doive élaborer des stratégies de mise en com-
mun des protocoles et des données dans le cadre d'évaluations concur-
rentes sur plusieurs sites. En ce qui concerne le défi de l'intersectorialité,
un premier élément de réponse consiste certes à introduire dans les
protocoles de recherche des variables reliées à d'autres secteurs.
L'autre défi consiste à sortir des sentiers connus, à reconnaître et à
soutenir l'innovation. Il importe de se rappeler qu'une mesure, si justi-
fiée soit-elle, ne représente toujours qu'un choix parmi d'autres, effec-
tué dans des circonstances données et suivant l'état actuel des
connaissances. Devant les demandes accrues et souvent pressantes
d'évaluer des mesures fondées sur des données probantes, on ris-
que de voir passer au second plan l'autre fonction de l'évaluation,
celle de porter un regard critique sur l'ordre des choses. On serait
tenté de dire que l'utilisation « instrumentale » de l'évaluation risque
de prendre le pas sur son utilisation « critique ». Le défi pour Pévaluateur
est d'arriver à jouer ce double rôle de guide sur les chemins connus et
d'explorateur vers des chemins inconnus.

Céline MERCIER
Professeure agrégée
Département de psychiatrie
Université McGili
Directrice
Centre de recherche
Hôpital Douglas