Evaluation Camp Eval

Télécharger au format pdf ou txt
Télécharger au format pdf ou txt
Vous êtes sur la page 1sur 23

Ce fichier PDF contient l'ensemble des informations prsentes sur le site web de l'IUFM l'adresse

http://www.grenoble.iufm.fr/departe/shs/campeval/
le cours thorique et ses exemples (pages 1 16)
les rfrences bibliographiques (pages 17 20)
le glossaire des concepts-cls (pages 21 23)

QUELQUES ELEMENTS FONDAMENTAUX SUR LEVALUATION

Il sagit ici de lvaluation institue qui sappuie sur une instrumentation spcifique.
J.M. Barbier (1985) distingue lvaluation institue de lvaluation implicite, qui ne se
rvle qu travers ses effets (dcider de reprendre une explication, dcider de ne pas se prsenter
un examen), et de lvaluation spontane, qui ne se traduit que par la formulation dun
jugement intuitif (cest souvent le cas des jugements de couloir : un tel est trs bon ou pas
bon...).
Lvaluation sert produire de linformation clairante pour prendre des
dcisions. Les modalits de lvaluation sont fonction du type de dcisions prendre.
Aprs avoir dfini en quoi consiste lvaluation, nous en distinguerons les diffrentes
fonctions, et enfin nous prsenterons quelques principes et perspectives pour mettre en uvre une
valuation au service des apprentissages.

1. QUEST-CE QUEVALUER ?

Les rponses cette question ont donn lieu une abondante littrature. Thories et
modlisations de pratiques ont modifi la faon de penser lvaluation scolaire. Les instructions
officielles ont pris en compte en partie les rsultats de ces travaux en insistant sur la
dimension formative de lvaluation. Mais les pratiques installes ne relvent pas toujours
dune dmarche rigoureuse de lvaluation, et les rgles du jeu ny sont pas toujours
clairement explicites.

F. Campanale - IUFM de Grenoble Cours sur lvaluation - avril 1999 - mars 2000 - janvier 2001 Page 1
[email protected]
1.1. Mettre en relation un rfr et un rfrent pour se prononcer sur
Toute valuation suppose une mise en relation dun rfrent et dlments, issus dun
observable -un rfr- (Barbier, 1985), pour produire de linformation clairante sur
l'observable (Hadji, 1990). Lvaluation est un processus qui suppose llaboration dun rfrent
et la dtermination du rfr. Lvaluation peut porter sur un produit (une ralisation de llve)
et/ou un processus (la dmarche utilise).

1.1.1 Evaluer une production

Lvaluation scolaire met plutt laccent sur lvaluation de productions ralises par les
lves, en fonction de consignes, en vue de se prononcer sur le dveloppement de comptences
vises.
Le rfrent comprend alors lidentification de la/les comptence/s vise/s et les qualits
ou critres de russite du produit attendu, rsultant dune tche prescrite, et tmoignant de la
mise en uvre de cette / ces comptence/s.
Exemples : les comptences, comme rsumer un texte, rendre compte de , argumenter, analyser et
commenter des documents... seront values travers des tches crites ou orales donnes raliser aux
lves. Types de tches : rsums dun texte narratif/informatif/argumentatif, comptes rendus dune
manifestation/dune runion, dbat oral, discussion crite partir de documents divergents, dissertation,
commentaires de documents varis portant sur le mme thme, commentaire compos Le choix des tches,
des supports et des degrs dexigence sont fonction des comptences rfrences pour le niveau des lves
viss et de la priode dapprentissage.

Les critres qui dfinissent lattendu ou critres de russite sont fonction du type de tche
prescrite. Ils ressortent de quelques grandes catgories :
conformit aux consignes, exactitude des rsultats / des calculs, des informations utilises ... /
compltude des informations fournies, des rponses apportes... ;
cohrence dune argumentation, dun raisonnement... ;
pertinence dune explication, des ides dveloppes, des exemples fournis, des choix
darguments / dinformations / de modles utiliss, de la problmatique, de lorganisation... ;
communicabilit de lexpression -correction de la syntaxe de lorthographe, concision de
lexpression, lisibilit de lcriture et de la prsentation- ;
originalit des ides, de lexpression, des exemples...

F. Campanale - IUFM de Grenoble Cours sur lvaluation - avril 1999 - mars 2000 - janvier 2001 Page 2
[email protected]
Exemple de critres de russite pour un rsum :
- concision (qui correspond la catgorie conformit, autrement dit : le texte produit correspond la
longueur indique, il sagit bien dun rsum)
- fidlit (ou pertinence du contenu, cest dire quon retrouve les ides essentielles et la structure de
base)
- cohrence
- communicabilit ou correction de la syntaxe et de lorthographe et lisibilit de lensemble
- reformulation personnelle

Les critres de la production attendue sont choisis et hirarchiss en fonction des


comptences vises et du moment de lvaluation dans la squence denseignement-
apprentissage.

Le rfr, cest ce qui est observ (la production ralise), saisi travers un faisceau
dindicateurs qui permettent de se prononcer en fonction des critres. Les indicateurs sont la
version ou conversion concrte dun critre, un indice pris dans lobservable qui permet de dire si
lobjet rpond au critre. Un indicateur peut correspondre plusieurs critres, plusieurs
indicateurs, se combinant, peuvent correspondre un mme critre.
Exemples dindicateurs pour le rsum:
- la longueur du rsum produit est significative du respect de la consigne, de la concision, mais pas
exclusivement ;
- le nombre dinformations / dides ou dvnements apparaissant dans le rsum est significatif de la
compltude, condition quils correspondent ce qui se trouve dans le texte de base ;
- lenchanement des informations / des ides ou vnements, les connecteurs utiliss sont significatifs de la
cohrence

Il faut le plus souvent croiser plusieurs indicateurs pour se prononcer sur une dimension
de la production, comme on croisera plusieurs critres pour se prononcer sur la qualit globale de
la production. Par exemple, pour juger de la fidlit dun rsum par rapport au texte de base, on
regardera si le nombre dides ou dvnements repris dans le rsum correspond au nombre
dides du texte rsumer, si la structure choisie pour le rsum et les marques dnonciation
utilises sont les mmes que celles du texte de base Pour juger de sa pertinence, on regardera
si les informations / ides / vnements repris sont ceux qui sont essentiels dans le texte de base,
si les marques dnonciation correspondent la fonction du rsum (synthse ou prsentation
dun texte informatif / argumentatif / narratif).

Construire un rfrent pertinent et dfinir des indicateurs correspondant aux critres est
gage dune valuation rigoureuse.

F. Campanale - IUFM de Grenoble Cours sur lvaluation - avril 1999 - mars 2000 - janvier 2001 Page 3
[email protected]
1.1.2. Evaluer une dmarche

Pour valuer une dmarche, laccent nest pas mis sur les critres de russite mais sur les
critres de ralisation, cest dire les oprations invariantes impliques par la ralisation de la
tche1, qui ressortent dune analyse de la tche.
Exemple pour le rsum :
- Identifier le type de texte rsumer, la fonction du rsum et le destinataire
- Distinguer ides et illustrations de ces ides,
- Dgager la structure du texte,
- Slectionner les informations / ides vnements essentiels,
- Les reformuler,
- Organiser le rsum en reprenant la structure et (suivant le fonction du rsum) les marques
dnonciation,
- Rdiger lensemble de faon personnelle et concise.

Lensemble de ces critres de ralisation ne se confond pas avec une mthode (dont les
oprations sont ordonnes). Chaque ralisateur organise et met en uvre les oprations en
fonction de ses propres processus cognitifs.

1.1.3 Les 3 intentions de lvaluation et la communication des rsultats

Hadji (1990, 1992) distingue lintention destimer, dapprcier, de comprendre. Quelle


que soit lintention, une valuation rigoureuse ncessite des critres. Mais avec lintention
destimer et/ou dapprcier, laccent sera mis sur la production de llve et on privilgiera les
critres de russite. Avec lintention de comprendre, laccent sera mis sur la dmarche mise en
uvre par llve et on privilgiera alors les critres de ralisation.
La communication des rsultats de lvaluation prend des formes diffrentes, utilise des
supports et codes diffrents, sadresse des destinataires diffrents suivant lintention dominante
et les partenaires du jeu (enseignant-lve/lves ou enseignant-lve-parents-institution).

Lvaluation qui a pour intention de comprendre, si elle peut se traduire par des
apprciations (difficilement par des estimations car elles signifient une fin au moins provisoire
dapprentissage et donc nincitent pas sy remettre), va plutt sexprimer sous forme de

1
On trouvera des exemples de critres de ralisation dans les livres de Veslin (1992) et Grandguillot (1993), dans le
livre coordonn par M. Grangeat (1997), p.46.
F. Campanale - IUFM de Grenoble Cours sur lvaluation - avril 1999 - mars 2000 - janvier 2001 Page 4
[email protected]
questions relatives la mise en uvre des critres de ralisation, la reprsentation que se
fait llve de la tche et de son but. Elle concerne lenseignant et llve/les lves.

Lvaluation estimative et/ou apprciative dune production, dun niveau de


comptences relve du jugement dexpert, qui peut un temps ne sexprimer quentre les
partenaires de la classe, mais qui est destine tre communique aux autres partenaires : les
parents et linstitution. Les modes de communication de ce jugement inscrit sur la production
elle-mme, sur un bulletin dvaluation, varient. Traditionnellement une note chiffre traduit
le quantitatif, des mots (apprciations, annotations) expriment le qualitatif. Mais sont aussi
utiliss des symboles (figure qui sourit ou grimace, couleurs), des + ou des - dans une grille de
critres ou de comptences ou les codes A (acquis) / EC (en cours dacquisition) / NA (non
acquis).
La note chiffre, utilise officiellement dans le secondaire (Cf. les nouveaux bulletins des
collges) et plus officieusement dans des coles primaires, invite la comparaison entre lves et
au classement. Elle relve davantage dune valuation normative que dune valuation critrie.
Plus novatrice est la pratique du port-folio, qui rassemble des travaux choisis par les
lves pour tmoigner de leurs apprentissages et est le support dun entretien lve-enseignant-
parents2.

1.2 Tendance normative et parasitages de la notation chiffre traditionnelle

Lusage de la notation chiffre pour traduire le rsultat de lvaluation et le flou des


pratiques courantes dvaluation dans les classes (souvent sous prtexte de gagner du temps)
amnent un usage non pertinent de lvaluation normative.
On appelle valuation normative une valuation dont le cadre de rfrence est constitu
par les scores obtenus, lors dune preuve semblable, par les membres dun groupe de rfrence
(Hadji, 1990). Cest le type dvaluation utilise en psychologie par exemple pour les tests de
mesure du QI. Par extension, est dite normative une valuation dont lambition est de
situer les individus les uns par rapport aux autres. Evaluation normative soppose alors
valuation critrie : ... valuation qui apprcie un comportement en le situant par rapport une

F. Campanale - IUFM de Grenoble Cours sur lvaluation - avril 1999 - mars 2000 - janvier 2001 Page 5
[email protected]
cible [le critre qui correspond lobjectif atteindre] (Hadji, 1997, p. 15). On peut ainsi qualifier de
normative lvaluation qui dbouche sur une notation chiffre.
En effet, la note ressemble une mesure sans en tre une, car une mesure est objective, en
ce sens que, une fois dfinie lunit, on doit toujours avoir la mme mesure du mme
phnomne (Hadji, 1997, p. 24), quel que soit le mesureur. Or, comme nous allons le voir, la
note varie en fonction de lvaluateur. De plus, la mesure ne prend du sens que par
comparaison avec un talon , dautres mesures. Or, lenseignant, quand il value la qualit
dune production, un niveau de comptences, ne dispose pas dun talon . Aussi, dfaut, il
compare les productions3, pour ventiler les notes sur lchelle traditionnellement adopte de 0
204, le plus souvent suivant une courbe de Gauss. Ainsi, la note attribue est fonction de
linterprtation que fait lenseignant de lcart quil constate entre la production et un
rfrent plus ou moins explicite5, qui peut varier en fonction du contexte de lvaluation.

Les docimologues6 (spcialistes de ltude de la notation) ont montr, depuis les annes 50,
que la notation varie en fonction des valuateurs (Cf. Noizet & Caverni, 1978, Merle, 1998). Ils
ont mis en vidence que lestimation des performances est parasite7 par diffrents effets dont
lvaluateur na pas forcment conscience :
- Effets dordre (les premires copies sont values plus svrement) ;
- Effets dancrage (survaluation ou sous-valuation selon que la copie se situe immdiatement
aprs une copie juge mauvaise ou bonne) ;
- Effets de la place des erreurs dans la copie (les erreurs en dbut de copie provoquent un a
priori dfavorable) ;

2
Cf. le numro thmatique que lui consacre la revue Mesure et valuation en ducation, Vol. 20, n 3, 1998.
3
Sur les bulletins du collge, la moyenne chiffre des rsultats de llve est prsente en regard de la moyenne des
moyennes des lves de la classe, de la plus basse et plus haute moyenne.
4
Toutefois, la rfrence et le niveau dexigences ntant pas pralablement explicites, lchelle a tendance se
rduire, les extrmes tant souvent vits.
5
Quand le rfrent nest pas pralablement explicit, il est fait dun attendu gros traits , qui tient compte des
consignes, de ce que lenseignant sait pouvoir attendre de ses lves sur ce type de tches, et aussi progressivement,
au fil de lvaluation de lensemble des production des caractristiques de la production moyenne, qui se dgagent.
6
Docimologie, terme rpandu par Piron dans les annes 60 - PIERON (H), 1963 - Examens et docimologie, Paris,
PUF- , signifie Science et pratique du contrle des connaissances.
7
Pour rduire limpact de ces effets parasites, on utilise dans les examens et concours diverses modalits : double
correction, harmonisation des notes, pr-analyse collective dune copie pour sentendre sur les indicateurs ...
F. Campanale - IUFM de Grenoble Cours sur lvaluation - avril 1999 - mars 2000 - janvier 2001 Page 6
[email protected]
- Effet de source (ce que lvaluateur sait de lvalu ou ce quil en peroit travers la copie
provoque une impression plus ou moins favorable en fonction de la subjectivit du correcteur).

Il faut ajouter que la notation chiffre est aussi influence, comme la montr Chevallard
(1986) par une ngociation implicite entre lenseignant et les lves (vous allez progresser en
cours danne, donc en dbut danne les notes ne sont pas trs leves, ou vous navez pas assez
travaill ces derniers temps et je vous signifie mon mcontentement par des notes svres...).

1.3 Lvaluation ne peut tre ni compltement objective, ni absolue

Expliciter le rfrent pour valuer les productions par rapport lui, avoir conscience des
effets parasites, permettent de diminuer, sans pour autant pouvoir lliminer la part de subjectivit
que contient toute valuation. Lvaluation contient une part irrductible de subjectivit.
De plus, la performance de llve est elle aussi relative un contexte et un moment
(sinon cela signifierait que la production ralise, lapprentissage est termin). On ne peut pas
multiplier trop les situations dvaluation pour une mme comptence, la mme priode, pour
voir si la performance se stabilise. Aussi, on peut dire que lvaluation des comptences ne
relve que dune infrence.
On ajoutera que si des critres sont labors pralablement lpreuve avec les lves, ou
moins leur sont communiqus, non seulement lvaluation est plus rigoureuse, on a plus de
chances dinfrer de la comptence vise que de laptitude de llve dceler les attendus
implicites de lenseignant.

2. LES FONCTIONS DE LEVALUATION

Evaluer est donc une lecture particulire de la ralit , suivant lexpression de Hadji
(1990, 1997), qui prend diffrentes formes en fonction de dcisions prendre. Le rfrent et le
choix du rfr (de ce qui est observ) dpendent de la fonction de lvaluation qui est privilgie
(de ce quoi va servir cette valuation).

F. Campanale - IUFM de Grenoble Cours sur lvaluation - avril 1999 - mars 2000 - janvier 2001 Page 7
[email protected]
2.1 Rgulation sociale et rgulation pdagogique ; valuation sommative et valuation
formative

Depuis les travaux de Scriven (1967) sur les curricula, repris par Bloom (1971) dans le
contexte de lenseignement, on considre que lvaluation scolaire est au service de la
rgulation : rgulation sociale par la gestion des flux dlves ou dtudiants, rgulation
pdagogique dans le systme enseignement-apprentissage. Elle assume deux types de fonctions :
la fonction sommative et la fonction formative, auxquelles les chercheurs suisses ont ajout la
fonction pronostique (Cf. Allal et al. 1979, dans un ouvrage qui a fait date).

! Une forme de rgulation est de sassurer que les caractristiques des lves
correspondent aux exigences prtablies du systme de formation. Dans ce cas,
lvaluation est un moyen de contrle de la progression de llve aux points dentre,
de passage et de sortie du systme.
- La fonction de lvaluation est pronostique au niveau de laccs un cycle ou une
anne dtude...
- Sa fonction est sommative lorsque le contrle sopre la fin dune anne dtudes...

! Une autre forme de rgulation est de sassurer que les moyens de formation proposs
par le systme soient adapts aux caractristiques des lves.
- Dans ce cas, lvaluation assume une fonction formative car son but est de fournir
des informations permettant une adaptation de lenseignement aux diffrences
individuelles dans lapprentissage (Allal, 1979, d. de 1985, p. 131).

Lvaluation pronostique ou sommative relvent davantage du contrle des apprentissages,


alors que lvaluation formative relve davantage de la rgulation des conditions de
lapprentissage.

F. Campanale - IUFM de Grenoble Cours sur lvaluation - avril 1999 - mars 2000 - janvier 2001 Page 8
[email protected]
2.2 Lvaluation formative / formatrice ou lapproche complexe de lvaluation

Lvaluation formative, ainsi dfinie dans les annes 70, par ceux qui se rfrent au
Behaviorisme comme thorie de lapprentissage (Bloom avec la pdagogie de la matrise, les
tenants de la pdagogie par objectifs), vise une rgulation externe de lapprentissage (Cf.
Bloom, 1998, Allal, 1979/1985, 1988).

Les chercheurs en valuation, qui se rfrent aux thories socio-constructivistes de


lapprentissage, complexifie lvaluation formative en visant une rgulation interne de
lapprentissage. Pour eux, llve, acteur principal de son apprentissage, doit aussi devenir
lacteur principal de lvaluation de son apprentissage. Lvaluation prend une dimension
formatrice ou autovaluative, suivant la terminologie utilise par les chercheurs dAix-
Marseille (Bonniol et al. 1978 ; Bonniol, 1986, 1988 ; Nunziati 1990 ; Vial, 1987, 1995). La
construction de la rfrence est aussi laffaire de llve, dune rfrence qui lui permette de se
reprsenter la performance raliser mais aussi les moyens dy arriver.

J.J. Bonniol (1986, 1988, 1989) alors distingue critres de russite et critres de ralisation
(Cf. plus haut). Les deux types de critres constituent une rfrence pour agir / raliser, une
rfrence volutive, en fonction de la progression de lapprentissage, avant dtre une rfrence
pour lvaluation sommative. Cette rfrence partage entre les lves et lenseignant, qui
volue au fil des valuations intermdiaires, permet lenseignant didentifier russites et erreurs
des lves, de mettre en place des rgulations interactives, rtroactives et proactives (Allal, 1988,
1991) et aux lves de se guider dans la ralisation, de rguler leur action, de mieux comprendre
les apprciations de lenseignant, ses questions.

Dune faon gnrale, on peut dire que lvaluation formative (telle quelle est conue
actuellement) recouvre des stratgies qui font interagir la boucle de rgulation du dispositif
pdagogique, gre par l'enseignant et la boucle de rgulation de l'apprentissage gre par l'lve.
Il ne sagit pas dune valuation formative qui se rduirait du contrle continu, qui ne viserait
quune conformation la rfrence prtablie et fixe, mais dune valuation qui interroge les
reprsentations, les rfrences implicites luvre, les dmarches, qui cherche comprendre un

F. Campanale - IUFM de Grenoble Cours sur lvaluation - avril 1999 - mars 2000 - janvier 2001 Page 9
[email protected]
fonctionnement ou un dysfonctionnement, pour en dgager le sens et orienter laction (Hadji,
1990). Cest une valuation partage qui vise linteraction des autovaluations des acteurs
(Campanale, 1997).

Lvaluation est pense comme interprtation par lvaluateur dune ralit complexe et
changeante, interprtation ponctuelle, provisoire qui cherche clairer un devenir possible.
Lvaluation formative englobe et dpasse le contrle (Cardinet, 1992). Pluri-rfrentielle
(Ardoino, 1993), lvaluation est essentiellement formative (Ardoino et Berger, 1986, 1989) ;
elle intervient dans un systme ouvert en vue d'en optimiser le fonctionnement et de dgager le
sens de son volution (Ardoino et Berger, 1986, 1989). Rfrent et rfr se construisent,
s'prouvent et sont sans cesse dpasss et reconstruire. L'valuation est un processus sans
achvement (id.).

2.3 Six questions se poser pour valuer et quelques principes

Toute situation dvaluation gagne tre claire par 6 questions :

- A quoi va servir cette valuation ? Pour rguler le processus enseignement-


apprentissage ? Pour contrler des acquis ?

- A qui les rsultats sont-ils destins ? Aux lves / lenseignant ? A linstitution, aux
parents ?

- Quest-ce qui est valu ? Des stratgies, des dmarches ? Des


apprentissages spcifiques / des comptences ?

- Qui value ? Les lves et lenseignant ? Lenseignant, lquipe


pdagogique / ducative ? Linstitution ?

- Quand valuer ? Avant, au dbut de la squence, en cours de


squence ? A la fin de la squence, ultrieurement
en diffr ? A la fin dun cycle de scolarit ?

- Comment ? Par des observations, des analyses, des


questionnements ... ? Par des tests, des preuves ?

F. Campanale - IUFM de Grenoble Cours sur lvaluation - avril 1999 - mars 2000 - janvier 2001 Page 10
[email protected]
Le dispositif dvaluation est concevoir en mme temps quest conue la squence
enseignement-apprentissage / le projet de formation / le projet pdagogique...
Le type de tche pour lvaluation sommative, lpreuve, qui permettra dvaluer les
comptences vises par la squence denseignement-apprentissage est donc dterminer en
mme temps que sont dtermines ces comptences . Et cest en fonction de ces comptences
et du type de tche / dpreuve pour lvaluation sommative que sont organiss et le droulement
de la squence et les valuations intermdiaires, qui permettent de rguler le dispositif, de
ladapter en fonction de la progression des apprenants. Cela permet lenseignant lors du choix
dfinitif de la tche pour lvaluation (adapte la progression dans de lensemble des lves)
dvaluer ce qui a t effectivement enseign.
Mais prvoir le dispositif dvaluation ne se limite pas envisager la tche dvaluation
finale, cest aussi introduire de lvaluation formative. Il ne sagit pas pour lui de seulement
contrler en cours de route ce qui se passe pour rguler, adapter son enseignement, renvoyer aux
apprenants des informations qualitatives, mais aussi dimpliquer les lves dans lvaluation :
aider les lves, en dbut de squence, se construire une rfrence de ce quils devront avoir
appris faire (expliciter la/les comptences vises, co-construire les critres), les mettre en
situation dutiliser les critres, didentifier des indicateurs, de questionner leurs productions
intermdiaires dans des situations dvaluations mutuelles8, de faire voluer les critres.
Lidentification des comptences vises, la construction, lappropriation des critres et
indicateurs font partie de lapprentissage : cest ce qui permet lapprenant de rguler son action,
autrement dit dautovaluer.

3. QUELQUES MOTS SUR LAUTOEVALUATION

Tout un courant sintresse au dveloppement des capacits dautovaluation des


apprenants (Nunziati, 1990 ; de Ketele, 1986 ; Allal et al., 1993 ; Paquay et al., 1990, Paquay,
1994 ; Campanale, 1995, 1997) et aux stratgies visant la mise en uvre des modalits
dautovaluation de la part de chaque catgorie dacteurs du systme ducatif. L'volution des

8
Le plus souvent pour lenseignant, les indicateurs sont si vidents quil nest plus ncessaire de les formuler. Pour
llve, nommer, reconnatre des indicateurs, en valuant les productions dautrui, lui permettront de comprendre les
critres, davoir des exemples concrets de ce que signifie la formulation abstraite du critre.
F. Campanale - IUFM de Grenoble Cours sur lvaluation - avril 1999 - mars 2000 - janvier 2001 Page 11
[email protected]
thories et des modles conduit attribuer un rle dterminant l'autovaluation ou
lvaluation en premire personne, suivant lexpression de Cardinet (1989) dans la rgulation et
lvolution du systme enseignement-apprentissage. Lautovaluation a ses sources dans les
travaux de Piaget (1974a, 1974b) sur la prise de conscience et dans ceux de lcole Vygotskienne
(Cf. notamment Galprine, 1980) sur le rle du langage dans le contrle cognitif.

3.1 Dfinitions et modlisation

Lautovaluation a dabord t dfinie comme un dialogue de soi soi du sujet (Nunziati,


1990).
Pour Linda Allal (1993), il sagit dune rflexion mtacognitive, qui enclenche des
autorgulations : quest-ce que je sais, quest-ce que je sais faire ? Comment je my prends ?
Quest-ce que je peux modifier ?
On peut actuellement la dfinir comme comme un autoquestionnement (Vial, 1997) par le
sujet de son action ; un processus d'altration du rfrentiel daction dun sujet, qui lamne
interroger, rguler, transformer son action et par l agir sur lui (Campanale (1997).
Altration est prendre ici au sens premier, tymologique, de rendu autre. Il exprime la
ncessaire intervention d'autrui pour que le sujet puisse, aller au del de la prise de recul et du
simple constat d'cart entre le rsultat de son action et l'attendu.

Sujet

rgulation /
volution
des reprsentations

Objets dvaluation Rfrentiel


( produits / dmarches / interne
conceptions sous-jacentes )

Rfrentiels
externes

Figure 1 - Modle de lautovaluation

F. Campanale - IUFM de Grenoble Cours sur lvaluation - avril 1999 - mars 2000 - janvier 2001 Page 12
[email protected]
Autrui intervient pour aider le sujet se distancier et expliciter sa dmarche, sa
reprsentation du but, et ce faisant conceptualiser son action. Et cest par la confrontation
avec d'autres possibles (produits, dmarches), soumis au sujet par des pairs, avec dautres
interprtations des objets valus en commun, que le sujet peut se dcentrer de son action et
linterroger. Cest en passant par dautres rfrentiels que le sujet sera amen interroger le sien.

Ce processus spiralaire dpasse lautocontrle du produit de laction pour aller lauto-


questionnement de ses stratgies et reprsentations (Vial, 1997). Il dbouche sur des dcisions en
partie conscientes et explicitables de modifications de conduites en fonction de reprsentations
modifies ou darrangements avec soi-mme.

3.2 les situations dautovaluation et une grille de lecture

Linda Allal (Allal et Michel,1993) distingue trois types de modalits dorganisation de


situations dautovaluation.
- Lautovaluation au sens strict, o le sujet contrle sa production avec une grille de
rfrence. Ce qui se passe dans la tte du sujet est difficilement observable ; un jeu se joue
avec lui-mme, avec les autres et avec les enjeux de la situation. Les grilles dautovaluation
(qui fleurissent dans les manuels) peuvent avoir des effets pervers : confusion des rles
(rappelons que lenseignant est expert), effet camlon (Paquay, 1994) - lautovalu
cherche se conformer lvaluation que lvaluateur externe pourrait faire de son travail-
Elles peuvent toutefois donner lhabitude dauocontrler son rsultat.
- Les valuations mutuelles rciproques (faites sur des productions manant des lves-
valuateurs) et non rciproques (faites sur des productions externes aux lves-valuateurs),
qui sont celles qui permettent aux lves de sapproprier les critres tablis en commun ou par
lenseignant et dclenchent le plus de modifications.
- Les co-valuations (terme plutt rserv aux valuations conjointes de llve et de
lenseignant), qui permettent dengager un dialogue entre enseignant et lve sur les carts
dapprciations et entrent dans une pdagogie individualise. Elles peuvent se faire sur une
production ou un ensemble de production dans une situation de bilan dapprentissage.

F. Campanale - IUFM de Grenoble Cours sur lvaluation - avril 1999 - mars 2000 - janvier 2001 Page 13
[email protected]
La prise de distance, qu'implique l'autovaluation, est une fonction essentielle de
l'apprentissage (Berbaum, 1991, 1993), qui se rpercute sur chacune des autres fonctions
quexerce un apprenant (attitudes-projet, choix de situation, traitement des informations).
Nous avons, nousmme (Campanale, 1995, 1998, 1999) distingu 3 mouvements de prise
de distance : le recul, la distanciation et la dcentration. La mise en relation des situations
dautovaluation, des objets valus, des mouvements de prise de distance et des rgulations
mtacognitives quils sont susceptibles denclencher nous a amen proposer la grille de lecture
suivante :

MODALITES OBJETS

AUTOCONTROLES
GUIDES PRODUITS

ENTRETIENS
DEVALUATION / BILANS DEMARCHES
DE FORMATION
ACCOMPAGNES
EVALUATIONS CONCEPTIONS
MUTELLES SOUS-JACENTES

AUTOEVALUATION

REORGANISATION DES AUTOQUESTIONNEMENT


REPRESENTATIONS dcentration

MONITORING EXPLICITATIONS
CONSCIENT distanciation

AJUSTEMENTS CONSTATS
PONCTUELS prise de recul

OPERATIONS DE MANIFESTATIONS DES


REGULATION MOUVEMENTS DE PRISE
METACOGNITIVE DE DISTANCE

Figure 2 - Grille de lecture de lautovaluation

F. Campanale - IUFM de Grenoble Cours sur lvaluation - avril 1999 - mars 2000 - janvier 2001 Page 14
[email protected]
3.3 La rgulation du systme enseignement-apprentissage

Lautovaluation et la rgulation du systme sont facilites si tous les acteurs simpliquent


dans la mme dynamique et se donnent les moyens dvaluer leur action. Pour cela, il est
important que chacun sache ce quil a valuer.

- ses productions - les comptences des


llve - ses stratgies lves lenseignant
value - les situations - ses contenus de cours value
dapprentissage - sa stratgie pdagogique

- les comptences des lves


lquipe pdagogique
- le projet pdagogique
value
- son fonctionnement

le chef dtablissement - les rsultats des lves


et son quipe - le projet dtablissement
value - les comptences des enseignants
- (valuation administrative)
- ses stratgies de management

- les besoins en formation


- les effets des enseignements
le ministre (ou ses - les comptences des enseignants,
reprsentants) - des quipes de direction et leurs
value projets
- les orientations, les vises de sa
politique ducative

Figure 3 - Acteurs et objets de lvaluation de lenseignement

F. Campanale - IUFM de Grenoble Cours sur lvaluation - avril 1999 - mars 2000 - janvier 2001 Page 15
[email protected]
Un enseignant peut-il autovaluer son enseignement autrement qu travers les rsultats des
lves ? Oui, par exemple en conduisant une squence avec un autre enseignant, ventuellement
en questionnant les lves en fonction de critres qui lui paraissent devoir caractriser un
enseignement efficace. Autovaluer est une dmarche de lucidit, tmoignant dune
responsabilisation, mais lautovaluation ne relve pas que du cognitif : la personne avec ses
affects est en jeu dans lautovaluation9. Les jugements de valeur sur les personnes doivent en
tre exclus.

CONCLUSION : EVALUER, AUTOEVALUER, COURAGE ET MOTIVATION

Lvaluation, ce nest pas simple. Cest un exercice o lon prend des risques : on ne peut
jamais tre sr davoir bien valu, toute valuation renvoie des interrogations
lvaluateur. Mais elle fait partie de la mission de tout enseignant et lui permet dassurer ses
choix. Lvaluation critrie, qui permet de sortir de larbitraire, est un exercice de rigueur et de
lucidit. La dmarche dvaluation formatrice, qui implique llve et sintgre son
apprentissage, est non seulement facteur de progression mais aussi de motivation pour
lapprenant.

9
Cf. les piges de lautovaluation recenss par Allal (1999).
F. Campanale - IUFM de Grenoble Cours sur lvaluation - avril 1999 - mars 2000 - janvier 2001 Page 16
[email protected]
Rfrences bibliographiques

ALLAL (L), CARDINET (J), PERRENOUD (P) (d.), 1979, 1981, 1983, 1985, L'valuation formative dans un
enseignement diffrenci, Berne, Peter Lang.

ALLAL (L), 1979, Stratgies dvaluation formative : conceptions psychopdagogiques et modalits dapplication. In
ALLAL & CARDINET & PERRENOUD (d.), 1979, 1981, 1983, 1985, L'valuation formative dans un
enseignement diffrenci, Berne, Peter Lang.

ALLAL (L), 1988, Vers un largissement de la pdagogie de la matrise : processus de rgulation interactive,
rtroactive, proactive. In M. Huberman (sous la dir.), Assurer la russite des apprentissages scolaires ?
Delachaux & Niestl, pp. 86-126.

ALLAL (L), 1991, Vers une pratique de l'valuation formative, matriel de formation continue des enseignants,
Bruxelles, De Boeck.

ALLAL (L), 1993, Rgulations mtacognitives : quelle place pour llve dans lvaluation formative ? In L. ALLAL,
D. BAIN, P. PERRENOUD, Evaluation formative et didactique du franais, Delachaux et Niestl, pp. 81-
98.

ALLAL (L) et Michel (Y), 1993, Autovaluation et valuation mutuelle en situation de production crite. In L. ALLAL,
D. BAIN, P. PERRENOUD, Evaluation formative et didactique du franais, Delachaux et Niestl, pp. 239-
264.

ALLAL (L), BAIN (D), PERRENOUD (P), 1993, Evaluation formative et didactique du franais, Delachaux et Niestl

ALLAL (L), 1999, Impliquer lapprenant dans le processus dvaluation : promesses et piges de lautovaluation. In
C. Depover & B. Nol, Lvaluation des comptences et des processus cognitifs, De Boeck, pp. 35-56.

ARDOINO (J) & BERGER (G), 1986, Lvaluation comme interprtation , Journal de la Formation Continue & de
l'EAO, n 208, nov. 1986, Paris, p. 7-10 (reproduction de l'article paru dans la revue POUR, n107, juin-
juillet-aot 1986, Paris, p 120-127).

ARDOINO (J) & BERGER (G), 1989, D'une Evaluation en miettes UNE EVALUATION EN ACTES, le cas des
universits, Matrice, Andsha.

ARDOINO (J), avril 1993, l'approche multirfrentielle (plurielle) des situations ducatives et formatives, Pratiques de
formation, n25-26, p. 15-34.

BARBIER (JM), 1985, L'valuation en formation, Paris, PUF.

F. Campanale - IUFM de Grenoble Cours sur lvaluation - avril 1999 - mars 2000 - janvier 2001 Page 17
[email protected]
BERBAUM (J), 1991, Dvelopper la capacit d'apprendre, ESF.

BERBAUM (J), 1993, Le dveloppement de la capacit d'apprentissage , in J. Houssaye (sous la dir.), La


Pdagogie : une encyclopdie pour aujourd'hui, ESF.

BLOOM (BS), 1971, Handbook on formative and summative evaluation of student learning, New York, Mc Graw-Hill
Book Co.

BLOOM (BS), 1988, Le problme des deux sigmas : la recherche de mthodes denseignement en groupe aussi
efficaces que le prceptorat. In M. Huberman (sous la dir.), Assurer la russite des apprentissages
scolaires ? Delachaux & Niestl, pp. 45-83

BONNIOL (JJ), AMIGUES (R), GUIGNARD (C), GENTHON (M), 1978, Dispositifs d'valuation formative, d'auto-
valuation et d'auto-correction: impact de ces dispositifs. Rapport de recherche, MEN.

BONNIOL (JJ), 1986, Recherches et Formations: Pour une problmatique de l'valuation formative , in J.M. De
Ketele (d.), L'valuation: approche descriptive ou prescriptive ? De Boeck, p. 119-133.

BONNIOL (JJ), 1988, Entre les deux logiques de l'valuation, rupture ou continuit ? , Bulletin de l'ADMEE, n 88-
3, pp. 1-5.

BONNIOL (JJ), GENTHON (M), 1989, L'valuation et ses critres : les critres de ralisation , Repres, n 79, p.
107-115.

CAMPANALE (F), 1995, Lautovaluation, facteur de transformation des conceptions et des pratiques : tudes
dactions de formation continue des enseignants dans le domaine de lvaluation, thse pour le doctorat
en Sciences de lEducation, Universit Pierre-Mends-France, Grenoble II.

CAMPANALE (F), 1997. Autovaluation et transformations de pratiques pdagogiques , Mesure et Evaluation en


Education, Vol. 20, n1, p. 1-24.

CAMPANALE (F), 1998, Modlisation des processus dautovaluation en formation denseignants , Pdagogies,
n12, 1998.

CAMPANALE (F), 1999, Dun modle de lautovaluation aux situations dvaluation partage dans la formation
initiale des enseignants . In Fabre-Cols C. Triquet E. (coord.), Recherche(s) et Formation des
Enseignants, Actes du 2me Colloque International, organis par lIUFM de Grenoble les 5, 6, 7 fvrier
1998, IUFM acadmie de Grenoble, Grain dAile.

CARDINET (J), 1989, Evaluer sans juger , Revue Franaise de Pdagogie, n88, juil., aot, sept, p. 41-52.

F. Campanale - IUFM de Grenoble Cours sur lvaluation - avril 1999 - mars 2000 - janvier 2001 Page 18
[email protected]
CARDINET (J), 1992, L'objectivit de l'valuation , in Formation et technologies, n0, commission communautaire
franaise, 1er trimestre, p. 17-26

CHEVALLARD (Y), 1986, Vers une analyse didactique des faits d'valuation , in J.M. De Ketele (d.),
L'Evaluation : approche descriptive ou prescriptive ?, De Boeck, p. 31-59.

DE KETELE (J M), 1986, L'valuation du savoir-tre , in J. M. De Ketele (d.), L'Evaluation : approche descriptive
ou prescriptive ? Bruxelles, De Boeck, p. 179-208.

GALPERINE (PI), 1980, Formation par tapes des actions et des concepts , in N. F. Talyzina (d.), De
l'enseignement programm la programmation de la connaissance, Lille : Presses Universitaires.

GRANGEAT (M) (coor.) & MEIRIEU (P) (sous la dir.), 1997, La mtacognition, une aide au travail des lves, ESF.

GRANDGUILLOT (MC), 1993, Enseigner en classe htrogne, Hachette-ducation

HADJI (Ch), 1989, 1990, Evaluation, les rgles du jeu, ESF.

HADJI (Ch), 1992, L'valuation des actions ducatives, PUF.

HADJI (C), 1997. Lvaluation dmystifie, ESF, coll. Pratiques & enjeux pdagogiques.

LE BOTERF (G), 1998, Lingnierie de comptences, Editions dOrganisation.

MERLE (P), 1998, Sociologie de lvaluation scolaire, PUF, Que sais-je ? n3278.

MALGLAIVE (G), 1990, Enseigner des adultes, PUF.

NOEL (B) & ROMAINVILLE (M) & WOLFS (JL), 1995, La mtacognition : facettes et pertinence du concept en
ducation, Revue Franaise de Pdagogie, 112 (3), 47-56.

NOIZET (G) & CAVERNI (JP), 1978, Psychologie de lvaluation scolaire, PUF.

NUNZIATI (G), 1987, Pour valuer une formation , Cahier de lvaluation, n2, Svres, CIEP, p. 47-57.

NUNZIATI (G), 1990, Pour construire un dispositif d'valuation formatrice , Cahiers Pdagogiques : Apprendre,
n280 janv. 1990, pp. 48-64.

PAQUAY (L) & ALLAL (L) & LAVEAULT (D), 1990, L'auto-valuation en question(s) - Propos pour un dbat ,
Mesure et Evaluation en Education, vol. 13, n3, p. 5-26.

PAQUAY (L), 1994, Prescrire l'auto-valuation? Oui, mais... ! , Bulletin de l'ADMEE, n94/2 - octobre

F. Campanale - IUFM de Grenoble Cours sur lvaluation - avril 1999 - mars 2000 - janvier 2001 Page 19
[email protected]
PIAGET (J), 1974a, La prise de conscience, Paris, PUF.

PIAGET (J), 1974b, Russir et comprendre, Paris, PUF.

SCRIVEN (M), 1967. The Methodology of evaluation , in Tyler (R), Gagn (RM) et Scriven (M), Perspectives of
curriculum evaluation, Chicago, Rand Mac Nally, p. 39-83.

VERGNAUD (G), 1995, Introduction , Dossier : Comptences, Performances Humaines & Techniques, n75-76
mars-avril/mai-juin 1995, pp. 7-12.

VESLIN (O. et J.), 1992, Corriger des copies, Hachette-ducation

VIAL (M), 1987, A propos du narratif... un dispositif d'valuation formatrice en expression crite, Marseille : CNDP,
CRDP.

VIAL (M), 1995, Nature et fonction de lauto-valuation dans le dispositif de formation . Revue Franaise de
Pdagogie, n 112, 69-76.

VIAL (M), 1997, Lauto-valuation comme auto-questionnement , Les Cahiers dAix, n12, Universit de Provence,
Dpartement des Sciences de lEducation.

F. Campanale - IUFM de Grenoble Cours sur lvaluation - avril 1999 - mars 2000 - janvier 2001 Page 20
[email protected]
EVALUATION - QUELQUES DEFINITIONS DE CONCEPTS-CLES

EVALUER, cest mettre en relation des lments issus dun observable ou rfr et un
rfrent pour produire de linformation clairante sur l'observable, afin de prendre des
dcisions (HADJI Ch., 1990, Evaluation, les rgles du jeu, ESF).

le rfrent : Ce quoi se rapporte pour devenir plus intelligible un matriel donn


(ARDOINO J. & BERGER G., 1989, Dune Evaluation en miettes une valuation en actes, Matrice-
ANDSHA). Il comporte l'objectif de l'action (les comptences vises) et les critres sur
lesquels on sappuiera pour valuer lobservable, cest dire la production de lapprenant
en fonction de la tche prescrite. Si on value un produit fini, les critres seront des qualits
attendues de cette produit ; sil on value un processus, les critres seront des oprations
invariantes raliser pour fabriquer ce produit et qui mettent en jeu les comptences vises.

le rfr, cest lobservable (la production / la dmarche) et les indicateurs qui permettront
de se prononcer en fonction des critres.
Cf. Comptence, Tche, Critres dvaluation, Indicateurs

A la suite des travaux dArdoino et Berger, on distingue contrle et valuation.

LE CONTROLE mesure des carts entre des produits, des dmarches et une norme extrieure,
prtablie. Le contrle est monorfrentiel. Il suppose un avant, un aprs. Il est rgi par des
critres de conformit, de logique, de cohrence. Il vrifie pour valider ou rejeter, corriger ou
sanctionner. Il vise normaliser.

LEVALUATION, pluri-rfrentielle, englobe et dpasse le contrle. Elle privilgie le qualitatif


sur la quantitatif. Au del du contrle analytique, elle est conue comme un processus intervenant
dans un systme ouvert, en volution, en vue d'en lucider le fonctionnement et lvolution. Les
rfrentiels s'laborent dans le processus mme de l'valuation. En ce sens, elle ne peut tre que
partage par les acteurs.

Saisir la ralit travers des procdures de contrle ou la saisir plus largement travers une
valuation qui cherche comprendre sont des attitudes rvlatrices dun systme explicatif du
Monde qui met en jeu les valeurs profondes du sujet

F. Campanale - IUFM de Grenoble Cours sur lvaluation - avril 1999 - mars 2000 - janvier 2001 Page 21
[email protected]
EVALUATION SOMMATIVE : valuation par laquelle on fait un inventaire des
comptences acquises, ou un bilan, aprs une squence de formation dune dure plus ou moins
longue (HADJI Ch., 1990, Evaluation, les rgles du jeu, ESF). Lvaluation sommative met laccent sur
les performances (les productions ralises) values en fonction des critres de russite. Elle
rlve davantage du contrle que de la rgulation, sans lexclure pour autant.

EVALUATION FORMATIVE : valuation dont lambition est de contribuer la


formation (HADJI Ch., 1990, Evaluation, les rgles du jeu, ESF). Elle privilgie la rgulation en cours de
formation. Elle tente de fournir lapprenant des informations pertinentes pour quil rgule ses
apprentissages et elle renvoie lenseignant un feed back sur son action qui lui permet dadapter
son dispositif denseignement. Lvaluation formative met laccent davantage sur les processus
valus travers les critres de ralisation.

COMPETENCE
On peut la dfinir comme un ensemble de savoir-faire conceptualiss dont la matrise implique la
mise en uvre combine de savoirs formaliss (connaissances scientifiques et techniques), de
savoirs pratiques et comportementaux, doprations mentales (MALGLAIVE G., 1990, Enseigner des
adultes, PUF ; VERGNAUD G., 1995, Introduction , Dossier : Comptences, Performances Humaines &
Techniques, n75-76 mars-avril/mai-juin 1995, pp. 7-12). La comptence, au del de cet ensemble de
savoirs et de savoir-faire de diffrents types mobiliser, combiner, transposer, suppose un
savoir agir dans une situation professionnelle [ou scolaire] complexe en vue dune finalit (LE
BOTERF G., 1998, lingnierie de comptences, Editions dOrganisation). La comptence se dveloppe et
svalue travers la ralisation de tches et des effets qui en rsultent (= la performance). On peut
distinguer comptences gnrales ou transversales (dgager lessentiel, problmatiser, travailler
en quipe) et des comptences spcifiques une discipline (rendre compte dune exprience en
SVT).

TACHE (= but, environnement, oprations)


Cest lactivit prescrite un sujet en vue datteindre un but (produire tel objet observable), dans
un environnement donne au moyen dactions ou doprations. La tche gagne tre dfinie par
des critres qui dfinissent lattendu par rapport un ou plusieurs objectifs. Elle suppose des
consignes qui finalisent lactivit (le but / la production demande), indiquent ventuellement des
lments de mthode, et les conditions de ralisation. La ralisation de la tche ncessite la mise
en uvre doprations invariantes qui lui sont spcifiques et que le sujet effectue en fonction de
dmarches qui lui sont propres.

EVALUATION NORMATIVE : une valuation qui situe les individus les uns par rapport aux
autres, en fonction des scores obtenus par les membres dun groupe de rfrence (HADJI Ch., 1990,
Evaluation, les rgles du jeu, ESF). Dans lvaluation scolaire courante, la norme de rfrence est bien
souvent constitue par les les performances moyennes du groupe classe.
EVALUATION CRITERIEE : valuation qui apprcie un comportement en le situant par
rapport une cible (le critre qui correspond lobjectif atteindre) (HADJI Ch., 1997.
LEvaluation dmystifie, ESF).

F. Campanale - IUFM de Grenoble Cours sur lvaluation - avril 1999 - mars 2000 - janvier 2001 Page 22
[email protected]
CRITERES DEVALUATION
Dimensions abstraites, qualitatives dun objet sur lesquelles on sappuie pour se prononcer sur
lobjet. On distingue critres de russite et critres de ralisation (BONNIOL JJ & GENTHON M.,
1989, L'valuation et ses critres: les critres de ralisation , Repres, n 79, p. 107-115) :

- les critres de russite sont des caractristiques du produit attendu retenues pour lestimer et
lapprcier en fonction dun rfrent pr-tabli (conformit la consigne, exactitude /
compltude, cohrence, pertinence, rigueur, communicabilit, originalit, efficacit...)

- les critres de ralisation ou oprations invariantes impliques par la ralisation de la tche


dcoulent dune analyse de la tche (ex. pour le rsum : identifier le type de texte rsumer,
la fonction du rsum et le destinataire, distinguer ides et illustrations de ces ides, dgager
la structure du texte, slectionner les informations / ides vnements essentiels, les
reformuler, organiser le rsum en reprenant la structure et les marques dnonciation (suivant
le fonction du rsum), rdiger lensemble de faon personnelle et concise. Ils servent aux
apprenants pour se guider dans la ralisation et amliorer leur action, autrement dit pour la
rguler et aux enseignants pour reprer o se situent les erreurs des lves et produire un feed
back en cours dapprentissage.

INDICATEURS
Un indicateur est la version ou conversion concrte dun critre, un indice pris dans lobservable
qui permet de dire si lobjet rpond au critre (ex. les ides prsentes dans le rsum,
lenchanement de ces ides ; le pourcentage de russite des tudiants aux tests de contrle ...).
Plusieurs indicateurs, se combinant, peuvent correspondre un mme critre.

LAUTOEVALUATION
Il sagit dune valuation interne conduite par le sujet de sa propre action et de ce quelle produit.
Cest un processus d'altration de son rfrentiel daction au cours de confrontations entre son
propre rfrentiel et celui ou ceux dautrui (CAMPANALE F., 1997. Autovaluation et transformations de
pratiques pdagogiques . Mesure et Evaluation en Education, Vol. 20, n1, p. 1-24).
Elle se traduit par un dialogue de soi soi, une rflexion mtacognitive (ALLAL L. & BAIN D.,
PERRENOUD P., 1993, Evaluation formative et didactique du franais, Delachaux et Niestl). Lautovaluation
dlibre, qui amne le sujet interroger, rguler, transformer son action (produit, dmarche,
conceptions implicites sous-jacentes) ne peut tre impose (PAQUAY L., 1994, Prescrire l'auto-
valuation? Oui, mais... ! , Bulletin de l'Admee, n94/2 - octobre).

F. Campanale - IUFM de Grenoble Cours sur lvaluation - avril 1999 - mars 2000 - janvier 2001 Page 23
[email protected]

Vous aimerez peut-être aussi