La Regression Dans La Pratique

Ricco Rakotomalala
Pratique de la Régression Linéaire Multiple

Diagnostic et sélection de variables
Version du 20 sept. 2009
Université Lumière Lyon 2
Page: 1 job: La_regression_dans_la_pratique macro: svmono.cls date/time: 20-Sep-2009/9:20

Avant-propos
Ce support décrit quelques techniques statistiques destinées à valider et améliorer les résultats fournis
par la régression linéaire multiple. Il correspond à la dernière partie des enseignements d'économétrie (je
préfère l'appellation Régression Linéaire Multiple ) en L3-IDS de la Faculté de Sciences Economiques de
l'Université Lyon 2 (http://dis.univ-lyon2.fr/).
Ce support se veut avant tout opérationnel. Il se concentre sur les principales formules et leur mise
en oeuvre pratique avec un tableur. Autant que possible nous ferons le parallèle avec les résultats fournis
par les logiciels de statistique. Le bien-fondé des tests, la pertinence des hypothèses à opposer sont peu
ou prou discutées. Nous invitons le lecteur désireux d'approfondir les bases de la régression à consulter
les ouvrages énumérés dans la bibliographie.
Un document ne vient jamais du néant. Pour élaborer ce support, je me suis appuyé sur diérentes
références, des ouvrages disais-je plus tôt, mais aussi des ressources en ligne qui sont de plus en plus
présents aujourd'hui dans la diusion de la connaissance.
Les seuls bémols par rapport à ces documents en ligne sont le doute que l'on pourrait émettre sur
l'exactitude des informations prodiguées, mais la plupart de leurs auteurs sont des enseignants-chercheurs
qui font sérieusement leur travail ; une disponibilité plus ou moins aléatoire, au gré des migrations des
serveurs et de la volonté de leurs auteurs, auquel il est très dicile de remédier ; les informations sont
disparates, avec une absence d'organisation, à la diérence des ouvrages qui suivent une ligne pédagogique
très structurante.
Néanmoins, ces ressources en ligne renouvellent profondément le panorama des documents disponibles
pour les enseignements. La gratuité n'est pas le moindre de leurs atouts.
Ce support n'engage que son auteur. Toutes suggestions ou commentaires qui peuvent en améliorer
le contenu sont le bienvenu.

Table des matières
Partie I La régression dans la pratique
1 Étude des résidus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

1.1 Diagnostic graphique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.1.1 Graphiques des résidus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.1.2 Graphiques des résidus pour les données CONSO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2 Tester le caractère aléatoire des erreurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.2.1 Test de Durbin-Watson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.2.2 Test des séquences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.3 Test de normalité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.3.1 Graphique Q-Q plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.3.2 Test de symétrie de la distribution des résidus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.3 Test de Jarque-Bera . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2 Points aberrants et points inuents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

2.1 Points aberrants : détection univariée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.2 Détection multivariée sur les exogènes : le levier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.3 Résidu standardisé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4 Résidu studentisé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.5 Autres indicateurs usuels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.5.1 DFFITS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.5.2 Distance de COOK . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.5.3 DFBETAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2.5.4 COVRATIO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
2.6 Bilan et traitement des données atypiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3 Colinéarité et sélection de variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

3.1 Détection de la colinéarité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.1.1 Conséquences de la colinéarité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

6 Table des matières
3.1.2 Illustration de l'eet nocif de la colinéarité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

3.1.3 Quelques techniques de détection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.2 Traitement de la colinéarité - Sélection de variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.2.1 Sélection par optimisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.2.2 Techniques basées sur le F partiel de Fisher . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.3 Régression stagewise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.4 Coecient de corrélation partielle et sélection de variables . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.4.1 Corrélation brute et partielle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.4.2 Coecient de corrélation brute . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.4.3 Coecient de corrélation partielle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.4.4 Calcul de la corrélation partielle d'ordre supérieur à 1 . . . . . . . . . . . . . . . . . . . . . . . . . 69
3.4.5 Procédure de sélection fondée sur la corrélation partielle . . . . . . . . . . . . . . . . . . . . . . . 71
3.4.6 Équivalence avec la sélection fondée sur le t de Student de la régression . . . . . . . . . 72
3.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4 Régression sur des exogènes qualitatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

4.1 Analyse de variance à 1 facteur et transposition à la régression . . . . . . . . . . . . . . . . . . . . . . . 73
4.1.1 Un exemple introductif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.1.2 ANOVA à 1 facteur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.2 Inadéquation du codage disjonctif complet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.3 Codage "Cornered eect" de l'exogène qualitative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.3.1 Principe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.3.2 Lecture des résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.3.3 Application aux données LOYER . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.4 Codage "Centered eect" de l'exogène qualitative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.4.1 Principe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.4.2 Lecture des résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.4.3 Application aux données LOYER . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.5 Les erreurs à ne pas commettre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.5.1 Codage numérique d'une variable discrète nominale . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.5.2 Codage numérique d'une variable discrète ordinale . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
5 Rupture de structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
5.1 Régression contrainte et régression non-contrainte - Test de Chow . . . . . . . . . . . . . . . . . . . . 87
5.1.1 Formulation et test statistique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
5.1.2 Un exemple . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
5.2 Détecter la nature de la rupture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5.2.1 Tester la stabilité de la constante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5.2.2 Tester la stabilité du coecient d'une des exogènes . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

Table des matières 7
5.3 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
A Table de Durbin Watson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
B Fichiers associés à ce support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
Littérature . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101

Partie I
La régression dans la pratique

3
La régression dans la pratique
Le véritable travail du statisticien commence après la première mise en oeuvre de la régression linéaire
multiple sur un chier de données. Après ces calculs, qu'on lance toujours "pour voir", il faut se poser la
question de la pertinence des résultats, vérier le rôle de chaque variable, interpréter les coecients, etc.
En schématisant, la modélisation statistique passe par plusieurs étapes 1 : proposer une solution (une
conguration de l'équation de régression), estimer les paramètres, diagnostiquer, comprendre les résultats,
rééchir à une formulation concurrente, etc.
Dans ce support, nous mettrons l'accent, sans se limiter à ces points, sur deux aspects de ce processus :
le diagnostic de la régression à l'aide de l'analyse des résidus, il peut être réalisé avec des tests statistiques,
mais aussi avec des outils graphiques simples ; l'amélioration du modèle à l'aide de la sélection de variables,
elle permet entre autres de se dégager du piège de la colinéarité entre les variables exogènes.
Notations
Le point de départ est l'estimation des paramètres d'une régression mettant en jeu une variable
endogène Y et p variables exogènes Xj . Nous disposons de n observations.
L'équation de régression s'écrit :
yi = a0 + a1 xi,1 + · · · + ap xi,p + ²i (0.1)
où yi est la i-ème observation de la variable Y ; xi,j est la i-ème observation de la j-ème variable ; ²i
est l'erreur du modèle, il résume les informations manquantes qui permettrait d'expliquer linéairement
les valeurs de Y à l'aide des p variables Xj .
Nous devons estimer (p + 1) paramètres. En adoptant une écriture matricielle :
Y = Xa + ² (0.2)
les dimensions de matrices sont respectivement :

Y → (n, 1)
X → (n, p + 1)
a → (p + 1, 1)
² → (n, 1)
La matrice X de taille (n, p + 1) contient l'ensemble des observations sur les exogènes, avec une
première colonne formée par la valeur 1 indiquant que l'on intègre la constante a0 dans l'équation.
 
1 x1,1 · · · x1,p
 
1 x2,1 · · · x2,p 
 
. 
 .. 
 
1 xn,1 · · · xn,p
1. http://www.itl.nist.gov/div898/handbook/pmd/section4/pmd41.htm

4
Remarque 1 (Régression sans constante). Dans certains problèmes, la régression sans constante peut se
justier. Il y a p paramètres à estimer dans la régression. On peut aussi voir la régression sans constante
comme une régression avec la contrainte a0 = 0. Il faut simplement faire attention aux degrés de liberté
pour les tests. Il faut noter également que le coecient de détermination R2 n'est plus interprétable en
termes de décomposition de la variance, il peut prendre des valeurs négatives d'ailleurs.
Données
Autant que possible, nous utiliserons le même chier de données pour illustrer les diérents chapitres
de ce support. On veut expliquer la consommation en L/100km de véhicules à partir de 4 variables :
le prix, la cylindrée, la puissance et le poids (Figure 0.1). Nous disposons pour cela de 31 observations.
Nous connaissons la marque et le modèle de chaque véhicule, cela nous permettra d'aner certains
commentaires.
Fig. 0.1. Tableau de données CONSO - Consommation des véhicules
Nous eectuons sous TANAGRA une première régression sur l'ensemble des exogènes. Nous en extra-
yons quelques informations importantes (Figure 0.2) :
la régression semble de très bonne qualité puisque que nous expliquons R2 = 95.45% de la variance
de l'endogène ;
impression conrmée par le test de Fisher, F = 136.54 avec une p-value < 0.000001 : le modèle est
globalement très signicatif ;

5
Fig. 0.2. Résultat de la régression sur les données CONSO (cf. Données, gure 0.1)
mis à part la variable cylindrée, toutes les variables sont signicatives au risque de 10%.
La même régression sous EXCEL donne exactement les mêmes résultats (Figure 0.3) 2 . Seul le mode de
présentation des résultats est un peu diérent. Nous avons calculé dans la foulée la prédiction ponctuelle
ŷi et les résidus ²̂i = yi − ŷi de la régression.
Fig. 0.3. Résultat de la régression sous EXCEL
Remarque 2 (Interprétation des coecients). D'ores et déjà, sans trop renter dans les détails, on note des
bizarreries dans le rôle des variables. Que le prix et la consommation soient d'une certaine manière liés,
2. Fonction DROITEREG(...)

6
on peut le comprendre. En revanche, imaginer que le prix inue directement sur la consommation paraît
étrange, cela voudrait dire qu'en diminuant articiellement le prix d'un véhicule, on pourrait diminuer
la consommation. Concernant la cylindrée, la taille du moteur, on s'étonne quand même qu'elle ne joue
aucun rôle sur la consommation. Cela voudrait dire qu'on peut augmenter indéniment la taille du moteur
sans que cela ne soit préjudiciable à la consommation de carburant... Nous reviendrons plus en détail sur
la sélection des variables et l'interprétation des résultats plus loin.
Logiciels
Nous utiliserons principalement le tableur EXCEL. Mais à plusieurs reprises nous ferons appel à
des logiciels gratuits tels que TANAGRA 3 et R 4 ; et à des logiciels commerciaux tels que SPSS 5 et
STATISTICA 6 . Qu'importe le logiciel en réalité, le plus important est de savoir lire correctement les
sorties des outils statistiques.
3. TANAGRA : Un logiciel gratuit de Data Mining pour l'enseignement et la recherche - http://eric.

univ-lyon2.fr/~ricco/tanagra/fr/tanagra.html
4. The R Project for Statistical Computing - http://www.r-project.org/
5. Pour une lecture détaillée des résultats fournis par SPSS, voir http://www2.chass.ncsu.edu/garson/PA765/
regress.htm
6. Pour une lecture des résultats de STATISTICA, voir http://www.statsoft.com/textbook/stmulreg.html

1
Étude des résidus
L'inférence statistique relative à la régression (estimation par intervalle des coecients, tests d'hypo-
thèses, etc.) repose principalement sur les hypothèses liées au terme d'erreur ² qui résume les informations
absentes du modèle. Il importe donc que l'on vérie ces hypothèses an de pouvoir interpréter les résul-
tats 1 .
Rappelons brièvement les hypothèses liées au terme d'erreur :
sa distribution doit être symétrique, plus précisément elle suit une loi normale ;
sa variance est constante ;
les erreurs ²i (i = 1, . . . , n) sont indépendantes.
Pour inspecter ces hypothèses, nous disposons des erreurs observées, les résidus, ²̂i produites par la
diérence entre les vraies valeurs observées de l'endogène yi et les prédictions ponctuelles de la régression
ŷi
²̂i = yi − ŷi (1.1)
avec ŷi = â0 + â1 xi,1 + · · · + âp xi,p

P
Remarque 3 (Moyenne des résidus). Dans un modèle avec constante, la moyenne des résidus ²̂¯ = 1
n i ²̂i
est mécaniquement égale à zéro. Ce résultat ne préjuge donc en rien de la pertinence de la régression. En
revanche, si elle est diérente de 0, cela indique à coup sûr des calculs erronés. Ce commentaire n'a pas
lieu d'être pour une régression sans constante.
1.1 Diagnostic graphique
1.1.1 Graphiques des résidus
Aussi simpliste qu'il puisse paraître, le diagnostic graphique est pourtant un outil puissant pour
valider une régression. Il fournit un nombre important d'informations que les indicateurs statistiques
appréhendent mal. Toute analyse de régression devrait être immédiatement suivie des graphiques des
résidus observés... car il y en a plusieurs.
1. Voir Dodge, pages 113 à 120.

8 1 Étude des résidus
Avant d'énumérer les diérents types de graphiques, donnons quelques principes généraux (Figure
1.1) :
les résidus sont portés en ordonnée ;
les points doivent être uniformément répartis au hasard dans un intervalle, que nous préciserons
plus loin 2 , sur l'ordonnée ;
aucun point ne doit se démarquer ostensiblement des autres ;
on ne doit pas voir apparaître une forme de régularité dans le nuage de points.
Le type du graphique dépend de l'information que nous portons en abcisse.
Résidus en fonction de l'endogène Y
Ce type de graphique permet de se rendre compte de la qualité de la régression. Les résidus ²̂i doivent
être répartis aléatoirement autour de la valeur 0, ils ne doivent pas avoir tendance à prendre des valeurs
diérentes selon les valeurs de Y . On cherche surtout à voir si la prédiction est d'égale qualité sur tout
le domaine de valeurs de Y (Figure 1.1). Si pour une valeur ou une plage de valeur de Y , les résidus
s'écartent visiblement, il faut s'inquiéter car cela indique que la valeur yi a été mal reconstituée par le
modèle.
Fig. 1.1. Graphique "normal" des résidus. Endogène vs. Résidus.
Résidus en fonction de chaque exogène Xj
Il doit être produit pour chaque variable exogène. L'idée est de détecter s'il y a une relation quel-
conque entre le terme d'erreur et les exogènes. Rappelons que les variables exogènes et les erreurs sont
indépendantes par hypothèse (covariance nulle), cela doit être conrmé visuellement.
2. Voir chapitre 2 sur les points atypiques

1.1 Diagnostic graphique 9
Graphique de résidus pour les données longitudinales
Dans le cas particulier des séries temporelles, nous pouvons produire un graphique supplémentaire
en portant en abcisse la variable temps. Elle permet d'ordonner les valeurs d'une autre manière. Cela
peut être utile pour détecter une rupture de structure associée à une date particulière (ex. guerre, crise
politique, choc économique, etc.).
Cas pathologiques
Il est dicile de prétendre à l'exhaustivité, nous nous contenterons de caractériser quelques situations
singulières qui doivent attirer notre attention.
Points atypiques et points inuents
Par dénition, un point atypique, on parle aussi de point aberrant, est une observation qui s'écarte
résolument des autres. Cela peut être dû à une erreur de recueil des données, cela peut aussi correspondre
à un individu qui n'appartient pas à la population étudiée. Dans le graphique de résidus, il s'agit de
points éloignés des autres, que la variable en abcisse soit l'endogène ou une des exogènes (Figure 1.2).
Fig. 1.2. Un point présente une valeur atypique pour une des exogènes. De plus, elle est mal reconstituée par la
régression (le résidu est élevé).
Les points inuents sont des observations qui pèsent exagérément sur les résultats de la régression.
On peut les distinguer de plusieurs manières : ils sont "isolés" des autres points, on constate alors que
la distribution des résidus est asymétrique (Figure 1.3) ; ils correspondent à des valeurs extrêmes des
variables, en cela ils se rapprochent des points atypiques.
Bien souvent la distinction entre les points atypiques et les points inuents est dicile. Elle est assez
mal comprise : un point peut être inuent sans être atypique, il peut être atypique sans être inuent.
La meilleure manière de le circonscrire est de recalculer les coecients de la régression en écartant le
point : si les résultats dièrent signicativement, en termes de prédiction ou terme de diérence entre les
coecients estimés, le point est inuent. Cela est dicilement discernable dans un graphique des résidus,
il est plus approprié de passer par des calculs que nous détaillerons dans le chapitre consacré à la détection
des points atypiques et inuents (Chapitre 2).

Asymétrie des résidus
Signe que la distribution des résidus ne suit pas la loi normale, cette situation (Figure 1.3) survient
lorsque certains points se démarquent des autres, ils sont mal reconstitués par la régression. La
moyenne des résidus est mécaniquement égale à 0, mais la dispersion est très inégale de part et
d'autre de cette valeur.
lorsque les données sont en réalité formés par plusieurs populations (ex. en médecine, eectuer une
régression en mélangeant les hommes et les femmes, sachant qu'ils réagissent de manière diérente
à la maladie étudiée).
lorsqu'on est face à un problème de spécication, une variable exogène importante manque.
etc.
Fig. 1.3. La distribution des résidus est asymétrique.
Non-linéarité
Dans ce cas, la relation étudiée est en réalité non-linéaire, elle ne peut pas être modélisée à l'aide de la
régression linéaire multiple. Les résidus apparaissent alors en "blocs" au-dessus (prédiction sous-estimée)
ou en-dessous (prédiction sur-estimé) de la valeur 0 (Figure 1.4). Cela peut être résolu en ajoutant une
variable non-linéaire dans le modèle (par ex. en passant une des variables au carré, ou en utilisant une
transformation logarithmique, etc.). On peut aussi passer à une régression non-linéaire (ex. réseaux de
neurones, etc.).
Rupture de structure
Dans certains cas, il arrive que la relation entre les exogènes et l'endogène ne soit pas la même sur
tout le domaine de dénition : on parle de rupture de structure. Il y a en réalité deux ou plusieurs
régressions à mener. Ils peuvent être totalement indépendants, on peut aussi imposer que les coecients
de quelques variables soient identiques d'une régression à l'autre. L'erreur dans ce cas est d'imposer une
seule régression pour tous les groupes d'individus. Nous obtenons alors des résidus en "blocs", qui peuvent
être assez proches de ce que l'on obtient lorsque les relations sont non-linéaires (Figure 1.4), ils indiquent

Fig. 1.4. La relation à modéliser est non-linéaire
en tous les cas qu'il y a bien des groupes distincts que l'on ne peut pas modéliser de manière identique
dans la population (Figure 1.5).
Fig. 1.5. Résidus caractéristiques d'une rupture de structure
Hétéroscédasticité
Souvent associée à une des exogènes en abcisse, ce type de graphique (Figure 1.6) indique que la
variance des résidus n'est pas constante, et qu'elle dépend d'une des exogènes. Il existe des tests spéciques
pour détecter l'hétéroscédasticité (Bourbonnais, pages 130 à 143).
Autocorrélation des résidus
Ce problème est spécique aux données longitudinales. Dans le graphique des résidus, nous plaçons
des dates en abcisse, nous essayons de détecter si les erreurs suivent un processus particulier au cours du
temps. L'autocorrélation peut être positive (des "blocs" de résidus sont positifs ou négatifs, gure 1.8)
ou négative (les résidus sont alternativement positifs et négatifs, gure 1.7).

Fig. 1.6. La variance des résidus augmente avec les valeurs d'une des exogènes
Fig. 1.7. Autocorrélation négative des résidus
Fig. 1.8. Autocorrélation positive des résidus
1.1.2 Graphiques des résidus pour les données CONSO
Nous avons lancé la régression sur les données CONSO (Figures 0.2 et 0.3). Nous construisons les
diérents graphiques des résidus en les croisant avec l'endogène et les exogènes (Figure 1.9). Nous avons
utilisé le logiciel R.

Fig. 1.9. Graphiques des résidus - Données CONSO
Une information, essentiellement, saute aux yeux : 2 points semblent se démarquer systématiquement
sur l'endogène Y , le prix, la cylindrée et la puissance. Pourtant ils ne semblent pas particulièrement mal
restitués par la régression puisque le résidu (erreur de prédiction) ne prend pas des valeurs anormalement

élevées (en valeur absolue) sur ces observations. Nous détaillerons l'analyse de ces véhicules dans le
chapitre consacré à l'analyse des points atypiques et inuents.
1.2 Tester le caractère aléatoire des erreurs
Lorsque nous travaillons avec des données longitudinales, la date dénit naturellement l'ordonnan-
cement des observations. Il est important de vérier si les résidus sont produits de manière totalement
aléatoire. Si l'on conclut au rejet de cette hypothèse, cela indique que les résidus sont produits par un
processus quelconque, l'hypothèse d'indépendance des erreurs est rejetée, la méthode des moindres carrés
ordinaires n'est plus BLUE 3 : elle est certes non-biaisée, mais elle n'est plus à variance minimale, et la
matrice de variance covariance n'est plus estimée de manière convergente, les tests de signicativité ne
sont plus opérants.
La détection de l'autocorrélation des résidus peut s'eectuer visuellement à l'aide du graphique des
résidus (Figures 1.8 et 1.7). Elle peut également s'appuyer sur des techniques statistiques, la plus connue
est certainement le test de Durbin-Watson qui détecte une forme particulière de l'autocorrélation, nous
pouvons aussi utiliser des tests plus généraux comme le test des séquences de Wald.
Les causes de l'autocorrélation des résidus peuvent être multiples, elles se rapprochent des problèmes
de spécications à l'origine des violations des hypothèses (Bourbonnais, page 114) : une variable exogène
importante est absente de l'équation de régression ; la liaison modélisée n'est pas linéaire ; les données ont
été manipulées (ex. moyenne mobile, reconstituée par interpolation, etc.), c'est souvent le cas lorsqu'elles
produites par des observatoires statistiques.
Remarque 4 (Test l'autocorrélation pour les données transversales). Tester l'autocorrélation des résidus
n'a aucun sens sur les données transversales. En eet, il n'y a pas d'ordonnancement naturel des obser-
vations, il sera toujours possible de les mélanger diéremment de manière à ce que les résidus ne suivent
aucun processus particulier. Il est néanmoins possible de retrouver un agencement particulier des résidus
en les triant selon l'endogène par exemple. Mais il faut rester très prudent par rapport aux tests, le plus
sage est de s'appuyer sur les techniques graphiques simples pour détecter d'éventuelles anomalies (ex.
les valeurs négatives des résidus sont regroupés sur les petites valeurs de Y , les valeurs positives sur les
grandes valeurs de Y : manifestement il y a un problème dans le modèle...).
1.2.1 Test de Durbin-Watson
Principe
Le test de Durbin-Watson permet de détecter une autocorrélation de la forme :
²i = ρ. ²i−1 + νi , avec νi ∼ N (0, σν ) (1.2)
Le test d'hypothèses s'écrit :

3. Best Linear Unbiased Estimator

1.2 Tester le caractère aléatoire des erreurs 15
H0 : ρ = 0
H1 : ρ 6= 0
On utilise la statistique de Durbin-Watson

Pn 2
(ei − ei−1 )
i=2P
d= n 2
(1.3)
i=1 ei
Par construction, 0 ≤ d ≤ 4, d = 2 lorsque ρ̂ = 0. Elle a été tabulée par Durbin et Watson (Annexes
A) pour diérentes tailles d'échantillon n et de nombre de vraies variables explicatives k (sans compter
la constante). La règle de décision n'est pas usuelle, nous pouvons la résumer de la manière suivante pour
un test bilatéral (Bourbonnais, pages 115 et 116) :
Acceptation de H0 si dU < d < 4 − dU
Rejet de H0 si d < dL (ρ > 0) ou d > 4 − dL (ρ < 0)
Incertitude si dL < d < dU ou 4 − dU < d < 4 − dL
Le test de Durbin-Watson est assez limité, il ne teste que les autocorrélation des résidus d'ordre 1. De
plus, son utilisation est encadrée par des conditions draconiennes (Johnston, page 189) :
la régression doit comporter un terme constant ;
les variables X sont certaines (non-stochastiques), en particulier elles ne doivent pas comporter
l'endogène retardée 4 .
Remarque 5 (Autres formes d'autocorrélation des résidus). D'autres tests ont été mis au point pour évaluer
d'autres formes de relation entre les résidus (ex. processus auto-régressif d'ordre 4 pour les données
trimestrielles, etc. Johnston, pages 180 à 200).
Exemple : Prédiction de la consommation de textile
Pour illustrer la mise en oeuvre du test de Durbin-Watson, nous reprenons un exemple extrait de
l'ouvrage de Theil (1971) 5 . L'objectif est de prédire la consommation de textile à partir du revenu par
tête des personnes et du prix. Nous disposons d'observations sur 17 années à partir de 1923 (Figure 1.10).
L'équation de régression à mettre en place est
yi = a0 + a1 xi,1 + a2 xi,2 + ²i , i = 1, . . . , 17
où y est la consommation en textile, x1 le prix du textile et x2 le revenu par habitant.

Les calculs sont organisés comme suit (Figure 1.11) :
1. A l'aide de la fonction DROITEREG() d'EXCEL, nous obtenons les coecients a0 = 130.71, a1 =

−1.38 et a2 = 1.06.
4. On doit utiliser une version modiée du test de Durbin (Johnston, page 190)
5. Theil, H., Principles of Econometrics, Wiley, 1971. Page 102. L'exemple et la description des résultats du
test sont accessibles sur le site http://shazam.econ.ubc.ca/intro/dwdist.htm

Fig. 1.10. Données de Theil sur le textile
Fig. 1.11. Test de Durbin-Watson sur les données de Theil
2. Nous formons la prédiction ŷi avec ces coecients.
3. Nous calculons l'erreur de prédiction, le résidu de la régression ²̂i = ei = yi − ŷi .
4. Nous pouvons alors calculer la statistique de Durbin-Watson. En formant le numérateur 874.66 et le

dénominateur 433.31, nous obtenons d = 2.02.
5. Pour un test bilatéral à 10%, nous récupérons les valeurs critiques dans la table de Durbin-Watson
(Annexes A). Pour n = 17 et k = 2, dL = 1.02 et dU = 1.54.
6. Nous constatons que nous sommes dans la région dU < d < 4 − dU , l'hypothèse d'autocorrélation
d'ordre 1 des résidus peut être rejetée (ρ = 0).

1.2 Tester le caractère aléatoire des erreurs 17
1.2.2 Test des séquences
Le test des séquences 6 , appelé également test de Wald-Wolfowitz, est plus générique que le précédent.
Il cherche à détecter toute forme de régularité lorsque les résidus sont ordonnés selon le temps. Il détecte
autant les autocorrélations négatives (les résidus sont alternativement négatives et positives) que les
autocorrélations positives (des blocs de résidus consécutifs sont positifs ou négatifs). Étant plus générique,
il est bien entendu moins puissant pour des formes particulières d'autocorrélation, on lui préférera le test
de Durbin-Watson par exemple si on veut vérier expressément la présence d'un processus auto-régressif
d'ordre 1 des résidus.
Principe
Bien entendu, les données doivent être ordonnées pour que le test puisse opérer. Notre référence est
la date pour les données longitudinales.
Le test repose sur la détection des séquences de valeurs positives '+' ou négatives '-' des résidus. La
statistique du test r est le nombre total de séquences dans la série d'observations.
Exemple 1. Si tous les résidus négatifs sont regroupés sur les petites valeurs de Y , et inversement, les
résidus positifs, sur les grandes valeurs de Y , nous aurons simple r = 2 séquences. C'est éminemment
suspect si l'on se réfère à l'hypothèse H0 selon laquelle les résidus sont générés aléatoirement.
Posons n+ (resp. n− ) le nombre de résidus positifs (resp. négatifs) dans la série des résidus. Sous l'hy-
pothèse H0 le processus de génération des données est aléatoire, la statistique r suit asymptotiquement 7
une loi normale de paramètres :
2n+ n−
µr = +1 (1.4)
rn
(µr − 1)(µr − 2)
σr = (1.5)
n−1
r−µr
Nous pouvons former la statistique centrée et réduite z = σr . La région critique du test rejet de
l'hypothèse de génération aléatoire des résidus s'écrit :
R.C. : |z| > u1− α2

α
où u1− α2 est le fractile d'ordre 1 − 2 de la loi normale centrée et réduite N (0, 1).
Remarque 6 (Le test de séquences est un test bilatéral). Attention, le test des séquences est bien un test
bilatéral. Des '+' et '-' alternés (r élevé) sont tout aussi suspects que des blocs de '+' et '-' (r faible). Ce
test permet autant de détecter les autocorrélations négatives que positives.
6. Voir Siegel, S., Castellan, J., Nonparametric statistics for the behavioral sciences, McGraw-Hill, 1988, pages
58 à 64, section "The one-Sample runs test of randomness"
7. Pour les petites valeurs de n+ et n− , les valeurs critique de r ont été tabulées. Voir par exemple Siegel-
Castellan, Table G, page 331. Curieusement, je n'ai pas pu en trouver en ligne...

Prédiction de la consommation de textile
Fig. 1.12. Test de Wald-Wolfowitz sur les données de Theil
Reprenons l'exemple de la consommation de textile (Theil, 1971), nous reproduisons les calculs à l'aide
d'un tableur (Figure 1.12) :
1. A l'aide de la fonction DROITEREG() d'EXCEL, nous obtenons les coecients a0 = 130.71, a1 =

−1.38 et a2 = 1.06.
2. Nous formons la prédiction ŷi avec ces coecients.
3. Nous calculons l'erreur de prédiction, le résidu de la régression ²̂i = ei = yi − ŷi .
4. Nous annotons avec le caractère '+' (resp. '-') les résidus positifs (resp. négatifs).
5. Nous comptons le nombre de valeurs positives et négatives, n+ = 9 et n− = 8, nous vérions que

n = n+ + n− = 17.
6. Nous pouvons calculer la moyenne et l'écart-type de la statistique de test sous l'hypothèse nulle :
µr = 9.47 et σr = 1.99.
7. Nous aectons un numéro à chaque séquence de '+' et '-', nous obtenons ainsi le nombre de séquences
r = 7.
7−9.47
8. Nous calculons enn la statistique centrée et réduite z = 1.99 = −1.24 ;
9. Que nous comparons au fractile d'ordre 0.95 (pour un test bilatéral à 10%) de la loi normal centrée
et réduite u0.95 = 1.64.
Nous sommes dans la région d'acceptation de H0 . Nous pouvons conclure que les résidus sont indé-
pendants, ils sont générés par un processus purement aléatoire.

1.3 Test de normalité 19
1.3 Test de normalité
Une grande partie de l'inférence statistique (ex. test de pertinence globale de la régression, prédiction
par intervalle, etc.) repose sur l'hypothèse de distribution normale N (0, σ² ) du terme d'erreur de l'équation
de régression (Équation 0.1). Vérier cette hypothèse semble incontournable pour obtenir des résultats
exacts 8 .
Nous disposons des erreurs observés ²̂i , les résidus de la régression, pour évaluer les caractéristiques
des erreurs théoriques ²i . Cela n'est pas sans poser des problèmes. En eet, si la variance de l'erreur
est constante V (²i ) = σ²2 , la variance du résidu, l'erreur observée, ne l'est pas V (²̂i ) = σ²2 (1 − hii ), où
hii est lue sur la diagonale principale de la hat matrix H = X(X 0 X)−1 X 0 . Et surtout, la covariance
cov(²̂i , ²̂j ) = −σ²2 hij entre deux résidus observés n'est pas nulle en général.
De fait, la loi des statistiques sous H0 (normalité des erreurs) que l'on pourrait utiliser dans cette
section sont modiés, induisant également une modication des valeurs critiques pour un même risque α.
Comment ? Il n'y a pas vraiment de réponses établies. Il semble néanmoins que les tests usuels restent
valables, pour peu que l'on ait susamment d'observations (n ≥ 50) 9 . Il faut surtout voir les tests comme
des indicateurs supplémentaires pour évaluer la régression, il faut réellement s'inquiéter si la distribution
empirique des résidus s'écarte très fortement de l'hypothèse de normalité c.-à-d. avec des p-value très
faibles lorsque les tests sont mis en oeuvre. C'est en ce sens que nous les présentons 10 .
1.3.1 Graphique Q-Q plot
Principe
Il ne s'agit pas d'un test au sens statistique du terme. Le graphique Q-Q plot (quantile-quantile plot)
est un graphique "nuage de points" qui vise à confronter les quantiles de la distribution empirique et
les quantiles d'une distribution théorique normale, de moyenne et d'écart type estimés sur les valeurs
observées. Si la distribution est compatible avec la loi normale, les points forment une droite. Dans la
littérature francophone, ce dispositif est appelé Droite de Henry.
Remarque 7. Pour plus de détails, nous conseillons la lecture du document en ligne http://eric.
univ-lyon2.fr/~ricco/cours/cours/Test_Normalite.pdf, section 1.5.
8. Pour un tour d'horizon des conséquences des violations des hypothèses dans la régression, nous conseillons
l'excellent document de J.Ravet disponible en ligne http://homepages.ulb.ac.be/~jravet/stateco/docs/
econometrie.pdf
9. Cette valeur est vraiment donné comme un ordre d'idées. En réalité, le problème de l'utilisation des résidus
pour évaluer la normalité des erreurs est souvent passé sous silence dans la littérature. Le seul ouvrage où cela
est posé clairement est celui de Capéraà P., Van Cutsem B., Méthodes et modèles en statistique non paramétrique
- Exposé fondamental, Dunod, Presse de l'Université de Laval, 1988 ; pages 306 et 307
10. Pour une présentation détaillée des tests d'adéquation à la loi normale d'une distribution empirique, nous
conseillons un de nos supports accessibles en ligne http://eric.univ-lyon2.fr/~ricco/cours/cours/Test_
Normalite.pdf. Des liens vers d'autres documents et des chiers exemples sont disponibles sur notre site de
supports de cours http://eric.univ-lyon2.fr/~ricco/cours/supports_data_mining.html, section Statistique

Application sur les données CONSO
A partir du descriptif de notre document de référence, nous avons construit la Droite de Henry dans
le tableur EXCEL (Figure 1.13). Le détail des calculs est le suivant :
1. Trier les résidus ²̂i de manière croissante, ce sont les quantiles observés.
i−0.375
2. Produire la fonction de répartition empirique, lissée en accord avec la loi normale Fi = n+0.25
3. Calculer les quantiles théoriques normalisées zi en utilisant la fonction inverse de la loi normale centrée
réduite.
4. En déduire les quantiles théoriques dé-normalisées ²∗i = σ̂²̂ ∗ zi . Si la distribution empirique cadre
parfaitement avec la loi normale, les points devraient être alignés sur la diagonale principale. Ici,
q P
n
σ̂²̂ = n1 i=1 ²̂2i .
Nous constatons que les points sont relativement bien alignés. Il n'y a pas d'incompatibilité manifeste
avec une distribution normale.
Fig. 1.13. Droite de Henry sur les résidus des MCO Données CONSO
Bien souvent, on peut se contenter de ce diagnostic. Nous réagissons uniquement si l'écart avec la
normalité est très marquée. Néanmoins, pour les puristes, nous pouvons consolider les conclusions en
s'appuyant sur la batterie des tests de normalité. Nous nous contenterons de tests asymptotiques simples.
1.3.2 Test de symétrie de la distribution des résidus
Principe du test
Ce test est basé sur le coecient d'asymétrie

µ3
γ1 = (1.6)
σ3
où µ3 est le moment centré d'ordre 3, et σ l'écart-type.
On sait que γ1 est égal à 0 si la distribution est normale. Le test d'hypothèses s'écrit de la manière
suivante :
H0 : ² suit une loi normale, par conséquent γ1 = 0

H1 : ² ne suit pas une loi normale, par conséquent γ1 6= 0
Remarque 8. Attention, les hypothèses ne sont pas symétriques. Si on établit que γ1 6= 0, nous savons
que la distribution n'est pas gaussienne. En revanche, conclure γ1 = 0 indique que la distribution est
seulement compatible avec une loi normale.
Statistique du test et région critique
Pour réaliser le test, nous devons dénir la statistique du test et sa loi de distribution sous H0 . Nous
utilisons le coecient d'asymétrie empirique :
1
P 3
²̂
g1 = ¡ nP i i¢ 3 (1.7)
1 2 2
n i ²̂i
Sous H0 , elle suit asymptotiquement une loi normale d'espérance et d'écart-type 11
µ1 ≈ 0
r
6
σ1 ≈
n
g1
Nous formons le rapport c1 = σ1 . Pour un test bilatéral au risque α, la région critique est dénie par
R.C. : |c1 | ≥ u1− α2

α
où u1− α2 est le fractile d'ordre 1 − 2 de la loi normale centrée réduite.
Nous construisons le test ci-dessus sur les résidus des MCO sur nos données CONSO. Voici les prin-
cipales étapes (Figure 1.14) :
1. Nous récupérons la colonne des résidus ²̂i .
2. Nous calculons les colonnes de ²̂2i et ²̂3i .

−0.1220
3. Nous calculons les sommes et formons g1 = 0.56023/2
= −0.2909.
11. Une formulation plus précise de l'écart-type est disponible dans http://eric.univ-lyon2.fr/~ricco/
cours/cours/Test_Normalite.pdf

Fig. 1.14. Test de normalité des résidus fondé sur le coecient de symétrie sur les données CONSO
q
6
4. Nous calculons l'écart-type σ1 = 31 = 0.4399, et le rapport |c1 | = 0.6612.
5. Nous observons que |c1 | < 1.6449 = u0.95 , pour un test bilatéral à 10%. Nous ne sommes pas dans la
région critique.
Si l'on se réfère au résultats du test, l'hypothèse de compatibilité avec la normale ne peut pas être
rejetée.
1.3.3 Test de Jarque-Bera
Principe
µ4
Ce test complète le précédent en intégrant le coecient d'aplatissement γ2 = σ4 −3 dans la procédure.
Les hypothèses deviennent :
H0 : ² suit une loi normale, par conséquent γ1 = 0 et γ2 = 0

H1 : ² ne suit pas une loi normale, par conséquent γ1 6= 0 ou γ2 6= 0
où µ4 est le moment centré d'ordre 4, σ est l'écart-type.
Remarque 9 (Rejet de l'hypothèse de normalité). Ici également, le test n'est pas symétrique. Si la distribu-
tion est compatible avec la loi normale, γ1 et γ2 sont simultanément à zéro. En revanche, il sut que l'un
des deux soient diérents de zéro pour que l'hypothèse de normalité soit rejetée. Autre point important,
on conjecture que les statistiques associées à chaque coecient sont indépendants (asymptotiquement).

Statistique du test et région critique
Estimateur de γ2
Nous devons déterminer la statistique et la distribution sous H0 du coecient d'aplatissement. Le

plus simple est d'utiliser l'estimation triviale déduite de la dénition du coecient γ2 :
P
1 4
n i ²̂i
g2 = ¡ 1 P 2 ¢2 −3 (1.8)
n i ²̂i
Sous H0 , l'espérance et l'écart-type de g2 sont :
µ2 ≈ 0
r
24
σ2 ≈
n
g2
La statistique standardisée suit une loi normale : c2 = σ2 ∼ N (0, 1).
Statistique de Jarque-Bera
Maintenant, il faut trouver une manière de combiner les deux statistiques g1 et g2 . Puisqu'ils sont
indépendants (asymptotiquement), le plus simple est de proposer la statistique de Jarque-Bera 12 :
µ ¶
(n − p − 1) 2 g22
T = g1 + (1.9)
6 4
Remarque 10 (Degré de liberté). La valeur (n − p − 1) représente le degré de liberté : nous disposons d'un
échantillon de taille n, il y a (p + 1) coecients à estimer dans la régression avec constante. Cette prise en
compte des degrés de libertés entraîne une correction des résultats fournis par les logiciels (ex. la fonction
jarqueberaTest(.) du package fBasics de R) d'autant plus importante que le nombre de variables vraies p
est grand et que la taille de l'échantillon n est faible.
Sous H0 , la statistique T suit une loi du χ2 à 2 degrés de liberté. La région critique du test, au risque
α, s'écrit :
R.C. : T > χ21−α (2)
Il s'agit d'un test unilatéral, χ21−α (2) correspond au fractile d'ordre 1 − α de la loi du χ2 à 2 degrés
de liberté.
Nous complétons le test fondé sur le coecient d'asymétrie en utilisant les résidus de la régression sur
les données CONSO. Voici les principales étapes (Figure 1.15) :
12. http://fr.wikipedia.org/wiki/Test_de_Jarque_Bera

Fig. 1.15. Test de Jarque-Bera pour vérier la normalité des résidus sur les données CONSO
1. Nous récupérons la colonne des résidus ²̂i .

2. Nous calculons les colonnes de ²̂2i , ²̂3i et ²̂4i .
−0.1220
3. Nous calculons les sommes et formons g1 = 0.56023/2
= −0.2909.
0.7020
4. Nous formons g2 = 0.56022 − 3 = −0.7626.
h i
31−4−1 (−0.7626)2
5. Reste à la calculer la statistique de Jarque-Bera : T = 6 (−0.2909)2 + 4 = 0.9967.
6. Que l'on compare avec le seuil critique χ20.90 (2) = 4.6052.
Au risque de α = 10%, nous ne pouvons pas rejeter l'hypothèse d'un distribution gaussienne des
résidus.
1.4 Conclusion
Examiner les résidus est un des moyens les plus sûrs d'évaluer la qualité d'une régression. Nous avons
présenté dans ce chapitre quelques outils, plus ou moins sophistiqués, pour apprécier correctement les
informations qu'ils peuvent nous apporter. Dans la majorité des cas, les écueils qui peuvent invalider une
régression sont :
la liaison étudiée est non-linéaire ;
un problème de spécication, par ex. une variable exogène importante manque ;

1.4 Conclusion 25
l'existence de points atypiques ou exagérément inuents ;

les erreurs ne sont pas indépendants et/ou dépendent d'une des exogènes ;
il y a une rupture de structure dans la relation ou les données sont organisées en blocs non homo-
gènes,...
Malgré la puissance des procédures numériques avancées, les techniques graphiques très simples sont
à privilégier, au moins dans un premier temps : leurs conditions d'applications sont universelles, elles
proposent un diagnostic nuancé de situations qui peuvent s'avérer complexes. Rien ne nous empêche par
la suite de compléter le diagnostic visuel à l'aide des tests statistiques.

2
Détection des points aberrants et des points inuents
L'objectif de la détection des points aberrants et inuents est de repérer des points qui jouent un rôle
anormal dans la régression, jusqu'à en fausser les résultats. Il faut s'entendre sur le terme anormal, nous
pourrons en résumer les diérentes tournures de la manière suivante :
L'observation prend une valeur inhabituelle sur une des variables. Nous parlons alors de détection
univariée car nous étudions les variables individuellement. Par exemple, un des véhicules a une
puissance 700 cv, nous avons intégré une Formule 1 dans notre chier de véhicules.
Une combinaison de valeurs chez les exogènes est inhabituelle. Par exemple, une voiture très légère
et très puissante : le poids pris individuellement ne se démarque pas, la puissance non plus, mais
leur concomitance est surprenante (Figure 2.1).
L'observation est très mal reconstituée par la régression, n'obéissant pas de manière ostensible à la
relation modélisée entre les exogènes et l'endogène. Dans ce cas, le résidu observé est trop élevé.
L'observation pèse de manière exagérée dans la régression, au point que les résultats obtenus (pré-
diction, coecient, ...) sont très diérents selon que nous l'intégrons ou non dans la régression.
Fig. 2.1. Le point entouré est suspect car la combinaison de valeurs est inhabituelle
Outre les ouvrages enumérés en bibliographie, deux références en ligne complètent à merveille ce
chapitre : le document de J. Confais et M. Le Guen [8], section 4.3, pages 307 à 311 ; et la présentation de

28 2 Points aberrants et points inuents
A.Gueguen, La régression linéaires - Outils diagnostics, http://ifr69.vjf.inserm.fr/~webifr/ppt/

outilsdiag.ppt.
2.1 Points aberrants : détection univariée
Boîte à moustache et détection des points atypiques
L'outil le plus simple pour se faire une idée de la distribution d'une variable continue est la boîte à
moustaches (Figure 2.2), dite box-plot 1 . Elle ore une vue synthétique sur plusieurs indicateurs impor-
tants : le premier quartile (Q1 ), la médiane (M e) et le troisième quartile (Q3 ). On peut aussi jauger
visuellement l'intervalle inter-quartile qui mesure la dispersion (IQ = Q3 − Q1).
Fig. 2.2. Boxplot de la variable endogène "consommation (y)", 2 observations se démarquent
On pense à tort que les extrémités de la boîte correspond aux valeurs minimales et maximales. En
réalité il s'agit des valeurs minimales et maximales non atypiques dénies par les règles suivantes 2 :
LIF = Q1 − 1.5 × IQ
U IF = Q3 + 1.5 × IQ
où LIF signie "lower inner fence" et UIF "upper inner fence".

Les points situés au delà de ces limites sont souvent jugées atypiques. Il convient de se pencher
attentivement sur les observations correspondantes.
Remarque 11 (Règle des 3-sigma). Une autre règle empirique est largement répandue dans la communauté
statistique, il s'agit de la règle des 3-sigma. Elle xe les bornes basses et hautes à 3 fois l'écart-type autour
1. http://en.wikipedia.org/wiki/Box_plot
2. http://www.itl.nist.gov/div898/handbook/prc/section1/prc16.htm

2.1 Points aberrants : détection univariée 29
de la moyenne. Si l'on considère que la distribution est normale, 99.7% des observations sont situés dans
cet intervalle. La principale faiblesse de cette approche est l'hypothèse de normalité sous-jacente qui en
réduit la portée.
Les "outer fence"
Il est possible de durcir les conditions ci-dessus en élargissant les bornes des valeurs. On parle alors
de outer fence. Elles sont dénies de la manière suivante :
LOF = Q1 − 3 × IQ
U OF = Q3 + 3 × IQ
Pour distinguer les points détectés selon la règle inner ou outer, on parle de "points moyennement
atypiques" (mild outlier) et "points extrêmement atypiques" (extreme outlier).
Il est possible de produire une boîte à moustache pour chaque variable du chier de données. Nous
disposons ainsi très rapidement d'informations sur l'étalement de la distribution, de la présence de points
qui s'écartent fortement des autres. Pour la variable endogène (Figure 2.2), nous détectons immédiatement
2 observations suspectes qui consomment largement plus que les autres véhicules : la Ferrari 456 GT et
la Mercedes S 600.
Une autre manière de procéder est d'utiliser simplement le tableur EXCEL (Figure 2.3) :
1. de produire le 1er et le 3ème quartile ;
2. d'en déduire l'intervalle inter-quartile ;
3. de calculer les bornes LIF et U IF ;
4. et de s'appuyer sur la mise en forme conditionnelle pour distinguer les points "suspects" pour chaque
variable.
Il semble que 3 véhicules soient assez diérents du reste de l'échantillon, sur la quasi-totalité des
variables. Nous produisons dans un tableau récapitulatif les associations "observation-variable" suspects
(Tableau 2.1).
Observations Prix Cylindrée Puissance Poids Consommation

Ferrari 456 GT * * * *
Mercedes S 600 * * * * *
Maserati Ghibli GT * *
Tableau 2.1. Points suspects chier CONSO : détection univariée

Fig. 2.3. Détection univariée des points atypiques pour chaque variable
2.2 Détection multivariée sur les exogènes : le levier
Le levier
La détection univariée donne déjà des informations intéressantes. Mais elle présente le défaut de ne
pas tenir compte des interactions entre les variables. Dans cette section, nous étudions un outil capital
pour l'étude des points atypiques et inuents : le levier.
Son interprétation est relativement simple. Il indique, pour l'observation i, la distance avec le centre
de gravité du nuage de points dans l'espace déni par les exogènes. La mesure a de particulier qu'elle
tient compte de la forme du nuage de points, il s'agit de la distance de Mahalanobis (Tenenhaus, page
94). La prise en compte de la conguration des points dans l'espace de représentation permet de mieux
juger de l'éloignement d'une observation par rapport aux autres (Figure 2.4).
Le levier hii de l'observation i est lue sur la diagonale principale de la matrice H , dite Hat Matrix,
dénie de la manière suivante
H = X(X 0 X)−1 X 0 (2.1)
La matrice H joue un rôle très important dans la régression, elle permet de passer des valeurs observées
de Y vers les valeurs prédites Ŷ , elle permet aussi le passage de l'erreur théorique vers les résidus observés 3 .
3. ²̂ = [I − X(X 0 X)−1 X 0 ]²

2.2 Détection multivariée sur les exogènes : le levier 31
Fig. 2.4. Le point 4 et le centre de gravité ♦ sont situés aux mêmes coordonnées dans les graphiques (a) et (b).
Pourtant 4 apparaît nettement atypique dans (b).
Les éléments hij de la matrice H présentent un certain nombre de propriétés. Concernant les éléments
de la diagonale principale hii , on parle de levier car il détermine l'inuence de l'observation i sur les
estimateurs obtenus par les moindres carrés (Dodge, page 130). Même s'il n'utilise que les informations
en provenance des exogènes Xj , le champ d'action du levier dépasse la détection multivariée des points
aberrants. Nous le retrouverons dans la grande majorité des formules de détection des points atypiques
et inuents que nous présenterons dans la suite de ce chapitre.
Calcul des éléments diagonaux de la matrice H
La taille (n × n) de la matrice H peut être considérable dès lors que la taille de l'échantillon augmente.
Il est possible d'en calculer uniquement les éléments diagonaux en utilisant la formule
hii = hi = xi (X 0 X)−1 x0i
où xi représente la i-ème ligne de la matrice X .
Région critique
Nous disposons d'un indicateur, il nous faut maintenant déterminer à partir de quelle valeur de hi
nous devons nous pencher attentivement sur une observation. Autrement dit, quelle est la valeur critique
qui permet d'indiquer qu'un point est "suspect" ?
Pour cela, penchons-nous sur quelques propriétés du levier. Par dénition 0 ≤ hi ≤ 1, et surtout
Pn
i=1 hi = p + 1, où p + 1 est le nombre de coecients à estimer dans une régression avec constante. On
considère que le levier d'une observation est anormalement élevé dès lors que :
p+1
R.C. : hi > 2 × (2.2)
n
Remarque 12 (Seuil de coupure et étude des points). La règle dénie ci-dessus, aussi répandue soit-elle,
est avant tout empirique. Dans la pratique, il est tout aussi pertinent de trier les observations selon la

valeur de hi de manière à mettre en évidence les cas extrêmes. Une étude approfondie de ces observations
permet de statuer sur leur positionnement par rapport aux autres.
Fig. 2.5. Quelques indicateurs de points atypiques et inuents dans TANAGRA. Données CONSO.
Nous appliquons les calculs ci-dessus sur les données CONSO. Nous avons utilisé le logiciel TANAGRA
(Figure 2.5) 4 . La valeur de coupure est 2 × 4+1
31 = 0.3226, 3 points se démarquent immédiatement, les
mêmes que pour la détection univariée : la Ferrari (h8 = 0.8686), la Mercedes (h9 = 0.4843) et la Maserati
(h10 = 0.6418). Les raisons de l'écartement semblent évidentes : il s'agit de grosses cylindrées luxueuses,
des limousines (Mercedes) ou des véhicules sportifs (Ferrari, Maserati).
4. Nous avons utilisé un logiciel spécialisé par commodité, l'enchaînement des calculs peut être facilement
reproduit sur un tableur, il sut d'utiliser à bon escient les fonctions matricielles.

2.3 Résidu standardisé 33
Essayons d'approfondir notre analyse en triant cette fois-ci les observations de manière décroissante
selon hi . Les 3 observations ci-dessus arrivent bien évidemment en première place, mais nous constatons
que d'autres observations présentaient un levier proche de la valeur seuil. Il s'agit de la Toyota Previa
Salon, et dans une moindre mesure de la Hyundai Sonata 3000 (Figure 2.6). La première est un monospace
(nous remarquons à proximité 2 autres monospaces, la Seat Alhambra et la Peugeot 806) qui se distingue
par la conjonction d'un prix et d'un poids élevés ; la seconde est une voiture de luxe coréenne, les raisons
de son éloignement par rapport aux autres véhicules tiennent, semble-t-il, en la conjonction peu courante
d'un prix relativement moyen et d'une cylindrée élevée.
Fig. 2.6. Trier les données CONSO selon la valeur du levier
2.3 Résidu standardisé
Résidu standardisé
Le résidu standardisé, appelé également résidu studentisé interne dans certains ouvrages, s'intéresse à
l'importance du résidus observé ²̂i = yi − ŷi . S'il est anormalement élevé, en valeur absolue, cela indique
que le point a été mal reconstitué par le modèle : il s'écarte ostensiblement de la relation modélisée entre
les exogènes et l'endogène.

Si par hypothèse, la variance de l'erreur σ²2i = σ²2 est constante, il n'en est pas de même du résidu
σ²̂2i = σ²2 (1 − hi ). Nous devons donc normaliser le résidu par son écart-type pour rendre les écarts
comparables d'une observation à l'autre.
Lorsque nous travaillons sur un échantillon, nous ne disposons pas de la vraie valeur de σ²2 , nous
estimons la variance des résidus avec
σ̂²̂2i = σ̂²2 (1 − hi ) (2.3)

P
i ²̂i
où hi est lue dans la Hat Matrix H , σ̂²2 = n−p−1 est l'estimateur de la variance de l'erreur.
Le résidu standardisé est donc dénie comme le rapport
²̂i ²̂i
ti = = p (2.4)
σ̂²̂i σ̂² (1 − hi )
Région critique
Pour décider qu'un point est aberrant ou pas, il nous faut de nouveau dénir une valeur seuil au delà
de laquelle le résidu standardisé est anormalement élevé (en valeur absolue).
Nous pouvons nous appuyer sur un appareillage statistique ici. En eet, par hypothèse ²i ∼ N (0, σ² ),
nous en déduisons que ²̂i ∼ N (0, σ²̂i ). On peut montrer facilement que σ̂²̂2i suit une loi du χ2 à (n − p − 1)
degrés de liberté.
De fait, le résidu standardisé, déni par le rapport (Equation 2.4 entre une loi normale et la racine
carrée d'une loi du χ2 normalisée), suit une loi de Student à (n − p − 1) degrés de liberté
ti ∼ T (n − p − 1) (2.5)
Nous décidons qu'une observation est particulièrement mal reconstituée par le modèle (d'une certaine
manière atypique) lorsque
R.C. : |ti | > t1− α2 (n − p − 1)

α
où t1− α2 (n − p − 1) est le fractile d'ordre 1 − 2 de la loi de Student à (n − p − 1) degrés de liberté.
Il s'agit bien d'un test bilatéral. Le résidu est suspect s'il est particulièrement élevé en valeur absolue.
Au nal, un point apparaît comme aberrant avec un résidu standardisé élevé si :
il est mal prédit c.-à-d. ²̂i est élevé ;
la régression est précise c.-à-d. σ̂² est faible ; en eet, si la régression est globalement précise, un
point mal prédit apparaît comme d'autant plus suspect ;
le point est éloigné des autres dans l'espace des exogènes ; en eet, plus hi est élevé (hi ≈ 1), plus
(1 − hi ) ≈ 0, et le rapport est élevé.

2.3 Résidu standardisé 35
TANAGRA fournit automatiquement les résidus standardisés lors de l'analyse des points atypiques
(Figure 2.5). Il faut comparer la valeur absolue de la colonne avec la valeur seuil t0.95 (26) = 1.7056 pour
un risque à 10%.
Lorsque le nombre d'observations est élevé, il devient mal aisé d'inspecter le tableau des valeurs
du résidus standardisé. Il est plus commode de revenir au graphique des résidus en mettant en abcisse
l'endogène et en ordonnée le résidu standardisé. Nous traçons alors une ligne matérialisant les valeurs
seuils −t1− α2 et +t1− α2 (Figure 2.7).
Fig. 2.7. Graphique des résidus standardisés vs. endogène - Données CONSO
Remarque 13 (Taille d'échantillon et risque α). Autre approche pragmatique, nous pouvons trier les don-
nées selon |ti |. Les véhicules suspects sont très facilement mis en évidence (Figure 2.8). Cette technique est
d'autant plus intéressante que le nombre de véhicules situés dans la région critique s'accroît mécanique-
ment à mesure que la taille n de l'échantillon augmente, laissant à croire un nombre élevé d'observations
aberrantes. Il faudrait ajuster le risque α en accord avec la taille d'échantillon n. Mais il s'agit là d'une
opération délicate. En utilisant un tri simple, nous pouvons considérer, par ordre d'importance, les points
les moins bien reconnus par le modèle sans se poser la question d'un seuil critique convenable.
Les calculs aboutissent à des résultats contrastés, correspondant à des situations très diérentes (Fi-
gure 2.8) :
La Mercedes cumule un résidu fort (−1.374) et un levier élevé (0.4843). Ce type de véhicule appar-
tient à une catégorie spécique qui n'a rien en commun avec les voitures recensés dans ce chier.

Fig. 2.8. Observations triées selon la valeur absolue du résidu standardisé
La "Ferrari" est mal reconstituée parce qu'elle est avant tout très diérente des autres h = 0.8686.
Le résidu brut ²̂ = 0.610 n'est pas très élevé, on prédit correctement sa consommation au regard
de ses caractéristiques. Mais le résidu rapporté à l'écart-type montre qu'il s'agit quand même d'un
véhicule bien particulier.
La Hyundai et la Mitsubishi Galant correspondent à une tout autre situation. Ces observations se
fondent dans l'ensemble de la population, le levier est en deçà du seuil critique. En revanche ils
n'obéissent pas à la relation mise en évidence entre les exogènes et l'endogène (Equation 0.1). La
Hyundai consomme fortement par rapport à ses caractéristiques ²̂ = y − ŷ = 11.7 − 10.264 = 1.436 ;
la Mitsubishi est en revanche particulièrement sobre ²̂ = 7.6 − 9.168 = −1.568.
2.4 Résidu studentisé
Le résidu studentisé
Principe
Le résidu standardisé est un indicateur certes intéressant mais il présente un inconvénient fort : nous
évaluons l'importance du résidu ²̂i d'une observation qui a participé à la construction de la droite de
régression. De fait, le point est juge et partie dans l'évaluation : on l'utilise pour construire le modèle,
puis on regarde s'il a bien été modélisé. Si l'observation est fortement inuente, au sens qu'elle "tire"
exagérément les résultats de manière à présenter un résidu brut très faible ²̂ ≈ 0, nous conclurons à tort
qu'elle est bien reconstituée et donc ne fausse en rien les résultats de la modélisation (Figure 2.9).

2.4 Résidu studentisé 37
Fig. 2.9. Exemple de régression simple où l'observation 4 est certes bien modélisée (²̂ ≈ 0) mais elle fausse
totalement les calculs : on parle de point exagérément inuent.
Il faudrait mettre en place une procédure qui permet de confronter les résultats selon qu'une
observation participe ou non aux calculs. Parmi les pistes possible, nous nous penchons sur l'erreur
de prédiction. Une mesure objective devrait ne pas faire participer le point i dans la construction du
modèle utilisé pour prédire la valeur ŷi . Le résidu studentisé, on parle de résidu studentisé externe ou
RSTUDENT dans certains ouvrages, s'appuie sur ce principe, il utilise la procédure suivante (Dodge,
page 135) :
Pour chaque observation i,
Nous la retirons de l'ensemble des données, et nous calculons les paramètres de la régression.
Nous eectuons la prédiction sur l'observation i en donnée supplémentaire ŷi (−i)
Nous obtenons aussi l'estimation de l'écart-type des erreurs σ̂² (−i), le levier hi (−i) obtenu avec la
0
formule hi (−i) = xi (X−i X−i )−1 x0i où X−i correspond à la matrice des X sans la ligne numéro i.
A l'instar du résidu standardisé, nous formons le résidu studentisé à partir du rapport
yi − ŷi (−i)
t∗i = p (2.6)
σ̂² (−i) (1 − hi (−i))
Le principe de la donnée supplémentaire permet de mieux appréhender le rôle/le poids de l'observation
i dans la régression. Si, exclue de la régression, elle reste bien prédite, elle est fondue dans la masse des
points ; en revanche, si son exclusion des calculs entraîne une très mauvaise prédiction, on peut penser
qu'elle pèse fortement, peut-être à tort, sur les calculs (Figure 2.10).
Une autre interprétation
Il existe une autre manière de calculer le résidu studentisé. Elle ne facilite pas spécialement les calculs.
En revanche, elle a le mérite de mettre en lumière la loi de distribution que nous pourrons utiliser par la
suite pour dénir la région critique du test.
Le principe est le suivant, nous eectuons n régressions avec toutes les observations. Pour la régression
numéro i, nous introduisons une variable muette z dénie de la manière suivante

Fig. 2.10. Principe de la donnée supplémentaire : l'observation 4, exclue du calcul de la droite de régression,
devient très mal prédite
z = 1 pour l'observation numéro i

= 0 sinon
La régression numéro i s'écrit donc de la manière suivante :
y = a0 + a1 x1 + . . . + ap xp + b × z + ² (2.7)
Le résidu studentisé correspond au t de Student du test de signicativité du coecient b. Nous savons

que cette statistique suit une loi de Student T (n − p − 2) à (n − p − 2) degrés de liberté. En eet, il y a
bien (p + 2) coecients à estimer dans l'équation 2.7.
Calcul pratique
Si le concept sous-jacent semble relativement simple, il reste à produire les résultats. Quelle que soit
l'approche adoptée, il faudrait eectuer n régressions. Si n est élevé, le calcul est très lourd, il peut se
révéler rédhibitoire.
A ce stade intervient une propriété remarquable du résidu studentisé : il est possible de le calculer
pour chaque observation i sans avoir à procéder explicitement aux n régressions. Nous utilisons
pour cela d'une formule de transformation du résidu standardisé (Tenenhaus, page 95) 5 :
s
n−p−2
t∗i = ti (2.8)
n − p − 1 − t2i
Le calcul supplémentaire demandé est négligeable.
Région critique
A partir de la formulation sous forme d'équation de régression (Équation 2.7), il est possible de formu-
ler rigoureusement le test d'hypothèses permettant de déterminer si une observation est atypique/inuente
ou non. Il s'écrit :
5. La formule proposée dans Dodge semble erronée (page 135)

2.4 Résidu studentisé 39
H0 : b = 0
H1 : b 6= 0
Sous H0 , la statistique t∗i ∼ T (n − p − 2), on en déduit la région critique du test :
R.C. : |t∗i | > t1− α2 (n − p − 2)

α
où t1− α2 (n − p − 2) est le fractile d'ordre 1 − 2 de la loi de Student à (n − p − 2) degrés de liberté.
Il s'agit bien d'un test bilatéral. Le résidu est suspect s'il est particulièrement élevé en valeur absolue.
Comparaisons multiples et contrôle du risque I
En multipliant les tests, nous évaluons n observations, nous augmentons le risque de signaler à tort
des points atypiques. Certains auteurs préconisent de rendre la détection plus exigeante en introduisant
la correction de Bonferroni pour les comparaisons multiples : on divise le risque α par l'eectif n. Pour
α
chaque observation à tester, nous comparons le résidu studentisé avec le fractile d'ordre 1 − 2n . Dans
0.1
l'exemple CONSO, le vrai risque à utiliser serait 1 − 2×31 = 0.9984 et le seuil critique t0.9984 (25) = 3.539.
On constate que sur les données CONSO (Figure 2.11), aucune observation n'est atypique avec cette
procédure.
Comparaisons multiples et contrôle du risque II
Si l'on comprend le principe de la correction du risque, multiplier les tests augmente les chances de
désigner à tort un point aberrant, il faut donc être plus exigeant, la rectication ci-dessus est purement
empirique. Pour dépasser ces problèmes, d'autres auteurs proposent tout simplement de comparer di-
rectement le résidu studentisé avec une valeur ad hoc, inspirée néanmoins des seuils fournis par la loi
de Student, la valeur la plus utilisée est 2 en référence à un test à 5%. Pour ma part, je pense que le
plus simple encore est de trier les observations selon |t∗i |, cela nous donne plus de latitude pour juger de
l'ampleur des écarts.
Nous complétons le tableau EXCEL en ajoutant la colonne des résidus studentisés. La valeur seuil à
10% est 1.7081. Nous trions les données selon la valeur absolue de cette colonne. Nous constatons que ce
sont les mêmes points que précédemment (cf. le résidu standardisé) qui se démarquent ((Mercedes S600,
Hyundai Sonata, Ferrari 456 GT et Mitsubishi Galant, gure 2.11).
Dans notre exemple, les deux indicateurs ti et t∗i concordent. Ce n'est pas toujours le cas en pratique.
Il faut alors privilégier le résidu studentisé pour les raisons évoquées ci-dessus : le fait de considérer
l'observation numéro i comme un point supplémentaire permet de mieux concevoir son inuence sur la
régression.

Fig. 2.11. Observations triées selon la valeur absolue du résidu studentisé
2.5 Autres indicateurs usuels
Dans cette section, nous énumérons d'autres indicateurs de points atypiques/inuents couramment
rencontrés dans les logiciels. Nous simplions la présentation en mettant l'accent sur 3 aspects : le principe,
la formule et la règle de détection. Les résultats relatifs au chier de données CONSO ont été produites
à l'aide du logiciel TANAGRA (Figure 2.5).
2.5.1 DFFITS
Le DFFITS s'appuie sur le même principe que le RSTUDENT, mais il compare cette fois-ci la pré-
diction en resubstitution ŷi et la prédiction en donnée supplémentaire ŷi (−i). Dans le premier cas, l'ob-
servation a participé à la construction du modèle de prédiction, dans le second, non. Nous pouvons ainsi
mesurer l'inuence du point sur la régression. Dans notre exemple ctif (Figures 2.9 et 2.10), la diérence
serait très marquée, conrmant le rôle mysticateur de l'individu 4.
Le DFFITS est normalisée de la manière suivante
ŷi − ŷi (−i)

DF F IT Si = √ (2.9)
σ̂² (−i) hi
Nous considérons qu'une observation est inuente lorsque
r
p+1
R.C. : |DF F IT Si | > 2
n
mais le plus simple toujours est de trier les observations selon |DF F IT Si | pour mettre en évidence
les points suspects.

2.5 Autres indicateurs usuels 41
q
4+1
Sur le chier CONSO, le seuil critique est 2 31 = 0.8032. Nous constatons que la Ferrari (tout
particulièrement), la Mercedes et la Hyundai se démarquent toujours. La Mitsubishi en revanche ne
dépasse pas le seuil (0.7800) mais en est susamment proche pour qu'on ne remette pas en cause l'analyse
proposée dans la section sur le résidu studentisé. On voit là tout l'intérêt de ne pas prendre pour argent
comptant les valeurs seuils (Figure 2.12).
Fig. 2.12. Observations triées selon la valeur absolue du DF F IT S
Calcul pratique du DFFITS
Il n'est heureusement pas nécessaire d'eectuer les n régressions pour calculer les DF F IT Si , on peut
l'obtenir à partir du résidu studentisé
r
hi
DF F IT Si = t∗i (2.10)
1 − hi
2.5.2 Distance de COOK
La distance de COOK généralise le DFFITS dans le sens où, au lieu de mesurer l'eet de la suppression
de l'observation i sur la prédiction de yi , il mesure son eet sur la prédiction des n valeurs de l'endogène.
La première formulation de la distance de Cook Di est la suivante :
Pn 2
j=1 [ŷi − ŷi (−i)]
Di = (2.11)
σ̂²2 (p + 1)
Ainsi, pour évaluer l'inuence du point i sur la régression, nous la supprimons du calcul des coecients,
et nous comparons les prédictions avec le modèle complet (construit avec tous les points) et le modèle
à évaluer (construit sans le point i). Si la diérence est élevée, le point joue un rôle important dans
l'estimation des coecients.

Il nous faut dénir la valeur seuil à partir de laquelle nous pouvons dire que l'inuence est exagérée.
La règle la plus simple est :
R.C. : Di > 1 (2.12)
Mais elle est jugée un peu trop permissive, laissant échapper à tort des points douteux, on lui préfère
parfois la disposition plus exigeante suivante (Confais, page 309) :
4
R.C. : Di > (2.13)
n−p−1
La distance de Cook a été calculée pour chaque observation du chier CONSO. Les individus ont été
triés selon Di décroissants. La Ferrari, encore une fois très fortement, et la Mercedes se démarquent selon
4
la première règle de détection (Équation 2.12). Si nous passons à la seconde règle Di > n−p−1 = 0.1538
(Équation 2.13), la Hyundai se révèle également suspecte (Figure 2.13).
Fig. 2.13. Observations triées selon la distance de Cook Di
Calcul pratique de la distance de Cook
De nouveau, il n'est pas question d'eectuer les n régressions en supprimant tour à tour chaque
observation. Nous pouvons grandement simplier les calculs en dérivant la distance de Cook à partir des
résidus standardisés
t2i hi
Di = (2.14)
(p + 1) (1 − hi )
Distance de Cook entre les coecients estimés
Nous avons dénis la distance de Cook comme un écart entre les prédictions. Il est également possible
de la dénir comme une distance entre les coecients estimés, avec ou sans l'observation i à analyser.
Dans ce cas, la distance de Cook s'écrit

(â − â(−i))0 (X 0 X)−1 (â − â(−i))

Di = (2.15)
σ̂²2 (p + 1)
où â est le vecteur des (p + 1) coecients estimés (â0 , â1 , . . . , âp )0 avec les n observations ; â(−i) le
même vecteur estimé sans l'observation i.
La distance de Cook s'interprète, dans ce cas, comme l'amplitude de l'écart entre les coecients
estimés de la régression, avec et sans le point i. Il va sans dire que la valeur calculée Di est exactement
la même que celle obtenue avec la première dénition (Équation 2.11).
De ce point de vue, la distance de Cook peut se lire comme la statistique du test de comparaison de
deux vecteurs de coecients. Sauf que qu'il ne peut s'agir d'un véritable test puisque les échantillons ne
sont pas (pas du tout) indépendants. Néanmoins, si l'on poursuit l'idée, la distance de Cook suivrait une
loi de Fisher à (p + 1, n − p − 1) degrés de liberté. On s'appuie sur la p-value du test pour détecter les
points atypiques : on considère qu'un point est suspect dès lors que la p-value calculée est inférieure à
50% 6 . On peut aussi imaginer une procédure plus souple et simplement trier les observations selon la
p-value de la distance de Cook. Dans le cas du chier CONSO, on constate que la Ferrari et la Mercedes
se démarquent fortement par rapport aux autres véhicules (Figure 2.14).
Fig. 2.14. Observations triées selon la p-value de la distance de Cook Di
2.5.3 DFBETAS
La distance de Cook évalue globalement les disparités entre les coecients de la régression utilisant
ou pas l'observation numéro i. Si l'écart est important, on peut vouloir approfondir l'analyse en essayant
d'identier la variable qui est à l'origine de l'écart : c'est le rôle des DFBETAS.
6. http://www-stat.stanford.edu/~jtaylo/courses/stats203/notes/diagnostics.pdf

Pour chaque observation i et pour chaque coecient aj , j = 0, . . . , p, nous calculons la quantité
âj − âj (−i)

DF BET ASj,i = q (2.16)
σ̂² (−i) (X 0 X)−1 j
où âj est l'estimation du coecient de la variable Xj (â0 pour la constante) ; âj (−i) l'estimation
du même coecient lorsqu'on a omis l'observation i ; σ̂² (−i) l'estimation de l'écart-type de l'erreur de
régression sans l'observation i ; (X 0 X)−1
j est lue sur la diagonale principale de la matrice (X 0 X)−1 .
On considère que l'observation i pèse indûment sur la variable Xj lorsque
R.C. : |DF BET ASj,i | > 1 (2.17)
Lorsque les observations sont nombreuses, on préférera la règle plus exigeante :
2
R.C. : |DF BET ASj,i | > √ (2.18)
n
Bien entendu, il est toujours possible de trier les observations selon les DFBETAS, mais cela peut
être rapidement fastidieux lorsque le nombre de variables est élevé.
Appliqué sur les données CONSO, les DFBETAS nous permettent de mieux situer l'action des obser-
vations mis en avant par la distance de Cook. On compare les valeurs calculées avec le seuil √2 = 0.3592.
31
On constate que la Ferrari et la Mercedes pèsent sur quasiment toutes les variables dès lors qu'on les retire
ou qu'on les rajoute dans les eectifs pour la régression. La Hyundai, qui semble moins peser globalement
(cf. Di ), a aussi une action sur l'ensemble des coecients mis à part la constante. Enn, la Maserati, la
Mitsubishi et la Toyota Previa agissent de manière anecdotique sur quelques coecients (Figure 2.15).
Fig. 2.15. DF BET ASj,i pour le chier CONSO

Calcul pratique
Encore une fois, il est hors de question d'eectuer n régressions, on s'en sort en utilisant la formule
suivante
 £ ¤ 
(X 0 X)−1 X 0 j,i
DF BET ASj,i = t∗i  q  (2.19)
(X 0 X)−1
j (1 − hi )
2.5.4 COVRATIO
A la diérence de la distance de Cook, au lieu de mesurer la disparité entre les estimations des
coecients, avec ou sans l'intervention de l'observation i, le COVRATIO mesure les disparités entre les
précisions des estimateurs c.-à-d. la variance des estimateurs.
A cet eet, il nous faut proposer une mesure de la variance globale des estimateurs, dite variance
généralisée, elle est égale à
var(â) = σ̂²2 det(X 0 X)−1
où det(X 0 X)−1 est le déterminant de la matrice (X 0 X)−1 .

On formule alors le COV RAT IOi de l'observation i de la manière suivante :
var(â(−i))
COV RAT IOi = (2.20)
var(â)
A première vue :
Si COV RAT IOi > 1, la présence de l'observation i améliore la précision au sens où elle réduit la
variance des estimateurs ;
A l'inverse, si COV RAT IOi < 1 indique que la présence de l'observation i dégrade la variance.
Remarque 14. Attention, une diminution de la variance (COV RAT IO > 1) n'est pas forcément un signe
du rôle bénéque de l'observation i. Une réduction excessive de la variance peut vouloir dire que l'ob-
servation pèse exagérément par rapport aux autres observations. Il faut manipuler avec beaucoup de
précautions cet indicateur.
A partir de quel moment doit-on s'inquiéter de l'inuence d'une observation ? La règle de détection
la plus répandue est
3(p + 1) 3(p + 1)
R.C. : COV RAT IOi < 1 − ou COV RAT IOi > 1 + (2.21)
n n
que l'on peut simplier :
3(p + 1)
R.C. : |COV RAT IOi − 1| > (2.22)
n
Le COVRATIO a été calculé pour chaque observation du chier CONSO. Le tableau est trié selon
|COV RAT IOi − 1| décroissant (Figure 2.16). Nous portons notre attention sur la première partie du

tableau. Nous retrouvons la Ferrari, la Maserati et la Toyota Previa réapparaissent (cf. levier). Nous
notons aussi qu'ils sont suivis d'autres monospaces (Seat Alhambra et Peugeot 806, même s'ils ne sont
pas signicatifs).
Fig. 2.16. Observations triées selon le COV RAT IOi
Calcul pratique
Il est possible d'obtenir le COVRATIO à partir du résidu studentisé et du levier
1
COV RAT IOi = h i(p+1) (2.23)
n−p−2 (t∗
i)
2
n−p−1 + n−p−1 (1 − hi )
2.6 Bilan et traitement des données atypiques
Lecture des indicateurs
Trop d'information tue l'information a-t-on coutume de dire. C'est tout à fait vrai dans le cas de
ce chapitre. La profusion d'outils peut rapidement donner le tournis. Confais (2006) propose un tableau
récapitulatif, on ne peut plus salutaire (pages 312 et 313). On discerne le type de lecture que l'on peut
faire de chaque indicateur et les conclusions que l'on pourraient en tirer (Figure 2.17).
Traitement des observations atypiques
Reste alors la question délicate du traitement des données atypique, que peut-on faire des observations
qui, manifestement, jouent un rôle particulier dans la régression ?

2.6 Bilan et traitement des données atypiques 47
Fig. 2.17. Tableau récapitulatif - Détection des observations atypiques (Confais et Le Guen, Modulad, 35, 2006)
Tous les auteurs s'accordent à dire que la suppression automatique des observations atypiques n'est
pas "la" solution. Il faut comprendre pourquoi l'observation se démarque autant et proposer des solutions
appropriées :
Premier réexe : vérier les données, y a-t-il des erreurs de saisie ou des erreurs de transcription ?
Dans ce cas, il sut de corriger les valeurs recensées.

Si la distribution est très asymétrique (ex. salaires), il est plus indiqué de tenter de symétriser la
distribution avec une transformation de variables adéquate (ex. log) avant de procéder à nouveau
à l'analyse.
Si l'on manipule des données longitudinales, on introduit une variable muette pour neutraliser l'eet
de l'observation atypique (ex. guerre, famine).
Il apparaît que les observations incriminées ne correspondent pas à la population étudiée (ex. des
martiens se sont immiscés dans une enquête). Dans ce cas, et dans ce cas seulement, la suppression
est réellement justiée.
Dans notre exemple CONSO, il apparaît clairement que la Ferrari, voiture sportive d'exception, et
la Mercedes, une limousine ultra-luxueuse, n'appartiennent pas au même monde que les autres véhicules
de l'analyse. Ils se situent de plus à des niveaux de prix qui les situent dénitivement hors de portée. Il
paraît donc licite de les supprimer de nos données.
Remarque 15 (Techniques graphiques vs. techniques numériques). A ce sujet, prenons toujours de la hau-
teur par rapport aux techniques numériques, on peut se demander si nalement cet attirail était bien
nécessaire dans la mesure où, dès les graphiques des résidus, la Ferrari et la Mercedes étaient systéma-
tiquement à l'écart des autres. Elles auront surtout servi à conrmer et préciser le rôle perturbateur de
ces 2 observations.
Nous eectuons la régression sur les 29 observations restantes. En étudiant de nouveau les points
atypiques, nous constaterons que la Mitsubishi est particulièrement mal modélisée, ce n'est pas étonnant
car elle présente une consommation anormalement basse au regard de ses caractéristiques, sa cylindrée
notamment. Nous mettrons également de côté la Maserati qui est un véhicule sportif turbo-compressé à
hautes performances.
Remarque 16 (Quand la suppression des observations atypiques devient abusive ?). Nous voyons bien là
les limites de l'approche consistant à éliminer les observations considérées atypiques. En continuant ainsi,
nous nirons par vider le chier : aucun risque de voir des disparités entre les individus si nous n'avons
plus qu'une seule observation.
Dorénavant, nous utiliserons le chier des 27 observations, expurgé des 4 véhicules énumérées ci-dessus,
pour illustrer les autres thèmes abordés dans ce support (Figure 2.18). Nous obtenons des résultats bien
diérents avec des graphiques des résidus autrement plus sympathiques (Figure 2.19). La variable prix
a disparu des paramètres signicatifs. On s'étonne en revanche que ni puissance ni cylindrée ne soient
pertinents pour expliquer la consommation. Peut-être faut-il y voir là l'eet de la colinéarité ? Nous
approfondirons cette question dans le chapitre suivant.

2.6 Bilan et traitement des données atypiques 49
Fig. 2.18. Résultats de la régression CONSO sans les observations atypiques

Fig. 2.19. Graphiques des résidus, chier CONSO après suppression des 4 points atypiques

3
Colinéarité et sélection de variables
L'un des objectifs de la régression est d'essayer de décrire le processus de causalité entre les variables
exogènes et la variable endogène. Pour cela, nous étudions le signe et la valeur des coecients, l'idée est
de circonscrire au possible le rôle de telle ou telle variable dans l'explication des valeurs prises par Y . S'il
est établi qu'une variable n'est d'aucune utilité, il est conseillé de l'éliminer, elle perturbe la lecture des
résultats.
Les problèmes surgissent lorsqu'il va falloir dénir une stratégie de sélection de variables. Peut-on
simplement éliminer le bloc de variables qui ne sont pas signicatifs au sens du test de Student ? Ce
serait négliger l'eet conjoint des variables. Doit-on les éliminer unes à unes, comment doit-on organiser
la suppression ? Est-ce que la suppression séquentielle est la meilleure stratégie, ne peut-on pas envisager
une procédure où l'on sélectionne petit à petit les variables intéressantes ou lieu d'éliminer celles qui ne
sont pas pertinentes ? etc.
Les procédures de sélection de variables que nous présentons dans ce chapitre répondent à ces ques-
tions. Souvent les variables exogènes sont redondantes, certaines emmènent le même type d'information :
c'est le problème de la colinéarité, certaines exogènes sont linéairement corrélées, elles se gênent mutuel-
lement dans la régression.
Dans ce chapitre, nous présentons tout d'abord quelques techniques simples de détection de la coli-
néarité. Puis, nous présentons une solution simple pour y remédier par le truchement de la sélection de
variables.
3.1 Détection de la colinéarité
3.1.1 Conséquences de la colinéarité
On parle de colinéarité entre 2 variables exogènes lorsque la corrélation linéaire entre ces variables est
élevée (ex. r > 0.8 a-t-on l'habitude d'indiquer 1 mais ce n'est pas une règle absolue). On peut généraliser
cette première dénition en dénissant la colinéarité comme la corrélation entre une des exogènes avec
une combinaison linéaire des autres exogènes.
1. Borcard, D., Régression Multiple - Corrélation multiple et partielle, 2001-2007 ; http://biol10.biol.
umontreal.ca/BIO2042/Regr_mult.pdf

52 3 Colinéarité et sélection de variables
Plusieurs problèmes peuvent surgir 2 :

les valeurs/signes des coecients sont contradictoires, elles ne concordent pas avec les connaissances
du domaine ;
les variances des estimateurs sont exagérées ;
au point que les coecients ne paraissent pas signicatives (au sens du t de Student du test de
nullité des coecients), poussant le statisticien à les supprimer indûment ;
les résultats sont très instables, l'adjonction ou la suppression de quelques observations modie du
tout au tout les valeurs et signes des coecients.
Il y a un vrai risque de passer à côté d'une variable exogène importante tout simplement parce qu'elle
est redondante avec une autre. La colinéarité entre variables exogènes rend illusoire la lecture des résultats
sur la base des valeurs et de la signicativité des coecients. Il est indiqué de la détecter et de la traiter
avant toute interprétation approfondie.
3.1.2 Illustration de l'eet nocif de la colinéarité
Essayons d'illustrer le mécanisme de la colinéarité.

Si la colinéarité est parfaite, rang(X 0 X) < p + 1 → (X 0 X)−1 n'existe pas. Le calcul est impossible.
Si la colinéarité est forte, det(X 0 X) ≈ 0, l'inverse 3 (X 0 X)−1 = 1
det(X 0 X) comA
0
contient des valeurs
très élevées. Il en est de même pour la matrice de variance covariance des coecients estimés
âj
Ω̂â = σ̂²2 (X 0 X)−1 . Dès lors, le t de Student tâj = σ̂âj pour tester la signicativité des coecients
présente mécaniquement de très faibles valeurs. La variable paraît non signicative, elle est éliminée
par le statisticien.
3.1.3 Quelques techniques de détection
Test de Klein
Il ne s'agit pas d'un test à proprement parler mais plutôt d'un indicateur simple pour détecter rapide-
ment les situations à problèmes (Bourbonnais, pages 100 et 101). Le test de Klein repose sur le principe
suivant
1. Nous calculons normalement la régression linéaire multiple y = a0 + a1 x1 + · · · + ap xp + ², nous

recueillons le coecient de détermination R2 .
2. Nous calculons les corrélations croisées entre les variables exogènes Xj1 et Xj2 : rj1 ,j2 avec j1 6= j2 .
3. Il y a présomption de colinéarité s'il existe au moins un couple de variables Xja , Xjb tel que R2 < rj2a ,jb .
Dans la pratique, une simple proximité des valeurs R2 et rj2a ,jb doit nous alerter.
2. Foucart, T., Colinéarité et Régression linéaire, in Mathématiques et Sciences Humaines, Numéro 173, pp.
5-25, 2006 ; http://www.ehess.fr/revue-msh/pdf/N173R963.pdf
3. Voir la méthode des cofacteurs, http://fr.wikipedia.org/wiki/Matrice_inversible

3.1 Détection de la colinéarité 53
Dans la régression sur 27 points, rappelons que le coecient de détermination est R2 = 0.9295 (Figure
2.18). Nous avons calculé les corrélations croisées entre les exogènes, puis leur carré (Figure 3.1). Nous
constatons deux situations qui peuvent poser problème : la corrélation entre la puissance et la cylindrée
(r2 = 0.91) ; celle entre le poids et le prix (r2 = 0.90) 4 .
Cela peut expliquer notamment pourquoi les variables puissance et cylindrée ne paraissent pas per-
tinentes pour expliquer la consommation. Ce qui est un non sens si on s'intéresse un tant soit peu aux
véhicules automobiles.
Fig. 3.1. Corrélation croisées et leur carrés. Données CONSO
Test de multicolinéarité - Facteur d'ination de la variance (VIF)
Le test de Klein ne "détecte" que la colinéarité bivariée. Pour évaluer la multicolinéarité, il faudrait
eectuer la régression de chaque exogène Xj avec les (p − 1) autres exogènes, puis étudier le coecient
de détermination Rj2 associé.
On appelle facteur d'ination de la variance (VIF) la quantité (Saporta, page 422) :
1
vj =
1 − Rj2
On parle de facteur d'ination car nous avons la relation suivante
σ²2
V (âj ) = vj
n
√
L'écart-type de l'estimation est multiplié par un facteur vj .
Plus vj sera élevé, plus la variance V (âj ) de l'estimation sera forte, l'estimation âj sera donc très
instable et il aura moins de chances d'être signicatif dans le test de nullité du coecient dans la régression.
A partir de quelle valeur de vj doit-on s'inquiéter ? Si les variables étaient 2 à 2 indépendantes, vj = 1
σ²2
et V (âj ) = n . Nous pourrions obtenir les coecients de la régression multiple à partir de p régressions
4. Les voitures sont vendues au poids maintenant ?

simples. Une règle usuelle de détection de la colinéarité est de prendre un seuil où l'on multiplierait d'un
facteur de 2 l'écart-type de l'estimation. On décide qu'il y a un problème de colinéarité lorsque
vj ≥ 4
Certains utilisent une règle moins contraignante et préfèrent 5 les seuils 5 ou même 10. A vrai dire,
l'essentiel est d'identier le groupes de variables qui causent le plus de problèmes dans la régression.
Tolérance. La quantité 1 − Rj2 , appelée tolérance, est également fournie par les logiciels statistiques.
Plus elle est faible, plus la variable Xj soure de colinéarité. En dérivant la règle de détection du VIF,
on s'inquiéterait dès que la tolérance est inférieure à 0.25.
Calcul pratique du VIF. Calculer p régressions multiples, chaque variable Xj contre les (p − 1)
autres, serait vite fastidieux. Nous pouvons proter des calculs existants pour produire le VIF. En eet,
si C est la matrice des corrélations entre les exogènes, de taille (p × p), la quantité vj peut être lue à la
coordonnée j de la diagonale principale de la matrice inversée C −1 .
Nous inversons la matrice de corrélation, nous lisons sur la diagonale principale les VIF. Même avec la
règle de détection la plus permissive (vj ≥ 10), nous constatons que toutes les variables posent problème
(Figure 3.2). Il y a réellement une très forte colinéarité des exogènes dans ce chier. La variable prix en
particulier est fortement liée avec les autres variables. Ce qui n'est étonnant nalement. Le prix est un
indicateur du niveau de gamme des voitures. On s'attend à ce qu'il soit, un tant soit peu, en relation avec
des critères objectifs tels que la puissance ou la cylindrée.
Fig. 3.2. Inverse de la matrice des corrélations - Sur la diagonale principale le VIF
Autres tests statistiques de multicolinéarité
Il existe des tests statistiques plus rigoureux basés sur la matrice des corrélations C : soit à par-
tir du déterminant de la matrice, le test de Farrar et Glauber par exemple (Bournonnais, page 101) ;
soit à partir de ses valeurs propres (ex. l'indice de multicolinéarité (http://www.ehess.fr/revue-msh/
pdf/N173R963.pdf ; voir aussi Saporta, section 17.3.2.2, page 422, sur les relations entre le VIF et les
valeurs propres de la matrice C ). Ils s'appuient tous sur une démarche similaire, l'hypothèse nulle est
l'orthogonalité des variables exogènes, on évalue dans quelle mesure on s'écarte de cette hypothèse.
5. Voir http://www2.chass.ncsu.edu/garson/PA765/regress.htm, section Multicoliearity, pour une des-

cription détaillée des critères et des seuils critiques.

3.2 Traitement de la colinéarité - Sélection de variables 55
Sans remettre en doute la pertinence de ces tests, force est de constater que les approches simples
susent souvent pour apprécier au mieux les multiples situations.
Cohérence des signes
Il existe une autre approche très simple pour détecter la colinéarité, comparer les signes des coecients
de la régression avec le signe des corrélations simples entre les exogènes et l'endogène. La procédure est
la suivante :
1. Nous calculons normalement la régression linéaire multiple y = a0 + a1 x1 + · · · + ap xp + ², nous

recueillons les signes des coecients estimés âj .
2. Nous calculons les corrélations croisées entre chaque variable exogène Xj et l'endogène : ry,xj .
3. Il y a présomption de colinéarité s'il existe des situations où signe(âj ) 6= signe(ry,xj ).
Application au données CONSO
Nous calculons les corrélations simples entre chaque exogène et l'endogène. Nous comparons les ré-
sultats avec les coecients de la régression (Figure 3.3). Il y a un conit pour la variable puissance que
nous soupçonnons justement d'être écarté à tort.
Fig. 3.3. Comparaison des corrélations individuelles et des coecients. Données CONSO
3.2 Traitement de la colinéarité - Sélection de variables
Il existe plusieurs pistes pour traiter la colinéarité. On note principalement la régression ridge qui est
une technique de régularisation visant à rendre l'inversion de (X 0 X) plus stable ; la régression sur les
axes principaux de l'analyse en composantes principales, qui sont des variables synthétiques deux à deux
linéairement indépendantes produites à partir des exogènes initiales ; la régression PLS (Partial Least
Squares) qui impose une contrainte dans la recherche des solutions ; etc.
Dans ce chapitre, nous traiterons plus particulièrement de la sélection de variables. L'objectif est de
trouver un sous-ensemble de q variables exogènes (q ≤ p) qui soient, autant que possible, pertinentes et
non-redondantes pour expliquer l'endogène Y . Deux problèmes se posent alors :
1. quelle est la bonne valeur de q ?
2. comment choisir ces q variables ?

Outre le traitement de la colinéarité, la sélection de variables répond à une autre motivation : la pré-
férence à la simplicité. A pouvoir explicatif sensiblement équivalent, on choisit les modèles parcimonieux
pour plusieurs raisons : le modèle est plus lisible, il est plus facile à interpréter ; le nombre de variables à
collecter est plus faible ; le modèle est plus robuste, c'est le principe du Rasoir d'Occam.
3.2.1 Sélection par optimisation
Cette approche consiste à produire toutes les combinaisons possibles de variables exogènes, puis de
choisir la régression qui maximise un critère de qualité. Le premier écueil est le nombre de cas à évaluer,
il est égal à 2p − 1, ce qui peut se révéler prohibitif lorsque p est élevé. Il faut donc choisir une stratégie de
recherche non-exhaustive mais qui a de bonnes chances de trouver la solution optimale. Il existe un grand
nombre de techniques d'exploration dans la littérature (ex. approches gloutonnes, approches best rst
search, algorithmes génétiques, etc.). Elles se distinguent par leur complexité et leur aptitude à trouver
la solution maximisant le critère.
Mais quel critère justement ? C'est ce que nous allons étudier maintenant.
Critère du R2
Le R2 semble de prime abord évident. Il exprime la part de la variance expliquée par le modèle. C'est
le premier critère que l'on regarde dans une régression. On essaie de trouver la combinaison de variables
qui maximise le R2 .
En réalité, il ne convient pas. En eet, le R2 augmente de manière mécanique avec le nombre de
variables : plus on ajoute de variables, meilleur il est, même si ces variables ne sont absolument pas
pertinentes. A la limite, on connaît d'oce la solution optimale : c'est le modèle comportant les p variables
candidates.
Dans un processus de sélection de modèle, le R2 conviendrait uniquement pour comparer des solutions
comportant le même nombre de variables.
Critère du R2 corrigé
Le R2 corrigé, noté R̄2 , tient compte des degrés de liberté, donc du nombre de variables introduits
dans le modèle. Il rend comparable des régressions comportant un nombre d'exogènes diérent. Pour bien
comprendre la diérence, rappelons la formule du R2
SCR
R2 = 1 − (3.1)
SCT
P 2
P 2
où SCR = i (yi − ŷi ) est la somme des carrés résiduels, SCT = i (yi − ȳ) est la somme des carrés
totaux, ceux de l'endogène.
Le R̄2 introduit une correction par les degrés de liberté, il s'écrit

CM R SCR/(n − q − 1)
R̄2 = 1 − =1− (3.2)
CM T SCT /(n − 1)
où CM R sont les carrés moyens résiduels, CM T les carrés moyens totaux, q est le nombre de variables
dans le modèle évalué.
Il est possible d'exprimer le R̄2 à partir du R2
n−1
R̄2 = 1 − (1 − R2 ) (3.3)
n−q−1
On voit bien le mécanisme qui se met en place. Deux eets antagonistes s'opposent lorsque l'on ajoute
une variable supplémentaire dans le modèle : R̄2 augmente parce que R2 s'améliore, R̄2 diminue parce que
le nombre d'exogènes q prend une valeur plus élevée. Tant que la précision du modèle quantiée par R2
prend le pas sur la complexité du modèle quantiée par q , nous pouvons ajouter de nouvelles variables.
Si le principe est sain, on se rend compte dans la pratique que ce critère est trop permissif. L'eet
contraignant de q n'est pas assez fort dans la formulation du R̄2 (Équation 3.3). Le critère favorise les
solutions comportant un grand nombre de variables. Il faut trouver des formulations plus restrictives.
Critères AIC et BIC
Ces critères s'appuient sur la même idée : mettre en balance la précision du modèle quantié par le
R2 (ou le SCR, c'est la même chose puisque SCT est constant quel que soit le modèle à évaluer) avec la
complexité du modèle quantiée par le nombre de variables qu'il comporte.
Avec le critère Akaike (AIC), nous cherchons la régression qui minimise la quantité suivante :
SCR
AIC = n ln + 2(q + 1) (3.4)
n
Avec le critère BIC de Schwartz, nous cherchons à optimiser
SCR
BIC = n ln + ln(n)(q + 1) (3.5)
n
Dès que n > e2 ≈ 7, on constate que le critère BIC pénalise plus fortement les modèles complexes. Il
favorise les solutions comportant peu de variables.
Remarque 17 (Complexité et colinéarité entre les exogènes). Notons que ces techniques de sélection ne
tiennent pas compte explicitement de l'interaction entre les variables. Cela est fait de manière implicite
avec la pénalisation de la complexité : deux variables redondantes n'améliorent guère le SCR mais sont
pénalisées parce que la complexité augmente, elles ne peuvent pas être simultanément présentes dans le
modèle.
Critère du PRESS
Maximiser le coecient de détermination R2 n'est pas approprié disions-nous plus haut. Rappelons
que

SCR
R2 = 1 −
SCT
où SCT , la somme des carrés totaux est constante quelle que soit la régression considérée ; SCR est
dénie de la manière suivante :
n
X
SCR = (yi − ŷi )2
i=1
Lorsque l'on rajoute de nouvelles variables dans le modèle, même non pertinentes, SCR diminue
mécaniquement (au pire il reste constant), et par conséquent R2 augmente. Cela provient du fait que l'on
confronte la vraie valeur yi avec la prédiction ŷi alors que l'observation i a participé à l'élaboration du
modèle. A l'extrême, si on se contente que créer autant de dummy variable qu'il y a d'observation, nous
sommes assurés d'obtenir un R2 = 1 puisque nous réalisons une interpolation.
Pour avoir une estimation honnête des performances en prédiction, il ne faudrait pas que l'observation
i participe à la construction du modèle lorsqu'on veut prédire sa valeur de l'endogène. Elle intervient ainsi
comme une observation supplémentaire 6 . On déduit alors un indicateur similaire au SCR que l'on appelle
PRESS (Predicted Residual Sum of Squares) 7 :
n
X
P RESS = (yi − ŷi (−i))2 (3.6)
i=1
où ŷi (−i) est la prédiction de la valeur de l'endogène pour l'observation i utilisée en donnée supplé-
mentaire dans la régression numéro i.
Calcul pratique du PRESS
Tout comme lors du calcul de certains indicateurs lors de la détection des points atypiques, nous ne
saurions eectuer réellement n régressions, surtout lorsque les eectifs sont élevés. Encore une fois la
matrice H nous sauve la mise, il est possible de calculer le PRESS à partir de la seule régression sur
l'ensemble des observations en utilisant la relation suivante
yi − ŷi
yi − ŷi (−i) = (3.7)
1 − hi
Procédure de sélection basée sur le PRESS
A la diérence du R2 , nous disposons d'un critère honnête de performances en prédiction. Il est

possible dès lors de dénir une stratégie de sélection de variables uniquement basé sur ce critère de
performances, sans tenir compte explicitement de la complexité du modèle. En eet, dans la pratique,
on se rend compte que si l'on rajoute des variables non-pertinentes, sans pouvoir explicatif, si le R2
peut s'améliorer (fallacieusement), le PRESS lui en revanche se dégrade, indiquant par là l'inutilité de la
variable.
6. Cela n'est pas sans rappeler la distinction que nous faisions entre les résidus standardisés et studentisés dans
la détection des points atypiques.
7. http://www.ltrr.arizona.edu/~dmeko/notes_12.pdf

Remarque 18 (Wrapper). Notons pour l'anecdote que ce type de stratégie de sélection de variables dans le
domaine de l'apprentissage automatique (grosso modo, il s'agit de problèmes de prédiction où la variable
à prédire est qualitative) est connu sous le terme générique wrapper. Sauf, qu'à ma connaissance, les
procédures construisent explicitement les n modèles de prédiction (moins si on décide d'exclure non pas
une seule mais k observations à chaque phase de construction de modèle) 8 .
Application : calcul du PRESS sur les données CONSO
Calculons le PRESS à partir des coecients de la régression estimées sur les 27 observations (Figure
2.18). Nous procédons par étapes (Figure 3.4) :
Fig. 3.4. Calcul du PRESS sur les données CONSO
1. Nous utilisons les coecients de la régression pour calculer la prédiction en resubstitution ŷi ;
2. Nous formons alors l'erreur de prédiction ²̂i = yi − ŷi ;
3. Nous calculons les éléments diagonaux de la Hat Matrix, qui sont ni plus ni moins que les leviers
(leverage) hi = [X(X 0 X)−1 X 0 ]ii ;
²̂i
4. Nous formons l'erreur de prédiction en donnée supplémentaire yi − ŷi (−i) = 1−hi ;
Pn
5. Nous en déduisons le P RESS = i=1 [yi − ŷi (−i)]2 = 13.54.
8. Kohavi, R., John, G., Wrappers for Feature Subset Selection, in Articial Intelligence, (97)1-2,
P. 273-324, 1997 http://citeseer.ist.psu.edu/cache/papers/cs/124/http:zSzzSzrobotics.stanford.
eduzSz~ronnykzSzwrappers.pdf/kohavi97wrappers.pdf

Notons pour rappel que SCR = 9.33 (Figure 2.18), nous avons systématiquement la relation SCR ≤
P RESS . Plus l'écart entre ces deux indicateurs est élevé, plus nous suspectons un sur-apprentissage
c.-à-d. le modèle "colle" trop aux données, il intègre des spécicités du chier et ne restitue plus la vraie
relation qui existe dans la population.
Sélection de variables sur les données CONSO - Critère AIC
Nous allons essayer de trouver le modèle optimal qui minimise le critère AIC. Nous adoptons une
démarche backward. Elle consiste, à partir du modèle complet comportant toutes les variables, à éliminer
unes à unes les variables qui permettent de diminuer l'AIC, et de continuer ainsi tant que la suppression
d'une variable améliore le critère.
Voici le détail de la procédure :
1. calculer l'AIC pour le modèle comportant l'ensemble courant de variables ;
2. évaluer l'AIC consécutive à la suppression de chaque variable du modèle, choisir la suppression en-
traînant la plus forte diminution et vérier qu'elle propose une amélioration du critère par rapport à
la situation précédente ;
3. si NON, arrêt de l'algorithme ; si OUI, retour en (1).
Appliqué sur le chier CONSO de 27 observations, nous obtenons la séquence de calculs 9 :
Étape Modèle courant (cte = constante) AIC Suppression d'une variable (AIC)
puissance → −20.6188
prix → −20.0081
1 y = prix + cylindrée + puissance + poids + cte −18.69
cylindrée → −17.4625
poids → −12.1155
prix → −21.9986
2 y = prix + cylindrée + poids + cte −20.6188 cylindrée → −17.6000
poids → −13.3381
cylindrée → −13.3049
3 y = cylindrée + poids + cte −21.9986
poids → −0.2785
Au départ, étape 1, avec toutes les variables, AIC = −18.69 = 27 ln 9.328

27 + 2(4 + 1). La suppression
de la variable puissance entraîne la plus grande diminution du critère, il passe alors à −20.6188, etc. A
l'étape 3, on constate qu'aucune suppression de variable n'améliore le modèle courant.
Le modèle optimal au sens du critère AIC est
y = 1.392276 + 0.01311 × cylindree + 0.004505 × poids
9. Nous avons utilisé la fonction stepAIC du package MASS du logiciel R

Remarque 19 (Recherche forward). Si nous avions adopté une recherche forward c.-à-d. partir du modèle
composé de la seule constante, ajouter au fur et à mesure une variable de manière à diminuer au possible
le critère AIC, nous aurions obtenu le même ensemble nal de variables exogènes.
3.2.2 Techniques basées sur le F partiel de Fisher
Les techniques présentées dans cette section s'appuient sur le F partiel de Fisher. Grosso modo,
on ajoute une variable si le carré du t de Student (qui suit une loi de Fisher) indique que le coecient
associé est signicativement diérent de 0 ; on supprime une variable si son coecient n'est pas signicatif
(Tenenhaus, pages 100 à 108).
Sélection par avant - Forward Selection
Comme son nom l'indique, il s'agit d'une technique incrémentale qui consiste à repérer à chaque étape
la variable proposant un t de Student le plus élevé en valeur absolue (ou dont le carré est le plus élevé),
de l'ajouter dans le pool courant si le coecient est signicatif, et de continuer ainsi tant que les ajouts
sont possibles.
On commence par p régressions simples. Si une variable a été ajoutée, on poursuit avec p−1 régressions
à 2 variables, etc. L'ajout d'une variable dépend de la signicativité du coecient de la variable choisie,
il dépend donc du risque α déni par l'utilisateur. Si on souhaite obtenir peu de variables, on xe un
risque faible.
Il faut être prudent par rapport à ce risque. En eet, la variable à tester est celle qui maximise le
F = t2 . Nous sommes en situation de comparaisons multiples. La loi sous l'hypothèse nulle est modiée.
On n'est pas sûr de prendre réellement un risque α d'accepter à tort une variable. Pour éviter cet aspect
trompeur, certains logiciels proposent de xer directement une valeur seuil de F pour accepter ou rejeter
la meilleure variable à chaque étape. Cela peut paraître arbitraire, d'autant que les valeurs par défaut
correspond peu ou prou à des niveaux de risques usuels (ex. Dans STATISTICA, le seuil de 3.84 proposé
est à peu près le fractile de la loi de Fisher à 5%). Mais au moins, le statisticien évitera de faire référence
explicitement à un niveau de risque erroné.
D'autres logiciels tels que SPSS ore les deux possibilités à l'utilisateur : il peut xer un risque
critique ou directement un seuil critique. L'essentiel étant de bien comprendre ce que l'on est en train de
manipuler.
Enn, le principal reproche que l'on peut adresser à cette approche est qu'une variable choisie à une
étape n'est plus jamais remise en cause par la suite.
Nous avons appliqué ce processus de sélection aux données CONSO avec 27 observations. Nous avons
choisi un risque de 5%, avec bien entendu toutes les réserves d'usages ci-dessus. Le processus de sélection
est résumé dans le tableau 3.1.

Étape Modèle courant (cte = constante) R2 t2âj = F (p-value)

poids → 207.63 (0.0000)
prix → 199.19 (0.0000)
1 y = cte -
cylindrée → 118.60 (0.0000)
puissance → 93.53 (0.0000)
cylindrée → 11.66 (0.0023)
2 y = poids + cte 0.8925 puissance → 7.42 (0.0118)
prix → 6.32 (0.0190)
prix → 0.53 (0.4721)
2 y = poids + cylindrée + cte 0.9277
puissance → 0.01 (0.9288)
Tableau 3.1. Sélection forward basé sur le t2 - Données CONSO
Parmi les 4 régressions simples, c'est la variable poids qui présente un t2 = F = 207.63 le plus élevé,
elle est très signicative, en tous les cas avec un p-value largement en-deçà du niveau que l'on s'est xé
(5%). La variable poids est donc intégrée. A l'étape 2, nous essayons de voir quelle est la variable qu'on
pourrait lui adjoindre. Nous eectuons 3 régressions à 2 variables (poids et une autre) : cylindrée se révèle
être la plus intéressante, avec un F = 11.66, elle est signicative à 5%. Elle est intégrée. A l'étape 3, nous
avons 2 régressions à 3 variables (poids, cylindrée et une autre) à tester. Nous constatons que la variable
la plus intéressante, prix avec un F = 0.53, n'est plus signicative (pvalue > 5%). On s'en tient donc au
modèle à 2 variables : poids et cylindrée.
Dans le chier CONSO, l'optimisation du AIC et la sélection forward basé sur le F donnent des
résultats identiques. Ce n'est pas toujours vrai dans la pratique.
Élimination en arrière - Backward Selection
Cette procédure fonctionne à l'inverse de la précédente. Elle commence avec la régression comportant
toutes les exogènes, regarde quelle est la variable la moins pertinente au sens du t de Student (le carré du
t de Student le plus faible), élimine la variable si elle n'est pas signicative au risque α. Elle recommence
avec les variables restantes. Le processus est interrompu lorsqu'il n'est plus possible de supprimer une
variable.
Si l'on met de côté les réserves d'usages par rapport au vrai sens à donner au risque des tests successifs,
on xe généralement un risque α plus élevé pour la suppression : la possibilité de retenir une variable est
favorisée par rapport à celle d'en ajouter. Notamment parce que la colinéarité peut masquer le rôle de
certaines d'entre elles 10 . La valeur α = 10% est proposée par défaut dans la logiciel SPSS par exemple.
La plupart des logiciels procèdent ainsi.
10. Merci à Matthieu Buisine pour m'avoir indiqué les incohérences de la version précédente de ce document.
Avec un seuil plus élevé, on a tendance à plus retenir les variables et non l'inverse. Merci Matthieu. C'est avec ce
type de commentaires qu'on peut faire avancer les choses.

Nous appliquons la procédure au chier CONSO, voici le détail des calculs :
Étape Modèle courant (cte = constante) R2 Évaluation t2 = F (pvalue)

puissance → 0.0620 (0.8057)
prix → 0.5666 (0.4596)
1 y = prix + cylindrée + puissance + poids + cte 0.9295
cylindrée → 2.7978 (0.1086)
poids → 8.2287 (0.0089)
prix → 0.5344 (0.4721)
2 y = prix + cylindrée + poids + cte 0.9293 cylindrée → 4.6779 (0.0412)
poids → 9.4345 (0.0054)
cylindrée → 11.6631 (0.0023)
3 y = cylindrée + poids + cte 0.9277
poids → 33.7761 (0.0000)
Le modèle complet, à 4 variables propose un R2 = 0.9295, la variable la moins intéressante est

puissance avec un t2 = 0.0620, elle n'est pas signicative à 10% (pvalue = 0.8057). Nous pouvons la
retirer. Le modèle suivante, à 3 exogènes, a un R2 = 0.9293, la variable la moins pertinente est prix
qui n'est pas non plus signicative, elle est également éliminée. La régression à 2 exogènes, cylindrée et
poids, possède des variables qui sont toutes signicatives à 10% : c'est notre modèle dénitif avec un
R2 = 0.9277.
On note que le R2 diminue mécaniquement à mesure que nous supprimons des variables. Mais la
dégradation est minime au regard du gain en simplicité obtenu en réduisant le nombre de variables du
modèle.
Procédure stepwise - Stepwise regression
Cette procédure est un mix des approches forward et backward. A la première étape, on commence
par construire le meilleur modèle à 1 exogène. Par la suite, à chaque étape, on regarde si l'ajout d'une
variable ne provoque pas le retrait d'une autre. Cela est possible lorsqu'une variable exogène expulse une
autre variable qui lui est corrélée, et qui semblait pourtant plus signicative dans les étapes précédentes.
Généralement, on xe un risque plus exigeant pour la sélection (ex. 5%, on ne fait entrer la meilleure
variable que si elle est signicative à 5%) que pour la suppression (ex. 10%, on supprime la variable la
moins pertinente si elle est non signicative à 10%).
Appliqué sur les données CONSO avec le logiciel SPSS, cette technique nous renvoie le modèle à 2
variables
y = 1.392276 + 0.01311 × cylindree + 0.004505 × poids

3.3 Régression stagewise

La régression stagewise est une procédure forward qui consiste à ajouter, au fur et à mesure, une
variable qui explique au mieux la fraction de Y non-expliquée par les variables déjà sélectionnées (Bour-
bonnais, page 105 ; Dodge 11 , page 161 à 164).
On peut résumer l'approche de la manière suivante :
1. On sélectionne la variable Xa qui est la plus corrélée, en valeur absolue, avec Y . On la sélectionne
si la corrélation est signicativement diérent de 0 au risque α. Nous utilisons un test de Student à
(n − 2) degrés de liberté
r
ta = q .
1−r 2
n−2
Comme il s'agit de tester un coecient qui a fait l'objet d'une optimisation préalable, le vrai risque
du test n'est pas α. Mais dans la pratique, il ne faut pas attacher trop d'importance à un calcul
prétendument pointu du vrai risque qui, de toute manière, dépend de la préférence à la simplicité de
l'utilisateur : on diminue α si on veut moins de variables dans le modèle, on l'augmente si on en veut
plus. C'est plus en ce sens qu'il faut lire la valeur de α.
2. On veut choisir la variable Xb qui est la plus corrélée avec la fraction de Y non-expliquée par Xa .
Pour ce faire, on calcule le résidu de la régression
e1 = y − (â0 + â1 xa )
La variable Xb est celle qui est la plus corrélée avec e1 . On l'intègre dans le modèle si la corrélation
est signicativement diérent de 0 au risque α. Attention, les degrés de liberté sont modiés (n − 3),
il en est de même pour la statistique du test 12 . On utilise
r
tb = q .
1−r 2
n−3
3. Si la variable Xb est intégrée, nous cherchons la variable suivante Xc qui explique au mieux la fraction
de Y non-expliquée conjointement par Xa et Xb . Le plus simple toujours est de prendre le résidu
e2 = y − (b̂0 + b̂1 xa + b̂2 xb )
de choisir la variable qui lui le plus corrélé, et de tester la signicativité du coecient de corrélation
avec un tc de Student à (n − 4) degrés de liberté
r
tc = q .
1−r 2
n−4
4. on continue ainsi jusqu'à ce qu'aucun ajout de variable ne soit possible.

5. Au nal, le plus simple est de re-estimer la droite de régression avec les variables sélectionnées.
11. La description donnée par Dodge est un peu diérente, il utilise la méthode Stagewise est utilisée pour
sélectionner les variables, et les coecients de la régression nale sont déduits des calculs intermédiaires. Il
distingue donc les paramètres fournis par stagewise des paramètres estimés à l'aide de la MCO.
12. Lorsque les eectifs sont élevés, cette correction a peu d'eet

3.3 Régression stagewise 65
Nous appliquons la régression stagewise sur les données CONSO. Nous détaillons les calculs :
1. Nous calculons les corrélations brutes entre Y et les exogènes rY,Xj . Nous obtenons le tableau suivant :
Xj r
poids 0.9447
prix 0.9426
cylindrée 0.9088
puissance 0.8883
La variable la plus corrélée avec l'endogène est poids : r = 0.9447
2. Vérions si la corrélation est signicativement diérentes de 0. Pour ce faire, nous formons la statis-
tique de Student t = q 0.9447 = 14.4094 et calculons la p-value associée p − value = 0.0000. La
1−0.94472
27−2
corrélation est signicativement supérieure à zéro en valeur absolue, elle est acceptée.
3. Pour choisir la variable suivante, nous procédons en deux temps : (a) nous calculons les coecients de
la régression y = 1.0353+0.0068×poids ; (b) nous calculons le résidus e1 = y−(1.0353+0.0068×poids).
4. Nous calculons les corrélations re1 ,Xj pour déterminer la variable la plus corrélée avec e1
Xj r
cylindrée 0.2908
puissance 0.2544
prix 0.1471
poids 0.0000
Bien évidemment, la corrélation re1 ,poids = 0 puisque e1 est la fraction de Y qui n'est pas expliquée
par poids.
5. La variable la plus intéressante est cylindrée, nous formons le t de Student t = q 0.2908 = 1.4891,
1−0.29082
27−3
avec une p-value égale à 0.1495.
6. Au risque de 5%, la variable cylindrée n'est signicativement corrélée avec e1 . Le processus de sélection
de variables est stoppée.
Au nal, le "meilleur" modèle d'explication de la consommation selon la procédure stagewise intègre

uniquement la variable poids :
y = 1.0353 + 0.0068 × poids

3.4 Coecient de corrélation partielle et sélection de variables
3.4.1 Corrélation brute et partielle
3.4.2 Coecient de corrélation brute
Le coecient de corrélation 13 quantie le degré de liaison linéaire entre deux variables continues Y
et X . Elle est dénie par
cov(y, x)
ρy,x = (3.8)
σy · σx
C'est une mesure symétrique. Par dénition −1 ≤ ρ ≤ +1, ρ > 0 (resp. ρ < 0) si la liaison est positive
(resp. négative). Lorsque les variables sont indépendantes, ρ = 0, l'inverse n'est pas vrai.
Le coecient de corrélation empirique est l'estimation de ρ sur un chier de n observations :
P
i (xi
− x̄)(yi − ȳ)
ry,x = pP pP (3.9)
2 2
i (xi − x̄) · i (yi − ȳ)
On parle de corrélation brute parce que l'on mesure directement la liaison entre Y et X sans qu'aucune
autre variable n'intervienne. Nous l'opposerons à la corrélation partielle exposée plus bas.
Pour vérier que la corrélation entre deux variables est signicativement diérent de zéro, nous posons
le test d'hypothèses
H0 : ρ = 0
H1 : ρ 6= 0
La statistique du test s'écrit
r
t= q
1−r 2
n−2
La région critique du test au risque α, rejet de H0 , est dénie par
R.C. : |t| > t1− α2 (n − 2)

α
où t1− α2 (n − 2) est le fractile d'ordre 1 − 2 de la loi de Student à (n − 2) degrés de liberté.
Quelques exemples sur les données CONSO
Prenons quelques variables du chier CONSO et calculons le coecient de corrélation linéaire (Tableau
3.2).
Nous constatons que toutes ces corrélations sont élevées et très signicativement diérentes de zéro.
13. http://en.wikipedia.org/wiki/Correlation

3.4 Coecient de corrélation partielle et sélection de variables 67
variable 1 variable 2 r t p-value

y puissance 0.8883 9.6711 0.0000
y cylindrée 0.9088 10.8901 0.0000
puissance cylindrée 0.9559 16.2700 0.0000
Tableau 3.2. Corrélation entre quelques variables du chier CONSO
3.4.3 Coecient de corrélation partielle
Mesurer la corrélation partielle
Corrélation n'est pas causalité a-t-on coutume de dire : ce n'est pas parce que 2 variables varient de
manière concomitante, dans le même sens ou en sens opposé, qu'il faut y voir forcément une relation de
cause à eet.
Parfois, la corrélation peut être totalement fortuite, il s'agit simplement d'un artefact statistique
auquel on ne peut donner aucune interprétation valable. Parfois aussi, et c'est le cas qui nous intéresse
ici, elle est due à une tierce variable qui joue le rôle d'intermédiaire entre les 2 variables étudiées.
Exemple 2. Ventes de lunettes de soleil et ventes de glaces : aucune des deux n'a un eet sur l'autre, il
s'agit plutôt de la température qui les fait varier dans le même sens.
Exemple 3. La corrélation entre la taille des personnes et la longueur de leurs cheveux est négative. Avant
d'y voir un quelconque phénomène de compensation, on se rend compte qu'il y a 2 populations dans
le chiers : les hommes et les femmes (Figure 3.5). En général, les hommes sont plus grands et ont les
cheveux plus courts. La variable "sexe" est la variable intermédiaire qui fait apparaître une relation factice
entre la taille et la longueur des cheveux.
L'idée de la corrélation partielle justement est de mesurer le degré de liaison entre 2 variables en
neutralisant (en contrôlant) les eets d'une troisième variable. Il peut y avoir plusieurs types d'eets
(Figure 3.6 ; le texte en ligne qui accompagne ce schéma est très instructif - http://www2.chass.ncsu.
edu/garson/pa765/partialr.htm).
Pour calculer la corrélation partielle, nous utilisons les corrélations brutes
ry,x − ry,z rx,z

ry,x/z = q q (3.10)
2 ·
1 − ry,z 2
1 − rx,z
L'idée sous-jacente est simple : on retranche de la liaison brute mesurée entre y et x, l'eet induit par
z.
Tester la corrélation partielle
Pour vérier la signicativité d'un corrélation partielle, nous adoptons la même démarche que pour
la corrélation brute. Les hypothèses à tester sont :

Fig. 3.5. La corrélation est la conséquence de la présence de 2 populations distinctes dans le chier
Fig. 3.6. Diérentes interactions dans la mesure de la corrélation partielle
H0 : ρy,x/z = 0
H1 : ρy,x/z 6= 0
La statistique du test s'écrit :

ry,x/z
t= q 2 1−ry,x/z
n−3
Et la région critique du test est dénie par :
R.C. : |t| > t1− α2 (n − 3)
où t1− α2 (n − 3) est le fractile d'ordre 1 − α2 de la loi de Student à (n − 3) degrés de liberté. Il faut bien
faire attention au degré de liberté, il y a bien 3 paramètres estimés dans la statistique étudiée.
Exemple sur les données CONSO
Nous voulons mesurer les relations entre la consommation et la puissance, en contrôlant l'eet de
la cylindrée (la taille du moteur). Nous appliquons directement la formule ci-dessus (Équation 3.10) en
utilisant les corrélations brutes calculées précédemment (Tableau 3.2) :
0.8883 − 0.9088 · 0.9559

ry,puissance/cylindree = √ √ = 0.1600
1 − 0.90882 · 1 − 0.95592
Pour tester la nullité du coecient, nous formons la statistique
0.1600
t= q = 0.7940
1−0.16002
27−3
Le t calculé est 0.7940, avec une p-value de 0.4350.

Au risque de 5% (et bien au-delà), on ne constate pas de liaison signicative entre consommation (y)
et puissance, une fois retranchée l'explication apportée par la cylindrée.
Autre lecture : à cylindrée égale, la consommation ne varie pas avec la puissance.
3.4.4 Calcul de la corrélation partielle d'ordre supérieur à 1
Nous savons maintenant calculer la corrélation partielle d'ordre 1. Comment faire pour calculer les
corrélations partielles d'ordre supérieur ? c.-à-d. mesurer la liaison entre y et x en contrôlant l'eet induit
par d'autres (z1 , z2 , . . .) variables.
Il existe une formule de passage qui permet de généraliser la première expression (Équation 3.10).
Mais elle devient dicile à manipuler à mesure que le nombre de variables zj augmente, d'autant plus
qu'elle impose de calculer de proche en proche toutes les corrélations croisées. Il est plus aisé d'utiliser
une autre formulation de la corrélation partielle.
Pour calculer la corrélation partielle ry,x/z1 ,z2 , nous procédons par étapes :
1. nous enlevons de y toute l'information acheminée par z1 et z2 en calculant le résidu de la régression
e1 = y − (â0 + â1 z1 + â2 z2 )

2. nous procédons de même pour la variable x
e2 = x − (b̂0 + b̂1 z1 + b̂2 z2 )
3. la corrélation partielle peut être obtenue par la corrélation brute entre les 2 résidus
ry,x/z1 ,z2 = re1 ,e2
4. et nous pouvons tester la nullité du coecient en formant la statistique
r
t= q
1−r 2
n−4
5. qui suit une loi de Student à (n − 4) degrés de liberté.
De manière générale, lorsque nous avons k variables de contrôle zj , pour tester :
H0 : ρy,x/z1 ,...,zk = 0
H1 : ρy,x/z1 ,...,zk 6= 0
Nous calculons la corrélation r entre les résidus
e1 = y − (â0 + â1 z1 + âk zk )

e2 = x − (b̂0 + b̂1 z1 + b̂k zk )
Et la statistique du test s'écrit
r
t= q
1−r 2
n−k−2
Elle suit une loi de Student à (n − k − 2) degrés de liberté.
Nous voulons calculer et tester la corrélation partielle ry,puissance/cylindree,poids . Nous procédons selon
les étapes ci-dessus :
1. former le résidu e1 = y − (1.3923 + 0.0045 · poids + 0.0013 · cylindree) ;
2. idem, former e2 = puissance − (−15.8347 + 0.0117 · poids + 0.0444 · cylindree)
3. calculer alors la corrélation r = re1 ,e2 = 0.0188 ;
4. la statistique du test t = q 0.0188 = 0.0903 ;

1−0.01882
27−2−2
5. et la p-value = 0.9288.

En conclusion, la liaison entre la consommation (y) et la puissance est nulle (au risque de 5%) dès
lors que l'on retranche l'eet induit par les variables poids et cylindrée.
Il est intéressant d'ailleurs de récapituler le lien entre la consommation (y) et la puissance à mesure
que l'on fait intervenir d'autres variables :
Corrélation r t p-value
ry,puissance 0.8883 9.6711 0.0000
ry,puissance/cylindree 0.1600 0.7940 0.4350
ry,puissance/cylindree,poids 0.0188 0.0903 0.9288
3.4.5 Procédure de sélection fondée sur la corrélation partielle
La notion de corrélation partielle s'accorde bien avec la sélection de variables de type forward :
on veut mesurer la relation d'une variable candidate avec l'endogène sachant les valeurs prises par les
variables déjà choisies ; ou encore, on veut mesurer l'information additionnelle apportée par une variable
supplémentaire dans l'explication des valeurs prises par l'endogène.
L'enchaînement des opérations serait :
1. détecter la variable exogène Xa la plus corrélée (en valeur absolue) avec l'endogène, la sélectionner
si la liaison est signicative ;
2. détecter la seconde variable Xb exogène qui maximise la corrélation partielle ry,Xb /Xa , on l'introduit
dans le modèle si elle est signicativement diérente de zéro ;
3. à l'étape q , il s'agit de calculer la corrélation partielle d'ordre q − 1 pour sélectionner ou pas la q -ème
variable.
La règle d'arrêt est simplement une corrélation partielle non-signicative de la meilleure variable à
une étape donnée.
Appliquée sur les données CONSO, le modèle choisi comporte les exogènes poids et cylindrée (Figure
3.7). Détaillons ces résultats :
1. A la première étape, la variable la plus corrélée avec l'endogène est poids avec r = 0.9447 et t2 =
F = 207.63. La liaison est très signicative p − value < 0.0001. Elle est donc intégrée dans le modèle
dont le coecient de détermination serait R2 = 0.8925.
2. La variable la plus corrélée avec l'endogène, conditionnellement à poids, est cylindrée avec ry,cylindree/poids =
0.5719 et t2 = F = 11.66. La liaison est signicative, p − value = 0.0023. Nous sélectionnons donc
cette seconde variable, le coecient de détermination du modèle y = a0 + a1 poids + a2 cylindree est
R2 = 0.9277.
3. La variable la plus corrélée avec l'endogène, conditionnellement à poids et cylindrée, est prix avec
r = 0.1507 et t2 = F = 0.53. La liaison n'est plus signicative à 5% puisque la p − value = 0.4721.
Nous stoppons la procédure de sélection.

Fig. 3.7. Sélection de variables fondée sur la corrélation partielle - Données CONSO
4. Au nal, le modèle dénitif comprend les variables poids et cylindrée.
3.4.6 Équivalence avec la sélection fondée sur le t de Student de la régression
Les valeurs des t2 = F manipulées dans le processus de sélection basé sur la corrélation partielle
(Figure 3.7) ne sont pas sans rappeler celles de la régression forward basée sur le F -partiel (Tableau 3.1).
Ce n'est absolument pas fortuit.
En eet, dans un modèle à q variables explicatives, il y a une relation directe entre la corrélation
partielle d'ordre (q − 1), ry,xq /x1 ,...,xq−1 , et le t de Student du test de nullité du q -ème coecient tâq dans
une régression à q exogènes (Bourbonnais, page 93) :
2
t2âq
ry,x q /x1 ,...,xq−1
= (3.11)
t2âq + (n − q − 1)
Ainsi, tester la nullité du coecient de Xq dans la régression à q variables équivaut à tester la nullité
du coecient de corrélation partielle d'ordre (q −1). Il est tout à fait normal que l'on retrouve exactement
les mêmes tests, avec les mêmes degrés de liberté, à chaque étape du processus de sélection.
De même, nous comprenons mieux maintenant pourquoi nous faisions référence à un F-partiel dans
le processus de sélection forward basé sur le t de Student des coecients de régression (Section 3.2.2).
3.5 Conclusion
La colinéarité devient un problème dès lors que l'on veut lire et interpréter les résultats de la régression.
La sélection de variables compte parmi les solutions possibles. Même s'ils sont performants, il ne faut
surtout pas prendre au pied de la lettre les sous-ensembles de variables fournis par les algorithmes de
sélection. Étudier de près les résultats intermédiaires en compagnie d'un expert du domaine (ex. un
médecin, un économiste, etc.) est indispensable pour bien appréhender les interdépendances en jeu et
repérer les aléas qui peuvent altérer les résultats.

4
Régression sur des exogènes qualitatives
La régression telle que nous l'étudions met en relation des variables exclusivement continues. Si on
veut introduire des variables qualitatives nominales, la stratégie consistant à procéder au simple recodage
des variables incriminées, le codage 0/1 dit codage disjonctif complet est certainement la plus connue.
Mais il faut vérier la validité des hypothèses probabilistes et structurelles liées à la technique des MCO.
Il faut également savoir interpréter les résultats.
Si c'est l'endogène qui est qualitative, on parle de régression logistique, les hypothèses liées aux erreurs
de la MCO ne sont plus respectées. Nous entrons dans un cadre qui dépasse largement notre propos, nous
ne l'aborderons pas dans ce chapitre.
Si ce sont les exogènes qui sont qualitatives, nous pouvons procéder au codage, mais encore faut-il :
1. dénir quel type de codage utiliser ;
2. donner un sens aux résultats et tester les coecients fournis par la régression.
Le cas des exogènes qualitatives nous fait mettre un pied dans le vaste domaine de la comparaison
de populations. La technique paramétrique privilégiée dans ce cadre est l'analyse de variance (ANOVA).
Nous présentons très brièvement un cas particulier de cette technique 1 .
4.1 Analyse de variance à 1 facteur et transposition à la régression
L'analyse de variance (ANOVA) à un facteur est une généralisation de la comparaison de moyenne à

k populations. Pour xer les idées, travaillons sur un jeu de données.
4.1.1 Un exemple introductif
Le chier LOYER (Figure 4.1) décrit le montant du loyer au m2 de 15 habitations situées dans
diérentes zones de la ville. On distingue 3 types de lieu d'habitation : banlieue, campagne et centre.
1. La présentation adoptée ici s'appuie en grande partie sur l'excellent document en ligne de D. Mouchiroud,
http://spiral.univ-lyon1.fr/mathsv/cours/pdf/stat/Chapitre9.pdf. Le chapitre 9 fait partie d'un docu-
ment plus général "Probabilité et Statistique", http://spiral.univ-lyon1.fr/mathsv/

74 4 Régression sur des exogènes qualitatives
Fig. 4.1. Loyer au m2 selon le lieu d'habitation - Fichier LOYER
On veut répondre à la question suivante : le loyer au m2 est-il signicativement diérent d'une zone
à l'autre ?
4.1.2 ANOVA à 1 facteur
Test d'hypothèses
Le problème que nous décrivons est une comparaison de moyennes de k populations. On peut décrire
le test d'hypothèses de la manière suivante
H0 : µ1 = µ2 = · · · = µk = µ
H1 : une des moyennes au moins dière des autres
où µj est la moyenne de la variable d'intérêt Y pour la population j .
Fig. 4.2. Boîtes à moustaches des loyers selon le lieu d'habitation - Fichier LOYER

4.1 Analyse de variance à 1 facteur et transposition à la régression 75
Une manière simple de visualiser les diérences est d'acher les boîtes à moustaches de la variable
Y selon le groupe d'appartenance (Figure 4.2). Plus les boxplot seront décalés, plus forte sera la dié-
renciation. Autre information très importante que nous communique ce graphique, nous pouvons nous
faire une idée de la dispersion des valeurs dans chaque groupe. Nous verrons plus loin la portée de cette
information.
Remarque 20 (Facteurs xes et facteurs aléatoires). On parle de facteurs xes lorsque tous les groupes
sont représentés dans le chier de données, de facteurs aléatoires lorsque seulement un échantillon des
groupes sont présents. Dans le cas de l'ANOVA à 1 facteur, cette distinction n'a aucune conséquence sur
les calculs.
Statistique du test
On passe par l'équation de décomposition de la variance pour construire la statistique du test. Elle
s'écrit
SCT = SCE + SCR

nj
k X k nj
k X
X X X
2 2
(yi,j − ȳ) = nj (ȳj − ȳ) + (yi,j − ȳj )2
j=1 i=1 j=1 j=1 i=1
où yi,j représente la valeur de Y pour l'individu i du groupe j ; ȳ est la moyenne globale de Y , ȳj est
la moyenne conditionnelle, la moyenne de Y dans le groupe j .
Cette décomposition se lit comme suit :

SCT représente la somme des carrés des écarts totaux, elle indique la variabilité totale de la variable
d'intérêt ;
SCE représente la somme des carrés des écarts inter-groupes c.-à-d. expliqués par l'appartenance
aux groupes ;
SCR représente la somme des carrés des écarts intra-groupes c.-à-d. résiduels à l'intérieur des
groupes.
La somme SCT est constante. Par conséquent, une valeur de SCE élevée indique que l'appartenance
aux groupes détermine la valeur de la variable d'intérêt.
Nous construisons le tableau d'analyse de variance à partir de ces informations
Sources de variation Degrés de liberté (ddl) Somme des carrés (SC) Carrés moyens (CM)
SCE
Expliqués (inter) k−1 SCE CM E = k−1
SCR
Résiduels (intra) n−k SCR CM R = n−k
Totaux n−1 SCT -

CM E
Sous H0 , la statistique F = CM R suit une loi de Fisher à (k − 1, n − k) degrés de liberté.
La région critique du test s'écrit
R.C. : F > F1−α (k − 1, n − k)
où F1−α (k − 1, n − k) est le quantile d'ordre 1 − α de la loi de Fisher à (k − 1, n − k) degrés de liberté.
Conditions d'applications
L'ANOVA à 1 facteur est un test paramétrique, elle est assortie d'un certain nombre de conditions pour
être réellement opérationnelle : les observations doivent être indépendantes, notamment les k échantillons
comparés doivent être indépendants ; la variable d'intérêt doit suivre une loi normale ; la variance de Y
dans les groupes doit être homogène.
Notons 2 points importants : l'ANOVA à 1 facteur est assez robuste ; ces conditions, et c'est ce qui
nous intéresse ici, ne sont pas sans rappeler certaines hypothèses de la régression linéaire multiple. Nous
y reviendrons plus loin.
Application sur les données LOYER
Nous appliquons ces calculs sur les données LOYER (Figure 4.3), nous procédons selon les étapes
suivantes :
1. Recenser les eectifs nj et les moyennes ȳj conditionnelles ;

2. Calculer la moyenne globale ȳ = 6.88 ;
3. Former SCT = 15.02 et SCE = 5(6.72 − 6.8)2 + 3(5.27 − 6.88)2 + 7(7.69 − 6.88)2 = 12.48 ;
4. En déduire SCR = 15.02 − 12.48 = 2.54 ;
12.48/2
5. Calculer la statistique du test F = 2.54/12 = 29.446 ;
6. Obtenir enn la p-value à l'aide de la loi de Fisher à (2, 12) degrés de liberté, p − value < 0.0001.
Au risque de 5%, l'hypothèse d'égalité des moyennes peut être rejetée : le lieu d'habitation a une
inuence sur le montant du loyer.
Remarque 21 (Analyse des contrastes). On complète généralement l'ANOVA avec l'analyse des contrastes.
Elle vise à déterminer quelle est la moyenne qui dière le plus des autres, ou encore quelles sont les
couples (triplets, etc.) de moyennes qui s'opposent le plus. Nous ne détaillerons pas ces techniques mais
nous garderons quand même à l'esprit cette idée car elle nous aidera à mieux comprendre les résultats de
la régression appliquée aux exogènes qualitatives.
Analogie avec la régression
Quel est le rapport avec la régression ? On comprend mieux l'objet de ce chapitre si l'on reformule le
test de comparaison de moyennes. Les valeurs prises par la variable d'intérêt peut s'écrire sous la forme
suivante :

4.2 Inadéquation du codage disjonctif complet 77
Fig. 4.3. Tableau de calcul de l'ANOVA à 1 facteur - Données LOYER
yi,j = µ + αj + ²i,j
où αj est l'eet du facteur j , ²i,j ∼ N (0, σ).

Il s'agit, ni plus ni moins, d'une droite de régression que l'on peut résoudre avec la MCO. Il sut de
coder convenablement la variable exogène qualitative. L'hypothèse nulle de l'ANOVA devient
H0 : α1 = α2 = · · · = αk = 0
qui s'apparente au test de signicativité globale d'une régression linéaire multiple.
Il nous faut donc dénir une transformation appropriée de la variable exogène qualitative pour que la
régression puisse résoudre un problème d'ANOVA. Le codage est d'autant plus important qu'il conditionne
l'interprétation des coecients de l'équation de régression. C'est ce que nous allons voir maintenant.
4.2 Inadéquation du codage disjonctif complet
Codage disjonctif complet
La méthode la plus simple/connue pour transformer une variable qualitative X à k modalités en une
variable numérique est le codage disjonctif complet. A chaque modalité j de X , on associe une variable
Zj telle que

 1 si X = j
i
Zi,j =
 0 sinon
Sur l'exemple LOYER, cela nous emmènerait à produire un nouveau tableau de données (Figure 4.4),
et nous dénirions naturellement la régression de la manière suivante
loyer = a0 + a1 Zbanlieue + a2 Zcampagne + a3 Zcentre−ville + ²

Fig. 4.4. Codage disjonctif complet de la variable habitation
Pourtant, eectuer cette régression provoquerait immédiatement une erreur en raison d'un problème
agrant de colinéarité. En eet, pour tout individu i
Zi,banlieue + Zi,campagne + Zi,centre−ville = 1
Il y a interférence avec la constante de la régression, la matrice (Z 0 Z) n'est pas inversible car la

première colonne de Z est composée de la valeur 1, la somme des 3 colonnes suivantes est égale à 1.
Régression sans constante et lecture des coecients
Pour éviter cet écueil, une solution immédiate serait de dénir une régression sans constante. L'équa-
tion devient
loyer = a1 Zbanlieue + a2 Zcampagne + a3 Zcentre−ville + ²
Fig. 4.5. Régression sans constante - Données LOYER
Nous lançons les MCO pour obtenir les coecients (Figure 4.5) :
Penchons nous sur les coecients. Nous ne sommes pas sans noter une certaine similitude avec les
valeurs des moyennes conditionnelles présentées dans le tableau de l'ANOVA à 1 facteur (Figure 4.3).
Nous observons que â1 = ȳbanlieue , â2 = ȳcampagne et â3 = ȳcentre .

4.3 Codage "Cornered eect" de l'exogène qualitative 79
Remarque 22 (Moyenne conditionnelle). Pour rappel, nous pouvons dénir la moyenne conditionnelle ȳj
de la manière suivante, selon qu'on utilise ou non la variable recodée
1 X
ȳj = yi
nj i:zi,j =1
1 X
= yi
nj i:x =j
i
Dans la régression sans constante mettant en jeu des exogènes codées 0/1 à partir d'une
variable qualitative, les coecients s'interprètent comme des moyennes conditionnelles de
la variable endogène.
Vers des solutions plus générales
Malgré son intérêt, cette technique n'est pas généralisable : il n'est pas possible d'introduire plusieurs
(≥ 2) variables qualitatives recodées dans la régression. Nous devons nous tourner vers d'autres solutions
qui peuvent s'appliquer dans un cadre plus large.
Pour contourner le problème de la colinéarité, une solution simple serait tout simplement d'omettre
la dernière modalité dans le codage. Pour une variable qualitative à k modalités, nous produisons ainsi
(k − 1) variables continues. Reste à savoir comment introduire dans ces nouvelles variables l'information
sur la dernière modalité. Ce point est loin d'être anodin, il dénit le mode de lecture des coecients de
la régression lorsqu'on introduit les variables exogènes recodées dans l'analyse.
4.3 Codage "Cornered eect" de l'exogène qualitative

4.3.1 Principe
Partant de l'idée que la dernière modalité k peut être déduite des autres dans le codage disjonctif
complet
Zi,k = 1 − (Zi,1 + Zi,2 + · · · + Zi,k−1 )
On omet tout simplement la variable Zk dans la régression. On sait que
Xi = k ⇔ Zi,1 = Zi,2 = · · · = Zi,k−1 = 0
Lorsque la variable X prend la modalité k , toutes les indicatrices Z1 , . . . , Zk−1 prennent la valeur
zéro. L'équation de régression estimée à l'aide des MCO pour les données LOYER en omettant la variable
Zcentre devient
loyer = â0 + â1 Zbanlieue + â2 Zcampagne (4.1)
Reste à interpréter les coecients de la régression.

4.3.2 Lecture des résultats
Voyons quelques cas particuliers pour mieux appréhender la situation :

Si l'habitation i∗ est en centre-ville, nous savons que Zi∗ ,banlieue = Zi∗ ,campagne = 0. Par conséquent
ŷi∗ = â0 , le loyer prédit est â0 .
Si l'habitation i∗ est en banlieue, nous savons que Zi∗ ,banlieue = 1, les autres indicatrices sont égales
à 0. Nous en déduisons la valeur prédite du loyer ŷi∗ = â0 + â1 .
En généralisant, nous observons les relations suivantes :

â0 = ȳcentre
â1 = ȳbanlieue − ȳcentre
â2 = ȳcampagne − ȳcentre
Cela nous emmène à tirer plusieurs conclusions :
1. Les coecients de la régression peuvent s'interpréter comme une moyenne conditionnelle de l'endogène
(la constante) ou des écarts à la moyenne conditionnelle de référence (les autres coecients).
2. On parle de cornered eect car la constante représente la moyenne conditionnelle de l'endogène pour
les observations portant la modalité exclue. Elle nous sert de moyenne de référence.
3. Du coup, réaliser des tests de signicativité des coecients aj (j ≥ 1)
H0 : aj = 0
H1 : aj 6= 0
s'apparente 2 à un test de comparaison de la moyenne conditionnelle ȳj avec la moyenne de référence

ȳk .
4. Et le test de signicativité globale de la régression correspond exactement à une ANOVA à 1 facteur.
4.3.3 Application aux données LOYER
Nous eectuons la régression sur notre chier de données codé selon la technique "cornered eect"
(Figure 4.6). Il y a bien p = 2 variables exogènes. Nous obtenons les résultats de l'équation de régression
(Equation 4.1), nous en déduisons les moyennes conditionnelles :
â0 = ȳcentre = 7.69 ;
â1 = −0.97 ⇒ ȳbanlieue = 7.69 + (−0.97) = 6.72 ;
â2 = −2.42 ⇒ ȳcampagne = 7.69 + (−2.42) = 5.27
Pour tester la signicativité globale de la régression, nous exploitons toujours les sorties du tableur
EXCEL :
2. "s'apparente" car, d'une part, l'estimation de l'écart-type n'est pas la même, la statistique réduite n'est donc
pas exactement la même ; d'autre part, il y a des diérences dans les degrés de liberté.

4.4 Codage "Centered eect" de l'exogène qualitative 81
Fig. 4.6. Régression avec données codées "cornered eect" - Données LOYER
Indicateur Valeur
F 29.44
ddl1 = p 2
ddl2 = n − p − 1 12
p-value < 0.0001
Ces résultats correspondent exactement à ceux de l'ANOVA à 1 facteur (Figure 4.3). Les deux ap-
proches sont totalement équivalentes.
4.4 Codage "Centered eect" de l'exogène qualitative
4.4.1 Principe
Nous comprenons maintenant que le type de codage dénit l'interprétation des coecients. Nous
proposons dans cette section une autre approche. Certes nous créons toujours (k −1) variables en excluant
la k -ème modalité, mais nous attribuons des valeurs diérentes. Pour la variable Zj correspondant à la
modalité j de X (j = 1, . . . , k − 1) :


 1 si Xi = j

Zi,j = −1 si Xi = k



0 sinon
La modalité k (centre-ville ) sert toujours de référence. A la diérence que cette fois-ci, nous signalons
explicitement sa présence pour l'individu i en attribuant la valeur −1 à toutes les variables recodées Zj .
Nous estimons avec les MCO les coecients de la régression :
loyer = b̂0 + b̂1 Zbanlieue + b̂2 Zcampagne (4.2)
Comment lire ces coecients ?

4.4.2 Lecture des résultats
Voyons à nouveau quelques cas particuliers :

Si l'habitation i∗ est en centre-ville, nous savons que Zi∗ ,banlieue = Zi∗ ,campagne = −1. Par consé-
quent, le loyer prédit est ŷi∗ = b̂0 − (b̂1 + b̂2 ).
Si l'habitation i∗ est en banlieue, nous savons que Zi∗ ,banlieue = 1, les autres indicatrices sont égales
à 0. Nous en déduisons la valeur prédite du loyer ŷi∗ = b̂0 + b̂1 .
En généralisant, nous observons les relations suivantes :

ȳbanlieue = b̂0 + b̂1 ⇒ b̂1 = ȳbanlieue − b̂0 ;
ȳcampagne = b̂0 + b̂2 ⇒ b̂2 = ȳcampagne − b̂0
ȳcentre = b̂0 − (b̂1 + b̂2 )
Cela nous emmène à tirer plusieurs conclusions :

La constante de la régression s'interprète maintenant comme une valeur centrale, moyenne non-
pondérée des moyennes conditionnelles
1
b̂0 = (ȳbanlieue + ȳcampagne + ȳcentre )
3
D'où l'appellation "centered eect".
De manière générale, cette valeur centrale ne coïncide pas avec la moyenne globale de l'endogène
b̂0 6= ȳ . Ce sera le cas uniquement lorsque les eectifs dans les groupes sont équilibrés c.-à-d.
n
b̂0 = ȳ si et seulement si nj =
k
Les autres coecients se lisent comme la diérence entre la moyenne conditionnelle et cette valeur
centrale. Pour le cas de la banlieue, b̂1 = ȳbanlieue − b̂0
Le test de signicativité globale de la régression (tous les coecients exceptés la constante sont-
ils tous égaux à zéro ?) correspond toujours au test d'égalité des moyennes conditionnelles. Nous
devrions retrouver les résultats de l'ANOVA à 1 facteur.
4.4.3 Application aux données LOYER
Nous eectuons la régression sur les données LOYER recodées (Figure 4.7). Nous obtenons les coe-
cients b̂ (Équation 4.2) et nous en déduisons les moyennes conditionnelles :
b̂2 = −1.29 ⇒ ȳcampagne = b̂2 + b̂0 = −1.29 + 6.259 = 5.27 ;
b̂1 = 0.16 ⇒ ȳbanlieue = b̂1 + b̂0 = 0.16 + 5.56 = 6.72 ;
ȳcentre = b̂0 − (b̂1 + b̂2 ) = 6.56 − (0.16 + (−1.29)) = 7.69 ;
le test de signicativité globale de la régression nous fournit un F = 29.44 à (2, 12) degrés de liberté,
la p − value < 0.0001, ce qui est conforme avec les résultats de l'ANOVA à 1 facteur (Figure 4.3).
Les tests sont totalement équivalents.

4.5 Les erreurs à ne pas commettre 83
Fig. 4.7. Régression avec données codées "centered eect" - Données LOYER
4.5 Les erreurs à ne pas commettre
Comme nous pouvons le constater, le codage conditionne la lecture des résultats. Le véritable danger
est d'utiliser une transformation qui occasionne une perte d'information, ou qui introduit une information
supplémentaire qui n'existe pas dans les données. Dans cette section, nous nous penchons sur le codage
numérique {1, 2, 3, . . .} des variables qualitatives.
4.5.1 Codage numérique d'une variable discrète nominale
On parle de variable discrète nominale lorsque (1) la variable prend un nombre ni de modalités (de
valeurs) ; (2) il n'y a pas de relation d'ordre entre les modalités. On peut appréhender ainsi la variable
habitation du chier LOYER, il n'y a pas de hiérarchie entre les zones de résidence : vivre à la campagne
n'est pas mieux que vivre en ville, etc. Dans ce cas, le codage suivant est totalement inapproprié


 1 si Xi = ”banlieue”

Zi = 2 si Xi = ”campagne”



3 si Xi = ”centre”
En eet, nous introduisons dans la variable recodée une relation d'ordre qui n'existe pas dans les
données initiales, information que la régression va utiliser pour calculer les coecients.
Dans ce cas, les 2 types de codages décrits plus haut (cornered et centered eect ) sont plus adaptés,
à charge au statisticien de choisir celui qui paraît le mieux répondre au problème traité.
4.5.2 Codage numérique d'une variable discrète ordinale
On parle de variable discrète ordinale lorsque (1) la variable prend un nombre ni de modalités (de
valeurs) ; (2) il y a une relation d'ordre entre les modalités. L'exemple typique est la satisfaction d'un
client par rapport à un service, il peut être mécontent, satisfait, très satisfait, etc.
Parfois, le caractère ordinal repose tout simplement sur un point de vue diérent des mêmes données.
Considérons la variable habitation comme un indicateur d'éloignement par rapport au centre-ville où

seraient situés la majorité des lieux de travail. Dans ce cas, il y a bien une relation d'ordre dans les
modalités prises par la variable et coder


 1 si Xi = ”centre”

Zi = 2 si Xi = ”banlieue”



3 si Xi = ”campagne”
semble tout à fait licite.
Notons cependant que ce codage n'est pas totalement innocent, il introduit une information supplé-
mentaire dont tiendra compte la régression dans le calcul des coecients : l'amplitude de l'écart. Avec ce
codage nous sommes en train de dire que
l'écart entre "centre" et "banlieue" est de 1, il en est de même pour l'écart entre "banlieue" et
"campagne" ;
et de plus, nous armons également que l'écart entre "campagne" et "centre" est 2 fois plus élevé
que l'écart entre "centre" et "banlieue".
En réalité, nous ne savons rien de tout cela. Peut-être est-ce vrai, peut être est-ce erroné. Quoi qu'il
en soit, le pire serait de lancer les calculs sans être conscient de ce qu'on manipule.
Remarquons que le codage disjonctif (ou dérivés) peut fonctionner pour les variables ordinales. Dans
ce cas, nous perdons irrémédiablement l'information sur le caractère ordinal des données. La régression
n'en tiendra pas compte pour produire les coecients.
4.6 Conclusion
Il y a 2 idées maîtresses à retenir de ce chapitre :
1. Il est possible d'eectuer une régression linéaire multiple avec des exogènes qualitatives, le tout est
de produire une transformation appropriée des données ;
2. Ce codage est primordial car il détermine les informations que nous retenons des données initiales, il
détermine également l'interprétation des coecients fournis par la régression.
Dans ce support, nous avons exclusivement décrit le modèle avec une variable exogène qualitative. Rien
ne nous empêche de généraliser la démarche ci-dessus à plusieurs exogènes qualitatives. Nous pouvons
étudier leurs eets indépendamment, mais surtout, et c'est un des intérêts de l'approche, nous pouvons
analyser nement les interactions (ex. étudier les eets conjoints du cannabis et de l'alcool sur les temps
de réaction au volant). La technique est très riche et ses applications sont multiples.

5
Tester les changements structurels
Le test de changement structurel est déni naturellement pour les données longitudinales : l'idée est
de vérier qu'au l du temps, la nature de la relation entre l'endogène et les exogènes n'a pas été modiée.
Statistiquement, il s'agit de contrôler que les coecients de la régression sont les mêmes quelle que soit
la sous-période étudiée.
Prenons un cas simple pour illustrer cela. On veut expliquer le niveau de production des entreprises
d'un secteur en fonction du temps. En abcisse, nous avons l'année, en ordonnée la production. A une
date donnée, nous observons que la relation est modiée brutalement, parce qu'il y a eu, par exemple,
une mutation technologique introduisant une hausse de la productivité (Figure 5.1). Il est évident dans
ce cas qu'il n'est pas possible d'eectuer une seule régression pour toute la période, la pente de la droite
de régression est modiée.
Fig. 5.1. Rupture de structure : modication de la pente à la date t = 11
Mettons maintenant qu'à la date t = 11 est survenue une catastrophe détruisant une partie de l'outil
de travail. Dans ce cas, la production connaît un recul fort, puis évolue de la même manière que naguère.
Dans ce cas, la pente de la régression reste identique, seule est modiée l'origine (la constante) de la
régression (Figure 5.2).
Extension aux données transversales
Chercher des points d'inexion. La notion de rupture de structure est extensible aux données
transversales. Il sut d'imaginer la relation entre la puissance et la taille du moteur. A partir d'un certain

86 5 Rupture de structure
Fig. 5.2. Rupture de structure : modication de l'origine à la date t = 11
stade, augmenter indéniment la cylindrée entraîne une amélioration inme de la puissance (Figure 5.3).
La relation est peut-être non-linéaire. Le test de changement structurel permet de localiser le point
d'inexion de la courbe de régression si l'on triait les données selon l'exogène.
Fig. 5.3. Relation non-linéaire ou linéaire par morceaux ?
Travailler sur des populations diérentes. Toujours dans le même domaine, on sait que la
technologie des moteurs fonctionnant au gazole et à l'essence est quelque peu diérente. Fractionner les
données en 2 parties, selon le type de carburant, permet de mettre à jour l'existence de 2 populations
avec des comportements, éventuellement, diérents.
Bref, le test de changement structurel vise avant tout à constater statistiquement des modications de
comportement dans l'échantillon étudié. A charge au statisticien de caractériser au mieux ce qui permet
de dénir les sous-ensembles que l'on confronte (en utilisant des informations externes ou une variable
supplémentaire disponible dans les données) et déceler la nature du changement survenu (modication
des coecients relatifs à quelles variables ?).
Pour une étude approfondie de la détection et de la caractérisation des changements structurels dans
la régression, je conseille la lecture attentive du chapitre 4 de l'ouvrage de Johnston (pages 111 à 145).
C'est une des rares références, en français, qui explicite avec autant de détails l'étude des ruptures de
structure dans la régression.

5.1 Régression contrainte et régression non-contrainte - Test de Chow 87
5.1 Régression contrainte et régression non-contrainte - Test de Chow
5.1.1 Formulation et test statistique
Les tests de changements structurels reposent sur la confrontation d'une régression contrainte (a)
avec une régression non-contrainte (b) (ou tout du moins, avec moins de contraintes) 1 . L'objectif est de
déterminer si, sur les deux sous-ensembles (sous-périodes) étudiées, certains coecients de la régression
sont les mêmes. On peut comparer plusieurs coecients simultanément.
La démarche est la suivante :
(a) On eectue la régression sur l'échantillon complet (n observations). C'est la régression "contrainte"
dans le sens où les coecients doivent être les mêmes quelle que soit la sous-population (sous-période)
étudiée.
yi = a0 + a1 xi,1 + · · · + ap xi,p + ²i , i = 1, . . . , n (5.1)
(b) On eectue 2 régressions indépendantes sur les 2 sous-populations. Ce sont les régressions "non-
contraintes" dans le sens où nous n'imposons pas que les coecients soient les mêmes sur les 2
sous-populations (sous-périodes).
yi = a0,1 + a1,1 xi,1 + · · · + ap,1 xi,p + ²i , i = 1, . . . , n1

yi = a0,2 + a1,2 xi,1 + · · · + ap,2 xi,p + ²i , i = n1 + 1, . . . , n (n2 obs.)
Il y a alors plusieurs manières d'appréhender le test de rupture de structure.
1. Est-ce que la régression contrainte est d'aussi bonne qualité que les 2 régressions non-contraintes ?
Si oui, cela indiquerait qu'il n'y a pas à distinguer les régressions dans les 2 sous-populations : ce
sont les mêmes. Pour cela, nous confrontons la somme des carrés des résidus (qui est un indicateur
de qualité de la régression, plus elle faible, meilleure est l'approximation)
(a) Régression contrainte : SCR
(b) Régressions non-contraintes : SCR1 et SCR2
Par construction,
SCR ≥ SCR1 + SCR2
Si SCR est "signicativement" plus grand que SCR1 + SCR2 , il y a bien une diérence. Reste bien
sûr à quantier le "signicativement".
1. Sur l'idée de confronter 2 régressions, dont une serait une restriction de l'autre, voir l'excellent document
de T. Duchesne, Chapitre 3, Section 3.6 "Le principe de somme de carrés résiduels additionnelle" ; http://
archimede.mat.ulaval.ca/pages/genest/regression/chap3.pdf. La réexion sur le mode de calcul des degrés
de liberté est très instructive.

2. On peut y répondre en appréhender le problème sous forme d'un test d'hypothèses. Nous opposons
     
a0 a0,1 a0,2
     
a1  a1,1  a1,2 
     
H0 :  .  =  .  =  . 
 ..   ..   .. 
     
ap ap,1 ap,2
H1 : un des coecients (au moins) dière des autres
La statistique du test de Chow 2 s'appuie sur les sommes des carrés résiduels des régressions contraintes
(SCR) et non-contraintes (SCR1 et SCR2 ). Elle s'écrit :
[SCR − (SCR1 + SCR2 )] /ddln

F =
(SCR1 + SCR2 )/ddld
Plus que les valeurs génériques des degrés de liberté, voyons en détail le mécanisme de leur formation
an que nous puissions le reproduire dans d'autres congurations.
Pour ddld , qui est le plus facile à appréhender, nous avons la réunion de 2 régressions indépendantes :
ddld = (n1 − p − 1) + (n2 − p − 1)

= (n1 + n2 ) − 2p − 2
= n − 2p − 2
= n − 2(p + 1)
Pour ddln , la situation est un peu plus complexe :
ddln = (n − p − 1) − [(n1 − p − 1) + (n2 − p − 1)]

= (n − p − 1) − (n − 2p − 2)
= p+1
A posteriori, (ddln = p + 1) semble évident. En eet, nous avions bien (p + 1) contraintes linéaires
dans l'hypothèse nulle de notre test de comparaison des coecients.
Sous H0 , la statistique F suit une loi de Fisher à (p + 1, n − 2p − 2) degrés de liberté. La région critique
du test s'écrit
R.C. : F > F1−α (p + 1, n − 2p − 2)
où F1−α (p + 1, n − 2p − 2) est le quantile d'ordre (1 − α) de la loi de Fisher à (p + 1, n − 2p − 2) degrés

de liberté.
2. Gregory C. Chow (1960). Tests of Equality Between Sets of Coecients in Two Linear Regressions. in
Econometrica 28(3) : 591-605.

5.1 Régression contrainte et régression non-contrainte - Test de Chow 89
5.1.2 Un exemple
Nous reprenons un exemple décrit dans Johnston (pages 134 à 138). Nous voulons eectuer une
régression linéaire simple Y = aX + b + ². Les données (chier CHOW) peuvent être subdivisées en 2
sous-parties (sous-périodes) correspondant à une variable supplémentaire 3 (Figure 5.4).
Fig. 5.4. Données pour le test de Chow (Johnston, page 134)
Pour réaliser le test global de Chow c.-à-d. la régression est-elle la même dans les 2 sous-parties du
chier ?, nous réalisons 3 régressions : (a) sur la totalité du chier, (b) sur la première partie, (c) sur la
seconde partie. Nous obtenons les résultats suivants (Figure 5.5) :
Fig. 5.5. Test global de Chow
a : Y = 0.52X − 0.07 avec SCR = 6.56 et ddl = 13 ;
b : Y = 0.44X − 0.06 avec SCR1 = 0.69 et ddl1 = 3 ;
3. C'est un peu abstrait j'en conviens. Mettons que l'on veut expliquer la consommation (Y) en fonction de la
taille du moteur (X). Les données regroupent les véhicules fonctionnant au gazole et à l'essence.

c : Y = 0.51X + 0.40 avec SCR2 = 2.47 et ddl2 = 8.
Calculons les degrés de liberté : ddln = 13 − (3 + 8) = 2 et ddld = 3 + 8 = 11. La statistique du test

est donc égale à
[6.56 − (0.69 + 2.47)]/2

F = = 5.91
(0.69 + 2.47)/11
La p-value associée est 0.0181.
Au risque de 5%, ces deux sous-parties du chier donnent bien lieu à 2 régressions diérentes 4 .
5.2 Détecter la nature de la rupture
Il y a 2 types de ruptures dans la régression :
1. une modication de niveau, la constante n'est pas la même dans les 2 sous-périodes ;
2. une modication de pente, la relation entre l'endogène et une ou plusieurs exogènes a été modiée.
Nous verrons dans cette section quels tests mettre en place pour caractériser ces situations.
5.2.1 Tester la stabilité de la constante
Dans ce cas, les coecients des exogènes sont communs aux deux sous populations, seule la constante
est modiée. Le test d'hypothèses s'écrit :
H0 : a0,1 = a0,2 = a0
H1 : a0,1 6= a0,2
En pratique, nous construisons deux variables auxiliaires qui permettent de spécier les 2 sous-parties
du chier :

1 , i = 1, . . . , n1
di,1 =
0 , i = n1 + 1, . . . n

0 , i = 1, . . . , n1
di,2 =
1 , i = n1 + 1, . . . , n
Et nous construisons la régression suivante (Equation 5.2), c'est la régression non-contrainte que nous
opposons à l'équation initiale (Equation 5.1) où la constante est la même sur les deux périodes.
4. Au risque de 1%, la conclusion aurait été diérente. Mais au vu de la taille de l'échantillon, prendre un
risque critique aussi bas nous conduirait quasi-systématiquement à accepter l'hypothèse nulle.

5.2 Détecter la nature de la rupture 91
yi = a0,1 di,1 + a0,2 di,2 + a1 xi,1 + · · · + ap xi,p + ²i (5.2)
Attention, nous n'introduisons plus de constante dans cette régression car di,1 + di,2 = 1, le calcul ne
serait pas possible.
Bien entendu, nous pourrions eectuer le test d'hypothèses (H0 : a0,1 = a0,2 ) directement sur l'équa-
tion 5.2 (Voir "Tests de comparaisons de coecients et tests de combinaisons linéaires de coecients" ;
Bourbonnais, page 69 ; Johnston, pages 95 à 101). Mais il est plus simple, et plus cohérent avec notre dé-
marche dans ce chapitre, de procéder en opposant le modèle contraint et le(s) modèle(s) non contraint(s).
Fig. 5.6. Test de la constante de régression
Pour illustrer notre propos, nous reprenons notre exemple ci-dessus (Figure 5.4). Rappelons que la
régression contrainte (Équation 5.1) a fourni (Figure 5.5) : SCR = 6.56 et ddl = 13. Nous réalisons
maintenant la régression non-contrainte destinée à tester la stabilité de la constante (Équation 5.2), elle
nous propose les résultats suivants (Figure 5.6) :
SCR3 = 3.49 et ddl3 = 12 ;
pour opposer les modèles contraints et non-contraints (resp. équations 5.1 et 5.2), nous calculons
tout d'abord les degrés de liberté : ddln = ddl − ddl3 = 13 − 12 = 1 et ddld = ddl3 = 12 ;
(SCR−SCR3 )/ddln 3.07/1
nous formons alors la statistique F = SCR3 /ddl3 = 3.49/12 = 10.54 ;
avec un p-value = 0.0070.
Conclusion : la diérence de structure détectée par le test global de Chow serait due, au moins en
partie, à une diérence entre les constantes des régressions construites dans chaque sous-échantillon. "En
partie" car nous n'avons pas encore testé l'inuence de la pente de régression, c'est l'objet de la section
suivante.
5.2.2 Tester la stabilité du coecient d'une des exogènes
Une formulation erronée
Il s'agit maintenant de tester si la rupture est imputable à une modication de la pente de la régression
c.-à-d. un ou plusieurs coecients associés à des exogènes ne sont pas les mêmes sur les deux périodes.

Nous traitons dans cette section, sans nuire à la généralité du discours, du test du coecient associé
à la variable x1 de la régression.
Forts des schémas décrit précédemment, nous dérivons deux variables intermédiaires z1 et z2 à partir
de la variable x1 avec :

x
i,1 , i = 1, . . . , n1
zi,1 =
 0 , i = n1 + 1, . . . n

 0 , i = 1, . . . , n
1
zi,2 =
 xi,1 , i = n1 + 1, . . . , n
Nous pourrions alors être tenté de proposer comme formulation non-contrainte de la régression :
yi = a0 + a1,1 zi,1 + a1,2 zi,2 + · · · + ap xi,p + ²i (5.3)
Que nous opposerions au modèle initial (Équation 5.1).

En fait, cette formulation du test est erronée, principalement pour 2 raisons :
1. Une modication de la pente entraîne de facto une modication de l'origine de la régression. Un

exemple ctif, construit sur une régression simple illustre bien la situation (Figure 5.7).
2. En contraignant les deux équations, contraints et non-contraints, à avoir la même origine, nous faus-
sons les résultats relatifs au test de la pente (Figure 5.8).
Fig. 5.7. Un changement de pente entraîne automatiquement une modication de l'origine

5.2 Détecter la nature de la rupture 93
Fig. 5.8. En imposant la même origine aux deux régressions, on fausse l'appréciation des pentes
En conclusion, pour tester la stabilité des coecients sur 2 sous-ensembles de données,

il faut absolument relâcher, dans le modèle de référence, la contrainte de stabilité de la
constante.
Tester la pente en relâchant la contrainte sur la constante
A la lumière de ces éléments, il apparaît que le modèle de référence, le modèle contraint, devient
maintenant celui où les constantes sont possiblement diérentes sur les 2 sous-parties du chier (Équation
5.2). Et nous lui opposons le modèle :
yi = a0,1 di,1 + a0,2 di,2 + a1,1 zi,1 + a1,2 zi,2 + · · · + ap xi,p + ²i (5.4)
L'hypothèse nulle du test est naturellement H0 : a1,1 = a1,2 .
Fig. 5.9. Test de la pente de régression

Reprenons notre chier de données et mettons en place ces calculs. Pour notre modèle de référence
(Équation 5.2), nous avions obtenu SCR3 = 3.49 et ddl3 = 12. Dans la nouvelle régression (Equation
5.4), nous avons (Figure 5.9) :
SCR4 = 3.16 et ddl4 = 11 ;
on calcule les degrés de libertés ddln = ddl3 − ddl4 = 12 − 11 = 1 et ddld = ddl4 = 11 ;
(SCR3 −SCR4 )/ddln (3.49−3.16)/1
la statistique du test s'écrit alors F = SCR4 /ddld = 3.16/11 = 1.15 ;
avec une p-value = 0.3068.
Les diérences détectées entre les régressions sur les 2 sous-parties du chier ne sont pas imputables
à une modication de la pente. En d'autres termes, la pente de la régression est la même dans les 2
sous-populations.
Moralité de tout ceci, concernant notre chier de données : il y a bien une rupture de structure entre les
2 sous-populations, elle est essentiellement due à une modication de la constante. A vrai dire, un nuage
de points nous aurait permis de très vite aboutir aux mêmes conclusions (Figure 5.10), à la diérence
que la démarche décrite dans cette section est applicable quelle que soit le nombre de variables exogènes.
Fig. 5.10. Nuage de points (X,Y) et droites de régression pour les deux sous-populations de notre chier exemple
(Figure 5.4)
5.3 Conclusion
L'étude des changements structurels peut être étendue à l'analyse de k sous-populations (ou sous-
périodes). Il s'agit tout simple de dénir correctement le modèle contraint, qui sert de référence, et
le(s) modèle(s) non-contraint(s), qui servent à identier la nature de la rupture. Seulement, les tests et
la compréhension des résultats deviennent diciles, voire périlleux, il faut procéder avec beaucoup de
prudence.

5.3 Conclusion 95
Le véritable goulot d'étranglement de cette démarche est la détection intuitive du point de rupture.
Encore pour les données longitudinales, quelques connaissances approfondies du domaine donnent des
indications sur les évènements (économiques, politiques, etc.) qui peuvent inéchir les relations entre
les variables. En revanche, pour les données transversales, deviner le point d'inexion sur une variable
exogène, ou encore déterminer le facteur externe qui vient modier la structure des dépendances, relève
du saut dans l'inconnu. Très souvent, les graphiques, notamment des résidus, sont d'une aide précieuse
pour airer les ruptures dans les données.

A
Table de Durbin Watson
http://www.jourdan.ens.fr/~bozio/stats/dw.pdf
Fig. A.1. Table de Durbin-Watson

B
Fichiers associés à ce support
Un certain nombre de jeux de données ont servi à illustrer ce support. Ils ont été traités. De nombreuses
copies d'écran sont présentées tout le long du texte. Pour que le lecteur puisse accéder aux détails des
calculs et, s'il le désire, les reproduire, ces chiers sont accessibles en ligne.
Les chiers peuvent être classés en 3 principales catégories :
1. Les classeurs EXCEL contiennent, dans la première feuille, les données ; dans les feuilles suivantes, les
traitements associés aux problèmes statistiques. Ils ont contribué à l'élaboration des copies d'écran
de ce support de cours.
2. Les chiers au format CSV contiennent les données destinées à être traités avec le logiciel R.
3. Les scripts R décrivent les traitements relatifs à chaque chapitre du support. Concernant l'utilisation
du logiciel R pour la régression, nous conseillons vivement la lecture du didacticiel de J. Faraway
qui est réellement d'une qualité exceptionnelle : il est aussi intéressant pour l'apprentissage de la
régression que pour l'apprentissage du logiciel R (Voir la référence en bibliographie).
Les chiers et les thèmes rattachés sont décrits dans "_description_des_chiers.txt", intégré dans
l'archive "chiers_pratique_regression.zip", accessible sur la page web http://eric.univ-lyon2.fr/
~ricco/cours/supports_data_mining.html.

Littérature
Ouvrages
1. Bourbonnais, R., Econométrie. Manuel et exercices corrigés, Dunod, 2è édition, 1998.
2. Dodge, Y, Rousson, V., Analyse de régression appliquée, Dunod, 2è édition, 2004.
3. Giraud, R., Chaix, N., Econométrie, Presses Universitaires de France (PUF), 1989.
4. Johnston, J., DiNardo, J., Méthodes Econométriques, Economica, 4è édition, 1999.
5. Labrousse, C., Introduction à l'économétrie. Maîtrise d'économétrie, Dunod, 1983.
6. Saporta, G., Probabilités, Analyse des données et Statistique, Technip, 2ème édition, 2006.
7. Tenenhaus, M., Méthodes Statistiques en Gestion, Dunod, 1996.
Supports en ligne
8. Confais, J., Le Guen, M., Premier pas en régression linéaire avec SAS, Revue Modulad, numéro 35, 2006 ;
http://www-rocq.inria.fr/axis/modulad/numero-35/Tutoriel-confais-35/confais-35.pdf
9. , Davidson, R., MacKinnon, J.G., Estimation et inférence en économétrie, traduction française de Estimation
and inference in econometrics, http://russell.vcharite.univ-mrs.fr/EIE/
10. Faraway, J., Practical Regression and ANOVA using R, July 2002, http://cran.r-project.org/doc/
contrib/Faraway-PRA.pdf
11. Genest, C., Modèle de régression linéaire multiple, sur http://archimede.mat.ulaval.ca/pages/genest/
regression/chap3.pdf. Voir aussi le chapitre 2 (chap2.pdf), Régression linéaire simple, et le chapitre 4 (chap4.
pdf), Critères de sélection de modèle.
12. Haurie, A., Modèle de régression linéaire, sur http://ecolu-info.unige.ch/~haurie/mba05/
13. Régression Linéaire Multiple, sur http://fr.wikipedia.org/wiki/Régression_linéaire_multiple
14. Xycoon Online Econometrics Textbook, sur http://www.xycoon.com/index.htm#econ

La Regression Dans La Pratique

Transféré par

Droits d'auteur :

Formats disponibles

La Regression Dans La Pratique

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

La Regression Dans La Pratique

Transféré par

Droits d'auteur :

Formats disponibles

Ricco Rakotomalala

Pratique de la Régression Linéaire Multiple

Université Lumière Lyon 2

Page: 1 job: La_regression_dans_la_pratique macro: svmono.cls date/time: 20-Sep-2009/9:20

Page: 3 job: La_regression_dans_la_pratique macro: svmono.cls date/time: 20-Sep-2009/9:20

Partie I La régression dans la pratique

1 Étude des résidus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2 Points aberrants et points inuents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

3 Colinéarité et sélection de variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

Page: 5 job: La_regression_dans_la_pratique macro: svmono.cls date/time: 20-Sep-2009/9:20

3.1.2 Illustration de l'eet nocif de la colinéarité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

4 Régression sur des exogènes qualitatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

Page: 6 job: La_regression_dans_la_pratique macro: svmono.cls date/time: 20-Sep-2009/9:20

A Table de Durbin Watson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

B Fichiers associés à ce support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

Page: 7 job: La_regression_dans_la_pratique macro: svmono.cls date/time: 20-Sep-2009/9:20

La régression dans la pratique

Page: 1 job: La_regression_dans_la_pratique macro: svmono.cls date/time: 20-Sep-2009/9:20

La régression dans la pratique

yi = a0 + a1 xi,1 + · · · + ap xi,p + ²i (0.1)

les dimensions de matrices sont respectivement :

Page: 3 job: La_regression_dans_la_pratique macro: svmono.cls date/time: 20-Sep-2009/9:20

Fig. 0.1. Tableau de données CONSO - Consommation des véhicules

Page: 4 job: La_regression_dans_la_pratique macro: svmono.cls date/time: 20-Sep-2009/9:20

Fig. 0.3. Résultat de la régression sous EXCEL

Page: 5 job: La_regression_dans_la_pratique macro: svmono.cls date/time: 20-Sep-2009/9:20

3. TANAGRA : Un logiciel gratuit de Data Mining pour l'enseignement et la recherche - http://eric.

Page: 6 job: La_regression_dans_la_pratique macro: svmono.cls date/time: 20-Sep-2009/9:20

Étude des résidus

²̂i = yi − ŷi (1.1)

avec ŷi = â0 + â1 xi,1 + · · · + âp xi,p

1.1 Diagnostic graphique

1.1.1 Graphiques des résidus

Page: 7 job: La_regression_dans_la_pratique macro: svmono.cls date/time: 20-Sep-2009/9:20

Résidus en fonction de l'endogène Y

Fig. 1.1. Graphique "normal" des résidus. Endogène vs. Résidus.

Résidus en fonction de chaque exogène Xj

2. Voir chapitre 2 sur les points atypiques

Page: 8 job: La_regression_dans_la_pratique macro: svmono.cls date/time: 20-Sep-2009/9:20

Graphique de résidus pour les données longitudinales

Points atypiques et points inuents

Page: 9 job: La_regression_dans_la_pratique macro: svmono.cls date/time: 20-Sep-2009/9:20

Asymétrie des résidus

Fig. 1.3. La distribution des résidus est asymétrique.

Page: 10 job: La_regression_dans_la_pratique macro: svmono.cls date/time: 20-Sep-2009/9:20

Fig. 1.4. La relation à modéliser est non-linéaire

Fig. 1.5. Résidus caractéristiques d'une rupture de structure

Autocorrélation des résidus

Page: 11 job: La_regression_dans_la_pratique macro: svmono.cls date/time: 20-Sep-2009/9:20

Fig. 1.7. Autocorrélation négative des résidus

Fig. 1.8. Autocorrélation positive des résidus

1.1.2 Graphiques des résidus pour les données CONSO

Page: 12 job: La_regression_dans_la_pratique macro: svmono.cls date/time: 20-Sep-2009/9:20

Fig. 1.9. Graphiques des résidus - Données CONSO

Page: 13 job: La_regression_dans_la_pratique macro: svmono.cls date/time: 20-Sep-2009/9:20

1.2 Tester le caractère aléatoire des erreurs

1.2.1 Test de Durbin-Watson

Le test de Durbin-Watson permet de détecter une autocorrélation de la forme :

²i = ρ. ²i−1 + νi , avec νi ∼ N (0, σν ) (1.2)

Le test d'hypothèses s'écrit :

2 Points aberrants et points inuents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

3.1.2 Illustration de l'eet nocif de la colinéarité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

Points atypiques et points inuents

1. A l'aide de la fonction DROITEREG() d'EXCEL, nous obtenons les coecients a0 = 130.71, a1 =

2. Nous formons la prédiction ŷi avec ces coecients.

1. A l'aide de la fonction DROITEREG() d'EXCEL, nous obtenons les coecients a0 = 130.71, a1 =

2. Nous formons la prédiction ŷi avec ces coecients.

5. Nous comptons le nombre de valeurs positives et négatives, n+ = 9 et n− = 8, nous vérions que

Ce test est basé sur le coecient d'asymétrie

Nous devons déterminer la statistique et la distribution sous H0 du coecient d'aplatissement. Le

l'existence de points atypiques ou exagérément inuents ;

Détection des points aberrants et des points inuents

où LIF signie "lower inner fence" et UIF "upper inner fence".

Tableau 2.1. Points suspects chier CONSO : détection univariée