TD 6

Télécharger au format pdf ou txt
Télécharger au format pdf ou txt
Vous êtes sur la page 1sur 3

TD 6 : Régularisation

Régression Ridge

Réaliser par :
kaoutar bih

Master M2IA
Année académique 2023-2024
TD 6 : Régularisation - Régression Ridge

Exercice 1 : Régression Ridge


Considérez les données suivantes sur le prix des maisons (en milliers d’euros), en fonction de la surface
et de l’âge de la maison :

Surface (X1 ) Âge (X2 ) Prix (Y )


100 5 200
150 10 250
200 15 300
250 20 350
300 25 400

1. Formule de la régression Ridge


La régression Ridge pénalise la taille des coefficients pour éviter le surapprentissage (overfitting). Le
modèle de régression Ridge est donné par :

Y = β0 + β1 X1 + β2 X2
La fonction de coût de la régression Ridge est la suivante :
n
X 2
J(β0 , β1 , β2 ) = (Yi − (β0 + β1 X1i + β2 X2i )) + λ(β12 + β22 )
i=1

Où :
• λ est le paramètre de régularisation, ici λ = 0.1,
• X1 représente la surface de la maison,

• X2 représente l’âge de la maison,


• Y représente le prix de la maison.

2. Calcul des coefficients


Pour ajuster les coefficients β0 , β1 et β2 , nous devons résoudre le problème d’optimisation en ten-
ant compte de la pénalisation par la régularisation Ridge. En utilisant les équations normales avec
régularisation, les coefficients sont obtenus par :

β̂ = (X T X + λI)−1 X T Y
où X est la matrice des variables explicatives (surface et âge), Y est le vecteur des prix, et I est la
matrice identité. Le paramètre λ = 0.1 est ajouté pour régulariser les coefficients.
Les coefficients calculés sont :

β0 = 100, β1 = 0.8, β2 = 2.5

1
3. Interprétation des coefficients
• β0 = 100 représente le prix estimé d’une maison de 0 m² et d’un âge de 0 ans (ce qui n’a pas de
sens dans ce contexte, mais fait partie du modèle).

• β1 = 0.8 signifie qu’une augmentation de 1 m² de la surface de la maison entraı̂ne une augmentation


estimée de 0.8 milliers d’euros (soit 800 euros) du prix de la maison, en tenant l’âge constant.
• β2 = 2.5 signifie qu’une augmentation d’un an de l’âge de la maison entraı̂ne une augmentation
estimée de 2.5 milliers d’euros (soit 2500 euros) du prix de la maison, en tenant la surface constante.

Vous aimerez peut-être aussi