Optimisation
Optimisation
Optimisation
Guy Lacroix
Université Laval
Automne 2019
Optimisation
Optimisation avec une variable
y = f (x1 , x2 , . . . , xn )
∂f ∂f ∂f
≡ f1 , ≡ f2 , . . . , ≡ fn
∂x1 ∂x2 ∂xn
La condition de premier ordre pour un maximum (ou un minimum) est :
f1 = f2 = . . . = fn = 0
f11 < 0
f11 f22 − (f12 )2 > 0
Remarque : f22 < 0 est vérifiée implicitement par la CDO puisque si f11 et f22
sont de signe opposé, la condition f11 f22 − (f12 )2 > 0 ne peut pas être respectée.
Convexité et concavité
Définitions
Généralisation
Généralisation
Quasi-convexité
Quasi-concavité
Continuité
A0 MA > 0 ∀A 6= 0
N.B. : Les éléments diagonaux aii d’une matrice définie positive sont tous > 0.
Matrices (semi) définies négatives et (semi) définies positives
A0 MA > 0 ∀A 6= 0
N.B. : Les éléments diagonaux aii d’une matrice définie positive sont tous > 0.
A0 MA ≥ 0 ∀A
N.B. : Les éléments diagonaux aii d’une matrice définie positive sont tous < 0.
Matrices (semi) définies négatives et (semi) définies positives
A0 MA < 0 ∀A 6= 0
N.B. : Les éléments diagonaux aii d’une matrice définie positive sont tous
≤ 0.
Matrices (semi) définies négatives et (semi) définies positives
A0 MA < 0 ∀A 6= 0
N.B. : Les éléments diagonaux aii d’une matrice définie positive sont tous
≤ 0.
A0 MA ≤ 0 ∀A
N.B. : Les éléments diagonaux aii d’une matrice définie positive sont tous
≥ 0.
Matrices (semi) définies négatives et (semi) définies positives
• f concave ⇒ f 00 (x ) ≤ 0 ∀x ∈ R
00
• f (x ) < 0 ∀ x ∈ R ⇒ f strictement concave (attention : la
réciproque n’est pas nécessairement vraie).
• f convexe ⇒ f 00 (x ) ≥ 0 ∀ lx ∈ R.
00
• f (x ) > 0 ∀ x ∈ R ⇒ f strictement convexe (attention : la
réciproque n’est pas nécessairement vraie).
Caractérisation des fonctions
Propriétés importantes
Caractérisation
Solution
Soit H la matrice hessienne bordée de f . Elle s’écrit :
0 fx fy 0 y x
H(x , y ) = fx fxx fxy = y 0 1
fy fxy fyy x 1 0
Toute fonction peut être exprimée dans une forme implicite ou une forme
explicite :
Exemples
1. y = mx + b. Forme explicite
2. y − mx − b = 0. Forme implicite
3. f (y , x ; m, b) = 0. Forme implicite
En économie (et en économétrie), on utilise des fonctions en forme implicite
dans lesquelles apparaissent les variables endogènes et exogènes. Bien que y (x )
peut ne pas avoir de forme explicite, ses dérivées (∂y /∂x ) peuvent souvent
(pas toujours) être calculées.
Exemple spécifique
Fonctions implicites - 2
f (x ∗ , y (x ∗ )) = 0
x2 + y2 − 1 = 0
En différentiant, on obtient :
2xdx + 2ydy = 0
dy f1 x
=− =−
dx f2 y
Interprétation
F (x , y (x )) = c
On désire connaître ∂y /∂x à un point donné, (x0 , y (x0 )). On doit faire appel à
la “Chain rule” :
Dérivation
∂F (x0 ,y (x0 ))
Pour que y 0 (x0 ) existe, il faut que ∂y
6= 0. Cette condition est
suffisante.
Fonctions implicites - 4
Exemple 1
Soit
2x 2 + y 2 = 225
y ≥0
• Première méthode :
p
y= 225 − 2x 2
dy 1 1
= (225 − 2x 2 )− 2 (−4x )
dx 2
−4x
= √
2 225 − 2x 2
2x
=−
y
Fonctions implicites - 4
Exemple 1
Soit
2x 2 + y 2 = 225
y ≥0
2x 2 + y 2 − 225 = 0
Dérivée totale : 4xdx + 2ydy = 0
dy 2x
Donc : =−
dx y
Fonctions implicites - 5
Exemple 2
Soit
x 2 − 3xy + y 3 − 7 = 0
Exemple 2
• Dérivée totale :
En substituant :
dy 9−8 1
= =
dx x =4,y =3 27 − 12 15
Fonctions implicites - 5
Exemple 2
dy
y (4) + × (0.3)
dx x =4
1
y (4) ≈ 3 + 0.3 × = 3.02
15
La solution numérique lorsque x = 4.3 donne y = 3.01475. Pas si mal . . .
Fonctions implicites - 6
Exemple 3
Les fonctions implicites sont utilise lorsque l’on traite les fonctions d’utilité.
U(x , y ) = U
U(x ∗ , y ∗ (x ∗ )) = U
∂U ∂U
dx + dy = 0
∂x ∂y
∂y U 0 (x )
=− 0
∂x U (y )
Théorème de l’enveloppe
Théorème de l’enveloppe - 1
Théorème
Soit f (x , a) une fonction C 1 de x ∈ R n et de scalaire a. Pour chaque a, soit la
maximisation non-contrainte suivante :
max f (x ; a)
x
Soit x (a) la solution de ce problème. Supposons que x ∗ (a) est également une
∗
fonction C 1 de a. Alors :
d ∂
f (x ∗ (a), a) = f (x ∗ (a), a)
da ∂a
Théorème de l’enveloppe - 1
Démonstration.
d X ∂f ∗ ∂x ∗ (a) ∂f (x ∗ (a), a)
f (x ∗ (a), a) = (x (a), a) i +
da ∂xi ∂a ∂a
| {z }
=0
∂f (x ∗ (a), a)
=
∂a
Le premier terme est égal à zéro car :
∂f ∗
(x (a), a) = 0 ∀ i = 1, 2, . . . , n.
∂xi
Ce sont les conditions de premier ordre qui assure que a est une solution à
x ∗.
Théorème de l’enveloppe - 2
Exemple
Soit :
y = −x 2 + ax
1. Trouver x ∗ et substitution de la valeur optimale :
dy
= −2x + a = 0
dx
a
x∗ =
2
a2
2
a a
y∗ = − +a =
2 2 4
dy ∗ a
= = x∗
da 2
2. Trouver la dérivée en utilisant le théorème de l’enveloppe :
y ∗ = −(x ∗ )2 + ax ∗
∂y dy ∗
∗=
∂a x =x da
Théorème de l’enveloppe - 3
Le théorème de l’enveloppe est ainsi dénoté car il évalue les valeur maximales
de la fonction pour des valeurs données de a.
Théorème de l’enveloppe - 4
Autre illustration
Cette figure est telle que la dérivée à chaque point est donnée par
∂y ∗
= x ∗ (a)
∂a
Théorème de l’enveloppe - 4
Le multiplicateur de Lagrange
Soit le problème suivant :
max y = f (x1 , x2 , . . . , xn )
s/c g(x1 , x2 , . . . , xn ) = 0
L = f (x1 , x2 , . . . , xn ) + λg(x1 , x2 , . . . , xn )
Maximisation sous contrainte - 1
∂L
= f1 + λg1 = 0
∂x1
∂L
= f2 + λg2 = 0
∂x2
..
.
∂L
= fn + λgn = 0
∂xn
∂L
=g =0
∂λ
Exemple # 1
On veut maximiser la surface rectangulaire d’une clôture de périmètre p. Le
problème s’écrit :
max xy s/c 2x + 2y = p
L = xy + λ(p − 2x + 2y )
Maximisation sous contrainte - 2
∂L
= y − 2λ
∂x
∂L
= x − 2λ
∂y
∂L
= p − 2x − 2y = 0
∂λ
Solution :
y x
= =λ
2 2
p
x =y =
4
p
λ=
8
Maximisation sous contrainte - 2
Interprétation :
Vérification :
Exemple # 2
On veut maximiser la fonction d’utilité suivante sous une contrainte
budgétaire :
1 1
max U = x 2 y 2
s/c x + y = I
Maximisation sous contrainte - 3
Exemple # 2
On veut maximiser la fonction d’utilité suivante sous une contrainte
budgétaire :
1 1
max U = x 2 y 2
s/c x + y = I
1 1
L = x 2 y 2 + λ(I − x − y )
∂L 1 1 1
= x−2 y 2 − λ = 0
∂x 2
∂L 1 1 1
= x 2 y−2 − λ = 0
∂y 2
∂L
=I −x −y =0
∂λ
I I
x = y = ,λ =
2 2
Maximisation sous contrainte - 3
Interprétation de λ :
1 1
f (x , y , 4) = 2 2 2 2 = 2
1 1
f (x , y , 5) = 2.5 2 2.5 2 = 2.5
1
∆f (·) = =λ
2
Maximisation sous contrainte d’inégalité :
Conditions Kuhn-Tucker
Le problème
Énoncé du problème :
Lagrangien :
Exemple # 1 :
Exemple # 2 :
s/c x1 + x2 ≤ 4 et x1 + 2x2 ≤ 9
Le problème
Conditions Kuhn-Tucker :
∂L ∂L
≤ 0, xi ≥ 0, xi =0 ∀i = 1 . . . n
∂xi ∂xi
gj (x) ≤ cj , λj ≥ 0, λj (cj − gj (x)) = 0 ∀j = 1 . . . m
max y = f (x )
s/c g(x ; a) = 0
L = f (x ) + λg(x ; a)
d ∂g(x ; a) ∂
f (x ∗ (a)) = λ = L(x ∗ (a), λ(a), a)
da
| {z } ∂a }
| {z ∂a
| {z }
Dérivée totale Dérivée partielle de la contrainte Dérivée partielle du Lagrangien
Théorème de l’enveloppe sous contrainte - 2
Chain Rule :
d X ∂f (x ∗ (a); a) dx ∗
f (x ∗ (a)) = i
da ∂∂xi da
i
Donc :
d X ∂g dx ∗
f (x ∗ (a)) = −λ i
da ∂xi da
i
Exemple # 2
On veut maximiser la fonction d’utilité suivante sous une contrainte
budgétaire :
1 1
max U = x 2 y 2
s/c x + y = I
La solution était : x ∗ = y ∗ = 2I , λ∗ = I
2
Exercice : Trouver
∂ ∗ ∗
f (x (a), y (a), a) =?
∂x ∗
∂ ∗ ∗
f (x (a), y (a), a) =?
∂y ∗
dx ∗ (a)
=?
da
dy ∗ (a)
=?
da
Dualité
Dualité - 1
Primal vs Dual
Primal vs Dual
Primal :
max z = f (x , y )
s/c x + y = k̄
z ∗ = f (x ∗ , y ∗ )
Dualité - 1
Primal vs Dual
Primal :
max z = f (x , y )
s/c x + y = k̄
z ∗ = f (x ∗ , y ∗ )
Dual :
min k = x + y
s/c f (x , y ) = z ∗
k ∗ = k̄
Dualité - 1
Primal vs Dual
xP∗ = xD∗
yP∗ = yD∗
zP∗ = zD∗
Dualité - 2
Conclusion
Problème Primal :
1 1
max z = x 2 y 2
s/c x + y = 4
1 1
LP = x 2 y 2 + λ(4 − x − y )
1 ∗
xP∗ = yP∗ = 2, λ∗P = ,z = 2
2
Dualité - 2
Conclusion
Problème Primal :
1 1
max z = x 2 y 2
s/c x + y = 4
1 1
LP = x 2 y 2 + λ(4 − x − y )
1 ∗
xP∗ = yP∗ = 2, λ∗P = ,z = 2
2
Problème Dual :
min k = x + y
1 1
s/c 2 = x 2 y 2
1 1
LD = x + y + λ(2 − x 2 y 2 )
1 ∗
xD∗ = yD∗ = 2, λ∗D = , z = 2, k = 4
2
Dualité - 2
Conclusion
Dans le Primal, on a :
fi
λP = −
gi
Dans le Dual, on a :
gi
λD = −
fi
Donc :
1
λP =
λD