Théorie du contrôle Emmanuel Trélat

Exercices
—————————————————

Exercice 1: On considère le mouvement d’un solide rigide en rotation soumis à une force extérieure :

I1 ω̇1 (t) = (I2 − I3 ) ω2 (t) ω3 (t) − ω1 (t)

I2 ω̇2 (t) = (I3 − I1 ) ω3 (t) ω1 (t) − ω2 (t)
I3 ω̇3 (t) = (I1 − I2 ) ω1 (t) ω2 (t) − ω3 (t)

où I1 , I2 , I3 sont les moments d’inertie du solide, i.e., des constantes strictement positives données. Construire une
fonction de Lyapunov permettant de montrer que l’équilibre est asymptotiquement stable.

Corrigé: V (ω1 , ω2 , ω3 ) = 21 (I1 ω12 + I2 ω22 + I3 ω33 ).

—————————————————
R +∞
Exercice 2: Soit g : IR → IR de classe C 1 telle que g(0) = 0 et xg(x) > 0 si x 6= 0, et vérifiant 0 g = +∞ et
R0
−∞
|g| = +∞. Montrer que le point d’équilibre x = 0, ẋ = 0 est globalement asymptotiquement stable pour l’équation
différentielle ẍ(t) + ẋ(t) + g(x(t)) = 0.
2 Rx
Corrigé: V (x, y) = y2 + 0 g(s) ds.

—————————————————

Exercice 3: Lemme de Lyapunov et applications

1. (a) Soit A ∈ Mn (IR) dont les valeurs propres sont de partie réelle strictement négative. Montrer qu’il existe
P ∈ Mn (IR) symétrique définie positive telle que A> P + P A = −In .
Z +∞
>
(Indication : poser P = etA etA dt)
0
(b) En déduire que V (x) = hx, P xi est une fonction de Lyapunov pour le système ẋ(t) = Ax(t) et que l’origine
est globalement asymptotiquement stable.

2. (a) Soit q : IRn → IRn une fonction C 1 telle que q(x) = o(kxk) lorsque x → 0. Montrer que la fonction V
précédente est encore une fonction de Lyapunov pour le système ẋ(t) = Ax(t) + q(x(t)) et que l’équilibre 0
est localement asymptotiquement stable.
(b) Quel résultat peut-on en déduire sur la stabilité des points d’équilibre d’un système autonome ẋ(t) = F (x(t))
où F : IRn → IRn est de classe C 1 ?

—————————————————

1
Exercice 4:
1. On considère le système de contrôle dans IR2
ẋ1 (t) = x2 (t) + b1 u(t),
ẋ2 (t) = −x1 (t) + b2 u(t),
où (b1 , b2 ) ∈ IR2 \ {(0, 0)}. Le contrôle est u(t) ∈ IR.
(a) Montrer que le système est contrôlable, depuis un point quelconque et en temps quelconque.
(b) En déduire que le système est globalement stabilisable vers (0, 0), par feedback linéaire u = Kx et déterminer
toutes les matrices K = (k1 , k2 ) qui le font.
(c) On veut maintenant stabiliser asymptotiquement le système vers l’origine par les techniques de Lyapunov-
LaSalle (Jurdjevic-Quinn), et on veut déterminer un contrôle feedback qui vérifie la contrainte |u| 6 1. On
pose V (x) = 12 (x21 + x22 ).
d
i. Calculer dt V (x(t)).
ii. En déduire un contrôle qui répond à la question (et démontrer la propriété de stabilisation).
2. On considère le système de contrôle dans IRn
ẋ(t) = Ax(t) + bu(t),
où A est une matrice carrée antisymétrique de taille n, et b ∈ IRn . On suppose que le couple (A, b) vérifie la
condition de Kalman.
En posant V (x) = 21 kxk2 , déterminer un contrôle feedback vérifiant la contrainte |u| 6 1, et rendant le système
globalement asymptotiquement stable vers l’origine.

Corrigé:
1. (a) On vérifie la condition de Kalman.
(b) Contrôlable implique stabilisable. Le polynôme caractéristique de A + BK est P (z) = z 2 +
(−b2 k2 − b1 k1 )z + 1 + b1 k2 − b2 k1 , et d’après le critère de Routh il est Hurwitz si et seulement si
−b2 k2 − b1 k1 > 0 et b1 k2 − b2 k1 > 0.
d
(c) i. dt V (x(t)) = u(t)(b1 x1 (t) + b2 x2 (t)).
ii. On choisit
u(t) = −sat(−1, b1 x1 (t) + b2 x2 (t), 1)

 −1 si b1 x1 (t) + b2 x2 (t) 6 −1
= −(b1 x1 (t) + b2 x2 (t)) si −1 6 b1 x1 (t) + b2 x2 (t) 6 1
1 si b1 x1 (t) + b2 x2 (t) > 1


La fonction V est C 1 , positive, ne s’annule qu’en 0, et est coercive et propre. De plus si

d
dt V (x(t)) ≡ 0 alors b1 x1 (t)+b2 x2 (t) ≡ 0 et par dérivation on obtient aussi b1 x2 (t)−b2 x1 (t) ≡
0, d’où x1 (t) = x2 (t) = 0. On conclut par le principe de LaSalle (en fait il vaudrait mieux
définir u de manière lisse ci-dessus pour éviter des ennuis techniques).
2. Comme A> = −A, on a dt d
V (x(t)) = u(t)hb, x(t)i. On choisit
u(t) = −sat(−1, hb, x(t)i, 1)

 −1 si hb, x(t)i 6 −1
= −hb, x(t)i si −1 6 hb, x(t)i 6 1
1 si hb, x(t)i > 1


d
Si dt V (x(t)) ≡ 0 alors hb, x(t)i ≡ 0, et par dérivation, hb, Ax(t)i = 0, puis par dérivations successives,
hb, Ak x(t)i = 0. Comme A> = −A, on en déduit que hx(t), Ak bi = 0 pour tout entier k. La condition
de Kalman implique alors que x(t) = 0. On conclut par LaSalle.

2
Exercice 5: Problème de Zermelo
Le mouvement d’une barque se déplaçant à vitesse constante sur une rivière où il y a un courant c(y) est modélisé par

ẋ(t) = v cos u(t) + c(y(t)), x(0) = 0,

ẏ(t) = v sin u(t), y(0) = 0,

où v est la vitesse et u(t), l’angle de la barque par rapport à l’axe (0x), est le contrôle.

1. Supposons que pour tout y on ait c(y) > v. Quelle est la loi optimale permettant de minimiser le déport x(tf )
pour atteindre la berge opposée ?
2. Résoudre le problème de temps minimal pour atteindre la berge opposée.
3. Résoudre le problème de temps minimal pour atteindre un point M de la berge opposée.

Figure 1: Problème de Zermelo

Corrigé:

1. On a H = px (v cos u + c(y)) + py v sin u, et px = −1, H(tf ) = 0. On trouve

 
v
u = Arccos − .
c(y)
π
2. On a H = px (v cos u + c(y)) + py v sin u + p0 , et px = 0, H(tf ) = 0, puis u = 2.
3. On a H = px (v cos u + c(y)) + py v sin u + p0 , et px = Cste, H(tf ) = 0, puis
px v
cos u = ,
1 − px c(y)

où px doit être choisi de manière à atteindre M (cf méthode de tir), ou bien la solution avec p0 = 0
(anormale) qui est la solution de 1.

3
Exercice 6: Contrôle des équations de Maxwell-Bloch

Les équations de Maxwell-Bloch à valeurs réelles modélisent l’interaction entre la lumière et la matière et décrivent la
dynamique d’un système quantique à deux états à valeurs réelles interagissant avec le champ électromagnétique dans
une cavité optique. Il s’agit du système de contrôle dans IR3

ẋ1 (t) = x2 (t) + u1 (t)

ẋ2 (t) = x1 (t)x3 (t) + u2 (t)
ẋ3 (t) = −x1 (t)x2 (t)

où l’état est x(t) = (x1 (t), x2 (t), x3 (t))> ∈ IR3 et le contrôle est u(t) = (u1 (t), u2 (t)) ∈ IR2 .

1. Remarques générales sur le système. On pose

1 2 1 2
I1 (x) = (x + x23 ), I2 (x) = x + x3 .
2 2 2 1
d d
(a) Calculer dt I1 (x(t)) et dt I2 (x(t)) le long d’une trajectoire quelconque.
(b) Montrer que si u = 0 (système sans contrôle) alors I1 et I2 sont constantes le long de toute trajectoire et
montrer que le système s’écrit alors

ẋ(t) = ∇I1 (x(t)) ∧ ∇I2 (x(t)).

2. Etude des points d’équilibre.

(a) Montrer que tous les points d’équilibre (x̄, ū) du système sont donnés par les familles paramétrées

F1 = {x̄ = (0, b, c), ū = (−b, 0) | b, c ∈ IR}, F2 = {x̄ = (a, 0, c), ū = (0, −ac) | a, c ∈ IR}

(b) Linéariser le système en un point de F1 et donner une condition nécessaire et suffisante de contrôlabilité de
ce système linéarisé.
(c) Linéariser le système en un point de F2 et donner une condition nécessaire et suffisante de contrôlabilité de
ce système linéarisé.
(d) En déduire que le système est localement contrôlable autour de tout point d’équilibre qui n’est pas de la
forme x̄ = (0, 0, c), ū = (0, 0).

3. Stabilisation en x̄ = (a, 0, 0) avec a 6= 0.

Dans cette question, l’objectif est de stabiliser localement le système en le point d’équilibre x̄ = (a, 0, 0), ū =
(0, 0), où a 6= 0 est fixé.
(a) Montrer que le système linéarisé en ce point, δ ẋ = Aδx + Bδu, est stabilisable par feedback linéaire
δu = Kδx.
 
k1 0 0
(b) On cherche une matrice K particulière permettant de stabiliser le système, de la forme K = .
0 k2 0
Montrer que A + BK est Hurwitz si et seulement si k1 < 0 et k2 < −k1 et k2 6= 0.
(c) En déduire que le système non linéaire est localement stabilisable en x̄, et donner la forme des feedbacks.

4
4. Contrôlabilité globale vers l’origine.
On suppose que x1 (0) = x01 , x2 (0) = x02 , x3 (0) = x03 et on veut trouver une stratégie de contrôle permettant
d’atteindre l’origine (0, 0, 0). On suppose d’abord que x01 =6 0.

(a) On pose u1 = −x2 . Montrer que, pour tout T > 0, il existe un contrôle u2 permettant d’amener le système
à x1 (T ) = x01 , x2 (T ) = 0, x3 (T ) = 0.
(b) En déduire une stratégie de contrôle permettant d’atteindre l’origine en temps quelconque (on pourra utiliser
le résultat de la question 1(a)).
(c) Comment faire lorsque x01 = 0 ?

5. Contrôle optimal vers l’origine.

On suppose que x1 (0) = x01 , x2 (0) = x02 , x3 (0) = x03 . L’objectif de cette question est d’amener le système à
l’origine, x(tf ) = 0, en temps minimal, sous la contrainte u1 (t)2 + u2 (t)2 6 1.

(a) Ecrire le Hamiltonien du problème de contrôle optimal. On note l’adjoint (p, p0 ) avec p = (p1 , p2 , p3 ).
(b) Ecrire les équations extrémales adjointes.
(c) Montrer que le Hamiltonien maximisé est nul le long de toute extrémale.
(d) Montrer par l’absurde que la fonction t 7→ p1 (t)2 +p2 (t)2 ne s’annule identiquement sur aucun sous-intervalle.
(e) Résoudre la condition de maximisation du Hamiltonien et donner les contrôles optimaux.

6. Oscillateur auto-entretenu de Van der Pol dans le système de Maxwell-Bloch.

Dans cette question on suppose que u1 = 0 et on contrôle le système uniquement à l’aide de u2 .

(a) A l’aide de 1(a), montrer que le système se réduit à

ẋ1 (t) = x2 (t)

1
ẋ2 (t) = I2 x1 (t) − x1 (t)3 + u2 (t)
2
avec I2 = 21 x1 (0)2 + x3 (0), i.e., à l’équation de Van der Pol avec contrôle ẍ1 − I2 x1 + 12 x31 = u2 (et noter
que x3 (t) = I2 − 12 x1 (t)2 ).
(b) On pose V (x1 , x2 ) = 12 x22 − I22 x21 + 18 x41 . Calculer d
dt V (x1 (t), x2 (t)) et remarquer que si u2 = 0 alors V est
constante le long des trajectoires.
(c) Soit C > 0. On pose u2 √ = −x2 (V (x1 , x2 ) − C). Montrer que toute trajectoire telle que (x1 (0), x2 (0)) n’est
pas égal à (0, 0) ni à (± 2I2 , 0) lorsque I2 > 0, converge vers la courbe définie par V (x1 , x2 ) = C.

5
Corrigé:
1. (a) I˙1 = x2 u2 et I˙2 = x1 u1 .
(b) Trivial.
2. (a) D’après la troisième équation, on a soit x1 = 0, ce qui conduit à la famille F1 , soit x2 = 0, ce qui
conduit  F2 . 
 à la famille 
0 1 0 1 0
(b) A =  c 0 0, B = 0 1, et par Kalman la CNS de contrôlabilité est b 6= 0.
−b 0 0 0 0
   
0 1 0 1 0
(c) A =  c 0 a, B = 0 1, et par Kalman la CNS de contrôlabilité est a 6= 0.
0 −a 0 0 0
(d) Contrôlabilité du linéarisé implique contrôlabilité locale.
3. (a) D’après 2(c), le système linéaire (avec c = 0 et a 6= 0) est contrôlable donc stabilisable par
feedback linéaire.
(b) On calcule χA+BK (λ) = λ3 − (k1 + k2 )λ2 + (a2 + k1 k2 )λ − a2 k1 et on obtient par la table de
Routh que A + BK est Hurwitz si et seulement si

k1 < 0, k1 + k2 < 0, (k1 + k2 )(a2 + k1 k2 ) < a2 k1 .

La troisième condition s’écrit k2 (k12 + a2 + k1 k2 ) < 0. Si k2 < 0 alors k12 + a2 + k1 k2 > 0 et il n’y
a pas d’autre condition. Si k2 > 0 (notons qu’on ne peut pas avoir k2 = 0) alors on doit avoir
k12 +a2 k12 +a2
k2 < −k1 et k2 < −k 1
(avec −k1 > 0), mais on a −k1 < −k 1
(car k12 < k12 + a2 ). D’où la CNS
demandée.
(c) Le feedback u1 = k1 (x1 − a), u2 = k2 x2 avec k1 , k2 vérifiant la CNS, rend le système LAS en x̄.
4. (a) Avec u1 = −x2 on a x1 (t) = Cste = x01 et le système se réduit au système linéaire autonome
x01
   
0 0 0 1
ẋ2 (t) = x1 x3 (t) + u2 (t), ẋ3 (t) = −x1 x2 (t) dont les matrices sont A2 = et B 2 =
−x01 0 0
et qui est donc contrôlable en temps quelconque par Kalman.
(b) D’après 4(a), on amène d’abord le système au point (x01 , 0, 0). Ensuite, on pose u2 = 0 et alors,
par 1(a), I1 reste constante donc x2 (t) = x3 (t) restent égaux à 0 et le système se réduit à ẋ1 = u1
et alors on peut trivialement amener x1 à 0 en temps quelconque.
(c) Si x01 = 0, on pose u1 = −x2 + 1 pendant un temps quelconque, ce qui amène le système à un
point en lequel x1 6= 0. Puis on applique la stratégie précédente.
5. (a) H = p1 x2 + p2 x1 x3 − p3 x1 x2 + p1 u1 + p2 u2 + p0 .
(b) ṗ1 = −p2 x3 + p3 x2 , ṗ2 = −p1 + p3 x1 , ṗ3 = −p2 x1 .
(c) Le temps final libre et le problème est autonome, donc le Hamiltonien maximisé est nul le long
de toute extrémale.
(d) Par l’absurde, si p1 ≡ 0 et p2 ≡ 0 sur un intervalle I alors, d’après 5(b), on a aussi p3 x1 ≡ 0
et p3 x2 ≡ 0 sur I, p3 constante sur I, et d’après 5(c) on a aussi −p3 x1 x2 + p0 ≡ 0 sur I. On a
forcément p3 6= 0 (sinon on aurait aussi p0 = 0 et donc (p, p0 ) = (0, 0): absurde), donc x1 ≡ 0 et
x2 ≡ 0 sur I, et p0 = 0. Ainsi, sur l’intervalle I, x1 (t) et x2 (t) sont identiquement nuls, x3 (t) est
donc constante (et on doit avoir u1 = −x2 et u2 = −x1 x3 sur I): l’état complet est donc constant
sur I. Une telle stratégie ne peut pas être temps-minimale. On a donc obtenu une contradiction.
(e) u1 (t) = √ p12(t) 2
et u2 (t) = √ p22(t) 2
.
p1 (t) +p2 (t) p1 (t) +p2 (t)

6. (a) Trivial.
(b) V̇ = x2 u2 .

6
(c) Avec u2 = −x2 (V − C) le système dynamique devient

ẋ1 = x2
 
1 1 2 I2 2 1 4
ẋ2 = I2 x1 − x31 − x2 x − x1 + x1 − C
2 2 2 2 8
√
Ses points d’équilibre sont (0, 0) et aussi (± 2I2 , 0) lorsque de plus I2 > 0. On a V̇ = −x22 (V −C).
La courbe V = C est difféomorphe à un cercle unité (voir figure 2) et l’ensemble {V 6 C} est
l’intérieur de ce disque déformé (contenant le ou les points d’équilibre). Prenons un point initial
distinct des points d’équilibre. Si V < C (resp., V > C) en ce point alors V a tendance à croître
(resp., décroître). On déduit du principe de LaSalle que toute trajectoire ne partant pas d’un
point d’équilibre converge vers la courbe V = C.

1
(a) I2 = 2
, C=1 (b) I2 = − 12 , C = 1

Figure 2: Convergence vers la courbe d’équation V = C

7
Exercice 7: Commande optimale d’un réacteur chimique

Un réacteur chimique industriel permet de fabriquer un produit à partir d’un réactif par une réaction irréversible du
premier ordre avec dégagement de chaleur. Pour refroidir le réacteur, on fait circuler le contenu à travers un échangeur
thermique; la chaleur passe ainsi dans le liquide de refroidissement qui circule dans le circuit secondaire de l’échangeur
avec un débit u(t). Après diverses réductions de modèle, le système s’écrit sous la forme
a2
−x
ẋ1 (t) = −a1 x1 (t) − kx1 (t)e 2 (t) + r1
a2
−x
ẋ2 (t) = a3 (a4 − x2 (t)) + a5 kx1 (t)e 2 (t) + a6 (u(t) − x2 (t)) − r2

où x1 (t) est la concentration du réactif au temps t, x2 (t) est la température du réacteur au temps t, et r1 et r2 sont
des réels strictement positifs. Par ailleurs, les coefficients k et ai , i = 1 . . . 6, sont des réels positifs. On suppose que
le contrôle u(t) vérifie la contrainte
|u(t)| 6 M
où M est un réel positif. Soit T > 0 un temps final fixé. Dans ce qui suit, l’état initial est fixé :

x1 (0) = x01 , x2 (0) = x02 ,

et l’état final (x1 (T ), x2 (T )) est libre.

1. Dans cette première question, on cherche à minimiser la quantité de réactif x1 (T ).

On note les variables adjointes p et p0 .

(a) Ecrire le Hamiltonien du problème de contrôle optimal et les équations des extrémales.
(b) Ecrire les conditions de transversalité sur le vecteur adjoint.
(c) Montrer que p0 6= 0. Que posez-vous pour la suite ?
(d) Démontrer que les contrôles optimaux sont bang-bang, et préciser leur expression.
(indication : démontrer, par l’absurde, que p2 (t) ne peut s’annuler identiquement sur un sous-intervalle)
(e) Montrer qu’il existe ε > 0 tel que u(t) = M , pour presque tout t ∈ [T − ε, T ] (autrement dit, le contrôle u
vaut M à la fin).
(f) On suppose que a5 = 0. Démontrer que le contrôle optimal est constant sur [0, T ], égal à M .

2. Dans cette deuxième question, on cherche toujours à minimiser la quantité de réactif x1 (T ), mais en minimisant
aussi la température x2 (t) au cours de la réaction, et l’énergie fournie. Le compromis choisi et de chercher à
minimiser le coût Z T
CT (u) = (u(t)2 + βx2 (t)2 )dt + x1 (T ),
0
où β > 0 est fixé.

(a) Ecrire le Hamiltonien du problème de contrôle optimal et les équations des extrémales.
(b) Ecrire les conditions de transversalité sur le vecteur adjoint.
(c) Montrer que p0 6= 0. Que posez-vous pour la suite ?
(d) Détailler la condition de maximisation du principe du maximum de Pontryagin, et donner l’expression des
contrôles optimaux.
(e) Montrer qu’il existe ε > 0 tel que u(t) = 21 a6 p2 (t), pour presque tout t ∈ [T − ε, T ].
(f) On suppose que a5 = β = 0. Démontrer que le contrôle optimal est strictement positif sur [0, T ], et préciser
son expression.

8
Corrigé :

1. (a) Le Hamiltonien est

a2 a2
H = p1 (−a1 x1 − kx1 e− x2 + r1 ) + p2 (a3 (a4 − x2 ) + a5 kx1 e− x2 + a6 (u − x2 ) − r2 ).
Les équations des extrémales sont
a2 a2
ṗ1 = p1 (a1 + ke− x2 ) − p2 a5 ke− x2
a 2 a2 a2 a2
ṗ2 = p1 kx1 2 e− x2 + p2 (a3 + a6 − a5 kx1 2 e− x2 )
x2 x2
(b) Les conditions de transversalité sur le vecteur adjoint sont alors p1 (T ) = p0 et p2 (T ) = 0, avec
p0 6 0.
(c) D’où il découle forcément que p0 6= 0. On pose alors p0 = −1.
(d) Il résulte de la condition de maximisation que u(t) = M ∗ signe(p2 (t)) (bang-bang), pourvu que
p2 ne s’annule pas identiquement sur un sous-intervalle.
Par l’absurde, si p2 s’annule identiquement sur un sous-intervalle, alors, d’après l’équation de p2 ,
on obtient aussi p1 = 0. Par unicité de Cauchy, on obtient alors p1 = p2 = 0 sur tout l’intervalle
[0, T ], ce qui contredit p1 (T ) = −1.
(e) A la fin p2 (T ) = 0 et p1 (T ) = −1, d’où, par l’équation de p2 , ṗ2 (T ) < 0. Donc, à la fin p2 est
strictement décroissante, et comme p2 (T ) = 0, on obtient p2 (t) > 0 sur un sous-intervalle, et
donc, u(t) = M à la fin.
(f) Si de plus a5 = 0, alors, d’après l’équation de p1 , p1 (t) ne peut s’annuler (par unicité de Cauchy),
d −(a3 +a6 )t
donc p1 (t) < 0 pour tout t ∈ [0, T ]. Donc ṗ2 < (a3 +a6 )p2 . Par conséquent, dt e p2 (t) < 0,
−(a3 +a6 )t −(a3 +a6 )T
d’où il résulte que e p2 (t) > e p2 (T ) = 0, et donc, p2 (t) > 0, pour tout t ∈ [0, T ].
Donc u = M sur tout l’intervalle.
2. (a) Le Hamiltonien est
a2 a2
H = p1 (−a1 x1 − kx1 e− x2 + r1 ) + p2 (a3 (a4 − x2 ) + a5 kx1 e− x2 + a6 (u − x2 ) − r2 ) + p0 (u2 + βx22 ).
Les équations des extrémales sont
a2 a2
ṗ1 = p1 (a1 + ke− x2 ) − p2 a5 ke− x2
a2 a2 a2 a2
ṗ2 = p1 kx1 2 e− x2 + p2 (a3 + a6 − a5 kx1 2 e− x2 ) − 2p0 βx2
x2 x2
(b) Les conditions de transversalité sur le vecteur adjoint sont p1 (T ) = p0 et p2 (T ) = 0, avec p0 6 0.
(c) D’où il découle forcément que p0 6= 0. On pose alors p0 = −1.
(d) La condition de maximisation est
max (a6 p2 (t)u − u2 ).
−M 6u6M

La fonction à maximiser est quadratique, son maximum absolu (sans tenir compte des contraintes)
et atteint pour u = 21 a6 p2 (t), d’où il résulte que
si 12 a6 p2 (t) < −M,

 −M
1
u(t) = a6 p2 (t) si | 21 a6 p2 (t)| < M,
 2
M si 21 a6 p2 (t) > M.
(e) A la fin, p2 (T ) = 0, donc par continuité, p2 (t) reste petit sur un intervalle du type [T − ε, T ], et
donc | 21 a6 p2 (t)| < M sur cet intervalle, et donc, u(t) = 12 a6 p2 (t) à la fin.
(f) Si de plus a5 = β = 0, alors, comme en 1.f, on montre que p2 (t) > 0, pour tout t ∈ [0, T ]. Donc
u > 0 sur tout l’intervalle, et vaut soit M soit 12 a6 p2 (t) comme ci-dessus.

9
Exercice 8: Contrôle de dynamiques collectives

Question préliminaire:
Soient N et m des entiers naturels non nuls. Soient A = (aij )16i,j6N une matrice carrée réelle de taille N , et
B = (bij )16i6N, 16j6m une matrice réelle de taille N × m, telles que le couple (A, B) vérifie la condition de Kalman.
Soit d ∈ IN∗ . Montrer que le système de contrôle dans (IRd )N
N
X m
X
v̇i (t) = aij vj (t) + bij uj (t), i = 1 . . . N,
j=1 j=1

où vi (t) ∈ IRd et uj (t) ∈ IRd , est contrôlable en temps quelconque, depuis un point initial quelconque.

Corrigé: On utilise la notation du produit de Kronecker de matrices: le système s’écrit sous la forme
v̇(t) = (A ⊗ Id )v(t) + (B ⊗ Id )u(t), où par définition les matrices A ⊗ Id et B ⊗ Id sont constituées
des blocs d × d respectifs aij Id et bij Id . On voit facilement que, pour le produit habituel de matrices:
(A ⊗ Id )k (B ⊗ Id ) = Ak B ⊗ Id , et la condition de Kalman s’ensuit pour le système en dimension dN .

Contrôle de dynamiques collectives.

Soient d et N des entiers naturels non nuls. On note k · k la norme Euclidienne de IRd , et h·, ·i le produit scalaire
associé. Soit M > 0 fixé. On considère le système (dit de Krause) de contrôle
N
X
v̇i (t) = σij (vj (t) − vi (t)) + ui (t), i = 1 . . . N, (1)
j=1

avec vi (t) ∈ IRd , les contrôles sont ui (t) ∈ IRd . On suppose que les coefficients σij sont symétriques et positifs:
σij = σji > 0, pour i, j = 1, . . . , N . Ce système modélise un réseau de N agents en interaction, et σij est le coefficient
d’interaction entre les agents i et j.
On appelle consensus un point d’équilibre du système (1) pour lequel ui = 0 et vi = vj pour tous les indices i, j.

1. Stabilisation.
N N
1 X 1 X
(a) On pose v̄(t) = vi (t) et ū(t) = ˙
ui (t). Montrer que v̄(t) = ū(t).
N i=1 N i=1
N
1 X
(b) On définit la variance du groupe V (t) = kvi (t) − vj (t)k2 .
2N 2 i,j=1
N
1 X
Montrer que V (t) = kvi (t) − v̄k2 , puis que
N i=1

N N
1 X 2 X
V̇ (t) = − σij kvi (t) − vj (t)k2 + hvi (t) − v̄(t), ui (t)i.
N i,j=1 N i=1

(c) Dans cette question, on suppose qu’il n’y a pas de contrôle: ui = 0 pour tout i. Démontrer que, si σij > 0
pour tous les indices i, j = 1, . . . , N , alors le système est globalement asymptotiquement stable vers un
consensus. Déterminer quel est ce consensus en fonction des données initiales (on remarquera que, en
l’absence de contrôle, on a v̄(t) = Cst).
(d) Dans le cas général où σij > 0, le système ne converge pas forcément naturellement vers un consensus (en
donner un exemple simple). Déterminer des contrôles feedbacks très simples qui stabilisent asymptotique-
ment le système vers un consensus. Quel est ce consensus ?

10
 (e) On veut maintenant déterminer une stratégie de contrôle feedback au consensus, qui soit à la fois “parci-
monieuse" (i.e., à tout instant au plus un contrôle ui est non nul), et mène le système au consensus en
temps fini. On impose de plus les contraintes kui (t)k 6 M pour tout i.
On définit un tel contrôle feedback de la manière suivante: tant qu’on n’est pas arrivé au consensus, on
considère le plus petit indice j tel que kvj − v̄k = max kvi − v̄k, et on pose
16i6N

vj − v̄
uj = −M et ui = 0 si i 6= j.
kvj − v̄k

Démontrer que ce feedback répond à la question.

2. Contrôlabilité. On suppose que seul le premier agent est contrôlé, i.e., ui = 0 pour i = 2, . . . , N . On ne met
n
X
pas de contrainte sur le contrôle pour l’instant. On pose aij = σij si i 6= j et aii = − σik , et on définit la
k=1
k6=i

>
matrice carrée A = (aij )16i,j6N de taille N , et la matrice colonne B = 1 0 ··· 0 ∈ IRN .
(a) A l’aide de l’exercice 1, montrer que le système (1) est contrôlable (en temps quelconque, depuis un point
quelconque) si et seulement si le système ẋ(t) = Ax(t) + Bu(t) l’est.
(b) Montrer qu’il existe une matrice orthogonale P telle que P −1 AP = diag(0, λ2 , . . . , λN ) (on remarquera que

>
1 · · · 1 ∈ ker A).

>
(c) Après avoir justifié qu’on peut écrire P −1 B = 1 α2 · · · αN , démontrer qu’une condition nécessaire
et suffisante de contrôlabilité est : 0, λ2 , . . . , λN distinctes deux à deux, et α2 · · · αN 6= 0.
(d) En imposant les contraintes kui (t)k 6 M pour tout i, en déduire que, sous cette condition, le système (1)
est localement contrôlable au voisinage de tout consensus.
(e) Démontrer que, partant d’une condition initiale quelconque, on peut mener le système (1) à n’importe quel
consensus, avec un contrôle parcimonieux, en temps suffisamment grand, et sous les contraintes kui (t)k 6 M
pour tout i.
3. Contrôle optimal. Soient v ∗ ∈ IRd . On considère le problème de contrôle optimal de mener le système (1) en
temps minimal tf d’un point initial fixé vers un point de consensus quelconque (i.e., tel que tous les vi (tf ) soient
égaux), sous les contraintes kui (t)k 6 M pour tout i.
(a) Appliquer le principe du maximum de Pontryagin à ce problème de contrôle optimal:
i. Ecrire le Hamiltonien du problème (on note pi ∈ IRd le vecteur adjoint associé à vi ∈ IRd ).
ii. Ecrire les équations extrémales.
iii. Ecrire les conditions de transversalité sur le vecteur adjoint au temps final.
iv. Ecrire la condition de maximisation.
v. Montrer que le Hamiltonien maximisé est nul le long de toute extrémale.
vi. Démontrer que p0 6= 0.
N
X
(b) Démontrer que pi (t) = 0 pour tout t ∈ [0, T ].
i=1
(c) En lien avec la question 2. (notamment 2.(c)), et en utilisant la matrice A définie dans cette question, on
suppose que chaque couple (A, Bi ) vérifie la condition de Kalman, pour tout i, où Bi ∈ IRd est la colonne
dont tous les éléments sont nuls sauf le i-ème qui est égal à 1.
Démontrer que les contrôles optimaux sont bang-bang (i.e., saturent la contrainte).
Indication: on montrera que t 7→ pi (t) est analytique, et on raisonnera par l’absurde.

11
Corrigé:
1. (a) Calcul.
(b) Calcul.
PN
(c) On a V̇ 6 −εV pour un ε > 0, donc vj (t) → v̄ = N1 i=1 vi (0).
(d) Prendre uj = −(vj − v̄) (éventuellement, saturé). On note que v̄ reste constante, donc on converge
vers le même consensus qu’à la question précédente.
√ p p
(e) Par définition, on obtient V̇ 6 −2 M N V , d’où V (t) 6 V (0) − MN t tant qu’on n’est pas
p
au consensus. On atteint donc le consensus en temps fini tf 6 M N V (0), avec un contrôle
parcimonieux.
2. (a) Application directe de l’exercice 1.

>
(b) 1 · · · 1 ∈ ker A car la somme des colonnes est nulle, et A est symétrique donc diagonalisable
par matrice orthogonale.

>
(c) La première colonne de P est 1 · · · 1 , donc la première ligne de P −1 = P > est 1 · · · 1 .



>
>
Comme B = 1 0 · · · 0 , la première colonne de P −1 s’écrit 1 α2 · · · αN . Concer-
nant les matrices de Kalman, on a
···
 
1 0 0
 α2 λ2 α2 λ2N −1 α2 
P −1 K(A, B) = K(P −1 AP, P −1 B) =  .
 
. ..
 .. .. 
. 
−1
αN λN αN ··· λN
N αN
et en reconnaissant un déterminant de Van Der Monde, on obtient la CNS de contrôlabilité.
(d) Trivial.
(e) On applique 1.(a)v. pour s’approcher (en temps grand) d’un consensus, puis on applique itéra-
tivement le résultat de contrôlabilité locale en un consensus, le long d’un chemin de points de
consensus (possible car l’ensemble des consensus est connexe par arcs).
N
X N
X
3. (a) i. H = σij hpi , vj − vi i + hpi , ui i + p0
i,j=1 i=1
N
X
ii. ṗi = − σij (pj − pi )
j=1
N
X
iii. L’ensemble cible étant la diagonale, on obtient pi (T ) = 0.
i=1
iv. ui (t) = M kppii (t)k
(t)
pourvu que pi (t) 6= 0.
v. Système autonome, et temps final libre.
vi. Au temps final, H(tf ) = 0, et comme on a consensus, on obtient i kpi (tf )k + p0 = 0 (le
P
Hamiltonien maximisé vaut toujours cela, même si pi (tf ) = 0). Par l’absurde, si p0 = 0 alors
on obtient pi (tf ) = 0 pour tout i: absurde.
P P
(b) On a i ṗi = 0 donc i pi (t) = Cste, et cette constante est nulle en prenant t = T .
(c) Il faut montrer que, pour tout i pi (t) ne s’annule identiquement sur aucun sous-intervalle. On
raisonne par l’absurde. S’il existe un indice i tel que pi (t) s’annule identiquement sur un sous-
intervalle: comme p(t) est solution d’un système linéaire, il est combinaison linéaire d’exponentielles,
donc est analytique. Donc pi (t) s’annule partout sur [0, tf ]. Par hypothèse, (A, Bi ) vérifie Kalman
Rt
donc on a l’inégalité d’observabilité 0 f kBi> pi (t)k2 dt > ckp(0)k2 , dont on déduit que p ≡ 0. Mais
alors, en reprenant le raisonnement de la question 3.(a)vi., on obtient aussi p0 = 0, ce qui est
absurde.

12
Exercice 9: Phénomène de turnpike

Synopsis: On considère un problème de contrôle optimal, en temps final fixé T > 0 :

ẋ(t) = f (x(t), u(t))

x(0) ∈ M0 , x(T ) ∈ M1 (OCP)T
1 T 0
Z
min f (x(t), u(t)) dt
T 0

avec x(t) ∈ X et u(t) ∈ U (notons que le terme T1 dans le minimum ne sert à rien : il n’est écrit que pour faciliter le
changement de variable qui suit).
Pour simplifier, on suppose que (OCP)T a une unique solution optimale, notée (xT (·), uT (·)).
On suppose que T est grand : T  1. On pose ε = T1 qui est alors un petit paramètre : 0 < ε  1. En posant
s = εt = Tt , y(s) = x(t) = x(T s), v(s) = u(t) = u(T s), on se ramène au problème de contrôle optimal en temps final
fixé égal à 1 :

εy 0 (s) = f (y(s), v(s)))

y(0) ∈ M0 , y(1) ∈ M1
Z 1
min f 0 (y(s), v(s)) ds
0

Comme ε  1, on a, de manière formelle, f (y(s), v(s))) ' 0.

On s’attend donc à ce que la solution optimale (xT (·), uT (·)) du problème de contrôle optimal dynamique (OCP)T
soit “proche" (dans un sens à préciser) de la solution optimale du problème de minimisation

min{f 0 (x, u) | (x, u) ∈ X × U, f (x, u) = 0} (SOCP)

appelé problème de contrôle optimal statique. Supposons pour simplifier que (SOCP) a une unique solution optimale,
notée (x̄, ū).
C’est le “phénomène de turnpike" : lorsqu’on se rend, en voiture, d’un point initial à un point final, si l’origine et
la destination sont suffisamment proches, alors on va prendre une certaine route, mais certainement pas une autoroute
car cela ne vaut pas le coup. Alors que, si l’origine et la destination sont loin l’une de l’autre (autrement dit, le temps
de transfert est grand), alors cela vaudra toujours le coup de prendre l’autoroute (“turnpike" = autoroute en anglais).
La trajectoire optimale consiste alors à rejoindre dès que possible l’autoroute (par une première trajectoire transitoire),
puis à rester (longtemps) sur l’autoroute, puis à quitter l’autoroute et rejoindre (par une dernière trajectoire transitoire)
la destination.
turnpike (highway)

initial
final
initial final

Le phénomène de turnpike stipule que, si T  1, à part au début et à la fin de l’intervalle de temps [0, T ], i.e., à
part au voisinage de t = 0 et de t = T , on a x(t) ' x̄ et u(t) ' ū.
De plus, on peut appliquer le principe du maximum de Pontryagin à (OCP)T , obtenant un vecteur adjoint
pT (·) (supposé unique, et normal, pour simplifier), et la règle des multiplicateurs de Lagrange à (SOCP), obtenant
un multiplicateur p̄ (supposé unique, et normal, pour simplifier). On peut alors ajouter au postulat de turnpike
l’approximation pT (t) ' p̄.

13
Turnpike dans le cas linéaire quadratique : On se propose de démontrer le phénomène de turnpike exponentiel dans le
cas linéaire-quadratique. On considère le problème de contrôle optimal dynamique en temps final fixé T > 0 :
ẋ(t) = Ax(t) + Bu(t)
x(0) = x0 , x(T ) = x1 (OCP)T
Z T
x(t)> Qx(t) + u(t)> U u(t)i dt


min
0
n m
où x(t) ∈ IR et u(t) ∈ IR , et où Q et U sont des matrices symétriques définies positives.
Soit (xT (·), uT (·)) l’unique solution optimale de (OCP)T (elle est unique par stricte convexité). On suppose que
(A, B) vérifie la condition de Kalman.
1. Application du principe du maximum de Pontryagin à (OCP)T .
(a) Montrer qu’il n’y a pas d’extrémale anormale. On posera p0 = −1/2.
(b) Ecrire le système extrémal. On note pT (·) l’adjoint et on pose
A BU −1 B >
 
M=
Q −A>

2. Etude spectrale.
(a) Montrer, en utilisant la condition de Kalman sur (A, B), que
ker(A> − λIn ) ∩ ker(B > ) = {0} ∀λ ∈ C

(b) Montrer que la matrice M n’a aucune valeur propre imaginaire pure.
On dit que la matrice M est hyperbolique, i.e., elle n’a que des valeurs propres à partie réelle non nulle. Il
existe alors une matrice réelle P , carrée, de taille 2n, telle que
 
−1 M1 0
P MP =
0 M2
où la matrice M1 n’a que des valeurs propres à partie réelle < 0, et M2 n’a que des valeurs propres à partie
réelle > 0.
3. Démontrer la propriété de turnpike exponentiel : il existe des constantes C > 0 et ν > 0, indépendantes de T ,
telles que
kxT (t) − x̄k + kuT (t) − ūk + kpT (t) − p̄k 6 C(e−νt + e−ν(T −t) ) ∀t ∈ [0, T ].

Corrigé:
1. Le Hamiltonien du système est H(x, p, p0 , u) = hp, Axi + hp, Bui + p0 (x> Qx + u> U u).
(a) Si p0 = 0 alors la condition ∂H ∂u = 0 donne hp(t), Bi = 0, et en dérivant successivement et en
utilisant le fait que ṗ(t) = −A> p(t), on obtient hp(t), Ak Bi = 0, ce qui donne une contradiction
avec la condition de Kalman car p(t) 6= 0.
−1 >
(b) En posant p0 = −1/2, la condition ∂H ∂u = 0 conduit à uT (t) = U B pT (t), et le système extrémal
est
ẋT (t) = AxT (t) + BU −1 B > pT (t)
ṗT (t) = QxT (t) − A> pT (t)
i.e.,
A BU −1 B >
      
d xT (t) xT (t) xT (t)
= = M
dt pT (t) Q −A> pT (t) pT (t)

14
2. (a) Soit z ∈ Cn \ {0} tel que A> z = λz et B > z = 0. Alors B > A> z = λB > z = 0 et par récurrence,
B > (A> )k z = 0 pour tout k ∈ IN. La condition de Kalman implique que z = 0.
 
x
(b) Soit (x, y) ∈ Cn × Cn et soit µ ∈ IR tel que (M − iµ) = 0. Alors
y

(A − iµ)x + BU −1 B > y = 0
Qx − (A> + iµ)y = 0

donc x = Q−1 (A> + iµ)y et donc (A − iµ)Q−1 (A> + iµ)y + BU −1 B > y = 0. En multipliant à
gauche par y > , on obtient kQ−1/2 (A> + iµ)yk2 + kU −1/2 B > yk2 = 0 et donc (A> + iµ)y = 0 et
B > y = 0. D’où y = 0 par la question 2(a). Donc M n’a aucune valeur propre imaginaire pure.
   
x z1
3. En posant =P , le système extrémal donne
p z2
   
d z1 (t) z1 (t)
= P −1 M P
dt z2 (t) z2 (t)

donc ż1 (t) = M1 z1 (t) et z2 (t) = M2 z2 (t). La matrice M1 n’a que des valeurs propres à partie réelle < 0,
donc il existe des constantes C1 > 0 et ν1 > 0, ne dépendant pas de T , telles que kz1 (t)k 6 C1 e−ν1 t .
Pour z2 (t), on inverse le temps et on applique le même argument, d’où kz2 (t)k 6 C2 e−ν2 (T −t) . On
conclut en remarquant que xT (t) et pT (t) sont des combinaisons linéaires de z1 (t) et z2 (t).

15