Mat 2717 hiver 2021 tp 4

1. Expliquez de façon combinatoire, sans faire de calculs, pourquoi dans le modèle des urnes
d’Ehrenfest, la loi binomiale est la loi stationnaire.

2. Soit π une loi stationnaire pour une chaı̂ne de Markov. Montrez les résultats suivants,

1. Si i → j et πi > 0 alors πj > 0,

2. Si la chaı̂ne est irréductible alors πj > 0 pour tout j ∈ S.

3. Montrez les résultats suivants,

(n) (n)
1. S’il existe k, ` ∈ S tels que pk` −−−−→ 0 alors dès que k → i et j → ` on obtient pij −−−−→ 0.
n→∞ n→∞

2. Pour une chaı̂ne de Markov irréductible on se retrouve toujours dans l’une ou l’autre des
situations suivants,
(n)
pij −−−−→ 0 pour tout i, j ∈ S,
n→∞
(n)
pij 6−−−−→ 0 pour tout i, j ∈ S,
n→∞

(n)
3. Pour une chaı̂ne irréductible, s’il existe k, ` ∈ S tels que pk` −−−−→ 0 alors il n’existe pas de
n→∞
loi stationnaire.

4. Certains probabilistes définissent la notion de récurrent nul pour un état i par i est récurrent
et
n
1 X (k)
pii −−−−→ 0.
n n→∞
k=1

Montrez les résultats suivants,

1. Pour une chaı̂ne irréductible si un état est récurrent nul alors tous les autres états le sont
aussi.
(n)
2. Si i est un état récurrent et pii −−−−→ 0 alors i est récurrent nul.
n→∞

5. Considérons une chaı̂ne irréductible et réversible par rapport à une loi stationnaire π avec
| S |= N . Montrez que la matrice P des probabilités de transition est diagonalisable et les valeurs
propres de P sont toutes réelles.

6. Soit P une matrice de transitions et | S |= N . Soit α = min{pij : i, j ∈ S}. Supposons que

α > 0. Soit u un vecteur colonne de dimension N dont les coordonnées sont toutes égales à 1.
Montrez directement qu’il existe un vecteur π : N × 1 tel que

P n −−−−→ uπ
n→∞

De plus, montrez que π représente une loi stationnaire.

1
 Solutionnaire

1. On choisit un nombre au hasard de façon uniforme parmi {0, . . . , 2N − 1} et on l’écrit en

base 2, avec des 0 et des 1. Chacun des N chiffres a probabilité 1/2 de prendre la valeur 1 avec
indépendance. Le nombre de 1 dans le chiffre donne la valeur de X0 . On choisit un des chiffres
au hasard, si c’est un 0 on change pour 1 et si c’est 1 on change pour 0. Le nombre de 1 dans le
nombre donne la valeur de X1 . Ici encore, chacun des N chiffres, a probabilité 1/2 de prendre la
valeur 1 avec indépendance. La loi de X0 est identique à la loi de X1 .

(n)
2. Comme i → j il existe n > 0 tel que pij > 0. On obtient,

(n) (n)
X
πj = πk pkj ≥ πi pij > 0.
k∈S
P
Comme i∈S πi = 1 il existe i ∈ S tel que πi > 0. La chaı̂ne est irréductible donc pour chaque
(n )
j ∈ S, il existe nj tel que pij j > 0 d’où i → j pour tout j ∈ S. On s’est ramené aux conditions
de l’exercice précédent.

(r) (s)
3. Il existe r, s > 0 tels que pki , p`j > 0. Ainsi,

(n) 1 (r) (n) (s)

pij = p p p`j
(r) (s) ki ij
pki p`j
1 (r+n+s)
≤ p
(r) (s) k`
pki p`j
−−−−→ 0
n→∞

(n)
Si la chaı̂ne est irréductible alors, dès que pk` −−−−→ 0 pour un certain choix de k, ` la propriété
n→∞
se repercute sur tous les choix de i, j ∈ S.
(n)
Si une loi stationnaire existe, la chaı̂ne est irréductible et pk` −−−−→ 0 alors
n→∞
X
πj = πk pkj
k∈S
(n)
X
= πk pkj , pour tout n
k∈S
(n)
X
= lim πk pkj ,
n→∞
k∈S
(n)

X
= πk lim p convergence dominée
n→∞ kj
k∈S
= 0 pour tout j ∈ S

ce qui est absurde.

4. Supposons que i est récurrent nulle. Montrons que pour une chaı̂ne irréductible j est récurrent

2
 (r) (s)
nul pour tout j ∈ S. Il existe r, s > 0 tels que pij , pji > 0. Ainsi,
n n
−1 1 X
1 X (k) 
(r) (s) (r) (k) (s)
pjj = pij pji pij pjj pji
n n
k=1 k=1
 n
−1 1 X
(r) (s) (r+k+s)
≤ pij pji pii
n
k=1
−1  n + r + s  n+r+s

(r) (s) 1 X (k)
= pij pji pii
n n+r+s
k=r+s+1
−1  n + r + s  n+r+s

(r) (s) 1 X (k)
≤ pij pji pii
n n+r+s
k=1
−−−−→ 0, i est récurrent nul
n→∞

La prochaine partie fait appel au lemme de Cesàro qui dit la chose suivante,
n
1X
Si an −−−−→ a ∈ R alors ai −−−−→ a.
n→∞ n i=1 n→∞

√ √
5. Posons D = diag( π1 , . . . , πN ). Notez que D est inversible car πi > 0 pour tout i ∈ S lorsque
la chaı̂ne est irréductible. On obtient,

D2 P = P > D2 , la chaı̂ne est réversible par rapport à π

−1
DP D = D P D, on multiplie à gauche par D−1 , à droite par D
−1 >
 >
= DP D−1

La matrice DP D−1 est symétrique donc elle est diagonalisable avec des valeurs propres réelles.
   −1
Si DP D−1 = V ΛV −1 alors P = D−1 V Λ D− V .

6. Soit y un vecteur colonne de dimension N dont toutes les composantes sont strictement positives.

y (n) = P ny
(n)
M (n) = max{yi : i = 1, . . . , N }
(n)
m(n) = min{yi : i = 1, . . . , N }

On obtient,

M (n+1) ≤ M (n) − α(M (n) − m(n) )

On remplace toutes les composantes de y (n) par M (n) sauf celle qui vaut m(n) . De la même
manière,

m(n+1) ≥ m(n) + α(M (n) − m(n) )

On remplace toutes les composantes de y (n) par m(n) sauf celle qui vaut M (n) . On obtient,

0 ≤ (M (n+1) − m(n+1) ) ≤ (1 − α)((M (n) − m(n) )

≤ (1 − α)n ((M (1) − m(1) )
−−−−→ 0
n→∞

3
Comme la suite M (n) est décroissante et la suite m(n) est croissante

P ny −−−−→ uc pour un certain c > 0

n→∞
P n+1 = P n P −−−−→ uπ pour un certain π, min{πi : i = 1, . . . , N } ≥ α > 0
n→∞
n
u = P u, pour tout n
= lim P n u
n→∞
= uπu
πu = 1.