Sorbonne Université, Master 1 MU4MA015, Statistique, 2022-2023

Cours : A. Guyader TD : A. Ben-Hamou, A. Godichon et M. Sangnier

TD 4 : Maximum de vraisemblance

Exercice 1 (Modèles de translation) Soit X1 , . . . , Xn i.i.d. de densité commune fθ (x) =

f (x − θ), θ ∈ R. Déterminer l’estimateur du maximum de vraisemblance dans les cas suivants :
1. f est la densité de la loi N (0, σ 2 ) (σ connue) ;
2. f (x) = 21 e−|x| (loi de Laplace) ;
3. f (x) = 43 (1 − x2 ) sur [−1, 1].

Exercice 2 (Loi discrète) Soit θ ∈]0, 1[ un paramètre inconnu, on note X une variable
aléatoire de loi définie par

Pθ (X = k) = (k + 1)(1 − θ)2 θk , pour tout k ∈ N.

On donne
2θ 2θ
Eθ [X] = et Varθ [X] = .
1−θ (1 − θ)2
On souhaite estimer θ à partir d’un échantillon X1 , . . . , Xn de même loi que X.
1. Donner un estimateur θbn de θ par la méthode des moments.
2. L’estimateur du maximum de vraisemblance θen de θ est-il bien défini ?
3. Étudier la consistance de θbn et déterminer sa loi limite.

Exercice 3 (Loi exponentielle translatée) On observe un échantillon X1 , . . . , Xn dont la

loi admet la densité
fθ (x) = exp(−(x − θ))1[θ,+∞[ (x),
où θ est un paramètre réel inconnu.
1. Quels estimateurs de θ pouvez-vous proposer en utilisant les méthodes usuelles ?
2. Déterminer la loi de n(θbn − θ), où θbn est l’estimateur du maximum de vraisemblance. En
déduire un intervalle de confiance pour θ de niveau 1 − α.
3. Soit α ∈]0, 1[. On souhaite tester au niveau α
H0 : θ ≥ 0 contre H1 : θ < 0.
(a) Construire un test à partir de l’intervalle de confiance de la question 2, calculer sa
puissance et donner son allure (pour n et α fixés). Quelle est sa taille α? ?
(b) Proposer un autre test qui soit, lui, de taille α.
(c) Calculer la fonction puissance du test. La représenter en fonction de θ pour n et α
fixés.
(d) Comment varie la puissance en fonction de α ? en fonction de n ?
 4. Proposer un test de niveau α de H0 : « La loi de X1 est une loi exponentielle » contre H1 :
« La loi de X1 n’est pas une loi exponentielle ». Calculer la puissance de ce test.

Exercice 4 (Densité en escalier) Pour tout paramètre réel θ, on définit sur R la fonction

 1 − θ si − 1/2 < x ≤ 0,
fθ (x) = 1 + θ si 0 < x ≤ 1/2,
0 sinon.


1. Quelles conditions doit vérifier θ pour que fθ soit une densité par rapport à la mesure de
Lebesgue sur R ?
2. Soit (X1 , . . . , Xn ) un échantillon de densité fθ . L’estimateur du maximum de vraisemblance
θbn de θ est-il bien défini ?
3. Sous les conditions de la question 1, θbn est-il sans biais ? consistant ? asymptotiquement
normal ?

Exercice 5 (Données censurées) Soient θ? > 0 et X1 , . . . , Xn un échantillon de variables

aléatoires i.i.d. distribuées selon E(θ? ). On appelle, pour tout i ∈ {1, . . . , n}, Yi = min(Xi , 1).
1. Déterminer la loi de Y1 , notée Pθ? La variable aléatoire Y1 est-elle discrète ? Est-elle conti-
nue ?
2. On se donne le modèle statistique (Pθ )θ>0 . Donner une mesure dominante µ de ce modèle.
Pour tout θ > 0, déterminer une densité (notée fθ ) de Pθ par rapport à µ.
3. Calculer l’EMV θbn de θ? .
4. Montrer que θbn est un estimateur consistant de θ? .
5. À l’aide de l’indication ci-dessous, montrer que θbn est asymptotiquement normal.
Indication (TCL et méthode delta multivariés) : Soit (Un )n≥1 une suite de vecteurs aléa-
toires à valeurs dans R2 , i.i.d et de carrés intégrables. En notant U n = n1 ni=1 Ui , on a
P
alors √
L
n U n − E[U1 ] −−−→ N (0, Var(U1 )) ,
n→∞
 
U(1)
où Var(U1 ) est la matrice de variance-covariance de U1 = , définie par
U(2)
 
Var(U(1) ) Cov(U(1) , U(2) )
Var(U1 ) = .
Cov(U(1) , U(2) ) Var(U(2) )

De plus, pour une fonction ϕ : R2 → R différentiable et telle que ∇ϕ(E[U1 ]) 6= 0, la

méthode delta assure que
√
L  
n ϕ(U n ) − ϕ(E[U1 ]) −−−→ N 0, ∇ϕ(E[U1 ])> Var(U1 )∇ϕ(E[U1 ]) .
n→∞

6. (?) Montrer que le modèle est régulier. Que pouvez-vous en déduire ?

Exercice 6 (?) (Loi uniforme translatée) Soient X1 , . . . , Xn des observations i.i.d. de

densité fθ , θ réel, donnée par fθ (x) = 1[θ,θ+1] (x).
1. Comment peut-on définir l’estimateur du maximum de vraisemblance de θ ?
 2. Déterminer les lois exactes et asymptotiques de n(X(1) − θ) et de n(θ + 1 − X(n) ).
3. Montrer que pour toute variable aléatoire Y à valeurs dans R+ et tout k ∈ N? (on pourra
retenir cette formule, ainsi que sa preuve)
Z +∞
k
E[Y ] = k tk−1 P(Y > t)dt.
0

En déduire les deux premiers moments de n(X(1) − θ).

4. Étudier la consistance des estimateurs du maximum de vraisemblance de θ.
5. Majorer supn≥1 n2 R(θbn , θ) pour tout estimateur du maximum de vraisemblance θbn de θ.
6. Proposer un intervalle de confiance pour θ au niveau 95%. Donner l’application numérique
pour α = 0.05 et θb = 3, avec n = 10 et n = 100.

Exercice 7 (?) (Mélange de lois uniformes) Soit X1 , . . . , Xn i.i.d. dont la loi admet la
densité
1−λ
fθ,λ (x) = λ1[0,1] (x) + 1[0,θ] (x),
θ
où λ ∈ [0, 1[ et θ ≥ 1 sont deux paramètres inconnus.
1. Montrer que, si on exclut une valeur de θ à préciser, le modèle est identifiable. Sauf indi-
cation contraire, on supposera cette condition vérifiée dans la suite.
2. Montrer que la densité fθ,λ peut s’écrire, pour tout x ∈ R,
 1[0,1](x)  1[1,θ] (x)
1−λ 1−λ
fθ,λ (x) = λ+ 1[0,θ] (x).
θ θ

3. Déterminer l’EMV de λ lorsque θ est connu, l’EMV de θ lorsque λ est connu, puis l’EMV
de (θ, λ) lorsque les 2 paramètres sont inconnus.
4. Étudier la consistance et la loi limite de l’EMV de θ, que λ soit ou non connu.
5. Étudier la consistance de l’EMV de λ lorsque θ connu, puis lorsque θ est inconnu. Que se
passe-t-il si θ = 1 ?
6. Construire un test de H0 : θ = 1 contre H1 : θ > 1 au niveau α. Pour λ ∈ [0, 1[ et θ > 1
fixés, étudier la limite de la puissance lorsque n tend vers l’infini.

Exercice 8 (?) (Méthode de capture-recapture) On souhaite estimer le nombre de

poissons, N ∈ N∗ , vivant dans un bassin. Pour ce faire, nous mettons en place le protocole
suivant :
— on prélève au chalut un groupe de poissons et l’on note k ∈ J1, N K leur nombre ;
— ces poissons sont marqués puis relâchés dans le bassin ;
— pour un nombre de prises n ∈ N∗ défini et aussi grand qu’on veut, on pêche au hasard
puis on relâche successivement n poissons ;
— de retour à quai, on reporte le nombre x ∈ J0, nK de poissons marqués parmi les n que
l’on a pêchés puis relâchés.
On fait ensuite appelle à un statisticien afin de proposer une estimation de N à partir de cette
expérience.
1. Quelle est ici la quantité mesurée (et enregistrée) ? En déduire une modélisation probabiliste
de l’expérience, puis un modèle statistique paramétrique indicé par un intervalle Θ.
2. L’estimateur du maximum de vraisemblance est-il défini ? Proposer un estimateur N b de N .
 3. Montrer que N
b est convergent et asymptotiquement normal lorsque n tend vers l’infini.
4. Au regard de la question précédente, quelle valeur de k est pertinente pour l’expérience ?

Exercice 9 (?) (Gauss et la loi normale 1 ) En statistique, la loi normale a été introduite
par Gauss pour un problème d’estimation de paramètre en astronomie. Dans le langage moderne,
voici le problème : soit X1 , . . . , Xn i.i.d. de densité commune fθ (x) = f (x − θ), θ ∈ R. On a donc
affaire à un modèle de translation dans lequel f correspond à la densité de la loi des erreurs et
sur laquelle on fait les hypothèses “naturelles” suivantes : f est paire, de classe C 1 et strictement
positive sur R. La question à laquelle Gauss souhaitait répondre est la suivante : quelles sont
les densités f pour lesquelles l’estimateur des moindres carrés correspond à celui du maximum
de vraisemblance ? Comme nous allons le voir, seules les lois normales centrées satisfont cette
propriété.
1. Montrer que X n est l’estimateur des moindres carrés.
2. On note g = ln f . Montrer queP si X n est l’EMV alors pour tout n-uplet (x1 , . . . , xn ) de
réels, la fonction g doit vérifier ni=1 g 0 (xi − xn ) = 0.
g 0 (kt) g 0 (t)
3. En prenant x2 = · · · = xn = x1 − nt, en déduire que, ∀t ∈ R? , ∀k ∈ N? , on a kt = t .
g 0 (t)
4. En déduire qu’il existe une constante c telle que, pour tout t ∈ R? , t = c.
5. Conclure.

Exercice 10 (Maximum de vraisemblance et donnée aberrante) Le but de cet exercice

est de montrer sur un exemple très simple que l’EMV n’est pas robuste à la présence de données
aberrantes. Afin de simplifier les calculs, on fera les approximations suivantes : Φ−1 (0.975) ≈ 2,
Φ(−3) ≈ 10−3 , Φ(−7) ≈ 0 et 99/104 ≈ 10−2 .
1. Soit θ ∈ R un paramètre inconnu et X1 , . . . , X100 i.i.d. selon une loi N (θ, 1). Si on note
Ib = [X 100 − 0.2 ; X 100 + 0.2], montrer que P(θ ∈ I)b ≈ 0.95. On suppose désormais θ = 0,
ce qui donne donc P(0 ∈ I) b ≈ 0.95, i.e. la vraie valeur du paramètre se situe 95% du temps
dans l’intervalle (aléatoire) I.
b
2. On suppose maintenant la présence d’une seule donnée aberrante (dysfonctionnement du
dispositif d’enregistrement des données, etc.) et on veut voir l’incidence de celle-ci sur le
résultat précédent. Plus précisément, on suppose que X1 , . . . , X99 sont i.i.d. selon une loi
N (0, 1) et que X100 = 50. Donner la loi de X 100 sachant X100 = 50.
3. On note toujours Ib = [X 100 −0.2 ; X 100 +0.2]. En déduire que P(0 ∈ Ib | X100 = 50) ≈ 10−3
et conclure.

Exercice 11 (?) (Non-robustesse de l’EMV) Sur l’ensemble des densités de probabilité

sur R (ensemble des classes d’équivalence de fonctions de L1 positives et d’intégrale 1), on définit
le carré de la distance de Hellinger h entre f et g par
Z p
2 1 p 2
h (f, g) = f (x) − g(x) dx.
2 R
1. Montrer que Z p
2
h (f, g) = 1 − f (x)g(x) dx.
R

1. Cet exercice est inspiré de l’article Plaidoyer pour la loi normale, de Aimé Fuchs.
 Vérifier que h est une distance sur l’ensemble des densités sur R (i.e. positivité avec nullité
si et seulement si égalité, symétrie et inégalité triangulaire), avec de plus 0 ≤ h(f, g) ≤ 1.
q
2. Soit θ > 0 et fθ la densité de la loi uniforme sur [0, θ]. Montrer que h (fθ , fθ ) = 1 − θθ0
2 0

si θ ≤ θ0 .
3. Soit X1 , . . . , Xn i.i.d. de loi uniforme sur [0, θ] pour
q un  θ > 0 inconnu. Donner l’estimateur
h i
du maximum de vraisemblance θbn , calculer Eθ θbn et en déduire que Eθ h2 (fθ , fθbn ) =
1
2n+1 .
4. Soit la densité  
1 10
fn∗ (x) = 10 1 − 10≤x≤1/10 + 1 .
n n 9/10≤x≤1
(a) Montrer que si, pour tout n, Yn a pour densité fn∗ , alors la suite (Yn ) converge en loi
et identifier la limite.
(b) Calculer h2 (fn∗ , f1/10 ).
5. Soit n > 1. Les variables X1 , . . . , Xn sont désormais i.i.d. de densité fn∗ , mais on les croit
toujours i.i.d. suivant une densité uniforme (fθ )θ>0 , avec θ inconnu. En particulier, l’esti-
mateur θbn est le même que celui défini ci-dessus.
(a) Montrer qu’avec probabilité 1 − (1 − 1/n)n , on a : 9/10 ≤ θbn ≤ 1.
(b) Montrer que, sur l’événement {9/10 ≤ θbn ≤ 1}, on a :
r
2 ∗ 1 1 1
h (fn , fθbn ) ≥ 1 − 1− − √ .
3 n 3 n

(c) En notant E∗n [·] l’espérance par rapport au modèle où les données X1 , . . . , Xn sont i.i.d.
de densité fn∗ , en déduire que E∗n [h2 (fn∗ , fθbn )] ≥ un , avec limn→∞ un = 2/3 × (1 − 1/e).
(d) Conclure quant à la robustesse de l’estimateur du maximum de vraisemblance à une
mauvaise spécification du modèle.