Mathf 207 Seance 2 Corrigé
Mathf 207 Seance 2 Corrigé
Mathf 207 Seance 2 Corrigé
Exercice 1
1 Pn
Soient les variables aléatoires Xi (i = 1, . . . , n) i.i.d. Montrez que S 2 = n−1 i=1 (Xi − X̄)2 est un
estimateur non biaisé de σ 2 , où σ 2 = V ar[X1 ].
Solution :
On utilise ici le fait que, pour tout valeur de i,
1 n σ2
= 2
n(n − 1)µ2 + 2 (σ 2 + µ2 ) = µ2 +
n n n
n
1 X n−1 2 1 2 σ2
µ + (σ + µ2 ) = µ2 +
IE X̄Xi = IE [Xj Xi ] =
n n n n
j=1
n
1 X 2
IE S2 = IE (Xi − 2X̄Xi + X̄2 )
n−1
i=1
σ2 σ2
n 2 2
2n 2 n 2
= σ +µ − µ + + µ +
n−1 n−1 n n−1 n
= σ2
Remarquons que ce long développement peut être considérablement raccourci en voyant que
n
1 X 2 n
S2 = Xi − X̄ 2 .
n−1 n−1
i=1
Exercice 2
Soient s21 , s22 , . . . , s2k les k variances-échantillons obtenues à partir de k échantillons aléatoires simples
indépendants de tailles respectives n1 , n2 , . . . , nk .
n1 s21 +n2 s22 +...+nk s2k
1. U = n1 +n2 +...+nk est-il un estimateur non biaisé de σ 2 ?
2. Si ce n’est pas le cas, comment le biais peut-il être enlevé ?
Solution :
Des calculs immédiats (rappelez-vous que IE s2 = (n−1)σ 2 /n pour un échantillon aléatoire simple
Exercice 3
Considérons une population distribuée selon une loi de Poisson de paramètre λ > 0. On extrait
de cette population une observation X1 . Si notre but est d’estimer e−3λ , que pouvez-vous dire de
la statistique (−2)X1 ?
Solution :
Pour rappel, la loi de probabilité d’une variable aléatoire X ∼ P(λ) est donné par, pour k naturel,
λk
IP [X = k] = e−λ .
k!
Ainsi,
∞ ∞
X X (−2λ)k
X1 k
e−λ = e−3λ .
IE (−2) = (−2) IP [X = k] =
k!
k=1 k=1
Cet ”estimateur” est donc sans biais. Malgré cette propriété agréable, il serait extrêmement déraisonnable
de prendre (−2)X1 comme estimateur pour la simple et bonne raison que ce n’en est pas un. En
effet, un estimateur est une statistique à valeurs dans l’espace des paramètres (ici, l’ensemble des
valeurs de e−3λ , c’est-à-dire IR+
0 ). Or, (−2)
X1 peut prendre des valeurs négatives. Ce n’est donc
Exercice 4
Soient les variables aléatoires indépendantes et de Bernoulli X1 , . . . , Xn . Nous avons donc, pour
tout i = 1, . . . , n,
P [Xi = 1] = p
P [Xi = 0] = 1 − p;
1. Montrez, à partir de la définition d’exhaustivité, que T = ni=1 Xi est une statistique exhaustive
P
pour le paramètre p.
2. Pour n = 3, la statistique T̃ = eX1 +X2 +X3 est-elle aussi exhaustive ? Même question pour
S = X1 + 2X2 + X3 .
Solution :
Par définition, une statistique T (X) est exhaustive si
IP [X = (x1 , . . . , xn ) |T (X) = y ]
Par indépendance, on obtient alors (en se rappelant que la somme de n v.a. de Bernouilli est une
binomiale de paramètres (n, p), pour x1 = y − x2 − · · · − xn (le cas x1 6= . . . vaut trivialement 0),
IP [X2 = x2 ] IP [X3 = x3 ] . . . IP [Xn = xn ] IP [X1 = y − x2 − x3 − · · · − xn ]
IP [X = x |T (X) = y ] =
IP [ ni=1 Xi = y]
P
Exercice 5
Solution :
On applique ici la même construction qu’à l’exercice précédent...et on obtient (la somme de n v.a.
de Poisson de paramètre λ est une v.a. de Poisson de paramètre nλ) :
IP [X2 = x2 ] IP [X3 = x3 ] . . . IP [Xn = xn ] IP [X1 = y − x2 − x3 − · · · − xn ]
IP [X = x |T (X) = y ] =
IP [ ni=1 Xi = y]
P
e−λ λx2 (x2 !)−1 . . . e−λ λxn (xn !)−1 e−λ λy−x2 −···−xn ((y − x2 − · · · − xn )!)−1
= y
e−nλ (nλ)
y!
(x2 !)−1 . . . (xn !)−1 ((y − x2 − · · · − xn )!)−1
= ny
y!
Exercice 6
Soit une population N (µ, σ 2 ). On extrait de cette population un échantillon aléatoire simple
X1 , . . . , Xn . Construisez à partir de cet échantillon une statistique exhaustive
1. pour µ, σ 2 étant connu.
2. pour σ 2 , µ étant connu.
3. pour θ = (µ, σ 2 )T .
Solution :
On utilise ici le critère de factorisation. La vraisemblance s’écrit
n !
1 xi − µ 2
Y 1
Lµ, σ2 = √ exp −
σ 2π 2 σ
i=1
n
!
1 1 X
= √ exp − 2 (xi − µ)2
(σ 2π)n 2σ
i=1
Il est immédiat qu’il est possible de réecrire cette vraisemblance sous les formes suivantes :
1 1 X 2 1 X 1 2
Lµ, σ2 = √ exp − 2 xi exp − 2 µ xi exp − 2 nµ ,
(σ 2π)n 2σ 2σ 2σ
| {z }| {z }
h(x) gµ (T1 (x))
P
où T1 (X) = Xi ,
n
!
1 1 1 X 2
Lµ, σ2 = √ exp − 2 (xi − µ) ,
( 2π)n σ n 2σ
| {z } | {zi=1 }
h(x) gσ2 (T2 (x))
n n
!!
1 1 1 X X
Lµ, σ2 = √ n
exp − 2 x2i − 2µ xi + nµ 2
,
( 2π)n σ 2σ
i=1 i=1
| {z } | {z }
h(x) gµ, σ 2 (T3 (x))
T
où T3 (X) = X̄, m02 , où l’on a posé m02 = n−1 Xi2 . Ainsi, T1 est une statistique exhaustive
P
pour l’estimation de µ, T2 est une statistique exhaustive pour l’estimation de σ 2 et T3 est une
statistique exhaustive pour le vecteur (µ, σ 2 )T .
Exercice 7
Les éléments d’une population possèdent un caractère X qui suit une loi de probabilité dont la
densité est 4x3
θ4
si 0 < x < θ
fθ (x) =
0 sinon.
Une suite de n expériences indépendantes a donné les valeurs x1 , . . . P
, xn . Proposer un estimateur
non biaisé T (X) du paramètre θ lié simplement à la moyenne X̄ = n1 ni=1 Xi de l’échantillon.
Solution :
Nous cherchons un estimateur non biaisé basé sur la moyenne. Afin de déterminer la transformation
à appliquer à celle-ci, il faut commencer par calculer son biais :
Z θ 4 5 θ
4x 4x 4θ
IE X̄ = IE [X] = 4
dx = 4
= .
0 θ 5θ 0 5
Ainsi, IE X̄ est une fonction linéaire de θ et l’on peut trouver un estimateur sans biais en inversant
cette relation :
5 5X̄
θ = IE X̄ = IE .
4 4
L’estimateur convenant ici est donc 54 X̄.
Exercice 8
Les éléments d’une population possèdent un caractère X qui suit une loi de probabilité dont la
densité est ( 1
x θ −1
fθ (x) = θa1/θ
si 0 < x < a
0 sinon
où a et θ sont deux constantes strictement positives. Une suite de n expériences indépendantes
a donné les valeurs x1 , . . . , xn . Supposons que la valeur du paramètre θ soit connue. Proposer un
estimateur non biaisé T (X) du paramètre a.
Solution :
Nous utilisons ici le même raisonnement qu’à l’exercice précédent. On trouve :
Z a " 1
#a
1 1/θ x θ +1 a
IE X̄ = IE [X] = 1/θ
x dx = 1/θ
= .
0 θa (1 + θ)a 1+θ
0
La valeur de θ étant supposée connue, une simple transformation linéaire nous permet à nouveau
d’obtenir un estimateur sans biais :
IE (1 + θ)X̄ = a.
L’estimateur à prendre est donc (1 + θ)X̄.
Exercice 9
Soit X1 , . . . , Xn un échantillon aléatoire simple issu d’une population de densité
Solution :
La méthode la plus simple pour calculer une statistique exhaustive passe par la condition nécessaire
et suffisante. Il faut pour cela calculer la vraisemblance :
n n n
!θ−1 n
Y Y Y Y
Lθ (x) = fθ (xi ) = θxθ−1
i I[0<xi <1] =θ n
xi I[0<xi <1] .
i=1 i=1 i=1 i=1
Exercice 10
Soient les variables aléatoires X1 , . . . , Xn iid U [0, θ]. Déterminez une statistique exhaustive pour le
paramètre θ.
Solution :
Pour rappel, la fonction de densité d’une variable aléatoire uniforme [0, θ] est
1
fθ (x) = I[0≤x≤θ] .
θ
La vraisemblance est donnée par
n n
Y Y 1 1
Lθ (x) = fθ (xi ) = I[0≤xi ≤θ] = I I .
θ θn [x(n) ≤θ] [0≤x(1) ]
i=1 i=1
Une statistique exhaustive est obtenue via le CNS d’exhaustivité et est donnée par
T (X) = X(n) .
Exercice 11
Soient les variables aléatoires X1 , . . . , Xn iid U [θ − 12 , θ + 12 ]. Déterminez une statistique exhaustive
pour le paramètre θ.
Solution :
La fonction de densité de chacune de nos variables aléatoires est donnée par
1
fθ (x) = I[θ− 1 ≤x≤θ+ 1 ] .
θ 2 2
La vraisemblance est
n n
Y Y 1 1
Lθ (x) = fθ (xi ) = I[θ− 1 ≤xi ≤θ+ 1 ] = I 1 I 1 .1
θ 2 2 θn [x(1) ≥θ− 2 ] [x(n) ≤θ+ 2 ]
i=1 i=1
Une statistique exhaustive est donnée par
T (X) = X(1) , X(n) .
Exercice 12
Soit X1 , . . . , Xn un échantillon aléatoire simple issu d’une population de densité
−x+θ
θe si x > θ
fθ (x) =
0 sinon
où θ > 0. Déterminez une statistique exhaustive pour le paramètre θ.
Solution :
La vraisemblance est donnée par
n n n
!
Y Y X
n −xi +θ
Lθ (x) = fθ (xi ) = θ e I[xi ≥θ] = exp − xi θn exp (nθ) I[x(1) ≥θ] .
i=1 i=1
{zi=1
| {z }
| } gθ (T (x))
h(x)
Exercice 13
Soit X1 , . . . , Xn un échantillon aléatoire simple issu d’une population de densité
fθ (x) = θe−θx I[0,∞[ (x).
Déterminez une statistique exhaustive pour le paramètre θ.
Solution : P
Il est immédiat que T (X) = Xi est une statistique exhaustive (toujours par le même critère).
Exercice 14
Soient les variables aléatoires X1 , .P . . , Xn iid telles que E[Xi ] = µ et V ar[Xi ] = σ 2 pour tout
i = 1, . . . , n. Montrer que X̄ (n) = n1 ni=1 Xi est un estimateur convergent de µ.
Solution :
Nous allons montrer pour cela (comme très souvent) que
IE X̄ = µ et Var X̄ → 0.
Le premier résultat est immédiat. De plus, on a Var X̄ = σ 2 /n. Ceci a été montré (indirectement)
2
à l’exercice 1, puisque Var X̄ = IE X̄2 − IE X̄ .
Exercice 15
Soient les variables aléatoires X1 , . . . , Xn iid Bin(1, p). Considérons les estimateurs du paramètre
p suivants :
Pn bn/2c 10
i=1 Xi −1 1 X 1 X
p̂1 = , p̂2 = X2i , p̂3 = Xi .
n bn/2c 10
i=1 i=1
Solution : P
Nous avons vu (exercice 4) que l’estimateur T (X) = Xi est une estimateur exhaustif du pa-
ramètre p. Par bijection, on conclut immédiatement que p̂1 est exhaustif, au contraire de p̂2 et p̂3 ,
qui ne sont pas en bijection avec T . Des calculs rapides mettent en évidence que
P
IE [Xi ] − 1 np − 1 1
IE [p̂1 ] = = =p− .
n n n
Pbn/2c
i=1 IE [X2i ]
IE [p̂2 ] = = p.
bn/2c
P10
i=1 IE [Xi ]
IE [p̂3 ] = = p.
10
P P
Var ( i Xi − 1) ind. i Var (Xi ) np(1 − p)
Var (p̂1 ) = = = .
n2 n2 n2
Pbn/2c
i=1 X2i bn/2cp(1 − p)
Var (p̂2 ) = 2
= .
(bn/2c) (bn/2c)2
p(1 − p)
Var (p̂3 ) = · · · = .
10
On conclut que p̂1 est une estimateur biaisé mais asymptotiquement non biaisé. Sa variance tendant
vers zéro, il est convergent. Les deux autres estimateurs (p̂2 et p̂3 ) sont non biasés. p̂2 est convergent.
La variance de p̂3 ne convergeant pas vers 0, cet estimateur n’est pas convergent.
Exercice 16
Soient les variables aléatoires Xi (i = 1; 2) i.i.d. de moyenne µ et de variance σ 2 . Lequel des deux
estimateurs de µ non biaisés suivants conseilleriez-vous :
X1 + X2 aX1 + bX2
M1 = ou M2 = ,
2 a+b
où a, b ∈ IR ?
Solution :
On trouve rapidement que
σ2 a2 + b2 2
Var (M1 ) = et Var (M2 ) = σ .
2 (a + b)2
La question qui se pose alors est de savoir quel estimateur dispose de la plus petite variance (nous
avons alors deux estimateurs non biaisés, celui possédant la plus petite variance sera considéré
comme ”meilleur”). Il est facile de voir que
a2 + b2 1
2
≥ ,
(a + b) 2
pour tout a et b avec égalité ⇔ a = b. Il est relativement aisé de généraliser ce résultat au cas
de n v.a. i.i.d. en considérant les deux estimateurs que sont la moyenne (classique) et la moyenne
pondérée de coefficients a1 , . . . , an .
On peut donc conclure que le meilleur estimateur en terme de variance (critère d’efficacité,
voir tp suivant) dans la classe des estimateurs sous la forme de moyenne pondérée est la moyenne
”classique”.
Exercice 17
Soient les variables aléatoires X1 , . . . , Xn indépendantes identiquement distribuées de loi U [0, θ].
L’estimateur
θ̂ = (n + 1)X(1)
est-il exhaustif ? non biaisé ? convergent ?
Solution :
Nous avons vu à l’exercice 10 que T (X) = X(n) est une statistique exhaustive pour le paramètre
θ. Ce n’est pas le cas de notre estimateur θ̂(X), celui-ci n’étant pas en bijection avec T (X). Nous
allons maintenant étudier de deux manières différentes la convergence. Dans un premier temps,
nous allons utiliser uniquement la définition :
Pour rappel, la fonction de répartition de θ̂ = X(1) est donnée par
x
FX(1) (x) := IPθ X(1) ≤ x = 1 − (IPθ [X1 > x])n = 1 − (1 − )n I[0<x<θ] + I[x≥θ] .
θ
On trouve immédiatement que la fonction de densité est
n x
fX(1) (x) := FX0 (1) (x) = (1 − )(n−1) I[0<x<θ] .
θ θ
Regardons la convergence faible :
IPθ (n + 1)X(1) − θ > = IPθ − < (n + 1)X(1) − θ <
θ− θ+
= IPθ < X(1) <
(n + 1) (n + 1)
θ+ θ−
= FX(1) − FX(1)
(n + 1) (n + 1)
θ+ n θ− n
= 1 − (1 − ) − 1 − (1 − )
(n + 1)θ (n + 1)θ
θ+ θ−
→ − exp(− ) + exp(− ) 6= 0.
θ θ
L’estimateur n’est ainsi pas faiblement convergent. On conclut immédiatement qu’il n’est pas for-
tement convergent.
Une autre méthode passe par le calcul de l’espérance et de la variance de notre estimateur (réglant
au passage la question du biais). Disposant de la fonction de densité, on trouve
Z Z θ
x n θ
x(1 − )(n−1) dx = · · · =
IEθ X(1) = xfX(1) dx = .
IR 0 θ θ (n + 1)
Ainsi,
nθ2
Var θ̂ = Var (n + 1)X(1) = (n + 1)2 Var X(1) =
9 0.
n+2
On conclut à nouveau à la non-convergence faible.
Exercice 18
Les éléments d’une population possèdent un caractère X qui suit une loi de probabilité dont la
densité est 2
2θxe−θx si 0 < x < θ
fθ (x) =
0 sinon
où θ > 0. Une suite de n expériences indépendantes a donné les valeurs x1 , . . . , xn .
1. Montrez que l’estimateur θ̂ = Pn n de θ est une statistique exhaustive pour ce paramètre.
i=1 Xi2
2. Cet estimateur est-il biaisé ? Convergent ?
Aide : commencez par déterminer la loi de probabilité de Y = θX 2 , puis celle de Z = ni=1 Yi ,
P
où les Yi sont des variables aléatoires mutuellement indépendantes et de même loi que Y .
Solution :
Le critère de factorisation nous dit alors que ni=1 Xi2 est une statistique
P
Pnexhaustive pour θ.
Par ailleurs, la fonction x → n/x est une fonction bijective sur IR+ 0 , et i=1 iX 2 est toujours
dans IR+0 . Etant en bijection avec une statistique exhaustive, la statistique θ̂ proposée comme
estimateur est également exhaustive.
2. On effectue tout d’abord le changement de variable y = θx2 , ce qui implique dy = 2θxdx, et
donc en réécrivant la fonction de répartition :
P (Y ≤ u) = 0 si u ≤ 0 et,
R √ uθ 2 Ru
P (Y ≤ u) = P (X ≤ θ ) = 0 2θxe−θx = 0 e−y dy si u ≥ 0.
pu
e−y si y > 0
fθ (y) =
0 sinon,
soit la densité d’une loi Γ(1, 1). Puisque les Xi sont indépendants, les Yi le sont aussi et grâce
aux propriétés de la loi gamma nous savons donc que
n
X
Z= Yi ∼ Γ(1, n).
i=1
l’intégrale ci dessus étant simplement l’intégrale d’une densité Γ(1, n − 1) sur son domaine, elle
vaut exactement 1 et par conséquent
h i n
IEθ θ̂ = θ.
n−1
Le raisonnement est le même que pour l’espérance, mais cette fois la puissance de z dans
l’intégrale est abaissée de deux unités, et l’on fait donc apparaı̂tre la densité d’une loi Γ(1, n − 2)
Z ∞
h i n2 θ2 1 n2 θ2
2
IEθ θ̂ = zn−3 e−z dz = θ2
(n − 1)(n − 2) 0 Γ(n − 2) (n − 1)(n − 2)
ce qui implique
2
n2 θ2 2 n
Varθ θ̂ = (n−1)(n−2) θ − n−1 θ2
n2 θ2
= (n−1)2 (n−2)
cette quantité tend bien vers 0, ainsi l’estimateur proposé est convergent.
Exercice 19
Les éléments d’une population possèdent un caractère X qui suit une loi de probabilité dont la
densité est ( 1
x θ −1
fθ (x) = θa1/θ
si 0 < x < a
0 sinon
où a et θ sont deux constantes strictement positives.
1. Montrez que l’estimateur θ̂ = n1 ni=1 log Xai de θ est une statistique exhaustive pour ce pa-
P
ramètre.
Solution :
(ceci est la formule du changement de variables dans les intégrales ; comme quoi le cours de cdi
peut servir à quelque chose). Ici on a
1
g −1 (y) = ae−θy et g 0 (x) = −
θx
et donc
1 −(1−θ)y
fY (y) = e θae−θy = e−y
θa
et x ∈ (0, a). On reconnaı̂t donc la densité d’une loi Γ(1, 1). Comme précédemment,
pour y positif P
la loi de Z = Yi est donc une Γ(1, n). Par ailleurs, l’estimateur θ̂ peut s’écrire
θ
θ̂ = Z
n
et on calcule donc l’espérance de cet estimateur grace à la formule donnée pour l’espérance de
Z: h i θ
IEθ θ̂ = E(Z) = θ
n
et l’estimateur est sans biais. La formule nous permettant de calculer le moment d’ordre deux
également, on en déduit la variance de notre estimateur
θ2
Varθ θ̂ = 2 (n − 1)
n
Cette quantité tend vers zéro lorsque n tend vers l’infini, ainsi, l’estimateur θ̂ est convergent.
Exercice 20
Prouvez la propriété : ”Si θ̂(n) (X) est une estimateur asymptotiquement sans biais et tel que
Var θ̂(n) (X) → 0,
σ2
IP [|X − µ| > α] ≤ .
α2
Solution :
Il nous faut montrer ici que, pour tout ,
h i
IP θ̂(n) − θ >
tend vers 0 pour n tendant vers l’infini. On est très tenté d’appliquer Chebychev...mais pour cela
nous avons besoin de l’espérance de notre variable aléatoire θ̂(n) . On écrit donc
h i h h i h i i
IP θ̂(n) − θ > = IP θ̂(n) − IEθ θ̂(n) + IEθ θ̂(n) − θ > .
Or, h i h i h i h i
(n)
θ̂ − IEθ θ̂(n) + IEθ θ̂(n) − θ ≤ θ̂(n) − IEθ θ̂(n) + IEθ θ̂(n) − θ .
Ainsi, l’événement h i h i
A = ” θ̂(n) − IEθ θ̂(n) + IEθ θ̂(n) − θ > ”
implique l’événement
h i h i
(n) (n) (n)
B = ” θ̂ − IEθ θ̂ + IEθ θ̂ − θ > ”.
De plus, θ̂(n) étant asymptotiquement sans biais, on sait qu’il existe N tel que ∀ n ≥ N ,
h i
(n)
IEθ θ̂ − θ < .
2
D’où, si n est suffisament grand,
h i h h i h i i
IP θ̂(n) − θ > ≤ IP θ̂(n) − IEθ θ̂(n) > − IEθ θ̂(n) − θ >
2
Var θ̂ (n)
≤
(/2)2
par Chebychev. étant fixé et la variance tendant vers zéro par hypothèse, on a bien le résultat.