Chap 1
Chap 1
Chap 1
Dr. MERGANE
Décembre 2022
Sommaire
1 Préliminaire
Variable aléatoire réelle
Lois de probabilités usuelles
Tableaux des lois
Propriétés
Modes de convergence
2 Modèles
Modèle statistique
Modèle d’échantillonnage
Sommaire
1 Préliminaire
Variable aléatoire réelle
Lois de probabilités usuelles
Tableaux des lois
Propriétés
Modes de convergence
2 Modèles
Modèle statistique
Modèle d’échantillonnage
F : R → [0, 1]
x → P (X ≤ x)
F : R → [0, 1]
x → P (X ≤ x)
Propriété
. F est continue à droite ;
. F est croissante ;
. lim−∞ F (x) = 0 et lim+∞ F (x) = 1
P
xi ∈X (Ω) xi P (X = xi ) ,
Si X est discrète;
E(X ) =
R
R
xf (x) dx, Si X est continue.
Remarque
Soit g une fonction continue, alors
P
xi ∈X (Ω) g (xi )P (X = xi ) , Si X est discrète;
E (g (X )) =
R
R
g (x)f (x) dx, Si X est continue.
h i
2
• La variance de X est définie par var (X ) = E (X − E (X ))
Remarque
var (X ) = E(X 2 ) − E2 (X )
K
Si g (x) = (x − E (X )) , avec k un entier, alors E (g (X )) est appelée
moment centré d’ordre k de X .
• La fonction caractéristique
φX de X est l’application définie de R à valeurs
dans C par φX (t) = E e itX .
Propriété
(n)
φX (0) = i n E (X n )
Sommaire
1 Préliminaire
Variable aléatoire réelle
Lois de probabilités usuelles
Tableaux des lois
Propriétés
Modes de convergence
2 Modèles
Modèle statistique
Modèle d’échantillonnage
Lois discrètes
1−p p ei t
Géométrique : Géo(p), p (1 − p)k−1 , 1
p p2 1−(1−p) e i t
p ∈]0, 1[
k ∈ N?
λk e −λ λ e i t −1
Poisson : P(λ) λ λ e
k!
λ > 0
k ∈ N
Lois continues
Nom et notation Densité E(X ) V (X ) φX (t)
f (x)
x−m 2
−1
Normale : X ∼ N (m, σ 2 ) √1 e 2 σ , m σ2 exp imt − 1 σ 2 t 2
σ 2π 2
m ∈ R, σ > 0
x ∈ R
Exponentielle : X ∼ E(λ) λ e −λ x 1 1 1
λ λ2 1− it
λ
λ > 0 x > 0
k
Lois continues
Nom et notation Densité E(X ) V (X ) φX (t)
f (x)
x−m 2
−1
Normale : X ∼ N (m, σ 2 ) √1 e 2 σ , m σ2 exp imt − 1 σ 2 t 2
σ 2π 2
m ∈ R, σ > 0
x ∈ R
Exponentielle : X ∼ E(λ) λ e −λ x 1 1 1
λ λ2 1− it
λ
λ > 0 x > 0
k
Γ est appelée la fonction Gamma d’Euler, elle est définie comme suit :
Z +∞
a−1 −x
Γ(a) = x e dx, ∀a > 0,
0
Loi normale
Loi normale
Utilités
+ La loi normale ou loi de Gauss modélise un grand nombre de distributions
observées.
Les courbes de croissance données par l’OMS, et présentes par exemple dans les
carnets de santé, sont issues de modélisations grâce à une loi normale.
+ etc.
Un phénomène X suit une loi normale, s’il est la résultante d’un grand nombre
d’effets et petits qui s’ajoutent.
Loi normale
Stabilité
Soient X1 , X2 , · · · , Xn , une suite de v.a. indépendantes ; α0 , α1 , α2 , · · · , αn , une
suite de nombres réels non nuls.
Si pour tout i dans {1, 2, · · · , n} , on a Xi ∼ N mi , σi2 , alors
n n n
!
X X X
2 2
αi Xi + α0 ∼ N αi mi + α0 , αi σi .
i=1 i=1 i=1
Fonction cumulative de N (0 ; 1)
Sa fonction de répartition est généralement notée par Φ.
P(Z ≤ x) = Φ(x)
Propriété
Φ(−x) = 1 − Φ(x)
P (Z ≤ −x) = P (Z > x)
Propriété
Φ(−x) = 1 − Φ(x)
P (Z ≤ −x) = P (Z > x)
Remarque
Si x < 0, alors on utilise la relation
Φ(x) = 1 − Φ(−x)
Remarque
Si x < 0, alors on utilise la relation
Φ(x) = 1 − Φ(−x)
Exemple
Φ(−1.56) = 1 − Φ(1.56)
Remarque
Si x < 0, alors on utilise la relation
Φ(x) = 1 − Φ(−x)
Exemple
Φ(−1.56) = 1 − Φ(1.56)
= 1−
Remarque
Si x < 0, alors on utilise la relation
Φ(x) = 1 − Φ(−x)
Exemple
Φ(−1.56) = 1 − Φ(1.56)
= 1 − 0.9406
= 0.0594
Fractile de N (0 ; 1)
Fractile de N (0 ; 1)
Fractile de N (0 ; 1)
Définition
Si pour un réel fixé α on a Φ(x) = α, alors
x est appelé quantile ou fractile d’ordre α de la loi normale standard.
Fractile de N (0 ; 1)
Définition
Si pour un réel fixé α on a Φ(x) = α, alors
x est appelé quantile ou fractile d’ordre α de la loi normale standard.
Φ(zα ) = α
Propriété
Propriété
zα = −z1−α
Propriété
Propriété
zα = −z1−α
+ La table des fractiles ne donne pas les valeurs zα pour α < 0.5. Donc on utilise
cette propriété.
Propriété
Propriété
zα = −z1−α
+ La table des fractiles ne donne pas les valeurs zα pour α < 0.5. Donc on utilise
cette propriété.
Exemple
Cherchons le fractile d’ordre 0.464 de la loi normale standard.
On cherche z0.464 .
z0.464 = −z1−0.464
= −z0.536
z0.464 = −0.0904
Dr. MERGANE (M1SID/SATIC) Chapitre I : Introduction à la statistique inférentielle Décembre 2022 23 / 64
Préliminaire Lois de probabilités usuelles
Exercices
Exercice (1)
Soit Z une variable suivant une loi normale standard. Calculer
1. P (Z ≤ 1.98) 5. P (−1.77 < Z )
Exercice (2)
Soit Z une variable suivant une loi normale standard. Trouver la valeur de u
vérifiant :
1. P (Z < u) = 0.85
2. P (Z ≤ u) = 0.611
3. P (Z < u) = 0.45
4. P (Z > u) = 0.9
Exercice (3)
Soit X une variable suivant une loi normale N (11 ; 22 ).
1 Calculer P(X ≤ 14) ; P(X < 10) ; P(9 < X ≤ 13).
2 Trouver u. :
P(X < u) = 0.975 ; P(X > u) = 0.5 ; P(X ≥ u) = 0.25 ; P(X < u) = 0.315
Loi Gamma
Propriétés
• Soient α > 0 et X ∼ γ (k, λ) , alors αX ∼ γ k, αλ .
Loi Gamma
Propriétés
• Soient α > 0 et X ∼ γ (k, λ) , alors αX ∼ γ k, αλ .
Remarque
E (λ) = γ (1, λ)
Exercice
1. Prouver les propriétés précédentes.
2. Soient X1 , X2 , · · · , Xn , une suite de v.a. indépendantes et identiquement
distribuées (iid) suivant la loi E (λ) . Montrer que
n
1X
Xi ∼ γ (n, n λ) .
n
i=1
Loi du khi-deux
Loi du khi-deux
Propriétés
• Si X ∼ N (0, 1) , alors X 2 ∼ χ21 .
•
k 1
χ2k = γ , , k∈N
2 2
Loi de Student
Loi de Student
Propriété
Soient X et Y deux variables aléatoires indépendantes de lois respectives N (0, 1)
et χ2k . Alors la v.a. définie par
X
T =p
Y /k
suit la loi de Student à k degré(s) de liberté, et on note T ∼ St (k) .
Loi de Fisher
Loi de Fisher
Propriété
Soient X et Y deux variables aléatoires indépendantes suivant respectivement les
lois χ2n et χ2m . La v.a. définie par
X /n
F =
Y /m
Sommaire
1 Préliminaire
Variable aléatoire réelle
Lois de probabilités usuelles
Tableaux des lois
Propriétés
Modes de convergence
2 Modèles
Modèle statistique
Modèle d’échantillonnage
Définition
On dit qu’une suite de v.a. (Xn )n∈N converge presque sûrement vers X et on note
Xn →p.s. X si
P lim Xn = X = 1
n→+∞
Définition
On dit qu’une suite de v.a. (Xn )n∈N converge presque sûrement vers X et on note
Xn →p.s. X si
P lim Xn = X = 1
n→+∞
Convergence en probabilité
Définition
La suite de v.a. (Xn )n∈N converge en probabilité vers X et on note Xn →P X si
Propriété
La convergence ps entraine la convergence en probabilité.
Preuve : [TAF]
Propriété
1 Si E (Xn ) −→ ` et Var (Xn ) −→ 0, alors Xn −→mq `.
2 Si Xn −→mq X , alors Xn −→P X .
Preuve :
2
1 E (Xn − `) = E Xn2 − 2 ` E (Xn ) + `2 =
2
Var (Xn ) + E (Xn ) − 2 ` E (Xn ) + `2 . Cette expression tend vers zéro.
2 On utilise l’inégalité de Bienaymé Tchebychev : soit > 0, on a
2
E (Xn − X )
0 ≤ P (|Xn − X | ≥ ) ≤ −→ 0.
2
Dr. MERGANE (M1SID/SATIC) Chapitre I : Introduction à la statistique inférentielle Décembre 2022 38 / 64
Préliminaire Modes de convergence
Convergence en loi
Définition
Soit (Xn )n∈N une suite de variables aléatoires de fonction de répartition (FXn ) et
soit X variable aléatoire de fonction de répartition F . On dit que la suite converge
en loi vers X et on note Xn −→L X , si en tout point de continuité x de F on a
Fn (x) converge (simplement) vers F (x).
Propriété
La convergence en probabilité implique la convergence en loi.
Preuve : [TAF]
Théorème
Soit X1 , · · · , Xn une suite de v.a. iid d’espérance µ et de variance σ 2 . Alors
Sn − nµ
√ −→L N (0, 1) .
σ n
Théorème
Soient (Zn )N une suite de v.a. d’espérance µ et de variance σ 2 et g une fonction
dérivable telle que g 0 (µ) 6= 0. Si lorsque n −→ +∞, on a
√
n (Zn − µ) −→L N 0, σ 2
alors √
2
n (g (Zn ) − g (µ)) −→L N 0, σ 2 [g 0 (µ)]
Sommaire
1 Préliminaire
Variable aléatoire réelle
Lois de probabilités usuelles
Tableaux des lois
Propriétés
Modes de convergence
2 Modèles
Modèle statistique
Modèle d’échantillonnage
Modèle statistique
Définition
On appelle modèle statistique induit par la v.a. X le triplet (E , E, P) .
Exemple (1)
Une machine produit des pièces. Une proportion p est défectueuse. On suppose
que ce caractère défectueux est indépendant d’une pièce à l’autre. On tire au
hasard une pièce de cette production. On sait dire si oui ou non la pièce tirée est
défectueuse. La v.a. X décrivant cette situation est de Bernoulli de paramètre p
inconnu.
Le modèle statistique associée à cette expérience est appelé modèle de Bernoulli
et on note :
({0, 1} , P ({0, 1}) , {Ber (p) , p ∈ [0, 1]}) .
Exemple (2)
La longueur X d’une certaine pièce est supposée suivre une loi normale de
moyenne µ et d’écart-type σ qui sont inconnus.
Le modèle statistique induit par X est appelé modèle gaussien et on note
Modèle paramétrique
Définition
Le modèle statistique (E , E, P) induit par X est dit paramétrique s’il existe un
entier naturel k tel que l’espace des paramètres est inclus dans Rk i.e.
P = {Pθ , θ ∈ Θ} avec Θ ⊆ Rk .
Sinon, le modèle est dit non paramétrique.
Modèle paramétrique
Définition
Le modèle statistique (E , E, P) induit par X est dit paramétrique s’il existe un
entier naturel k tel que l’espace des paramètres est inclus dans Rk i.e.
P = {Pθ , θ ∈ Θ} avec Θ ⊆ Rk .
Sinon, le modèle est dit non paramétrique.
Exemple
• Dans l’exemple 1, θ = p et Θ = [0, 1] : le paramètre est dit unidimensionnel.
• Dans l’exemple 2, θ = (µ, σ) et Θ = R × R∗+ , le paramètre est bidimensionnel.
Modèle identifiable
Définition
Le modèle statistique paramétrique (E , E, {Pθ , θ ∈ Θ}) est dit identifiable si
l’application θ ∈ Θ 7−→ Pθ est injective i.e.
∀ θ1 , θ2 ∈ Θ, si Pθ1 = Pθ2 =⇒ θ1 = θ2 .
Exemple
On considère le modèle gaussien dans le cas où la moyenne µ est connue et de
variance σ 2 inconnue. Si on pose θ = σ ∈ R∗ , alors ce modèle n’est pas
identifiable. En effet, Pθ = P−θ .
Vraisemblance-Score
Definition
Soit (Ω, A, {Pθ , θ ∈ Θ}) un modèle statistique paramétrique induit par X . On
appelle vraisemblance de X au point x, la fonction notée et définie par :
L(x; ·) : Θ 7−→ R+
θ 7−→ fθ (x)
Définition
On appelle fonction score de la v.a. X sur le paramètre θ, la dérivée par rapport
à θ (si elle existe) du logarithme de la vraisemblance de X . Elle est notée par
S(X , θ). On a
∂
S(X , θ) = log fθ (X )
∂θ
Propriété
∂ ∂
R R
Supposons que ∂θ E
f (x, θ) dx = E ∂θ
f (x, θ) dx, alors S(X , θ) est une v.a.
centrée.
En effet,
fθ0 (x)
Z Z
E (S(X , θ)) = S(x, θ)fθ (x)dx = fθ (x)dx
fθ (x)
or cette dernière expression est égale à
Z Z
∂ ∂
fθ (x)dx = fθ (x)dx,
∂θ ∂θ
puisque fθ (·) est une densité, donc son intégrale vaut 1 et sa dérivée est égale zéro.
Sommaire
1 Préliminaire
Variable aléatoire réelle
Lois de probabilités usuelles
Tableaux des lois
Propriétés
Modes de convergence
2 Modèles
Modèle statistique
Modèle d’échantillonnage
Définition
Soit (E , E, P) un modèle statistique induit par X . On appelle modèle de
l’échantillon ou d’échantillonnage le modèle donné par
E n , E ⊗n , P ⊗n .
x ; ·)
L(e : Θ 7−→ R+
n
Y
θ 7−→ fθ (xi )
i=1
Dr. MERGANE (M1SID/SATIC) Chapitre I : Introduction à la statistique inférentielle Décembre 2022 50 / 64
Modèles Modèle d’échantillonnage
Exercice
Donner la vraisemblance du modèle :
⊗n
1 de Bernoulli E n , E ⊗n , {Ber (p), p ∈ [0, 1]} ;
⊗n
2 de Poisson E n , E ⊗n , {P(λ), λ ∈ R+ } ;
⊗n
Gaussien E n , E ⊗n , N (µ, σ 2 ), µ ∈ R, σ ∈ R∗+
3 .
Score de l’échantillon
Définition
On appelle fonction score de l’échantillon au point θ, la dérivée par rapport à θ
(si elle existe) de la log-vraisemblance. Elle est donnée par :
∂
S(X
e , θ) = log L(X
e ; θ)
∂θ
Propriété
n
X
S(X
e , θ) = S(Xi , θ).
i=1
En effet !
n
∂ ∂ Y
S(X
e , θ) = log L(X
e ; θ) = log fθ (Xi )
∂θ ∂θ
i=1
n n
e , θ) = ∂ ∂
X X
⇒ S(X log fθ (Xi ) = log fθ (Xi )
∂θ ∂θ
i=1 i=1
Statistique
⊗n
Soit E n , E ⊗n , {Pθ , θ ∈ Θ} le modèle d’échantillonnage associé à l’échantillon
e = (X1 , · · · , Xn ) extrait de X , de carré intégrable. Notons par
X
E(X ) = µ et Var (X ) = σ 2 .
Définition
Toute application mesurable T définie de (E n , E ⊗n ) à valeurs dans un espace
mesurable (F , F) est appelée statistique.
Statistique : Exemples
Exemple
1 Minimum :
Rn , B(R)⊗n
−→ (R, B(R))
(X1 , · · · , Xn ) −→ T (X1 , · · · , Xn ) = min {X1 , · · · , Xn }
T : Rn , B(R)⊗n
−→ ([0, 1], B([0, 1]))
n
1X
(X1 , · · · , Xn ) −→ T (X1 , · · · , Xn ) = 1(Xi ≤t0 )
n i=1
T : Rn −→ R2
(X1 , · · · , Xn ) −→ T (X1 , · · · , Xn ) = X , S 2 ,
Pn Pn 2
où X = 1
n i=1 Xi et S 2 = 1
n i=1 Xi − X .
Dr. MERGANE (M1SID/SATIC) Chapitre I : Introduction à la statistique inférentielle Décembre 2022 54 / 64
Distribution d’échantillonnage de quelques statistiques La moyenne empirique
Sommaire
1 Préliminaire
Variable aléatoire réelle
Lois de probabilités usuelles
Tableaux des lois
Propriétés
Modes de convergence
2 Modèles
Modèle statistique
Modèle d’échantillonnage
Moyenne empirique
Definition
On appelle moyenne de l’échantillon ou moyenne empirique la statistique notée
par X et définie par
n
1X
X = Xi .
n
i=1
σ2
E X = µ et Var (X ) = .
n
Preuve[TAF]
Théorème
Sommaire
1 Préliminaire
Variable aléatoire réelle
Lois de probabilités usuelles
Tableaux des lois
Propriétés
Modes de convergence
2 Modèles
Modèle statistique
Modèle d’échantillonnage
Variance empirique
Definition
On appelle variance empirique la statistique notée et définie par
n
1X 2
S2 = Xi − X .
n
i=1
Variance empirique
Propriété
Supposons que le moment centré d’ordre 4 (µ4 ) de X existe, alors
n−1 2 n−1
E S2 = σ et Var (S 2 ) = (n − 1) µ4 − (n − 3) σ 4 .
n n 3
Théorème
Lorsque n tend vers +∞, on a : S 2 converge ps vers σ 2 et
√ S 2 − σ2
np −→d N (0, 1) .
µ4 − σ 4
Remarque
Lorsque la taille de l’échantillon n est très grande on a :
2
S0 ≈ S2
Sommaire
1 Préliminaire
Variable aléatoire réelle
Lois de probabilités usuelles
Tableaux des lois
Propriétés
Modes de convergence
2 Modèles
Modèle statistique
Modèle d’échantillonnage
Exercice
n−1
p (1 − b
Montrer que E (b p )) = n p(1 − p).
Dr. MERGANE (M1SID/SATIC) Chapitre I : Introduction à la statistique inférentielle Décembre 2022 62 / 64
Distribution d’échantillonnage de quelques statistiques Cas particuliers
Echantillon Gaussien
√ X −µ
n ∼ St (n − 1) .
S