Mesure empirique

En probabilité, la mesure empirique est une mesure aléatoire calculée à partir de la réalisation d'un échantillon, c'est-à-dire de la réalisation d'une séquence de variables aléatoires. Cette notion est très utilisée en statistique. La motivation principale de l'étude de cette mesure vient du fait qu'elle nous permet de connaître la mesure de probabilité réelle $P$ qui est inconnue. Les théorèmes concernant les processus empiriques permettent de donner les vitesses de convergence de cette mesure.

Définition et propriétés

Soit $X_{1},X_{2},\dots$ une suite de variables aléatoires indépendantes et identiquement distribuées (i.i.d.) de mesure de probabilité $P$ (pas nécessairement connue) à valeurs dans un ensemble ${\mathcal {X}}$.

Définition

La mesure empirique $P_{n}$ est la mesure de probabilité discrète définie par $P_{n}(A)={\frac {1}{n}}\sum _{i=1}^{n}\mathbf {1} _{A}(X_{i})={\frac {1}{n}}\sum _{i=1}^{n}\delta _{X_{i}}(A)$ où $\mathbf {1} _{A}$ est la fonction indicatrice et $\delta _{X}$ est la mesure de Dirac. On peut généraliser cette définition à des classes de fonctions mesurables à valeurs réelles en définissant la mesure empirique $P_{n}$ par $P_{n}(f)=\int _{\mathcal {X}}f\mathrm {d} P_{n}={\frac {1}{n}}\sum _{i=1}^{n}f(X_{i})$ pour toute fonction $f:{\mathcal {X}}\to \mathbb {R}$ mesurable.

En particulier, la mesure empirique $P_{n}(A)$ est la mesure empirique de la fonction indicatrice $\mathbf {1} _{A}$.

Propriétés

Propriétés de la mesure empirique classique

• Pour un ensemble mesurable $A$, $nP_{n}(A)$ est une variable aléatoire binomiale de paramètres $(n;P(A))$. En particulier, $P_{n}(A)$ est un estimateur non biaisé de $P(A)$.
• Si $(A_{i})_{1\leq i\leq n}$ forme une partition de ${\mathcal {X}}$ alors les variables aléatoires $X_{i}=nP_{n}(A_{i})$ sont des multinomiales de paramètres $n$ et $P(A_{i})$.
• Si on note $\alpha _{n}^{X}$ le processus empirique défini par $\alpha _{n}^{X}(t)={\frac {1}{\sqrt {n}}}\left(\sum _{i=1}\mathbf {1} _{\{X_{i}\leq t\}}-F(t)\right)$, on peut définir ce dernier via la mesure empirique : $\alpha _{n}^{X}={\sqrt {n}}(P_{n}-P)\Leftrightarrow P_{n}=P+{\frac {\alpha _{n}^{X}}{\sqrt {n}}}.$

Propriétés de la mesure empirique généralisée

• Pour une fonction mesurable fixée $f,P_{n}(f)$ est une variable aléatoire de moyenne $\mathbb {E} [f]$ et de variance ${\frac {1}{n}}\mathbb {E} [(f-\mathbb {E} [f])^{2}]$.
• D'après la loi forte des grands nombres, $P_{n}(f)$ converge p.s. vers $\mathbb {E} [f]$ pour une fonction mesurable $f$ fixée.
• La mesure empirique indexée par une classe de fonctions s'exprime avec le processus empirique indexé par une classe de fonctions de la même manière que la mesure empirique : $\alpha _{n}^{X}(f)={\frac {1}{\sqrt {n}}}\left(\sum _{i=1}^{n}f(X_{i})-\mathbb {E} [f(X_{i})]\right)$.

Principe des grandes déviations

En 1957, Sanov établit que la mesure empirique suit le principe des grandes déviations avec pour fonction taux la divergence de Kullback-Leibler. En particulier, la probabilité que la mesure empirique appartienne à un ensemble auquel n'appartient pas la loi mère (i.e. $P$) de l'échantillon est exponentiellement décroissante par rapport à la taille de l'échantillon. Une preuve simple faisant appel à des résultats élémentaires de topologie a été proposée en 2006 par Csiszár.

Classes de Glivenko-Cantelli et de Donsker

Classe de Glivenko-Cantelli

Le théorème de Glivenko-Cantelli affirme que la fonction de répartition empirique $F_{n}(t)=P_{n}(]-\infty ,t])$ converge uniformément vers la fonction de répartition $F$ de la variable étudiée. Pour généraliser ce résultat, on nomme les classes de Glivenko-Cantelli les classes des fonctions mesurables à valeurs réelles pour lesquels la mesure empirique converge uniformément vers la mesure théorique. En d'autres mots, ${\mathcal {C}}$ est une classe de Glivenko-Cantelli si

$\lim _{n\to +\infty }||P_{n}-P||_{\mathcal {C}}=\lim _{n\to +\infty }\sup _{C\in {\mathcal {C}}}|P_{n}(C)-P(C)|=0$.

Classe de Donsker

Le théorème de Donsker affirme lui que le processus empirique $\alpha _{n}^{X}$ converge en loi vers un pont brownien. Pour généraliser cela, on nomme classes de Donsker les classes des fonctions auxquelles la mesure empirique centrée et normalisée converge en loi vers un pont brownien. En d'autres mots, ${\mathcal {C}}$ est une classe de Donsker si $\alpha _{n}{\underset {n\to +\infty }{\overset {\mathcal {L}}{\longrightarrow }}}\mathbb {G} {\text{ dans }}\ell ^{\infty }({\mathcal {C}})$.

Articles connexes

• Processus empirique
• Inégalité de concentration

Ouvrages

• (en) P. Billingsley, Probability and Measure, New York, John Wiley and Sons, 1995, Third éd., 622 p. (ISBN 0-471-80478-9)
• (en) M. D. Donsker, « Justification and extension of Doob's heuristic approach to the Kolmogorov–Smirnov theorems », Annals of Mathematical Statistics, vol. 23, n^o 2,‎ 1952, p. 277–281 (DOI 10.1214/aoms/1177729445)
• (en) R. M. Dudley, « Central limit theorems for empirical measures », Annals of Probability, vol. 6, n^o 6,‎ 1978, p. 899–929 (DOI 10.1214/aop/1176995384, JSTOR 2243028)
• (en) R. M. Dudley, Uniform Central Limit Theorems, vol. 63, Cambridge, UK, Cambridge University Press, coll. « Cambridge Studies in Advanced Mathematics », 1999, 436 p. (ISBN 0-521-46102-2, lire en ligne)
• (en) J. Wolfowitz, « Generalization of the theorem of Glivenko–Cantelli », Annals of Mathematical Statistics, vol. 25, n^o 1,‎ 1954, p. 131–138 (DOI 10.1214/aoms/1177728852, JSTOR 2236518)