Test de Kolmogorov-Smirnov

En statistiques, le test de Kolmogorov-Smirnov est un test d'hypothèse utilisé pour déterminer si un échantillon suit bien une loi donnée connue par sa fonction de répartition continue, ou bien si deux échantillons suivent la même loi. Le test de Kolmogorov-Smirnov est par exemple utilisé pour tester la qualité d'un générateur de nombres aléatoires.

Test de Kolmogorov-Smirnov

Type	Test non-paramétrique (d)
Inventeurs	Andreï Kolmogorov, Nikolai Smirnov
Nommé en référence à	Andreï Kolmogorov, Nikolai Smirnov

Principe

Fonction de répartition empirique F_n (en bleu) et fonction de répartition théorique F (rouge).

On modélise une loi donnée par sa fonction de répartition F (voir courbe rouge sur la figure). La fonction de répartition associe à tout x (en abscisses), la probabilité qu'une variable suivant cette loi soit plus petite que x (en ordonnées). Le test consiste alors à comparer la fonction de répartition de la loi (fonction de répartition théorique) à la fonction de répartition empirique F_n (en bleu). Cette dernière est une fonction de répartition obtenue en attribuant la probabilité 1/n à chacun des n éléments de l'échantillon. On mesure alors la différence entre les deux courbes. Si cette différence est inférieure à un seuil, alors on décide que l'échantillon provient bien de cette loi donnée. Plus précisément, on rejette l'hypothèse que l'échantillon provienne de la loi s'il y a une valeur de x pour laquelle |F_n(x) - F(x)| est grande.

Définition formelle

Soit $X_{1},\ldots ,X_{n}$ n variables iid définies sur un espace de probabilité $(\Omega ,{\mathcal {A}},\mathbb {P} )$, à valeurs dans $\mathbb {R}$, avec pour fonction de répartition F. La fonction de répartition empirique $F_{n}$ de l'échantillon $X_{1},\ldots ,X_{n}$ est définie par :

$\forall x\in \mathbb {R} ,F_{n}(x)={\frac {\mathrm {nombre~d'{\acute {e}}l{\acute {e}}ments} \,\leq x\,\mathrm {dans~l'{\acute {e}}chantillon} }{n}}={\frac {1}{n}}\sum _{i=1}^{n}\mathbf {1} _{X_{i}\leq x}$

où $\mathbf {1} _{A}$ est la fonction indicatrice de l'événement A.

Notons bien que $F_{n}(x)$ est une variable aléatoire, car elle dépend des valeurs de l'échantillon $X_{1},\ldots ,X_{n}$. On a la convergence suivante :

$\mathbb {P} \left[\sup _{x}|F_{n}(x)-F(x)|>{\frac {c}{\sqrt {n}}}\right]{\xrightarrow[{n\to \infty }]{}}\alpha (c)=2\sum _{r=1}^{+\infty }(-1)^{r-1}\exp(-2c^{2}r^{2})$

pour toute constante c > 0. Le terme α(c) vaut 0,05 pour c = 1,36.

Remarquons que la limite à droite ne dépend pas de F. Cela découle du fait que ${\sqrt {n}}(F_{n}(x)-F(x))$ converge en loi vers un pont brownien changé de temps par l'inverse F⁻¹ de F. La série α(c) se déduit des propriétés de ce dernier processus.

Il est ainsi facile de proposer un test d'hypothèse pour décider si un échantillon provient bien d'une loi donnée, ou si deux échantillons ont la même loi, lorsque leurs fonctions de répartitions sont continues.

On peut aussi considérer $\max _{x}(F_{n}(x)-F(x))$ et $\max _{x}(F(x)-F_{n}(x))$.

Mise en œuvre

• ks.test avec R.
• scipy.stats.kstest avec Python pour déterminer si un échantillon suit une loi donnée
• scipy.stats.ks_2samp avec Python pour déterminer si deux échantillons suivent la même loi de distributions
• ksmirnov avec Stata
• kstest avec Matlab.

Voir aussi

• Andreï Kolmogorov
• Nikolaï Vassilievitch Smirnov
• Test de normalité
• Test de Jarque-Bera
• Test de Kuiper
• Test de Shapiro-Wilk
• Test d'Anderson-Darling
• Test de Cramer-Von Mises

Références

• (en) Galen R. Shorack et Jon A. Wellner, Empirical Processes With Applications to Statistics, Philadelphie, Society for Industrial & Applied Mathematics, 4 septembre 2009, 998 p. (ISBN 978-0-89871-684-9 et 0-89871-684-5, LCCN 2009025143, lire en ligne).

• (en) David Williams, Weighing the Odds: a Course in Probability and Statistics, Cambridge University Press, 2001, 548 p. (ISBN 0-521-80356-X).

Liens externes

• (en) « Calculation of the Smirnov-Kolmogorov table »
• Exemple de table : http://dlc.erieri.com/onlinetextbook/index.cfm?fuseaction=textbook.appendix&FileName=Table7