Loi gamma-normale

En théorie des probabilités et en statistiques, la loi gamma-normale (ou Gamma- Gaussienne) est une distribution bivariée continue à quatre paramètres. Elle est la prieure conjuguée de la loi normale de moyenne et variance inconnues.

Loi Gamma-Normale
Paramètres	$\mu \,$ réel (position) $\lambda >0\,$ réel $\alpha \geq 1\,$ réel $\beta >0\,$ réel
Support	$x\in (-\infty ,\infty )\,\!,\;\tau \in (0,\infty )$
Densité de probabilité	$f(x,\tau |\mu ,\lambda ,\alpha ,\beta )=$ ${\frac {\beta ^{\alpha }{\sqrt {\lambda }}}{\Gamma (\alpha ){\sqrt {2\pi }}}}\,\tau ^{\alpha -{\frac {1}{2}}}\,\mathrm {e} ^{-\beta \tau }\,\mathrm {e} ^{-{\frac {\lambda \tau (x-\mu )^{2}}{2}}}$
Espérance	$\operatorname {E} (X)=\mu \,\!,\quad \operatorname {E} (\mathrm {T} )=\alpha \beta ^{-1}$
Mode	$\left(\mu ,{\frac {\alpha -{\frac {1}{2}}}{\beta }}\right)$
Variance	$\operatorname {var} (X)={\frac {\beta }{\lambda (\alpha -1)}},\quad$ $\operatorname {var} (\mathrm {T} )=\alpha \beta ^{-2}$

Définition

Soit une paire de variable aléatoires (X,T).

Si la distribution conditionnelle de X sachant T est normale de moyenne $\mu$ et variance $1/\lambda T$

$X|T\sim {\mathcal {N}}(\mu ,(\lambda T)^{-1})\,\!,$

et si la distribution marginale de T est une loi gamma

$T|\alpha ,\beta \sim \operatorname {Gamma} (\alpha ,\beta )\!,$

alors (X,T) suit une loi gamma-normale, que l'on note

$(X,T)\sim \operatorname {NormalGamma} (\mu ,\lambda ,\alpha ,\beta )\!.$

Fonction de densité

La fonction de densité conjointe de (X,T) a la forme

$f(x,\tau |\mu ,\lambda ,\alpha ,\beta )={\frac {\beta ^{\alpha }{\sqrt {\lambda }}}{\Gamma (\alpha ){\sqrt {2\pi }}}}\,\tau ^{\alpha -{\frac {1}{2}}}\,\mathrm {e} ^{-\beta \tau }\,\mathrm {e} ^{-{\frac {\lambda \tau (x-\mu )^{2}}{2}}}$

Distributions marginales

Par définition, la distribution marginale de $\tau$ est une loi gamma.

La distribution marginale de $X$ est une loi de Student non-standardisée de paramètres $(\nu ,\mu ,\sigma ^{2})=\left(2\alpha ,\mu ,{\frac {\beta }{\lambda \alpha }}\right)$.

Calibrage

Si $(X,T)\sim \operatorname {NormalGamma} (\mu ,\lambda ,\alpha ,\beta )$,

alors pour tout b > 0,

$(bX,bT)\sim \operatorname {NormalGamma} (b\mu ,\lambda ,\alpha ,b^{2}\beta ).$

Famille exponentielle

Les lois gamma-normales forment une famille exponentielle de paramètre naturel $(\alpha -{\frac {1}{2}},-\beta -{\frac {\lambda \mu ^{2}}{2}},\lambda \mu ,-{\frac {\lambda }{2}})$ et de statistique suffisante $(\ln \tau ,\tau ,\tau x,\tau x^{2})$.

Moments des statistiques suffisantes

Ces moments se calculent à l'aide de la fonction génératrice des moments de la statistique suffisante :

$\operatorname {E} (\ln T)=\psi \left(\alpha \right)-\ln \beta$,

où $\psi \left(\alpha \right)$ est la fonction digamma,

$\operatorname {E} (T)={\frac {\alpha }{\beta }}$,

$\operatorname {E} (TX)=\mu {\frac {\alpha }{\beta }}$,

$\operatorname {E} (TX^{2})={\frac {1}{\lambda }}+\mu ^{2}{\frac {\alpha }{\beta }}$.

Distribution a posteriori des paramètres

Soit X distribuée selon une normale de moyenne $\mu$ et variance $1/\tau$ inconnues

$X\sim {\mathcal {N}}(\mu ,\tau ^{-1})$

Supposons que la distribution a priori de $(\mu ,\tau )$ suive une distribution gamma-normale $(\mu _{0},\lambda _{0},\alpha _{0},\beta _{0}),$

$\pi (\mu ,\tau )\propto \tau ^{\alpha _{0}-{\frac {1}{2}}}\,\exp[{-\beta _{0}\tau }]\,\exp \left[-{\frac {\lambda _{0}\tau (\mu -\mu _{0})^{2}}{2}}\right].$

Étant donné un échantillon $\mathbf {X}$ constitué de n variables aléatoires indépendantes et identiquement distribuées (i.i.d) $\{x_{1},...,x_{n}\}$, la distribution a posteriori de $\mu$ et $\tau$ conditionnellement à cet échantillon se calcule par la formule de Bayes.

$\mathbf {P} (\tau ,\mu |\mathbf {X} )\propto \mathbf {L} (\mathbf {X} |\tau ,\mu )\pi (\tau ,\mu )$,

où $\mathbf {L}$ est la vraisemblance des données observées pour ces paramètres.

Pour des données i.i.d, la vraisemblance conjointe de l'échantillon est égale au produit des vraisemblances individuelles :

$\mathbf {L} (\mathbf {X} |\tau ,\mu )=\prod _{i=1}^{n}\mathbf {L} (x_{i}|\tau ,\mu ).$

Ainsi,

${\begin{aligned}\mathbf {L} (\mathbf {X} |\tau ,\mu )&\propto \prod _{i=1}^{n}\tau ^{1/2}\exp \left[{\frac {-\tau }{2}}(x_{i}-\mu )^{2}\right]\\&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}\right]\\&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}}+{\bar {x}}-\mu )^{2}\right]\\&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\sum _{i=1}^{n}\left((x_{i}-{\bar {x}})^{2}+({\bar {x}}-\mu )^{2}\right)\right]\\&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\left(ns+n({\bar {x}}-\mu )^{2}\right)\right],\end{aligned}}$

où ${\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}$, moyenne d'échantillon, et $s={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}$, variance d'échantillon.

La distribution a posteriori des paramètres devient ainsi

${\begin{aligned}\mathbf {P} (\tau ,\mu |\mathbf {X} )&\propto \mathbf {L} (\mathbf {X} |\tau ,\mu )\pi (\tau ,\mu )\\&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\left(ns+n({\bar {x}}-\mu )^{2}\right)\right]\tau ^{\alpha _{0}-{\frac {1}{2}}}\,\exp \left[-\beta _{0}\tau \right]\,\exp \left[-{\frac {\lambda _{0}\tau (\mu -\mu _{0})^{2}}{2}}\right]\\&\propto \tau ^{{\frac {n}{2}}+\alpha _{0}-{\frac {1}{2}}}\exp \left[-\tau \left({\frac {1}{2}}ns+\beta _{0}\right)\right]\exp \left[-{\frac {\tau }{2}}\left(\lambda _{0}(\mu -\mu _{0})^{2}+n({\bar {x}}-\mu )^{2}\right)\right]\\\end{aligned}}$

Développant le terme de la deuxième exponentielle, on a :

${\begin{aligned}\lambda _{0}(\mu -\mu _{0})^{2}+n({\bar {x}}-\mu )^{2}&=\lambda _{0}\mu ^{2}-2\lambda _{0}\mu \mu _{0}+\lambda _{0}\mu _{0}^{2}+n\mu ^{2}-2n{\bar {x}}\mu +n{\bar {x}}^{2}\\[3pt]&=(\lambda _{0}+n)\mu ^{2}-2(\lambda _{0}\mu _{0}+n{\bar {x}})\mu +\lambda _{0}\mu _{0}^{2}+n{\bar {x}}^{2}\\[3pt]&=(\lambda _{0}+n)\left(\mu ^{2}-2{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\mu \right)+\lambda _{0}\mu _{0}^{2}+n{\bar {x}}^{2}\\[3pt]&=(\lambda _{0}+n)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}+\lambda _{0}\mu _{0}^{2}+n{\bar {x}}^{2}-{\frac {\left(\lambda _{0}\mu _{0}+n{\bar {x}}\right)^{2}}{\lambda _{0}+n}}\\[3pt]&=(\lambda _{0}+n)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{\lambda _{0}+n}}\end{aligned}},$

ce qui donne :

${\begin{aligned}\mathbf {P} (\tau ,\mu |\mathbf {X} )&\propto \tau ^{{\frac {n}{2}}+\alpha _{0}-{\frac {1}{2}}}\exp \left[-\tau \left({\frac {1}{2}}ns+\beta _{0}\right)\right]\exp \left[-{\frac {\tau }{2}}\left(\left(\lambda _{0}+n\right)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{\lambda _{0}+n}}\right)\right]\\&\propto \tau ^{{\frac {n}{2}}+\alpha _{0}-{\frac {1}{2}}}\exp \left[-\tau \left({\frac {1}{2}}ns+\beta _{0}+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{2(\lambda _{0}+n)}}\right)\right]\exp \left[-{\frac {\tau }{2}}\left(\lambda _{0}+n\right)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}\right]\end{aligned}}$

Cette dernière expression est bien celle d'une distribution Gamma-Normale,

$\mathbf {P} (\tau ,\mu |\mathbf {X} )\sim {\text{NormalGamma}}\left({\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}},\lambda _{0}+n,\alpha _{0}+{\frac {n}{2}},\beta _{0}+{\frac {1}{2}}\left(ns+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{\lambda _{0}+n}}\right)\right)$

Interprétation bayesienne des paramètres

• La nouvelle moyenne est la moyenne pondérée de l'ancienne pseudo-moyenne et de la moyenne d'échantillon observée, avec des poids relatifs proportionnels aux nombres de (pseudo-)observations.
• Le nombre de pseudo-observations ($\lambda _{0}$) est adapté simplement en y additionnant le nombre correspondant de nouvelles observations ($n$).
• La concentration (l'inverse de la variance) a priori revient à estimer sur base de $2\alpha$ pseudo-observations (c.à.d. un nombre éventuellement différent de pseudo-observations, afin de permettre de contrôler séparément la variance de la moyenne et de la concentration) de moyenne $\mu$ et variance ${\frac {\beta }{\alpha }}$.
• Une nouvelle somme d'écarts quadratiques est constituée de l'addition des sommes d'écarts quadratiques respectives. Toutefois, un "terme d'interaction" doit être ajouté parce que les deux ensembles d'écarts étaient mesurés par rapport à des moyennes distinctes, ce qui sous-estime l'écart quadratique total réel.

Par conséquent, si on a une moyenne a priori $\mu _{0}$ basée sur $n_{\mu }$ observations et une concentration a priori $\tau _{0}$ basée sur $n_{\tau }$ observations, la distribution a priori de $(\mu ,\tau )$ est

$\mathbf {P} (\tau ,\mu |\mathbf {X} )\sim {\text{NormalGamma}}\left(\mu _{0},n_{\mu },{\frac {n_{\tau }}{2}},{\frac {n_{\tau }}{2\tau _{0}}}\right)$

et la distribution a posteriori après échantillon de $n$ observations de moyenne $\mu$ et variance $s$ sera

$\mathbf {P} (\tau ,\mu |\mathbf {X} )\sim {\text{NormalGamma}}\left({\frac {n_{\mu }\mu _{0}+n\mu }{n_{\mu }+n}},n_{\mu }+n,{\frac {1}{2}}(n_{\tau }+n),{\frac {1}{2}}\left({\frac {n_{\tau }}{\tau _{0}}}+ns+{\frac {n_{\mu }n(\mu -\mu _{0})^{2}}{n_{\mu }+n}}\right)\right)$

Distributions associées

• La loi gamma-normale inverse est essentiellement la même distribution, paramétrisée par la variance plutôt que la concentration.
• La loi normale-exponentielle-gamma (NEG).

Sources

• Bernardo, J.M.; Smith, A.F.M. (1993) Bayesian Theory, Wiley. (ISBN 0-471-49464-X)
• Dearden et al. "Bayesian Q-learning", Proceedings of the Fifteenth National Conference on Artificial Intelligence (AAAI-98), July 26–30, 1998, Madison, Wisconsin, USA.

Voir aussi

• Famille exponentielle
• Inférence bayésienne