Statistique bayésienne

Cet article est une ébauche concernant les probabilités et la statistique.

Vous pouvez partager vos connaissances en l’améliorant (comment ?) selon les recommandations des projets correspondants.

La statistique bayésienne est une approche statistique fondée sur l'inférence bayésienne, où la probabilité exprime un degré de croyance en un événement. Le degré initial de croyance peut être basé sur des connaissances a priori, telles que les résultats d'expériences antérieures, ou sur des croyances personnelles concernant l'événement. La perspective bayésienne diffère d'un certain nombre d'autres interprétations de la probabilité, comme l'interprétation fréquentiste qui considère la probabilité comme la limite de la fréquence relative d'un événement après de nombreux essais^[1].

Les méthodes statistiques bayésiennes reposent sur le théorème de Bayes pour calculer et mettre à jour les probabilités après l'obtention de nouvelles données. Le théorème de Bayes décrit la probabilité conditionnelle d'un événement basée sur des informations ou des croyances antérieures sur l'événement ou les conditions liées à l'événement^[2]^,^[3]. Par exemple, dans l'inférence bayésienne, le théorème de Bayes peut être utilisé pour estimer les paramètres d'une distribution de probabilité ou d'un modèle statistique. Puisque les statistiques bayésiennes traitent la probabilité comme un degré de croyance, le théorème de Bayes peut directement attribuer une distribution de probabilité qui quantifie la croyance au paramètre ou à l'ensemble de paramètres^[1]^,^[2].

Les statistiques bayésiennes ont été nommées d'après Thomas Bayes, qui a formulé un cas spécifique du théorème de Bayes dans son article publié en 1763, An Essay towards solving a Problem in the Doctrine of Chances. Dans plusieurs articles allant de la fin du 18^e siècle au début du 19^e siècle, Pierre-Simon de Laplace a développé l'interprétation bayésienne de la probabilité^[4]. Laplace a utilisé des méthodes qui seraient maintenant considérées comme bayésiennes pour résoudre un certain nombre de problèmes statistiques. De nombreuses méthodes bayésiennes ont été développées par des auteurs plus récents, mais le terme n'a pas été couramment utilisé pour décrire ces méthodes avant les années 1950. Pendant une grande partie du 20^e siècle, les méthodes bayésiennes ont été jugées défavorablement par de nombreux statisticiens en raison de considérations philosophiques et pratiques. De nombreuses méthodes bayésiennes nécessitent beaucoup de calculs pour être complétées. Avec l'avènement d'ordinateurs puissants et de nouvelles méthodes de simulation, les méthodes bayésiennes ont été de plus en plus utilisées dans les statistiques au 21e siècle^[1]^,^[5].

En statistique bayésienne :

on interprète les probabilités comme un degré de croyance plutôt que comme la fréquence limite d'un phénomène ;
on modélise les paramètres du modèle par des lois de probabilité ;
on infère des paramètres devenant d'autant plus plausibles à mesure qu'on affine cette distribution de probabilité au fur et à mesure que sont connus de nouveaux résultats d'observation^[6].

Méthode

Une analyse bayésienne demande au départ une première modélisation très brute des connaissances. On estime à cette fin les ordres de grandeur vraisemblables des résultats (par exemple une moyenne, mais éventuellement aussi d'autres informations) et on leur associe une distribution de probabilité.

Le nombre de distributions de probabilité ayant la même moyenne étant infini, la distribution choisie sera la moins informée de toutes celles qui respectent les contraintes, puisque n'introduisant aucune information parasite, conformément au principe d'entropie maximale.

Cette information « floue » de départ (probabilité a priori) est ensuite affinée par les observations à l'aide de la loi de Bayes^[6], et donne ainsi une distribution a posteriori de plus en plus fine parce que traduisant en totalité l'information apportée par les observations. La probabilité a posteriori après une observation devenant la probabilité a priori avant l'observation suivante a posteriori probable.

Outils

La Méthode de Monte-Carlo par chaînes de Markov et ses dérivées sont des outils puissants pour la détermination de calculs bayésiens^[7], bien que chacun d'entre eux ne réponde pas à toutes les populations à étudier, si bien que ces méthodes évoluent en permanence pour s'adapter aux besoins de configurations précises.

Articles connexes

Bibliographie

(en) Dennis Victor Lindley, Introduction to probability and statistics from a Bayesian viewpoint, Cambridge, Cambridge University Press, 1965
Christian Robert (trad. de l'anglais), Le Choix bayésien, Paris/Berlin/Heidelberg etc., Springer Verlag, coll. « Statistiques et probabilités appliquées », 2005, 658 p. (ISBN 978-2-287-25173-3, lire en ligne)
(en) Andrew Gelman, John B Carlin, Hal S Stern et Donald B Rubin, Bayesian Data Analysis, Chapman CRC, 2013, 3^e éd., 675 p. (ISBN 978-1-4398-4095-5, lire en ligne)
(en) Andrew Gelman et Cosma Shalizi, « Philosophy and the practice of Bayesian statistics (with discussion) », British Journal of Mathematical and Statistical Psychology, vol. 66,‎ 2013, p. 8-18
Christian Robert, « L'Analyse statistique bayésienne », Courrier des statistiques,‎ 2001 (lire en ligne)
(en) Peter E. Rossi, Greg M. Allenby et Rob McCulloch, Bayesian Statistics and Marketing, Wiley, octobre 2005, 368 p. (ISBN 978-0-470-86367-1)
(en) Simon Jackman, Bayesian Analysis for the Social Sciences, Hoboken, New Jersey, Wiley, 2009
(en) Jeff Gill, Bayesian Methods : A Social and Behavioral Approach, CRC Press, 2007, 2^e éd. (1^re éd. 2002)

Notes et références

↑ ^{a b et c} Andrew Gelman, John B. Carlin, Hal S. Stern, David B. Dunson, Vehtari et Rubin, Bayesian Data Analysis, Third Edition, Chapman and Hall/CRC, 2013 (ISBN 978-1-4398-4095-5)
↑ ^{a et b} Richard McElreath, Statistical Rethinking, First Edition, Chapman and Hall/CRC, 2015 (ISBN 978-1-4822-5344-3)
↑ John Kruschke, Doing Bayesian Data Analysis, Second Edition, Academic Press, 2014 (ISBN 978-0-1240-5888-0)
↑ Sharon McGrayne, The Theory That Would Not Die: How Bayes' Rule Cracked the Enigma Code, Hunted Down Russian Submarines, and Emerged Triumphant from Two Centuries of Controversy, First Edition, Chapman and Hall/CRC, 2012 (ISBN 978-0-3001-8822-6)
↑ Fienberg, « When Did Bayesian Inference Become "Bayesian"? », Bayesian Analysis, vol. 1, n^o 1,‎ 2006, p. 1–40 (DOI 10.1214/06-BA101)
↑ ^{a et b} (en) Larry Wasserman, All of Statistics : A Concise Course in Statistical Inference, New York, Springer-Verlag, 2004, 461 p. (ISBN 978-0-387-40272-7, lire en ligne), p. 176.
↑ Peter J. Green, « Reversible jump Markov chain Monte Carlo computation and Bayesian model determination », Biometrica, n^o 82,‎ 1995 (lire en ligne)

Portail des probabilités et de la statistique

[bda-1] {a b et c} Andrew Gelman, John B. Carlin, Hal S. Stern, David B. Dunson, Vehtari et Rubin, Bayesian Data Analysis, Third Edition, Chapman and Hall/CRC, 2013 (ISBN 978-1-4398-4095-5)

[rethinking-2] {a et b} Richard McElreath, Statistical Rethinking, First Edition, Chapman and Hall/CRC, 2015 (ISBN 978-1-4822-5344-3)

[3] John Kruschke, Doing Bayesian Data Analysis, Second Edition, Academic Press, 2014 (ISBN 978-0-1240-5888-0)

[4] Sharon McGrayne, The Theory That Would Not Die: How Bayes' Rule Cracked the Enigma Code, Hunted Down Russian Submarines, and Emerged Triumphant from Two Centuries of Controversy, First Edition, Chapman and Hall/CRC, 2012 (ISBN 978-0-3001-8822-6)

[5] Fienberg, « When Did Bayesian Inference Become "Bayesian"? », Bayesian Analysis, vol. 1, n^o 1,‎ 2006, p. 1–40 (DOI 10.1214/06-BA101)

[wasserman176-6] {a et b} (en) Larry Wasserman, All of Statistics : A Concise Course in Statistical Inference, New York, Springer-Verlag, 2004, 461 p. (ISBN 978-0-387-40272-7, lire en ligne), p. 176.

[7] Peter J. Green, « Reversible jump Markov chain Monte Carlo computation and Bayesian model determination », Biometrica, n^o 82,‎ 1995 (lire en ligne)

[1]

[2]

[3]

[4]

[5]

[6]

[7]