Estimateur de Laplace–Bayes

En théorie des probabilités et en statistiques, l'estimateur de Laplace–Bayes (ou règle de succession de Laplace) est une formule permettant de donner une approximation du terme a posteriori de la formule de Bayes. Elle a été introduite au XVIIIe siècle pour répondre au problème : quelle est la probabilité que le Soleil se lève demain[1] ?

Expression mathématique

Soit X 1 , . . . , X n , X n + 1 {\displaystyle X_{1},...,X_{n},X_{n+1}} des variables aléatoires indépendantes à valeur binaire (0 ou 1). On suppose qu'elles suivent toutes une distribution de Bernouilli de même paramètre p. Autrement dit, la probabilité que X i {\displaystyle X_{i}} = 1 vaut p), la valeur de p étant inconnue. Alors :

P ( X n + 1 = 1 ∣ X 1 + ⋯ + X n = s ) = s + 1 n + 2 . {\displaystyle P(X_{n+1}=1\mid X_{1}+\cdots +X_{n}=s)={s+1 \over n+2}.}

On parle de succès quand X i {\displaystyle X_{i}} = 1. La formule précédent dit donc que la probabilité d'avoir un succès à l'étape n+1 sachant qu'il y a eu s succès entre l'étape 1 et l'étape n vaut s + 1 n + 2 {\displaystyle {s+1 \over n+2}} .

Application historique

Cette section est vide, insuffisamment détaillée ou incomplète. Votre aide est la bienvenue ! Comment faire ?

Laplace a utilisé la règle de succession pour calculer la probabilité que le soleil se lève demain, étant donné qu'il s'est levé tous les jours depuis les 5 000 dernières années. On obtient un facteur d'environ 5 000×365,25, ce qui donne une cote de 1826251:1 en faveur du lever du soleil demain.

Cependant, l'hypothèse de base pour utiliser la règle de succession serait qu'on n'ait aucune connaissance préalable de la question de savoir si le soleil se lèvera ou non demain.

Démonstration

Soit p, la probabilité de succès sur chaque essai. Cette probabilité est supposée constante mais inconnue et incertaine. On la considère donc comme une variable aléatoire et ont lui attribue une distribution de probabilité pour exprimer cette incertitude. Soit Xi ayant la valeur 1 si l’on observe un « succès » sur le ième essai, et ayant la valeur 0 dans le cas contraire. Chaque Xi a ainsi pour valeur 0 ou 1 et suit donc une distribution de Bernoulli.

On suppose que ces Xi soient conditionnellement indépendants pour une probabilité p donnée. On peut alors utiliser le théorème de Bayes pour trouver la distribution de probabilité conditionnelle de p étant donné les données Xi (i = 1, ..., n).

Pour la mesure de la probabilité a priori de p, on attribue à cette v.a. une loi non informative de probabilité a priori, c'est-à-dire une distribution uniforme sur l’intervalle ouvert ]0;1[ ayant donc comme fonction de densité :

f ( p ) = { 0 si  p ≤ 0 1 si  0 < p < 1 0 si  p ≥ 1 {\displaystyle f(p)={\begin{cases}0&{\text{si }}p\leq 0\\1&{\text{si }}0<p<1\\0&{\text{si }}p\geq 1\end{cases}}}

Pour la vraisemblance des observations x 1 , … , x n ∈ { 0 , 1 } {\displaystyle x_{1},\dots ,x_{n}\in \{0,1\}} , on calcule la fonction de vraisemblance :

L ( p ) = P ( X 1 = x 1 , … , X n = x n ∣ p ) = ∏ i = 1 n p x i ( 1 − p ) 1 − x i = p s ( 1 − p ) n − s {\displaystyle {\mathcal {L}}(p)=P(X_{1}=x_{1},\ldots ,X_{n}=x_{n}\mid p)=\prod _{i=1}^{n}p^{x_{i}}(1-p)^{1-x_{i}}=p^{s}(1-p)^{n-s}}

où s = x1 + ... + xn est le nombre de succès et n est le nombre d’essais (X en majuscule désigne la variable aléatoire et x minuscule, les données réellement observées).

En utilisant les deux définitions précédentes, on peut alors déterminer la densité de probabilité de la distribution a posteriori :

f ( p ∣ X 1 = x 1 , … , X n = x n ) = L ( p ) f ( p ) ∫ 0 1 L ( r ) f ( r ) d r = p s ( 1 − p ) n − s ∫ 0 1 r s ( 1 − r ) n − s d r {\displaystyle f(p\mid X_{1}=x_{1},\ldots ,X_{n}=x_{n})={{\mathcal {L}}(p)f(p) \over \int _{0}^{1}{\mathcal {L}}(r)f(r)\,\mathrm {d} r}={p^{s}(1-p)^{n-s} \over \int _{0}^{1}r^{s}(1-r)^{n-s}\,\mathrm {d} r}}

On calcule alors la constante de normalisation :

∫ 0 1 r s ( 1 − r ) n − s d r = s ! ( n − s ) ! ( n + 1 ) ! {\displaystyle \int _{0}^{1}r^{s}(1-r)^{n-s}\,\mathrm {d} r={s!(n-s)! \over (n+1)!}}

(voir la fonction bêta pour plus d’informations sur les intégrales de cette forme).

La fonction de densité de la loi a posteriori est donc :

f ( p ∣ X 1 = x 1 , … , X n = x n ) = ( n + 1 ) ! s ! ( n − s ) ! p s ( 1 − p ) n − s . {\displaystyle f(p\mid X_{1}=x_{1},\ldots ,X_{n}=x_{n})={(n+1)! \over s!(n-s)!}p^{s}(1-p)^{n-s}.}

Il s’agit d’une loi bêta ayant pour espérance mathématique :

E ( p ∣ X 1 = x 1 … X n = x n ) = ∫ 0 1 p f ( p ∣ X 1 = x 1 , … , X n = x n ) d p = s + 1 n + 2 . {\displaystyle \mathbb {E} (p\mid X_{1}=x_{1}\dots X_{n}=x_{n})=\int _{0}^{1}pf(p\mid X_{1}=x_{1},\ldots ,X_{n}=x_{n})\,\mathrm {d} p={s+1 \over n+2}.}

Ainsi on a :

P ( X n + 1 = 1 ∣ X 1 = x 1 … X n = x n ) = E ( p ∣ X 1 = x 1 … X n = x n ) = s + 1 n + 2 . {\displaystyle P(X_{n+1}=1\mid X_{1}=x_{1}\dots X_{n}=x_{n})=\mathbb {E} (p\mid X_{1}=x_{1}\dots X_{n}=x_{n})={s+1 \over n+2}.}

Notes et références

  1. ↑ Pierre-Simon de Laplace, Essai philosophique sur les probabilités, Courcier,

Articles connexes

  • icône décorative Portail des mathématiques