Récurrence et transience d'une chaîne de Markov

Un état ${\displaystyle i}$ d'une chaîne de Markov ${\displaystyle X=(X_{n})_{n\geq 0}}$ est dit récurrent (ou persistant) si une trajectoire « typique » de la chaîne de Markov passe par ${\displaystyle i}$ une infinité de fois, sinon l'état ${\displaystyle i}$ est dit transitoire (ou transient par calque de l'anglais). Ces propriétés de transience ou de récurrence sont souvent partagées par tous les états de la chaîne ${\displaystyle X,}$ par exemple quand la chaîne ${\displaystyle X}$ est irréductible : en ce cas, si tous ses états sont récurrents, la chaîne de Markov est dite récurrente.

Temps de séjour et temps de premier retour

Pour chaque état i d'une chaîne de Markov, on a les définitions suivantes :

Récurrence et transience (définition informelle)

Informellement, pour une chaîne de Markov irréductible, un état ${\displaystyle i}$ du système modélisé par la chaîne de Markov est dit récurrent si une trajectoire typique du système passe infiniment souvent par cet état. Il y a en fait dichotomie :

• soit la probabilité que la trajectoire du système passe infiniment souvent par ${\displaystyle i}$ vaut 1, et l'état ${\displaystyle i}$ est dit récurrent,
• soit cette probabilité vaut 0, auquel cas ${\displaystyle i}$ est dit transient.
• les états récurrents (ceux pour lesquels ${\displaystyle \lim _{n}S_{n}(i)=+\infty }$) se subdivisent en états récurrents positifs et récurrents nuls :

• un état est dit récurrent positif si le système y passe une fraction non négligeable de son temps : bien sûr ${\displaystyle S_{n}(i)\leq n,}$ mais ${\displaystyle S_{n}(i)}$ ne doit pas être trop petit devant ${\displaystyle n}$:

${\displaystyle \lim _{n}{\frac {S_{n}(i)}{n}}=\pi _{i}>0\,;}$

en notation de Landau, ${\displaystyle S_{n}(i)\in \Theta (n).}$ Cela entraîne que les instants de passage en ${\displaystyle i}$ sont, en un certain sens, régulièrement espacés, à une distance ${\displaystyle 1/\pi _{i}}$ les uns des autres en moyenne,

• un état est dit récurrent nul si le système y passe une fraction négligeable de son temps :

${\displaystyle \lim _{n}{\frac {S_{n}(i)}{n}}=0\,;}$

i.e. ${\displaystyle S_{n}(i)\rightarrow +\infty ,}$ mais ${\displaystyle S_{n}(i)\in o(n).}$ Le système passe infiniment souvent par l'état ${\displaystyle i,}$ mais les instants de passage en ${\displaystyle i}$ sont alors de plus en plus espacés au cours du temps.

Toujours dans le cas d'une chaîne de Markov irréductible, si un état est récurrent positif, tous les états le sont et la suite ${\displaystyle (\pi _{i})_{i\in E}}$ est appelée probabilité stationnaire de la chaîne de Markov. La probabilité stationnaire joue un rôle très important dans l'étude de la chaîne de Markov.

Critères de récurrence et de transience

Notations. Lorsqu'on étudie une chaîne de Markov particulière, sa matrice de transition est en général bien définie et fixée tout au long de l'étude, mais la loi initiale peut changer lors de l'étude et les notations doivent refléter la loi initiale considérée sur le moment :

• si à un moment de l'étude on considère une chaîne de Markov de loi initiale définie par ${\displaystyle \forall i\in E,\quad \mathbb {P} \left(X_{0}=i\right)=\mu _{i},}$ alors les probabilités sont notées ${\displaystyle \mathbb {P} _{\mu }\left(\dots \right),}$ et les espérances sont notées ${\displaystyle \mathbb {E} _{\mu }\left[\dots \right]\ ;}$
• en particulier, si ${\displaystyle \mathbb {P} \left(X_{0}=j\right)=1,}$ on dit que la chaîne de Markov part de ${\displaystyle j,}$ les probabilités sont notées ${\displaystyle \mathbb {P} _{j}\left(\dots \right),}$ et les espérances sont notées ${\displaystyle \mathbb {E} _{j}\left[\dots \right].}$

Exemples

Marche aléatoire sur un groupe fini

Plus généralement, tous les états d'une marche aléatoire sur un groupe fini ${\displaystyle \ G}$ sont récurrents positifs, car la loi uniforme discrète sur ${\displaystyle \ G}$ est une probabilité stationnaire, indépendamment du pas de la marche : en effet, la matrice de transition ${\displaystyle \ P}$ d'une marche aléatoire sur un groupe discret est bistochastique (i.e. non seulement la somme des termes d'une ligne vaut 1, quelle que soit la ligne, mais la somme des termes d'une colonne de ${\displaystyle \ P}$ vaut 1, quelle que soit la colonne). Si tous les coefficients du vecteur ligne ${\displaystyle \ x}$ valent 1, on vérifie alors sans peine que ${\displaystyle \ xP=x.}$ Ainsi la mesure uniforme, qui est proportionnelle à ${\displaystyle \ x,}$ est stationnaire.

Marche aléatoire simple sur les entiers relatifs

Dans cet exemple, ${\displaystyle E=\mathbb {Z} }$ et ${\displaystyle p_{i,i+1}=p=1-p_{i,i-1}.}$ Si ${\displaystyle 0<p<1,}$ la chaîne ${\displaystyle X=(X_{n})_{n\geq 0}}$ est irréductible, donc tous les états ont même nature. Par exemple on a

${\displaystyle \forall k\geq 0,\qquad p_{0,0}^{(2k)}={2k \choose k}p^{k}(1-p)^{k}\sim {\frac {(4p(1-p))^{k}}{\sqrt {k\pi }}},}$

alors que ${\displaystyle p_{0,0}^{(2k+1)}=0.}$

Marche aléatoire biaisée

• Si on observe la forme de la fraction ci-dessus, comme ${\displaystyle \{4p(1-p)<1\}\Leftrightarrow \{p\neq 0.5\},}$ la marche est transiente si et seulement si ${\displaystyle p\neq 0.5,}$ en vertu du quatrième critère de transience exprimé dans la partie « Critères de récurrence et de transience ».
• On peut aussi voir que ${\displaystyle p\neq 0.5}$ entraîne la transience de la chaîne de Markov ${\displaystyle X=(X_{n})_{n\geq 0}}$ en construisant cette chaîne à l'aide d'une suite de variables aléatoires i.i.d. ${\displaystyle Y=(Y_{n})_{n\geq 1},}$ de la manière suivante : posons

${\displaystyle {\begin{aligned}S_{0}=0,\qquad S_{n}&=S_{n-1}+Y_{n}\qquad n\geq 1\\&=Y_{1}+Y_{2}+\dots +Y_{n}.\end{aligned}}}$

Alors ${\displaystyle S=(S_{n})_{n\geq 0}}$ a même loi que ${\displaystyle X=(X_{n})_{n\geq 0},}$ mais la loi forte des grands nombres pour les suites de v.a. i.i.d. entraîne que, presque sûrement en ${\displaystyle \omega \in \Omega ,}$

${\displaystyle \lim {\frac {S_{n}(\omega )}{n}}=\mathbb {E} [Y_{n}]=(1-p)\times (-1)+p\times 1=2p-1\neq 0.}$

donc, avec probabilité 1, la suite de nombres réels ${\displaystyle (S_{n}(\omega ))_{n\geq 0}}$ converge vers ${\displaystyle sgn(2p-1)\times +\infty ,}$ et visite la valeur 0, au plus, un nombre fini de fois : 0 est donc transient, et tous les entiers de sa classe (${\displaystyle \mathbb {Z} ,}$ en l'occurrence) avec lui.

• Dans le cas où ${\displaystyle p=0.5,}$ la méthode précédente ne permet pas de démontrer la récurrence de 0, puisque la loi forte des grands nombres stipule alors la convergence de la suite ${\displaystyle (n^{-1}\,S_{n}(\omega ))_{n\geq 0}}$ vers 0, ce qui n'entraîne pas nécessairement que la suite ${\displaystyle (S_{n}(\omega ))_{n\geq 0}}$ prenne la valeur 0 une infinité de fois : pour aboutir à la conclusion d'une infinité de visites en 0, il faut invoquer un résultat plus précis que la loi forte des grands nombres, à savoir la loi du logarithme itéré.
• Pour décider de la récurrence ou de la transience aussi bien dans le cas ${\displaystyle p=0.5}$ que dans le cas ${\displaystyle p\neq 0.5,}$ on peut aussi calculer explicitement la loi du premier temps T de retour en 0, partant de 0, pour la marche aléatoire simple, et trancher ainsi l'alternative :

${\displaystyle \mathbb {P} _{i}\left(T_{i}<+\infty \right)=1\quad {\text{ou}}\quad \mathbb {P} _{i}\left(T_{i}=+\infty \right)>0.}$

En effet

${\displaystyle \forall k\geq 1,\qquad \mathbb {P} (T=2k)=2C_{k-1}\left(p(1-p)\right)^{k},}$

où ${\displaystyle C_{n}}$ désigne le n-ème nombre de Catalan. On trouve alors que la série génératrice de T, ${\displaystyle G_{T}(s)=\mathbb {E} [s^{T}],}$ satisfait

${\displaystyle G_{T}(s)=1-{\sqrt {1-4p(1-p)s^{2}}}.}$

Ainsi

${\displaystyle {\begin{aligned}\mathbb {P} (T<+\infty )&=\sum _{k\geq 2}\mathbb {P} (T=k)\\&=G_{T}(1)\\&=1-{\sqrt {1-4p(1-p)}}\\&=1-|2p-1|\end{aligned}}}$

est strictement inférieur à 1 si et seulement si ${\displaystyle p\neq 0.5.}$

Marche aléatoire symétrique

• Par ailleurs, pour ${\displaystyle p=0.5,}$ la mesure de probabilité ${\displaystyle \pi }$ est solution du système ${\displaystyle \pi P=\pi }$ si et seulement si

${\displaystyle \forall k\in \mathbb {Z} ,\qquad 2\pi _{k}=\pi _{k-1}+\pi _{k+1},}$

i.e. si et seulement si les ${\displaystyle \pi _{k}}$ forment une progression arithmétique :

${\displaystyle \forall k\in \mathbb {Z} ,\qquad \pi _{k}=ak+b.}$

La contrainte de positivité sur les ${\displaystyle \pi _{k}}$ impose ${\displaystyle a=0,\ b\geq 0,}$ i.e. ${\displaystyle \pi _{k}}$ est une suite constante. Ainsi ${\displaystyle \sum _{k}\pi _{k}}$ est infinie ou nulle, suivant la valeur de ${\displaystyle b,}$ strictement positive ou bien nulle, donc une mesure invariante ne peut en aucun cas être une mesure de probabilité, ce qui fait qu'il n'existe pas de probabilité stationnaire : tous les états sont récurrents nuls.

• Puisque, asymptotiquement, les nombres de Catalan se comportent comme

${\displaystyle C_{n}\sim {\frac {4^{n}}{n^{3/2}{\sqrt {\pi }}}},}$

on peut aussi voir directement, grace la formule explicite de la loi du temps T de retour en 0, donnée à la section précédente, que

${\displaystyle 2k\mathbb {P} (T=2k)\sim {\frac {1}{2{\sqrt {\pi k}}}}}$

n'est pas le terme général d'une série convergente, et que, par conséquent, ${\displaystyle \mathbb {E} [T]=+\infty .}$

• Portail des probabilités et de la statistique