Propriété de Markov

Exemple de processus stochastique vérifiant la propriété de Markov: un mouvement Brownien (ici représenté en 3D) d'une particule dont la position à un instant t+1 ne dépend que de la position précédente à l'instant t.

En probabilité, un processus stochastique vérifie la propriété de Markov si et seulement si la distribution conditionnelle de probabilité des états futurs, étant donnés les états passés et l'état présent, ne dépend en fait que de l'état présent et non pas des états passés (absence de « mémoire »). Un processus qui possède cette propriété est appelé processus de Markov. Pour de tels processus, la meilleure prévision qu'on puisse faire du futur, connaissant le passé et le présent, est identique à la meilleure prévision qu'on puisse faire du futur, connaissant uniquement le présent : si on connait le présent, la connaissance du passé n'apporte pas d'information supplémentaire utile pour la prédiction du futur.

Propriété de Markov faible (temps discret, espace discret)

Définition

C'est la propriété caractéristique d'une chaîne de Markov : en gros, la prédiction du futur à partir du présent n'est pas rendue plus précise par des éléments d'information supplémentaires concernant le passé, car toute l'information utile pour la prédiction du futur est contenue dans l'état présent du processus. La propriété de Markov faible possède plusieurs formes équivalentes qui reviennent toutes à constater que la loi conditionnelle de X n + 1 {\displaystyle X_{n+1}} sachant le passé, i.e. sachant ( X k ) 0 ≤ k ≤ n {\displaystyle \left(X_{k}\right)_{0\leq k\leq n}} est une fonction de X n {\displaystyle X_{n}} seul :

Propriété de Markov faible « élémentaire » —  Pour tout n ≥ 0 , {\displaystyle n\geq 0,} pour toute suite d'états ( i 0 , … , i n − 1 , i , j ) ∈ E n + 2 , {\displaystyle (i_{0},\ldots ,i_{n-1},i,j)\in E^{n+2},}

P ( X n + 1 = j ∣ X 0 = i 0 , X 1 = i 1 , … , X n − 1 = i n − 1 , X n = i ) = P ( X n + 1 = j ∣ X n = i ) . {\displaystyle {\begin{aligned}\mathbb {P} {\Big (}X_{n+1}=j&\mid \,X_{0}=i_{0},X_{1}=i_{1},\ldots ,X_{n-1}=i_{n-1},X_{n}=i{\Big )}&=\mathbb {P} \left(X_{n+1}=j\mid X_{n}=i\right).\end{aligned}}}

On suppose le plus souvent les chaînes de Markov homogènes, i.e. on suppose que le mécanisme de transition ne change pas au cours du temps. La propriété de Markov faible prend alors la forme suivante :

∀ n ≥ 0 , ∀ ( i 0 , … , i n − 1 , i , j ) ∈ E n + 2 , {\displaystyle \forall n\geq 0,\forall (i_{0},\ldots ,i_{n-1},i,j)\in E^{n+2},}
P ( X n + 1 = j ∣ X 0 = i 0 , X 1 = i 1 , … , X n − 1 = i n − 1 , X n = i ) = P ( X 1 = j ∣ X 0 = i ) . {\displaystyle \mathbb {P} {\Big (}X_{n+1}=j\mid \,X_{0}=i_{0},X_{1}=i_{1},\ldots ,X_{n-1}=i_{n-1},X_{n}=i{\Big )}=\mathbb {P} \left(X_{1}=j\mid X_{0}=i\right).}

Cette forme de la propriété de Markov faible est plus forte que la forme précédente, et entraîne en particulier que

∀ n ≥ 0 , ∀ ( i , j ) ∈ E 2 , P ( X n + 1 = j ∣ X n = i ) = P ( X 1 = j ∣ X 0 = i ) . {\displaystyle \forall n\geq 0,\forall (i,j)\in E^{2},\qquad \mathbb {P} \left(X_{n+1}=j\mid X_{n}=i\right)=\mathbb {P} \left(X_{1}=j\mid X_{0}=i\right).}

Dans la suite de l'article on ne considèrera que des chaînes de Markov homogènes. Pour une application intéressante des chaînes de Markov inhomogènes à l'optimisation combinatoire, voir l'article Recuit simulé.

La propriété de Markov faible pour les chaînes de Markov homogènes a une autre forme, beaucoup plus générale que la précédente, mais pourtant équivalente à la précédente :

Propriété de Markov faible « générale » —  Pour n'importe quel choix de n ≥ 0 , B ∈ P ( E ) ⊗ N , A ∈ P ( E n + 1 ) , i ∈ E , {\displaystyle n\geq 0,\quad B\in {\mathcal {P}}(E)^{\otimes {\mathbb {N} }},\quad A\in {\mathcal {P}}(E^{n+1}),\quad i\in E,}

P ( ( X n , X n + 1 , … ) ∈ B | ( X 0 , … , X n ) ∈ A , X n = i ) = P ( ( X 0 , X 1 , … ) ∈ B | X 0 = i ) . {\displaystyle {\mathbb {P} }((X_{n},X_{n+1},\dots )\in B\,|\,(X_{0},\dots ,X_{n})\in A,X_{n}=i)\;=\;{\mathbb {P} }((X_{0},X_{1},\dots )\in B\,|\,X_{0}=i).}

Notons que les évènements passés { ( X 0 , … , X n ) ∈ A } {\displaystyle \{(X_{0},\dots ,X_{n})\in A\}} et futurs { ( X n , X n + 1 , … ) ∈ B } {\displaystyle \{(X_{n},X_{n+1},\dots )\in B\}} prennent ici la forme la plus générale possible, alors que l'évènement présent { X n = i } {\displaystyle \{X_{n}=i\}} reste sous une forme particulière, et pas par hasard : si on remplace { X n = i } {\displaystyle \{X_{n}=i\}} par { X n ∈ C } {\displaystyle \{X_{n}\in C\}} dans l'énoncé ci-dessus, alors l'énoncé devient faux en général, car l'information sur le passé devient utile pour prévoir le présent (où X n {\displaystyle X_{n}} peut-il bien se trouver, plus précisément, à l'intérieur de la partie C {\displaystyle C}  ?), et, partant de là, pour prévoir le futur.

Contre-exemple de la marche aléatoire sur Z {\displaystyle \mathbb {Z} }  :

Si E = Z {\displaystyle E=\mathbb {Z} } et p i , i + 1 = 1 − p i , i − 1 = p , {\displaystyle p_{i,i+1}=1-p_{i,i-1}=p,} on parle de marche aléatoire sur Z . {\displaystyle \mathbb {Z} .} Supposons que p ∈ ] 0 , 1 [ . {\displaystyle p\in ]0,1[.} Alors, par exemple,

P μ ( X n + 1 = 1   |   X n ∈ { 0 , 1 }  et  X n − 1 = 0 ) = 0 , {\displaystyle \mathbb {P} _{\mu }(X_{n+1}=1\ |\ X_{n}\in \{0,1\}{\text{ et }}X_{n-1}=0)=0,}

alors qu'on peut facilement trouver μ {\displaystyle \mu } et n {\displaystyle n} tels que

P μ ( X n + 1 = 1   |   X n ∈ { 0 , 1 } ) > 0. {\displaystyle \mathbb {P} _{\mu }(X_{n+1}=1\ |\ X_{n}\in \{0,1\})>0.}

Ainsi, du fait d'une connaissance imprécise ( { X n ∈ { 0 , 1 } }   {\displaystyle \{X_{n}\in \{0,1\}\}\ } ) du présent, certaines informations concernant le passé permettent d'améliorer le pronostic : sachant que Xn-1 = 0, on en déduit que Xn n'est pas nul, donc que Xn est égal à 1, puis on conclut que Xn+1 ne peut être égal à 1. Par contre, sans l'information Xn-1 = 0, on ne peut exclure que Xn+1 soit égal à 1.

Pourtant, la marche aléatoire sur Z {\displaystyle \mathbb {Z} } est une chaîne de Markov, et possède bien la propriété de Markov. Il n'y a pas de contradiction, ici : la propriété de Markov stipule que, lorsque l'on a une connaissance précise (Xn = i) du présent, aucune information concernant le passé ne permet d'améliorer le pronostic.

Il existe une propriété de Markov forte, liée à la notion de temps d'arrêt : cette propriété de Markov forte est cruciale pour la démonstration de résultats importants (divers critères de récurrence, loi forte des grands nombres pour les chaînes de Markov).

Indépendance conditionnelle

La propriété de Markov faible « générale » entraine que

Indépendance conditionnelle —  Pour n'importe quel choix de n ≥ 0 , B ∈ P ( E ) ⊗ N , A ∈ P ( E n + 1 ) , i ∈ E , {\displaystyle n\geq 0,\quad B\in {\mathcal {P}}(E)^{\otimes {\mathbb {N} }},\quad A\in {\mathcal {P}}(E^{n+1}),\quad i\in E,}

P ( ( X n , X n + 1 , … ) ∈ B  et  ( X 0 , … , X n ) ∈ A   |   X n = i ) {\displaystyle {\mathbb {P} }((X_{n},X_{n+1},\dots )\in B{\text{ et }}(X_{0},\dots ,X_{n})\in A\ |\ X_{n}=i)}
= P ( ( X n , X n + 1 , … ) ∈ B   |   X n = i ) × P ( ( X 0 , … , X n ) ∈ A   |   X n = i ) . {\displaystyle =\;{\mathbb {P} }((X_{n},X_{n+1},\dots )\in B\ |\ X_{n}=i)\times {\mathbb {P} }((X_{0},\dots ,X_{n})\in A\ |\ X_{n}=i).}

Cette égalité exprime l'indépendance conditionnelle entre le passé et le futur, sachant le présent (sachant que X n = i {\displaystyle X_{n}=i} ). Cependant, si l'on compare avec la propriété de Markov faible « générale » telle qu'énoncée plus haut, on constate qu'on a perdu la propriété d'homogénéité : la propriété de Markov faible « générale » est en fait équivalente à la propriété plus forte

Indépendance conditionnelle et homogénéité —  Pour n'importe quel choix de n ≥ 0 , B ∈ P ( E ) ⊗ N , A ∈ P ( E n + 1 ) , i ∈ E , {\displaystyle n\geq 0,\quad B\in {\mathcal {P}}(E)^{\otimes {\mathbb {N} }},\quad A\in {\mathcal {P}}(E^{n+1}),\quad i\in E,}

P ( ( X n , X n + 1 , … ) ∈ B  et  ( X 0 , … , X n ) ∈ A   |   X n = i ) {\displaystyle {\mathbb {P} }((X_{n},X_{n+1},\dots )\in B{\text{ et }}(X_{0},\dots ,X_{n})\in A\ |\ X_{n}=i)}
= P ( ( X 0 , X 1 , … ) ∈ B   |   X 0 = i ) × P ( ( X 0 , … , X n ) ∈ A   |   X n = i ) . {\displaystyle =\;{\mathbb {P} }((X_{0},X_{1},\dots )\in B\ |\ X_{0}=i)\times {\mathbb {P} }((X_{0},\dots ,X_{n})\in A\ |\ X_{n}=i).}

Critère

Critère fondamental — Soit une suite Y = ( Y n ) n ≥ 0 {\displaystyle Y=(Y_{n})_{n\geq 0}} de variables aléatoires indépendantes et de même loi, à valeurs dans un espace F {\displaystyle F} , et soit f {\displaystyle f} une application mesurable de E × F {\displaystyle E\times F} dans E . {\displaystyle E.} Supposons que la suite X = ( X n ) n ≥ 0 {\displaystyle X=(X_{n})_{n\geq 0}} est définie par la relation de récurrence :

∀ n ≥ 0 , X n + 1 = f ( X n , Y n ) , {\displaystyle \forall n\geq 0,\qquad X_{n+1}=f\left(X_{n},Y_{n}\right),}

et supposons que la suite Y {\displaystyle Y} est indépendante de X 0 . {\displaystyle X_{0}.} Alors X {\displaystyle X} est une chaîne de Markov homogène.

Collectionneur de vignettes (coupon collector) :

Petit Pierre fait la collection des portraits des onze joueurs de l'équipe nationale de football, qu'il trouve sur des vignettes à l'intérieur de l'emballage des tablettes de chocolat Cémoi ; chaque fois qu'il achète une tablette il a une chance sur 11 de tomber sur le portrait du joueur n° k {\displaystyle k} (pour tout k {\displaystyle k} ). On note X n ∈ P ( [ [ 1 , 11 ] ] ) {\displaystyle X_{n}\in {\mathcal {P}}([\![1,11]\!])} l'état de la collection de Petit Pierre, après avoir ouvert l'emballage de sa n {\displaystyle n} -ème tablette de chocolat. X = ( X n ) n ≥ 0 {\displaystyle X=(X_{n})_{n\geq 0}} est une chaîne de Markov partant de X 0 = ∅ {\displaystyle X_{0}=\emptyset } , car elle rentre dans le cadre précédent pour le choix F = [ [ 1 , 11 ] ] ,   E = P ( F ) ,   f ( x , y ) = x ∪ { y } , {\displaystyle F=[\![1,11]\!],\ E={\mathcal {P}}(F),\ f(x,y)=x\cup \{y\},} puisque

X n + 1 = X n ∪ { Y n } , {\displaystyle X_{n+1}=X_{n}\cup \{Y_{n}\},}

où les variables aléatoires Y n {\displaystyle Y_{n}} sont des variables aléatoires indépendantes et uniformes sur [ [ 1 , 11 ] ] {\displaystyle [\![1,11]\!]}  : ce sont les numéros successifs des vignettes tirées des tablettes de chocolat. Le temps moyen nécessaire pour compléter la collection (ici le nombre de tablettes que Petit Pierre doit acheter en moyenne pour compléter sa collec') est, pour une collection de N {\displaystyle N} vignettes au total, de N H N , {\displaystyle N\,H_{N},} où H N {\displaystyle H_{N}} est le N {\displaystyle N} -ème nombre harmonique. Par exemple, 11 H 11 = 33 , 2 … {\displaystyle 11\,H_{11}=33,2\dots \quad } tablettes de chocolat.

Remarques :
  • La propriété de Markov découle de l'indépendance des Y i   ; {\displaystyle Y_{i}\ ;} elle reste vraie lorsque les Y i {\displaystyle Y_{i}} ont des lois différentes, et lorsque la « relation de récurrence » X n + 1 = f n ( X n , Y n ) {\displaystyle X_{n+1}=f_{n}\left(X_{n},Y_{n}\right)} dépend de n . {\displaystyle n.} Les hypothèses faites en sus de l'indépendance sont là uniquement pour assurer l'homogénéité de la chaîne de Markov.
  • Le critère est fondamental en cela que toute chaîne de Markov homogène peut être simulée exactement via une récurrence de la forme X n + 1 = f ( X n , Y n ) , {\displaystyle X_{n+1}=f\left(X_{n},Y_{n}\right),} pour une fonction f {\displaystyle f} bien choisie. Plus précisément, si X = ( X n ) n ≥ 0 {\displaystyle X=(X_{n})_{n\geq 0}} est une chaîne de Markov homogène, il existe un quintuplet ( Ω , A , P , X 0 ′ , Y ) , {\displaystyle (\Omega ,{\mathcal {A}},\mathbb {P} ,X_{0}^{\prime },Y),} où ( Ω , A , P ) {\displaystyle (\Omega ,{\mathcal {A}},\mathbb {P} )} désigne un espace de probabilité, X 0 ′ {\displaystyle X_{0}^{\prime }} est une variable aléatoire à valeurs dans E {\displaystyle E} et où Y = ( Y n ) n ≥ 0 {\displaystyle Y=(Y_{n})_{n\geq 0}} est une suite de variables aléatoires i.i.d. à valeurs dans F ,   {\displaystyle F,\ } X 0 ′ {\displaystyle X_{0}^{\prime }} et Y {\displaystyle Y} étant définies sur ( Ω , A , P ) {\displaystyle (\Omega ,{\mathcal {A}},\mathbb {P} )} et indépendantes, et il existe une application f   {\displaystyle f\ } définie de E × F {\displaystyle E\times F} dans E , {\displaystyle E,} telles que la suite X ′ = ( X n ′ ) n ≥ 0 {\displaystyle X^{\prime }=(X_{n}^{\prime })_{n\geq 0}} définie par
X n + 1 ′ = f ( X n ′ , Y n ) {\displaystyle X_{n+1}^{\prime }=f(X_{n}^{\prime },Y_{n})}
ait même loi que la suite X = ( X n ) n ≥ 0 . {\displaystyle X=(X_{n})_{n\geq 0}.}
  • On peut même choisir F = [ 0 , 1 ] , {\displaystyle F=[0,1],} et choisir des variables Y j {\displaystyle Y_{j}} indépendantes et uniformes sur l'intervalle [0,1], ce qui est commode pour l'étude de chaînes de Markov via des méthodes de Monte-Carlo, i.e. par simulation de trajectoires « typiques » de chaînes de Markov.

Propriété de Markov forte (temps discret, espace discret)

Temps d'arrêt

Notons F n {\displaystyle {\mathcal {F}}_{n}} la tribu engendrée par la suite ( X k ) 0 ≤ k ≤ n . {\displaystyle (X_{k})_{0\leq k\leq n}.} Dans le cas de variables aléatoires à valeurs dans un espace d'états E {\displaystyle E} fini ou dénombrable, une partie A ⊂ Ω {\displaystyle A\subset \Omega } appartient à F n {\displaystyle {\mathcal {F}}_{n}} si et seulement s'il existe B ⊂ E n + 1 {\displaystyle B\subset E^{n+1}} tel que

A = { ( X 0 , X 1 , … , X n ) ∈ B } = { ω ∈ Ω   |   ( X k ( ω ) ) 0 ≤ k ≤ n ∈ B } . {\displaystyle {\begin{aligned}A&=\left\{(X_{0},X_{1},\dots ,X_{n})\in B\right\}\\&=\left\{\omega \in \Omega \ |\ \left(X_{k}(\omega )\right)_{0\leq k\leq n}\in B\right\}.\end{aligned}}}

Définition — Une variable aléatoire T : Ω → N ∪ { ∞ } {\displaystyle T:\Omega \rightarrow \mathbb {N} \cup \{\infty \}} est un temps d'arrêt de la chaîne de Markov ( X n ) n ≥ 0 {\displaystyle (X_{n})_{n\geq 0}} si

∀ n ∈ N , { T = n } ∈ F n , {\displaystyle \forall n\in \mathbb {N} ,\quad \{T=n\}\in {\mathcal {F}}_{n},}

ou bien, ce qui est équivalent, si

∀ n ∈ N , { T ≤ n } ∈ F n . {\displaystyle \forall n\in \mathbb {N} ,\quad \{T\leq n\}\in {\mathcal {F}}_{n}.}

Interprétation. Imaginons que les variables aléatoires X k {\displaystyle X_{k}} représentent les résultats d'un joueur lors des parties successives d'un jeu, et que T {\displaystyle T} représente la partie après laquelle le joueur décide d'arrêter de jouer : T {\displaystyle T} est un temps d'arrêt si la décision d'arrêter est prise en fonction des résultats des parties déjà jouées au moment de l'arrêt, i.e. si pour tout n {\displaystyle n} il existe un sous ensemble B n ⊂ E n + 1 {\displaystyle B_{n}\subset E^{n+1}} tel que :

{ T = n } ⇔ { ( X 0 , X 1 , … , X n ) ∈ B n } . {\displaystyle \{T=n\}\quad \Leftrightarrow \quad \left\{(X_{0},X_{1},\dots ,X_{n})\in B_{n}\right\}.}

Cela interdit au joueur de prendre sa décision en fonction des résultats des parties futures : cela revient à faire l'hypothèse que tricherie et don de double vue sont exclus.

Pour une définition d'un temps d'arrêt en situation générale on pourra regarder

Article détaillé : Temps d'arrêt.
Exemples :

Les variables aléatoires ci-dessous sont des temps d'arrêt :

  • Soit j {\displaystyle j} un état de la chaîne de Markov ; on appelle instant de premier retour en j , {\displaystyle j,} et on note R j , {\displaystyle R_{j},} la variable aléatoire définie ci-dessous :
R j = { inf { n > 0 | X n = j } si { n > 0 | X n = j } ≠ ∅ , + ∞ sinon. {\displaystyle R_{j}=\left\{{\begin{array}{lll}\inf \left\{n>0\,\vert \,X_{n}=j\right\}&&{\textrm {si}}\quad \left\{n>0\,\vert \,X_{n}=j\right\}\neq \emptyset ,\\+\infty &&{\textrm {sinon.}}\end{array}}\right.}
On arrête donc de jouer dès qu'on arrive à l'état j , {\displaystyle j,} mais sans compter l'état initial. Si on remplace { n > 0 } {\displaystyle \{n>0\}} par { n ≥ 0 } {\displaystyle \{n\geq 0\}} dans la définition, on parle de temps d'entrée, plutôt que de temps de retour.
  • De même pour C {\displaystyle C} une partie de E , {\displaystyle E,} on appelle instant de première entrée dans C , {\displaystyle C,} et on note T C , {\displaystyle T_{C},} la variable aléatoire ci-dessous définie :
T C = { inf { n ≥ 0 | X n ∈ C } si { n ≥ 0 | X n ∈ C } ≠ ∅ , + ∞ sinon. {\displaystyle T_{C}=\left\{{\begin{array}{lll}\inf \left\{n\geq 0\,\vert \,X_{n}\in C\right\}&&{\textrm {si}}\quad \left\{n\geq 0\,\vert \,X_{n}\in C\right\}\neq \emptyset ,\\+\infty &&{\textrm {sinon.}}\end{array}}\right.}
  • L'instant de k {\displaystyle k} -ème retour en i , {\displaystyle i,} noté R i ( k ) {\displaystyle R_{i}^{(k)}} et défini par récurrence par :
R i ( k ) = { inf { n > R i ( k − 1 ) | X n = i } si { n > R i ( k − 1 ) | X n = i } ≠ ∅ , + ∞ sinon. , {\displaystyle R_{i}^{(k)}=\left\{{\begin{array}{lll}\inf \left\{n>R_{i}^{(k-1)}\,\vert \,X_{n}=i\right\}&&{\textrm {si}}\quad \left\{n>R_{i}^{(k-1)}\,\vert \,X_{n}=i\right\}\neq \emptyset ,\\+\infty &&{\textrm {sinon.}}\end{array}}\right.,}

ou encore l'instant de k {\displaystyle k} -ème entrée dans C , {\displaystyle C,} sont des t.a..

Contrexemple :

Pour i {\displaystyle i} et j {\displaystyle j} dans E , {\displaystyle E,} on pose T = inf { n ≥ 0 | X n = i  et  X n + 1 = j } . {\displaystyle T=\inf \left\{n\geq 0\,\vert \,X_{n}=i{\text{ et }}X_{n+1}=j\right\}.} On peut montrer que T {\displaystyle T} n'est pas un temps d'arrêt, mais que, par contre, T + 1 {\displaystyle T+1} est un temps d'arrêt.

Définition et propriété — Soit T {\displaystyle T\,} un temps d'arrêt et A ∈ A   :   A {\displaystyle A\in {\mathcal {A}}\ :\ A\,} est appelé évènement antérieur à T {\displaystyle T\,} si:

∀ n ∈ N ,   A ∩ ( T = n ) ∈ F n . {\displaystyle \forall n\in \mathbb {N} ,\qquad \ A\cap (T=n)\in {\mathcal {F}}_{n}.}

L'ensemble des évènements antérieurs à T {\displaystyle T\,} forme une sous-tribu de A {\displaystyle {\mathcal {A}}} appelée tribu antérieure à T {\displaystyle T\,} et notée F T . {\displaystyle {\mathcal {F}}_{T}.}

Interprétation. On sait que pour tout n {\displaystyle n} il existe un sous ensemble B n ⊂ E n + 1 {\displaystyle B_{n}\subset E^{n+1}} tel que :

{ T = n } ⇔ { ( X 0 , X 1 , … , X n ) ∈ B n } . {\displaystyle \{T=n\}\quad \Leftrightarrow \quad \left\{(X_{0},X_{1},\dots ,X_{n})\in B_{n}\right\}.}

Si de plus A ∈ F T , {\displaystyle A\in {\mathcal {F}}_{T},} cela signifie que pour tout n {\displaystyle n} il existe un sous ensemble D n ⊂ B n {\displaystyle D_{n}\subset B_{n}} tel que

{ A ∩ { T = n } } ⇔ { ( X 0 , X 1 , … , X n ) ∈ D n } . {\displaystyle \left\{A\cap \{T=n\}\right\}\quad \Leftrightarrow \quad \left\{(X_{0},X_{1},\dots ,X_{n})\in D_{n}\right\}.}

En quelque sorte, on teste si l'évènement A {\displaystyle A} se produit ou pas en observant le comportement de la suite ( X k ) 0 ≤ k ≤ n {\displaystyle (X_{k})_{0\leq k\leq n}} jusqu'au temps T   : {\displaystyle T\ :} par abus de langage, on dit parfois que l'évènement A {\displaystyle A} porte sur la suite ( X 0 , X 1 , … , X T ) . {\displaystyle (X_{0},X_{1},\dots ,X_{T}).}

Propriété de Markov forte

Dans l'énoncé général de la propriété de Markov faible, l'instant « présent », n, peut-être remplacé par un instant « présent » aléatoire, T , {\displaystyle T,} pourvu que T {\displaystyle T} soit un temps d'arrêt :

Propriété de Markov forte —  Pour un temps d'arrêt T {\displaystyle T} de X , {\displaystyle X,} et un élément A {\displaystyle A} de F T , {\displaystyle {\mathcal {F}}_{T},} on a

P μ ( ( X T + n ) n ≥ 0 ∈ B  et  A   |   T < + ∞  et  X T = i ) = P i ( ( X n ) n ≥ 0 ∈ B ) P μ ( A   |   T < + ∞  et  X T = i ) . {\displaystyle {\begin{aligned}{\mathbb {P} }_{\mu }{\Big (}{\big (}X_{T+n}{\big )}_{n\geq 0}\in B{\text{ et }}A\ &\vert \ T<+\infty {\text{ et }}X_{T}=i{\Big )}\\&={\mathbb {P} }_{i}\left(\left(X_{n}\right)_{n\geq 0}\in B\right){\mathbb {P} }_{\mu }\left(A\ \vert \ T<+\infty {\text{ et }}X_{T}=i\right).\end{aligned}}}

Cela peut s'interpréter comme une forme d'indépendance (une indépendance conditionnelle ) entre le passé, A , {\displaystyle A,} et le futur, ( X T + n ) n ≥ 0 ∈ B , {\displaystyle {\big (}X_{T+n}{\big )}_{n\geq 0}\in B,} de T , {\displaystyle T,} sachant ce qui se passe à l'instant T , {\displaystyle T,} à savoir { T < + ∞  et  X T = i } . {\displaystyle \{T<+\infty {\text{ et }}X_{T}=i\}.} En effet, en particularisant A = Ω , {\displaystyle A=\Omega ,} on obtient que

P μ ( ( X T + n ) n ≥ 0 ∈ B   |   T < + ∞  et  X T = i ) = P i ( ( X n ) n ≥ 0 ∈ B ) {\displaystyle {\begin{aligned}{\mathbb {P} }_{\mu }{\Big (}{\big (}X_{T+n}{\big )}_{n\geq 0}\in B\ \vert \ T<+\infty {\text{ et }}X_{T}=i{\Big )}&={\mathbb {P} }_{i}\left(\left(X_{n}\right)_{n\geq 0}\in B\right)\end{aligned}}}

puis, en revenant à un élément général A {\displaystyle A} de F T {\displaystyle {\mathcal {F}}_{T}} , on obtient la formulation suivante :

Indépendance conditionnelle — Pour un temps d'arrêt T {\displaystyle T} de X , {\displaystyle X,} et un élément A {\displaystyle A} de F T , {\displaystyle {\mathcal {F}}_{T},} on a

P μ ( ( X T + n ) n ≥ 0 ∈ B  et  A   |   T < + ∞  et  X T = i ) = P μ ( ( X T + n ) n ≥ 0 ∈ B   |   T < + ∞  et  X T = i ) P μ ( A   |   T < + ∞  et  X T = i ) . {\displaystyle {\begin{aligned}{\mathbb {P} }_{\mu }{\Big (}{\big (}X_{T+n}{\big )}_{n\geq 0}\in B&{\text{ et }}A\ \vert \ T<+\infty {\text{ et }}X_{T}=i{\Big )}\\&={\mathbb {P} }_{\mu }{\Big (}{\big (}X_{T+n}{\big )}_{n\geq 0}\in B\ \vert \ T<+\infty {\text{ et }}X_{T}=i{\Big )}{\mathbb {P} }_{\mu }\left(A\ \vert \ T<+\infty {\text{ et }}X_{T}=i\right).\end{aligned}}}

Cas particulier des temps de retour

Dans le cas où la chaîne de Markov est irréductible, où l'état i {\displaystyle i} est récurrent, et où le temps d'arrêt T {\displaystyle T} considéré est l'instant de k-ème retour en i , {\displaystyle i,} noté plus haut R i k , {\displaystyle R_{i}^{k},} on constate que, par récurrence de l'état i , {\displaystyle i,}

P μ ( T < + ∞ ) = 1 , {\displaystyle {\mathbb {P} }_{\mu }{\Big (}T<+\infty {\Big )}=1,}

et que, par définition de R i k , {\displaystyle R_{i}^{k},}

P μ ( X T = i ) = 1. {\displaystyle {\mathbb {P} }_{\mu }{\Big (}X_{T}=i{\Big )}=1.}

Ainsi les conditions apparaissant dans la propriété de Markov forte sont presque certaines. Or, dès que P μ ( C ) = 1 , {\displaystyle {\mathbb {P} }_{\mu }(C)=1,} on a P μ ( D | C ) = P μ ( D ) . {\displaystyle {\mathbb {P} }_{\mu }(D\,|\,C)={\mathbb {P} }_{\mu }(D).} Ici cela donne que

P μ ( ( X T + n ) n ≥ 0 ∈ B  et  A ) = P μ ( ( X T + n ) n ≥ 0 ∈ B ) P μ ( A ) = P i ( ( X n ) n ≥ 0 ∈ B ) P μ ( A ) . {\displaystyle {\begin{aligned}{\mathbb {P} }_{\mu }{\Big (}{\big (}X_{T+n}{\big )}_{n\geq 0}\in B{\text{ et }}A{\Big )}&={\mathbb {P} }_{\mu }{\Big (}{\big (}X_{T+n}{\big )}_{n\geq 0}\in B{\Big )}{\mathbb {P} }_{\mu }\left(A\right)\\&={\mathbb {P} }_{i}\left(\left(X_{n}\right)_{n\geq 0}\in B\right){\mathbb {P} }_{\mu }\left(A\right).\end{aligned}}}

Pour tout k, il y a donc indépendance ( inconditionnelle ) entre les évènements qui précèdent le k-ème passage en i {\displaystyle i} et les évènements qui suivent le k-ème passage en i . {\displaystyle i.} Qui plus est, la trajectoire de la chaîne de Markov après le k-ème passage en i ,   ( X T + n ) n ≥ 0 , {\displaystyle i,\ (X_{T+n})_{n\geq 0},} a même loi que la trajectoire d'une chaîne de Markov partant de i {\displaystyle i} à l'instant 0 : elle redémarre comme neuve, indépendamment de ce qui a pu se passer auparavant. On dit alors que les temps de retour successifs sont des instants de renouvellement ou bien des instants de régénération.

Les morceaux de trajectoires entre deux régénérations consécutives forment alors une suite de variables aléatoires i.i.d. (sauf le premier morceau, indépendant, mais éventuellement de loi différente, si la chaîne de Markov ne part pas de i {\displaystyle i} à l'instant 0). Cela conduit à une démonstration de la loi forte des grands nombres pour les chaînes de Markov déduite de la loi forte des grands nombres pour les v.a.r. i.i.d.. Cela donne également une méthode pour construire des intervalles de confiance pour les paramètres intéressants de la chaîne de Markov.

Propriété de Markov faible (temps continu, espace discret)

Mathématiquement, si X(t), t > 0, est un processus stochastique, et si x(t), t > 0, est une fonction, la propriété de Markov est définie ainsi :

P [ X ( t + h ) = y | X ( s ) = x ( s ) , s ≤ t ] = P [ X ( t + h ) = y | X ( t ) = x ( t ) ] , ∀ h > 0. {\displaystyle \mathrm {P} {\big [}X(t+h)=y\,|\,X(s)=x(s),s\leq t{\big ]}=\mathrm {P} {\big [}X(t+h)=y\,|\,X(t)=x(t){\big ]},\quad \forall h>0.}

Généralement, on utilise une hypothèse d'homogénéité dans le temps, c'est-à-dire :

P [ X ( t + h ) = y | X ( t ) = x ( t ) ] = P [ X ( h ) = y | X ( 0 ) = x ( 0 ) ] , ∀ t , h > 0. {\displaystyle \mathrm {P} {\big [}X(t+h)=y\,|\,X(t)=x(t){\big ]}=\mathrm {P} {\big [}X(h)=y\,|\,X(0)=x(0){\big ]},\quad \forall t,h>0.}

Dans certains cas, un processus à première vue non-markovien peut tout de même avoir des représentations markoviennes en modifiant le concept d'état actuel et futur. Soient X un intervalle de temps, et Y un processus tel que chaque état de Y représente un intervalle de temps de X :

Y ( t ) = { X ( s ) : s ∈ [ a ( t ) , b ( t ) ] } . {\displaystyle Y(t)={\big \{}X(s):s\in [a(t),b(t)]\,{\big \}}.}

Si Y est markovien, alors c'est la représentation markovienne de X et X qui est alors appelée processus de Markov du second ordre. Les processus d'ordre supérieur sont définis de la même manière.

Équation de Chapman-Kolmogorov-Smoluchowski

C'est une équation intégrale qui assure la cohérence du processus :

p ( x 3 , t 3 | x 1 , t 1 ) = ∫ p ( x 3 , t 3 | x 2 , t 2 ) p ( x 2 , t 2 | x 1 , t 1 ) d x 2 t 3 > t 2 > t 1 {\displaystyle p(x_{3},t_{3}|x_{1},t_{1})=\int p(x_{3},t_{3}|x_{2},t_{2})p(x_{2},t_{2}|x_{1},t_{1})dx_{2}\quad t_{3}>t_{2}>t_{1}} .

Elle se transforme en une équation aux dérivées partielles, plus facile à manipuler, qui prend le nom d'équation de Fokker-Planck.

Références

  1. Norris, J. : Markov Chains.
  2. (en) Y. K. Lin, Probabilistic Theory of Structural Dynamics, New York, Robert E. Krieger Publishing Company, , 368 p. (ISBN 0882753770)
  1. Philippe A. Martin, Introduction aux processus stochastiques en physique
  2. Ch. Ancey, Simulations stochastiques - Applications aux écoulements géophysiques et la turbulence

Voir aussi

  • icône décorative Portail des probabilités et de la statistique