Chaîne de Markov

Définition intuitive

Une chaîne de Markov est une suite de variables aléatoires $(X_{n})_{n\geqslant 0}$ telle que l’état futur dépend uniquement de l’état présent, et non des états passés.

Par exemple, dans un jeu de société où les joueurs avancent sur un plateau en lançant un dé, la position d’un joueur forme une chaîne de Markov : sa prochaine position dépend uniquement de sa position actuelle et du nouveau lancer, et pas des lancers précédents.

Définition formelle

Soit $E$ un ensemble au plus dénombrable. Une chaîne de Markov est une suite de variables aléatoires $(X_{n})_{n\geqslant 0}$ à valeurs dans $E$ telle que, pour tout $n\geqslant 0$ et tous $i_{0},\ldots,i_{n},j\in E$ tels que $P(X_{0}=i_{0},\ldots X_{n}=i_{n})>0$, on ait :
$$P\left(X_{n+1}=j \mid X_n=i_n, \ldots, X_0=i_0\right)=P\left(X_{n+1}=j \mid X_n=i_n\right).$$