Concept history

Concept created

##### Définition intuitive

Une chaîne de Markov est une [[suite|suite]] de [[variable aléatoire|variables aléatoires]] $(X_{n})_{n\geqslant 0}$ telle que l'état futur dépend uniquement de l'état présent, et non des états passés.

Par exemple, dans un jeu de société où les joueurs avancent sur un plateau en lançant un dé, la position d'un joueur forme une chaîne de Markov : sa prochaine position dépend uniquement de sa position actuelle et du nouveau lancer, et pas des lancers précédents.

##### Définition formelle

Soit $E$ un [[ensemble au plus dénombrable|ensemble au plus dénombrable]]. Une chaîne de Markov est une [[suite|suite]] de [[variable aléatoire|variables aléatoires]] $(X_{n})_{n\geqslant 0}$ à valeurs dans $E$ telle que, pour tout $n\geqslant 0$ et tous $i_{0},\ldots,i_{n},j\in E$ tels que $P(X_{0}=i_{0},\ldots X_{n}=i_{n})>0$, on ait :
$$P\left(X_{n+1}=j \mid X_n=i_n, \ldots, X_0=i_0\right)=P\left(X_{n+1}=j \mid X_n=i_n\right).$$