On dit qu'une suite
de variables aléatoires à valeurs dans un ensemble au plus dénombrable
muni de la -algèbre est une chaîne de Markov dans espace des états si pour tout
suite finie d'élements
de telle que
,
.
La chaîne de Markov est dite homogène si pour tout est indépendant de tel que
.
On appelle matrice stochastique une application de dans telle que pour tout . La matrice stochastique, dite aussi matrice de transition, associée à une chaîne de Markov homogène telle que pour tout dans il existe tel que
1.4 est la matrice définie par
.
Cela signifie simplement que l'état à l'instant (ie ) ne dépend que de l'état à l'instant et pas des états aux instants antérieurs. La chaîne est homogène si les changements d'états ne dépendent que de l'état, et pas de la date. Dans beaucoup de modélisations, la chaîne est homogène.
Les marches aléatoires, définies dans la partie , sont des exemples de chaînes de Markov.
Remarquons l'égalité de Chapman-Kolmogorov:
Notons que les produits de matrices stochastiques, définis comme généralisation du produit usuel de matrice par avec
, sont bien définis et sont encore des matrices stochastiques.
On remarque aussi que :
Proposition
Si est un processus de Markov de matrice de transition 1.5
de variables aléatoires à valeurs dans un ensemble 
au plus dénombrable
muni de la 
-algèbre 
est une chaîne de Markov
suite finie d'élements
de 
,
.
est indépendant de 
.
de 
dans ![$ [0,1]$](/e/a/a/img56.png){kind=small}
telle que pour tout 
. La matrice stochastique
.
Cela signifie simplement que l'état à l'instant 
) ne dépend que de l'état à l'instant 
et pas des états aux instants antérieurs. La chaîne est homogène si les changements d'états ne dépendent que de l'état, et pas de la date. Dans beaucoup de modélisations, la chaîne est homogène.
![[*]](/images/crossref.png)
avec
, sont bien définis et sont encore des matrices stochastiques.
On remarque aussi que :
est un processus de Markov
.
