Les-Mathematiques.net - Cours de mathématiques universitaires - Forum - Cours à télécharger

A lire
Deug/Prépa
Licence
Agrégation
A télécharger
Télécharger
161 personne(s) sur le site en ce moment
E. Cartan

Les maths pour l'agreg

A lire
Articles
Math/Infos
Récréation
A télécharger
Télécharger
Théorème de Cantor-Bernstein
Théo. Sylow
Théo. Ascoli
Théo. Baire
Loi forte grd nbre
Nains magiques
 
 
 
 
 
Processus stochastique. Processus de Markov next up previous index
suivant: Index monter: Probabilités précédent: Martingales   Index

Processus stochastique. Processus de Markov

Définition

On dit qu'une suite $ (X_n)_{n \in \mathbb{N}}$ de variables aléatoires à valeurs dans un ensemble $ E$ au plus dénombrable muni de la $ \sigma $-algèbre $ P(E)$ est une chaîne de Markov dans $ E$ espace des états si pour tout $ (i_0,\dots,i_n)$ suite finie d'élements de $ E$ telle que $ P(X_0=i_0 \land X_1=i_1 \land \dots \land X_{n-1}=i_{n-1})>0$, $ P(X_n=i_n\vert X_0=i_0 \land X_1=i_1 \land \dots \land X_{n-1}=i_{n-1})=P(X_n=i_n \vert X_{n-1}=i_{n-1})$.

La chaîne de Markov est dite homogène si pour tout $ n$ $ P(X_{n+1}=j \vert X_n=i)$ est indépendant de $ n$ tel que $ P(X_n=i)>0$.

On appelle matrice stochastique une application $ M$ de $ E^2$ dans $ [0,1]$ telle que pour tout $ i$ $ \sum_{j=0}^n M_{i,j}=1$. La matrice stochastique, dite aussi matrice de transition, associée à une chaîne de Markov homogène telle que pour tout $ i$ dans $ E$ il existe $ n$ tel que $ P(X_n=i)>0$ 1.4 est la matrice $ M$ définie par $ M_{i,j}=P(X_{n+1}=j \vert X_n=i)$.

Pour y voir plus clair Cela signifie simplement que l'état à l'instant $ n$ (ie $ X_n$) ne dépend que de l'état à l'instant $ x_{n-1}$ et pas des états aux instants antérieurs. La chaîne est homogène si les changements d'états ne dépendent que de l'état, et pas de la date. Dans beaucoup de modélisations, la chaîne est homogène.

Les marches aléatoires, définies dans la partie [*], sont des exemples de chaînes de Markov.

Remarquons l'égalité de Chapman-Kolmogorov: $ P(X_{m+n}=j \vert X_0=i)=\sum_{k\in E} P(X_m=j \vert X_0=k)P(X_n=k\vert X_0=i)$

Notons que les produits de matrices stochastiques, définis comme généralisation du produit usuel de matrice par $ MN=P$ avec $ P_{i,j}=\sum_{k\in E} M_{i,k}N_{k,j}$, sont bien définis et sont encore des matrices stochastiques. On remarque aussi que :

Proposition Si $ X$ est un processus de Markov de matrice de transition $ M$ 1.5

$ \bullet\ $ $ P(X_0=i_0\land X_1=i_1 \land X_n=i_n)=P(X_0=i_0)M_{i_0,i_1}M_{i_1,i_2}\dots M_{i_{n-1},i_n}$.

$ \bullet\ $ $ P(X_n=i)=\sum_{j\in E} (P^n)_{j,i}$


FLEMMARD


Notes

...\space 1.4
Cas auquel on peut toujours se ramener, en restreignant $ E$.
...\space 1.5
Ceci impliquant que $ X$ est une chaîne de Markov homogène et que pour tout $ i$ dans $ E$ il existe $ n$ tel que $ P(X_n=i)>0$.

next up previous index
suivant: Index monter: Probabilités précédent: Martingales   Index
C_Antonini,J_F_Quint,P_Borgnat,J_Bérard,E_Lebeau,E_Souche,A_Chateau,O_Teytaud
 

 
©Emmanuel Vieillard Baron 01-01-2001
Adresse Mail:

Inscription
Désinscription

Actuellement 16057 abonnés
Qu'est-ce que c'est ?
Taper le mot à rechercher

Mode d'emploi
En vrac

Faites connaître Les-Mathematiques.net à un ami
Curiosités
Participer
Latex et autres....
Collaborateurs
Forum

Nous contacter

Le vote Linux

WWW IMS
Cut the knot
Mac Tutor History...
Number, constant,...
Plouffe's inverter
The Prime page