Chaîne de Markov

Bonjour à tous,

Je me permets de vous écrire, car j'ai deux interrogations que je n'arrive pas à résoudre, malgré de vaines tentatives, sur les chaines de Markov. La première concerne par exemple la matrice suivante:

\begin{bmatrix}
0,1 & 0,1 & 0,2 & 0,2 & 0,1 & 0,1 & 0,1 & 0,1 \\
0 & 0,1 & 0,1 & 0,1 & 0 & 0,3 & 0,2 & 0,2 \\
0 & 0 & 0 & 0,3 & 0,7 & 0 & 0 & 0 \\
0 & 0 & 0 & 0,7 & 0,3 & 0 & 0 & 0 \\
0 & 0 & 0 & 0 & 0 & 0,3 & 0,4 & 0,3 \\\
0 & 0 & 0 & 0 & 0 & 0,1 & 0 & 0,9 \\
0 & 0 & 0 & 0 & 0 & 0,8 & 0,2 & 0 \\
\end{bmatrix}

Je cherche $\lim P(X_{n}=j/X_{0}=0)$. Mon intuition est que compte tenu du fait que si l'on considère les deux classes communicantes formées respectivement des états trois et quatre, ainsi que cinq, six, sept, l'on peut trouver dans ces deux cas une distribution stationnaire bien définie. Aussi, la probabilité recherchée serait égale à la probabilité de quitter la première classe communicante, soit la probabilité d'aller de zéro à trois plus la probabilité d'aller de zéro à quatre, sur le long terme, multipliée par la distribution stationnaire de la classe communicante formée des états trois et quatre, plus la probabilité d'aller de zéro à cinq, six, sept multipliée par la distribution stationnaire de la classe communicante formée des états cinq, six, sept.

Mais mon problème est précisément lié à la probabilité de quitter cette première classe communicante sur le long terme, est-ce simplement $\pi_{3},\pi_{4}\pi_{5},\pi_{6},\pi_{7}$ ? c'est-à-dire la probabilité de se trouver en trois, quatre, cinq, six, sept sur le long terme ?


Ma deuxième question concerne une marché aléatoire autour d'une horloge, définie par $S= 1,2.....,12$ de telle manière à ce que $p_{ij}=p$ respectivement $p_{ij}=1-p$ si $j$ est dans le sens horaire (respectivement ne l'est pas). Je dois trouver l'espérance du nombre de visite à six heures, partant de six heures, avant de visiter douze heures.

Mon idée était de résoudre celle avec une fonction indicatrice qui prendrait zéro si au ième pas, l'on atteint six avoir d'avoir attendre douze sachant que l'on est parti de six, et sinon 0. Aussi l'espérance de cette somme serait égale à 1 + somme de la probabilité d'atteindre six étant partie de six, n'ayant pas encore atteint douze.

Je n'arrive cependant pas à trouver cette probabilité et je ne sais pas même au demeurant si mon raisonnement est juste.

Merci infiniment à vous d'avance pour vos retours et votre aide très précieuse