Chaîne de Markov produit
Bonjour
J'ai des doutes quant à ma résolution du problème suivant.
On a deux chaînes de Markov, $(X_n^1)$ et $(X_n^2)$ définies sur le même espace $E=\{A,B\}$. De matrices de transitions respectives : $ P_1= \ \begin{pmatrix}
2/5 & 3/5 \\
7/10 & 3/10
\end{pmatrix} \quad $ $P_2=\ \begin{pmatrix}
3/10 & 7/10 \\
4/5 & 1/5
\end{pmatrix} .$
J'étudie le temps d'atteinte $S= \inf (n\geq 0 ; X_n^1=X_n^2).$
Mon idée a été de considérer la chaîne produit $X=(X^1,X^2)$ munie de la matrice de transition $P:((x_1,x_2),(y_1,y_2)) \to P_1(x_1,y_1)P_2(x_2,y_2).$
De réécrire $S=\inf(n\geq 0 ; X_n\in \{(A,A),(B,B)\})$. On remarque que $Z=1+Z\circ \theta_1$ (avec $\theta_1$ l'opérateur de shift).
Posons $h(x):=\mathbb{E}_x[Z]=1+\mathbb{E}_x[Z\circ\theta_1]=1+\mathbb{E}_x[\mathbb{E}_{X_1}[Z]]=1+\mathbb{E}_x[h(X_1)]$ par la propriété de Markov.
J'en déduis le système suivant. $$
\left\{\begin{aligned}h(A,A)&=h(B,B)=0 \\ h(A,B)&=1+\frac{2}{5}\frac{1}{5}h(A,B)+\frac{3}{5}\frac{4}{5}h(B,A)\\h(B,A)&=1+\frac{7}{10}\frac{7}{10}h(A,B)+\frac{3}{10}\frac{3}{10}h(B,A)\\ \end{aligned}\right. ,
$$ et les solutions $h(A,B)=\frac{695}{301}$ et $h(B,A)=\frac{705}{301}.$
J'interprète de la manière suivante : Si $X_0^1=A$ et $X_0^2=B$ l'espérance de $S$ (selon la première définition) est $\frac{695}{301}$.
Ce résultat me parait étrange et je me demande si mon raisonnement est valable. (Si c'est juste une faute de calcul ce n'est pas trop grave).
J'espère que vous pourrez m'aider.
Merci d'avance et bonne journée.
J'ai des doutes quant à ma résolution du problème suivant.
On a deux chaînes de Markov, $(X_n^1)$ et $(X_n^2)$ définies sur le même espace $E=\{A,B\}$. De matrices de transitions respectives : $ P_1= \ \begin{pmatrix}
2/5 & 3/5 \\
7/10 & 3/10
\end{pmatrix} \quad $ $P_2=\ \begin{pmatrix}
3/10 & 7/10 \\
4/5 & 1/5
\end{pmatrix} .$
J'étudie le temps d'atteinte $S= \inf (n\geq 0 ; X_n^1=X_n^2).$
Mon idée a été de considérer la chaîne produit $X=(X^1,X^2)$ munie de la matrice de transition $P:((x_1,x_2),(y_1,y_2)) \to P_1(x_1,y_1)P_2(x_2,y_2).$
De réécrire $S=\inf(n\geq 0 ; X_n\in \{(A,A),(B,B)\})$. On remarque que $Z=1+Z\circ \theta_1$ (avec $\theta_1$ l'opérateur de shift).
Posons $h(x):=\mathbb{E}_x[Z]=1+\mathbb{E}_x[Z\circ\theta_1]=1+\mathbb{E}_x[\mathbb{E}_{X_1}[Z]]=1+\mathbb{E}_x[h(X_1)]$ par la propriété de Markov.
J'en déduis le système suivant. $$
\left\{\begin{aligned}h(A,A)&=h(B,B)=0 \\ h(A,B)&=1+\frac{2}{5}\frac{1}{5}h(A,B)+\frac{3}{5}\frac{4}{5}h(B,A)\\h(B,A)&=1+\frac{7}{10}\frac{7}{10}h(A,B)+\frac{3}{10}\frac{3}{10}h(B,A)\\ \end{aligned}\right. ,
$$ et les solutions $h(A,B)=\frac{695}{301}$ et $h(B,A)=\frac{705}{301}.$
J'interprète de la manière suivante : Si $X_0^1=A$ et $X_0^2=B$ l'espérance de $S$ (selon la première définition) est $\frac{695}{301}$.
Ce résultat me parait étrange et je me demande si mon raisonnement est valable. (Si c'est juste une faute de calcul ce n'est pas trop grave).
J'espère que vous pourrez m'aider.
Merci d'avance et bonne journée.
Connectez-vous ou Inscrivez-vous pour répondre.
Réponses
Moi je ferais comme suit :
$U_n$ à trois états : $\{(A,B),(B,A),\text{stop}\}$.
La matrice de transition est $\begin{bmatrix}
2/25 & 12/25 & 11/25 \\
49/100 & 9/100 & 42/100 \\
0 & 0 & 1
\end{bmatrix}
$
Comme je vois la formule magique ici https://en.wikipedia.org/wiki/Absorbing_Markov_chain#Expected_number_of_steps j'extrais les deux états transients :
$Q =
\begin{bmatrix}
2/25 & 12/25 \\
49/100 & 9/100 \\
\end{bmatrix}
$.
Je calcule la matrice fondamentale
$$
\begin{align}
\sum Q^k = (I-Q)^{-1} & =
\begin{bmatrix}
23/25 & -12/25 \\
-49/100 & 91/100 \\
\end{bmatrix}^{-1}
\\
& =
\frac{2500}{1505} \cdot
\begin{bmatrix}
91/100 & 12/25 \\
49/100 & 23/25 \\
\end{bmatrix}
=
\frac{500}{301} \cdot
\begin{bmatrix}
91/100 & 12/25 \\
49/100 & 23/25 \\
\end{bmatrix}
=
\frac{1}{301} \cdot
\begin{bmatrix}
455 & 240 \\
245 & 460\\
\end{bmatrix}
.
\end{align}
$$
En moyenne depuis $(A,B)$, il faut $\frac{455+240}{301}$ sauts pour converger vers l'état absorbant.
En moyenne depuis $(B,A)$, il faut $\frac{245+460}{301}$ sauts pour converger vers l'état absorbant.
Edit : Merci beaucoup à LOU16 pour le $100-9 = 91$ au lieu de $81$ !
re-edit : Merci beaucoup à purple pour la vérification empirique !
Toi, ce dont tu parles c'est comme suit :
"combien de sauts en moyenne devrai-je (pas "devrais-je") faire avant de converger depuis $(A,B)$ ?"
Eh bien, 1 de plus qu'à l'étape qui précédait, sachant qu'à ce moment-là, je n'avais déjà pas convergé.
Après, ce n'est plus que de l'algèbre.
Pratique cette formule magique ! Je ne connaissais pas.
Mon "raisonnement" n'a peut être aucun sens finalement.
Edit: marsup: je n'avais pas vu ton deuxième message. Ce que j'ai fait a un sens finalement ?
Ce qui me renvoie :
La première valeur étant la moyenne des T pour 10000001 expériences.
La deuxième ton résultat.
La troisième celle de marsup.
Je re-corrige !
marsup : Ça m'a permis d'apprendre une formule (et tout une partie des chaînes de Markov que je ne connaissais pas)
Merci à vous !