Chaîne de Markov non homogène

arxiv
arxiv
dans Probabilités, théorie de la mesure
Bonjour,

On représente une chaîne de Markov (non homogène) sur la figure jointe.
L'espace d'état est $\{\omega, \omega', \omega^\ast\}$. L'état $\omega^\ast$ est absorbant.
Les probabilités de transitions à l'étape $n\in\N^\ast$ sont représentées par les flèches sur la figure.

Je voudrais montrer que la chaîne de Markov partant de $\omega$ à une probabilité strictement positive de d'être infiniment souvent en $\omega$.

Merci.

Réponses

  • P.
    P.
    Il te faut considerer une sorte de chaine quotient qui groupe $w$ et $w'$ dans un meme etat qui est absorbant par Borel Cantelli. Et a l'interieur de cet etat, $w$ est visite une infinite de fois aussi a cause de Borel Cantelli.
  • arxiv
    arxiv
    Merci pour ta réponse. Pourrais-tu développer ton idée ? Je ne vois pas comment grouper $\omega$ et $\omega'$ dans un état absorbant puisqu'il y a toujours une probabilité strictement positive d'aller en $\omega^\ast$.

    De plus il me semble que les événements considérés pour appliquer Borel-Cantelli ne sont pas indépendants.
  • aléa
    aléa
    Je procèderais en deux étapes:
    1) montrer qu'avec proba >0, la chaîne ne termine pas en $\omega^*$.
    C'est une conséquence de la convergence du produit infini des $1-\frac1{4n^2}$.
    2) montrer que la chaine ne peut stationner en $\omega'$.
  • P.
    P.
    $w^*=a$ pour simplifier. Soit $(X_t)$ ta chaine et $X'_t=X_t$ si $X_t\in \{w',a\}$ et $X'_t=w'$ si $X_t=w.$ C'est aussi une chaine de Markov non homogene. On suppose $X_0=w'$ On note
    $$T=\inf\{t; X_t=a\}\,\ \ T'=\inf\{t; X'_t=a\}$$ Il est clair que $T'\leq T\leq \infty.$ Cantelli montre que $\Pr(T'=\infty)>0,$ et donc $\Pr(T=\infty)>0.$ Pour terminer, tu conditionnes par $T=\infty$ et tu appliques Borel.
  • arxiv
    arxiv
    On a $P(T'=+\infty) = \prod_{t=1}^{+\infty}(1-\frac{1}{4t^2})>0$, je ne vois pas où on utilise Cantelli.
    Par ailleurs peux-tu préciser "tu conditionnes par $T=\infty$ et tu appliques Borel" (les événements $\{X_t=\omega\}$ ne sont pas indépendants) ?
    Merci !
  • P.
    P.
    Avec cette formule tu redemontres Cantelli dans ton cas particulier. Pour Borel, on n'a pas besoin de l'independance.
  • arxiv
    arxiv
    Je ne suis pas sûr de comprendre, on veut montrer $P(\limsup \{X_t = \omega\}\mid T=+\infty) = 1$, il faut bien que les événements soient indépendants non ?
  • P.
    P.
    Tu as raison j'inverse Borel et Cantelli. Mais l’indépendance est dans les temps de visite de $w$. J’écrirai plus tard, la journée est chargée.
  • aléa
    aléa
    Je détaille. On pose, pour $x\in [0,1]$ et $n$ entier:

    $f_n(\omega^*,x)=\omega^*$, $f_n(\omega,x)=\omega'$, puis $f_n(\omega',x)=\begin{cases}
    \omega^*& \text{ si }x<1/(4n^2)\\ \omega &\text{ si }x\in [1/(4n^2),1/(4n^2)+1/2n[\\ \omega' &\text{sinon} \end{cases}$.

    On prend maintenant des $U_n$ iid suivant la loi uniforme sur $[0,1]$ et on fait $X_{n+1}=f_n(X_n,U_n)$.

    On a l'inclusion $\liminf\{X_n=\omega'\}\subset\liminf\{U_n\ge 1/(4n^2)+1/2n\}$, donc avec le 2e lemme de Borel-Cantelli (ou à la main) la proba est nulle.

    Par ailleurs $P(\exists n\ge 1; U_n\le 1/(4n^2))\le \sum_{n=1}^{+\infty} 1/(4n^2)=\frac{\pi^2}{24}<1.$

    Enfin sur
    $\cap_{n\ge 1} \{U_n>1/(4n^2)\}\backslash \liminf\{X_n=\omega'\}$, qui est de proba au moins $1-\frac{\pi^2}{24}$, la suite $X_n$ passe une infinité de fois en $\omega$.
  • arxiv
    arxiv
    Tu est sûr qu'il n'y a pas d'erreur dans ta définition de $f_n$ ?
  • aléa
    aléa
    Ok, c'est corrigé je crois.
  • P.
    P.
    On a donc une chaine de Markov $ (X_t)$ sur $(w,w')$ non homogene telle que
    $$\Pr(X_{t}=w|X_{t-1}=w')=p_t=1-q_t,\ \Pr(X_{t}=w'|X_{t-1}=w)=1, \ X_0=w'$$ avec $\sum_t p_t=\infty.$ Soit
    $$T_1=\inf\{t; X_t=w\}\leq \infty ,\ \ T_{n+1}=\inf\{t>T_n; X_t=w\}$$ Ton probleme est de montrer que pour tout $n$ on a $\Pr(T_n=\infty)=0$, ce qu'on fait par recurrence ainsi:
    $$\Pr(T_1>t)=q_1\ldots q_t\to 0$$ car $\sum_t p_t=\infty.$ De meme, en utilisant l'independance des $(T_{n+1}-T_n)_{n=0}^{\infty}$

    $$\Pr(T_{n+1}>t|T_n)=q_{T_n+2}\ldots q_t\to 0\Rightarrow \Pr(T_{n+1}>t)\to 0.$$ En resume, puisque $\Pr(T_n<\infty)=1$ pour tout $n$ alors $\Pr(\cap_n\{T_n<\infty\})=1$ et $w$ est visite une infinite de fois.
  • arxiv
    arxiv
    Je ne vois pas comment tu utilises l'indépendance des $T_{n+1}-T_n$.

    Et donc la conclusion c'est qu'on n'utilise pas Borel-Cantelli ?
  • P.
    P.
    Reponse 1 a la ligne -3.

    Reponse 2 on le redemontre dans le cas particulier du probleme.
Connectez-vous ou Inscrivez-vous pour répondre.

Bonjour!

Pour participer au forum, cliquer sur l'un des boutons :

Connexion S'inscrire

Catégories

In this Discussion

Qui est en ligne 3

AD +2 Invités