Chaîne de Markov non homogène
Bonjour à tous,
On considère une chaîne de Markov sur un espace d'états fini.
Pour définir les notions d'états récurrents et transitoires (et par suite de classe de récurrence), en se place souvent (à ma connaissance) dans le cadre des chaînes de Markov homogènes.
On peut toujours définir la notion d'état récurrent pour une chaîne non homogène $(X_n)_{n\geq 1}$ sur $\Omega$ : soit $x\in \Omega$ $$H_x = \min \{n\geq 1 | X_n = x\}.$$
On dit que $x$ est récurrent si $P_x(H_x<\infty)=1$.
Je voudrais savoir quelle modifications provoque le fait que la chaîne ne soit pas homogène vis-à-vis des résultats standards d'un cours de chaîne de Markov. En particulier, pour une chaîne homogène, les classes de récurrences sont les sous ensembles de $\Omega$ fermés et qui communiquent. Est-ce que cette propriété est encore vrai dans le cas non homogène ?
Merci,
Dell
On considère une chaîne de Markov sur un espace d'états fini.
Pour définir les notions d'états récurrents et transitoires (et par suite de classe de récurrence), en se place souvent (à ma connaissance) dans le cadre des chaînes de Markov homogènes.
On peut toujours définir la notion d'état récurrent pour une chaîne non homogène $(X_n)_{n\geq 1}$ sur $\Omega$ : soit $x\in \Omega$ $$H_x = \min \{n\geq 1 | X_n = x\}.$$
On dit que $x$ est récurrent si $P_x(H_x<\infty)=1$.
Je voudrais savoir quelle modifications provoque le fait que la chaîne ne soit pas homogène vis-à-vis des résultats standards d'un cours de chaîne de Markov. En particulier, pour une chaîne homogène, les classes de récurrences sont les sous ensembles de $\Omega$ fermés et qui communiquent. Est-ce que cette propriété est encore vrai dans le cas non homogène ?
Merci,
Dell
Réponses
-
La non-homogénéité change tout : tu perds déjà le fait que
$$
\{x\text{ récurrent}\} \Rightarrow \{X_n =x \text{ une infinité de fois}\}.
$$
Et à partir de là c'est moche de faire des raisonnements. -
En fait je me dit qu'il faut plutôt changer la définition de ce qu'est un état récurrent dans le cas non homogène (sinon on peut avoir une chaîne où la probabilité de rester à l'étape $1$ est $1$, et par la suite l'état n'est plus jamais visité).
Est-ce que la "bonne" définition n'est pas justement que l'état est visité une infinité de fois presque surement ?
En ce qui concerne les classes de récurrence, pourrait-on avoir quelque chose comme :
$R$ est un classe de récurrence si et seulement si $R$ est fermée, i.e. $P(X_{t+1}\notin R | X_t\in R) = 0$ et communicante, i.e. pour tout $x,y\in R$ pour tout $t\geq 1$ il existe $t',t''\geq 0$ tels que $P(X_{t+t'}=y|X_t=x)>0$ et $P(X_{t+t''}=x|X_t=y)>0$ ? -
Si tu changes la définition de "récurrent" ce sera plus cohérent mais il n'empêche que tu ne pourras jamais démontrer un théorème général. Toute suite déterministe $(u_{n})$ est une chaîne de Markov inhomogène donc il faudrait que ton théorème englobe le comportement de toutes les suites!
-
Est-ce qu'en définitive la bonne manière de définir un état récurrent n'est pas la suivante :
on pose $H_x^t = \min\{n>t\mid X_n=x\}$, $x$ est récurrent si $P(H_x^t<\infty\mid X_t=x) = 1$ pour tout $t\geq 1$. -
Ta définition est sûrement la bonne, mais quel est le genre de résultat que tu espères?
-
Je souhaite savoir si les résultats standards (voir https://www.math.u-psud.fr/~jflegall/IPPA2.pdf à partir du la page 200) tiennent toujours, et en particulier si la caractérisation des classes de récurrence que j'ai donné dans un message précédant est correcte.
-
En gros ce qui va rester ce sont les résultats un peu déterministes genre "si deux points communiquent alors ils sont tous les deux récurrents ou transients".
-
On parle un peu dans le vide, je trouve. Déjà, même dans le cas homogène, l'intérêt de la théorie générale des classes communicantes n'apparaît que dans des contextes complexes. L'essentiel des chaînes de Markov ont un nombre fini d'états absorbants et tout le reste communique gentiment.
Aussi, si la chaîne inhomogène est finie et que les coefficients non nuls restent minorés uniformément dans le temps; tout va bien se passer. -
A partir du moment où tu sors du cadre standard, ça me semble une erreur de vouloir récupérer les mots de ce contexte.
Par tout va bien, je veux dire par exemple que si tout communique, la chaîne passera effectivement une infinité de fois par chaque point avec une limite inférieure des fréquences de passage strictement positive.
Connectez-vous ou Inscrivez-vous pour répondre.
Bonjour!
Catégories
- 163.2K Toutes les catégories
- 9 Collège/Lycée
- 21.9K Algèbre
- 37.1K Analyse
- 6.2K Arithmétique
- 53 Catégories et structures
- 1K Combinatoire et Graphes
- 11 Sciences des données
- 5K Concours et Examens
- 11 CultureMath
- 47 Enseignement à distance
- 2.9K Fondements et Logique
- 10.3K Géométrie
- 65 Géométrie différentielle
- 1.1K Histoire des Mathématiques
- 69 Informatique théorique
- 3.8K LaTeX
- 39K Les-mathématiques
- 3.5K Livres, articles, revues, (...)
- 2.7K Logiciels pour les mathématiques
- 24 Mathématiques et finance
- 314 Mathématiques et Physique
- 4.9K Mathématiques et Société
- 3.3K Pédagogie, enseignement, orientation
- 10K Probabilités, théorie de la mesure
- 773 Shtam
- 4.2K Statistiques
- 3.7K Topologie
- 1.4K Vie du Forum et de ses membres
Qui est en ligne 26
+15 Invités