Distribution stationnaire HMC

Grendel26 · February 2018

Bonjour, dans une chaîne de Markov d'ordre 1 avec la matrice de transition suivante :

Je cherche à trouver la distribution stationnaire de la matrice M1 et ceci à la main.

Je pensais résoudre une équation à 4 inconnues en résolvant alpha, beta, phi et tau:

Et ensuite vérifier que:

Seulement je ne sais pas comment faire et il s'agit d'un exercice qui devrait être fait en quelques minutes...
Ps: apparemment je peux m'aider du théorème de Perron-Frobenius et d'un autre théorème qui dit qu'une HMC irréductible a exactement une distribution stationnaire.

Quelqu'un pourrait m'expliquer les démarches s'il-vous-plaît ?
Merci beaucoup.

[Andrei Markov (1856-1922) prend toujours une majuscule. AD]

MrJ · February 2018

Le théorème de Perron-Frobenius ne permet que de justifier théoriquement l'existence et l'unicité d'une probabilité invariante.

Cela ne t'aide pas à la calculer. Il faut que tu résolve le système à la main avec le pivot de Gauss. Tu ne peux utiliser la première condition que à la fin pour normaliser ton vecteur.

gb · February 2018

Bonjour,

Il faut commencer par résoudre le système : $\pi M = \pi$, c'est-à-dire :
\[\begin{cases}
0.56\alpha+0.14\beta+0.24\phi+0.06\tau=\alpha \\
0.05\alpha+0.05\beta+0.4\phi+0.46\tau=\beta \\
0.15\alpha+0.35\beta+0.15\phi+0.35\tau=\phi \\
0.08\alpha+0.12\beta+0.32\phi+0.48\tau=\tau
\end{cases}\]
dont on veut la solution normalisée par : $\alpha+\beta+\phi+\tau=1$.

Comme le système n'est pas de rang 4, une des équations est inutile, et il suffit de résoudre le système :
\[\begin{cases}
0.56\alpha+0.14\beta+0.24\phi+0.06\tau=\alpha \\
0.05\alpha+0.05\beta+0.4\phi+0.46\tau=\beta \\
0.15\alpha+0.35\beta+0.15\phi+0.35\tau=\phi \\
\alpha+\beta+\phi+\tau=1
\end{cases}\]

edit : corrigé suite à la remarque faite par ev.

Grendel26 · February 2018

Bonjour, je vais essayer d'y résoudre, je vous tiens au courant.
Ps: que veux dire une équation de rang 4?

MrJ · February 2018

Cela veut dire que la matrice associée n'est pas de rang $4$.

ev · February 2018

Il y a une cinquième équation : $ \phi = \gamma $ ?

amicalement,

e.v.

gb · February 2018

Je corrige…

Grendel26 · February 2018

Bonjour, alors j'ai trouvé une correction et ceci débute comme cela :

Je ne comprends pas très bien comme on passe de 0.56 alpha à 0.44 alpha et ce qu'est une forme canonique en fait.

Désolé, je n'ai jamais vu ces notions auparavant... Merci.

ev · February 2018

$ \alpha - 0,56 \alpha = $ ?

e.v.

Grendel26 · February 2018

Ok, autant pour moi merci

Grendel26 · February 2018

Pour le coup j'ai essayé sur un exemple plus simple mais j'ai un problème en faisant pourtant les bonnes méthodes à la fin mes P, R et Q ne semblent pas être corrects, quelqu'un peut-il jeter un coup d’œil ? 72942

Grendel26 · March 2018

Petit up ?

Grendel26 · March 2018

Bonjour, lors d'une résolution du pivot de [large]G[/large]auss, nous devons passer nos 4 équations en forme canonique.

Seulement, je ne comprends pas bien l'ordre des signes, pour moi la première équation devrait être (0.56alpha)- alpha = -0.44
Puis cela devrait donner -0.44 alpha + 0.05 beta + 0.15 gamma + 0.08 delta non ?
Pareil pour les autres signes, on devrait avoir 0.14 alpha - 0.95 beta +0.35 gamma + 0.12 delta

[Carl Friedrich Gauss (1777-1855) prend toujours une majuscule ! AD]

Thierry Poma · March 2018

Bonsoir,

Il semble évident que dans la correction, l'on a fait passer le second membre de la première identité dans le premier membre. Pour les deuxième et troisième identités, c'est le contraire !

Cordialement,

Thierry

GaBuZoMeu · March 2018

Première remarque : le symbole $\delta$ se lit "delta" et non pas "phi".
Deuxième remarque : quand on multiplie une équation par $-1$ (c.-à-d. qu'on change tous les signes), on obtient une équation équivalente. Ici le choix des signes est peut-être motivé par le désir d'avoir tous les coefficients de $\alpha$ positifs. Mais, je répète, c'est absolument inoffensif !

Grendel26 · March 2018

D'accord, merci.
Mais ceci n'est vrai que lorsque l'on met l'équation sous la forme -ax+by+cz=0 ? étant égal à ax-by-cz=0 ?

Je corrige

GaBuZoMeu · March 2018

Pas égal, équivalent.
De même l'équation (inconnues $x,y,z$) : $ax+by+cz=d$ est équivalente à l'équation $-a x-by-cz=-d$. Ceci veut dire que le triplet $(x,y,z)$ satisfait la première équation si et seulement s'il satisfait la deuxième. Ça ne te semble pas évident ?

michael · March 2018

Grendel26 a écrit:

D'accord, merci.
Mais ceci n'est vrai que lorsque l'on met l'équation sous la forme -ax+by+cz=0 ? étant égal à ax-by-cz=0 ?

Les équations que tu mentionnes ne sont pas égales, elles sont équivalentes.
Pour passer de $-ax+by+cz=0$ à $ax-by-cz=0$, tu multiplies chaque membre par $-1$.

[Edit : grillé par GaBuZoMeu]

Grendel26 · March 2018

Ok, je ne l'avais pas vu sous cet angle.
Merci beaucoup

Grendel26 · March 2018

Mon dieu ^^
désolé

J'avais une autre question en passant.

Sachant la matrice de transition suivante:
https://image.noelshack.com/fichiers/2018/10/4/1520528236-capture-2.jpg

Et la distribution stationnaire suivante:
M1=(0.181, 0.176, 0.281, 0.362)
Avec dans l'ordre : CC, CT , TC , TT

Avec un gain 1 pour la stratégie TT
Gain 0 pour CT
Gain 5 pour TC
et Gain 3 pour CC

On nous demande combien de points gagnera A si le jeu commence à l’ état CC et se termine dès que l’ état est
TT et pour ceci il nous conseille une analyse du premier pas).

Quelqu’un aurait une idée de comment faire? Voici un début de correction:

GaBuZoMeu · March 2018

Tu demandes comment faire alors que le corrigé indique comment faire. Que ne comprends-tu pas dans le corrigé ?
Analyse au premier pas veut dire qu'on exprime l'espérance de gain au début en fonction de l'espérance de gain après le premier pas (en tenant compte bien entendu des probabilités des différentes possibilités pour le premier pas).

Grendel26 · March 2018

donc cela reviendrait à faire 3 + 0.56 *3 + 0.14*0 + 0.24*5 + 0.06*5 ?
Mais je ne comprends pas la suite par exemple pourquoi a-t-il mis ..., g(TT) = 1 ?

GaBuZoMeu · March 2018

Absolument pas. Tu lis mal le corrigé, qui dit pourtant explicitement que $g(e)$ est l'espérance de gain à partir de l'état $e$, et pas le gain apporté par l'état $e$.

Pour un jeu $CC-CT-CC-TC-CT-TT$ à partir de l'état $CC$, le gain est $3+5+3+0+5+1$. On te demande de calculer l'espérance de gain $g(CC)$ pour les jeux à partir de l'état $CC$. L'analyse au premier pas te permet de calculer l'espérance de gain $g(e)$ pour $e=CC,CT,TC,TT$.

On a $g(TT)=1$ parce qu'on a un gain de $1$ pour $TT$ et que le jeu s'arrête en $TT$.