Marches aléatoires réfléchies

Voir Boudiba, Annales de Clermont 1986.

Bonjour,

Afin d' être plus clair, je me place dans le cas où $n=4$, et dans tout ce qui suit, on pourra remplacer $4$ par $n$ .
$\Pr(Y=1) =a \:; \:\:\: \Pr(Y=2) =b \: ;\:\: \Pr(Y=3)= c\: ;\:\: \Pr(Y=4) =d \:;\quad\quad a,b,c,d>0\:;\:\: \:\:\:a+b+c+d =1$.

On obtient alors la "matrice de transition" $A= \begin{pmatrix} b & c & d &0 & a \\ a+c & d & 0 & 0 & b \\ b+d & a & 0 & 0 & c \\ c & b & a & 0 & d \\0 & 0 & 0 & 0 &1 \\ \end{pmatrix}$ (les lignes et colonnes $5$ renvoient à l'état $"0"$)
Soit $B$ la matrice formée par les $4$ premières lignes et colonnes de la matrice $A$, et $Q =(I_4 -B)^{-1} =\Big(q_{i,j}\Big)_{1\leqslant i,j \leqslant 4}$
Alors l'espérance du temps d'attente de l'état $0$ à partir de l'état $\:i \quad(1\leqslant i\leqslant 4)\:$ est: $\:\:\mathbb E(T_i) = \displaystyle \sum_{j=1}^4 q_{i,j}$

Bonjour,

@Dingo 13
Soit $A\in \mathcal M_{n+1} (\R)$ la matrice de transition de la chaine de Markov induite par le problème que tu as posé, (les lignes et colonnes $n+1$ correspondant à l'état "absorbant" $0$), et $B \in \mathcal M_n (\R)$ la matrice constituée par les $n$ premières lignes et colonnes de $A$.
Alors la matrice $Q$ définie par $Q= (I_n -B) ^{-1}=\displaystyle \sum_{k=0}^{+\infty}B ^k$ permet simplement un calcul parfaitement explicite de $\mathbb E(T_i) = \displaystyle \sum_{j=1} ^n q_{i,j}$.

En voici une rapide justification ; $X_k$ désignant l'état de la chaine à l'instant $k$, obtenu à partir de l' état initial $i \in [\![1; n]\!]$, et $U_i$ l'élément de $\R^n$ dont toutes les coordonnées sont nulles, à l'exception de la $i$-ième, égale à $1$, on a:
$\mathbb E(T_i) = \displaystyle \sum_{k=1}^{\infty} \Pr(T_i\geqslant k) =\sum_{k=0}^{+\infty} \Pr (X_k \neq 0) =\sum_{j=1}^n\left(\sum_{k=0}^{+\infty} \Pr (X_k =j)\right ) =\sum_{j=1}^n \left(\sum_{k=0}^{+\infty} ( U_iB^k)_j \right) =\sum_{j=1}^n (U_iQ)_j =\sum_{j=1}^n q_{i,j}$.

Je ne comprends pas trop la question "que représente $Q$ ? "
C'est une matrice dont les coefficients peuvent servir à calculer les $\mathbb E (T_i)$ et les expressions obtenues sont loin de ne dépendre que de $m$.
Il y aurait peut-être un intérêt à ce que tu prennes des exemples avec $n=2$ et $n=3$.