Probabilités conditionnelles

Bonjour à tous !

Je travaille en ce moment un cours de probabilités et de statistiques bayésiennes, et je rencontre quelques difficultés quant au calcul d'un risque bayésien.

Je me place dans un cadre bayésien classique et je note $\pi$ la loi a priori sur mon paramètre $\theta$, $P_{\theta}$ la loi conditionnelle de mes observations conditionnellement au paramètre $\theta$ et $\pi(.|X)$ la loi a posteriori et je suppose que toutes ces lois sont à densité par rapport à une mesure de référence sur l'espace des $\theta$ et des $X$ respectivement (mais cela n'intervient pas dans mon calcul).

Étant donné un estimateur $T : X \mapsto T(X) \in \Theta$, je définis sa fonction risque par $\theta \mapsto R(\theta, T) = E[(l(\theta, T(X)) |\theta ]$ où $l$ est une fonction de perte donnée. Je définis alors le risque bayésien de $T$ comme $R(T) = E_{\pi}[R(\theta, T)]$, et un estimateur bayésien comme un estimateur minimisant le risque bayésien (une loi a priori étant fixée au préalable), et le risque bayésien pour l'estimation de $\theta$ comme le risque bayésien d'un estimateur bayésien.

Maintenant, je souhaite appliquer calculer le risque bayésien pour l'estimation d'un paramètre $\theta$ dans un cas particulier.

La loi a priori est donnée par $\frac{1}{2} (\delta_{\theta_0} + \delta_{\theta_1})$ et après calcul, la loi a posteriori est donnée par $\frac{f_{\theta_1}}{f_{\theta_0} + f_{\theta_1}} \delta_{\theta_1} + \frac{f_{\theta_0}}{f_{\theta_0} + f_{\theta_1}} \delta_{\theta_0}$.

Je considère la perte binaire $l(x,y) = 1_{x \ne y}$. Minimiser le risque bayésien revient donc (après calculs) à minimiser $P(T(X) \ne \theta)$.
J'introduis alors $\eta(X) = P(\theta = \theta_1 | X)$ et j'arrive à montrer que $T(X) = \theta_1 1_{\eta > 0.5} + \theta_0 1_{\eta < 0.5}$ est un estimateur bayésien, ce qui d'ailleurs se comprend bien intuitivement. Il ne me reste plus qu'à calculer son risque pour trouver le risque bayésien associé à l'estimation de $\theta$.

J'ai fait plein de calculs et j'arrive à plusieurs expressions pour ce risque. Néanmoins, le corrigé donne : $R_{\text {bayes }}\left(\theta_{1}\right)=\frac{1}{2} E_{\theta_{0}}\left(\frac{f_{\theta_{1}}(X)}{f_{\theta_{0}}(X)+f_{\theta_{1}}(X)}\right)+\frac{1}{2} E_{\theta_{1}}\left(\frac{f_{\theta_{0}}(X)}{f_{\theta_{0}(X)}+f_{\theta_{1}}(X)}\right)=E_{\theta_{0}}\left(\frac{f_{\theta_{1}}(X)}{f_{\theta_{0}}(X)+f_{\theta_{1}}(X)}\right)$, et je n'arrive pas à la même expression.

Je sollicite donc votre aide pour mener à bien ce calcul.

Bien cordialement,
Ram

Réponses

  • Personne ?

    Pour les probabilistes n'ayant pas fait de statistiques bayesiennes, je précise qu'aucune connaissance non rappelée n'est requise. Il s'agit purement d'un calcul de probabilités !
  • Bonjour,
    C'est quoi $f_{\theta_i}$ ?
    Edit : Je pense que c'est la densité de $X$.

    Et c'est quoi $R_{\rm Bayes}(\theta_1)$ ? Tu as défini $R(\theta,T)$ et $R(T)$ mais pas $R_{\rm Bayes}(\theta_1)$.
  • Bonjour Calli,

    Désolé, certaines notations ne sont effectivement pas très claires.

    $f_{\theta_i}$ est la densité de la loi de $X$ conditionnellement à $\theta = \theta_i$.

    Ensuite, pour $R_{\text{Bayes}}(\theta_1)$, il s'agit du risque bayésien pour l'estimation de $\theta$ (la dépendance en $\theta_1$ provient de la dépendance de ce risque en la loi a priori choisie et sert pour la suite de l'exercice), c'est-à-dire du minimum du risque bayésien pour tous les estimateurs $T$.
  • C'est présenté d'une façon assez bayésienne, qui est un peu perturbante quand (comme un peu tout le monde, dont moi) on n'a pas trop l'habitude.

    Comme la postérieure est $\pi(\bullet | X)(x) = \frac{f_{\theta_1}}{f_{\theta_0} + f_{\theta_1}}(x) \delta_{\theta_1} + \frac{f_{\theta_0}}{f_{\theta_0} + f_{\theta_1}}(x) \delta_{\theta_0} = \frac{P_\pi(X=x)}{P(X=x)} \times \pi$.

    Vu que $P(X=x)=\frac{1}{2} \times (P_{\theta_0}(X=x) + P_{\theta_1}(X=x))$, ça veut dire que $P[\theta_i](X=x) \approx f_{\theta_i}(x)$.

    Autrement dit les $f_{\theta_i}$ donnent la loi conditionnelle de $X$. (densité ou probabilités élémentaires)
  • Du coup, si j'ai bien compris, $R_{\rm Bayes}(\theta_1) = R(T)$ pour le $T$ que tu as défini.
    Moi je trouve $\displaystyle R(T) = \frac12 \int \min(f_{\theta_0}(x),f_{\theta_1}(x))\,{\rm d}x$, ce qui ne correspond pas avec ce que ton corrigé voudrait. :-S
  • On dirait que $R_{\rm Bayes}(\theta_1)$ a été obtenu pour un estimateur $T'$ qui, sachant $X$, vaudrait au hasard $\theta_0$ avec la proba $\dfrac{f_{\theta_0}(X)}{f_{\theta_0}(X)+f_{\theta_1}(X)}$ et $\theta_1$ avec la proba $\dfrac{f_{\theta_1}(X)}{f_{\theta_0}(X)+f_{\theta_1}(X)}$.

    [small]Edit : orthographe[/small]
  • Bonjour Calli,

    J'ai trouvé la même expression que toi pour le risque bayésien tel que je l'ai défini.

    Concernant ton deuxième message, je suis aussi d'accord mais il y a du coup un gros problème puisque $T'$ ne serait alors plus une fonction "déterministe" de $X$...
  • Oui, $T'$ n'est pas déterministe. C'est pas forcément délirant (ça s'appelle un test randomisé) mais à ma connaissance ça n'est pas ce qu'on appelle l'estimateur de Bayes (qui est $T$, je suis d'accord avec toi).
    Tu peux envoyer une image de l'énoncé ?
  • Cet "exercice" est tiré d'une discussion orale donc il n'y a pas vraiment d'énoncé écrit... J'ai simplement essayé de revérifier les résultats a posteriori car sur le coup, cela ne m'a pas paru si clair que cela.
  • D'accord. En tout cas, on est d'accord pour dire que le $T$ que tu as donné est l'estimateur de Bayes et que son risque est $R(T) =$ $\displaystyle \frac12 \int \min(f_{\theta_0}(x),f_{\theta_1}(x))\,{\rm d}x$. Donc soit ton "corrigé" contient une erreur, soit il y a un malentendu sur le calcul qui était demandé. On a éclairci les maths, mais pas "l'exercice", mais c'est peut-être le principal. Je ne peux rien faire de plus sans en savoir plus sur "l'exercice".
  • Tout à fait, merci beaucoup pour ton aide Calli !

    Je pense effectivement que le problème est un problème de vocabulaire; mon interlocuteur devait certainement vouloir dire autre chose par "risque de Bayes". Je vais essayer d'éclaircir tout cela.

    Bien cordialement,
    Ram
Connectez-vous ou Inscrivez-vous pour répondre.