Encadrement de l'écart-type
dans Statistiques
Bonjour à tous,
Dans mes anciens cours de stats, il y a le raisonnement suivant :
On suppose qu'une v.a. y suit une gaussienne d'écart-type $\sigma$ et de moyenne nulle (moyenne connue donc).
On sait que $t = y^2/\sigma^2$ suit une loi du Chi2 à 1 degré de liberté.
On dit alors que la probabilité d'avoir $y^2/\sigma^2$ entre deux valeurs $t_1$ et $t_2$ est de 95%.
Ensuite, on a une réalisation de $y$ ($y=y_0$) ce qui permet d'avoir un encadrement à 95% de $\sigma$. $\sigma$ qui était jusqu'alors un paramètre fixe, devient une v.a. !
Je prétends que ce raisonnement n'est pas correct et j'aimerais votre avis car je le sens sans trop savoir comment l'exprimer.
Voici le raisonnement qui me semble correct (approche bayésienne) : détermination de la distribution de probabilité de $\sigma$.
On connaît $p(y|\sigma)$ et on suppose que $\sigma$ est distribuée de façon uniforme sur un support $[0,1/a]$ (car on ne connaît pas $\sigma$, on fera tendre ensuite $a$ vers $0$ ce qui revient à dire qu'on ne connaît vraiment rien de $\sigma$). Donc $p(\sigma)=a$ sur le support.
Ceci permet d'avoir $p(y,\sigma) = p(y|\sigma).p(\sigma)$ puis par intégration par rapport à $\sigma$ : $p(y)$.
On a alors $p(\sigma|y) = p(y,\sigma) / p(y)$.
On constate alors que lorsque $a$ tend vers $0$ cette expression a une limite, mais uniquement dans le cas de 2 tirages ou plus (loi du Chi2 de degré 2 ou plus). Pour $k=1$ degré de liberté, on a $p(\sigma|y) \propto -1/ln(a)$ : la distribution dépend du support choisi et tend vers $0$ lorsque $a$ tend vers $0$. En somme : l'information apportée par 1 seul tirage n'est pas suffisante pour fournir une info sur $\sigma$.
Merci de vos lumières !
JL
Dans mes anciens cours de stats, il y a le raisonnement suivant :
On suppose qu'une v.a. y suit une gaussienne d'écart-type $\sigma$ et de moyenne nulle (moyenne connue donc).
On sait que $t = y^2/\sigma^2$ suit une loi du Chi2 à 1 degré de liberté.
On dit alors que la probabilité d'avoir $y^2/\sigma^2$ entre deux valeurs $t_1$ et $t_2$ est de 95%.
Ensuite, on a une réalisation de $y$ ($y=y_0$) ce qui permet d'avoir un encadrement à 95% de $\sigma$. $\sigma$ qui était jusqu'alors un paramètre fixe, devient une v.a. !
Je prétends que ce raisonnement n'est pas correct et j'aimerais votre avis car je le sens sans trop savoir comment l'exprimer.
Voici le raisonnement qui me semble correct (approche bayésienne) : détermination de la distribution de probabilité de $\sigma$.
On connaît $p(y|\sigma)$ et on suppose que $\sigma$ est distribuée de façon uniforme sur un support $[0,1/a]$ (car on ne connaît pas $\sigma$, on fera tendre ensuite $a$ vers $0$ ce qui revient à dire qu'on ne connaît vraiment rien de $\sigma$). Donc $p(\sigma)=a$ sur le support.
Ceci permet d'avoir $p(y,\sigma) = p(y|\sigma).p(\sigma)$ puis par intégration par rapport à $\sigma$ : $p(y)$.
On a alors $p(\sigma|y) = p(y,\sigma) / p(y)$.
On constate alors que lorsque $a$ tend vers $0$ cette expression a une limite, mais uniquement dans le cas de 2 tirages ou plus (loi du Chi2 de degré 2 ou plus). Pour $k=1$ degré de liberté, on a $p(\sigma|y) \propto -1/ln(a)$ : la distribution dépend du support choisi et tend vers $0$ lorsque $a$ tend vers $0$. En somme : l'information apportée par 1 seul tirage n'est pas suffisante pour fournir une info sur $\sigma$.
Merci de vos lumières !
JL
Réponses
-
Avant d'expliciter ton raisonnement, peux-tu écrire clairement l'énoncé ? (Estimation de $\sigma$? ..)
-
Bonjour.
C'est bizarre de proposer une distribution uniforme de $\sigma$ et de dire ensuite "'on ne connaît vraiment rien de $\sigma$". Si on ne connaît rien, on ne peut pas savoir si certaines valeurs sont aussi fréquemment possibles que d'autres.
Sinon, dans le premier raisonnement, $\sigma$ est une valeur fixée, à aucun moment on ne l'utilise comme une variable aléatoire, seulement comme une inconnue. C'est toujours ainsi dans les intervalles de confiance sur une valeur déterministe inconnue. Et ce qu'on obtient est bien un intervalle de confiance.
Cordialement. -
@stat_aléa : oui, désolé, il s'agit de déterminer l'écart-type à partir de résultats de mesure, la moyenne étant connue et la distribution étant gaussienne.
@gerard0 : Le fait de poser une distribution uniforme sur un support très grand c'est quand même avouer que l'on ne sait pas grand chose sur ce que va donner le résultat d'une mesure. Et faire tendre ensuite la limite vers l'infini c'est avouer définitivement que l'on ne sait rien, je ne vois pas ce qui te choque. C'est le fondement des stats : associer une "variable" à des grandeurs qui sont inconnues.
Sinon pour expliciter pourquoi le raisonnement de l'encadrement n'est pas correct, j'ai trouvé ceci : imaginons que le résultat d'une seule mesure est $y_0 = 1$. Je dis que cette mesure ne fournit pas d'information sur $\sigma$. En effet, comme une gaussienne est plate près de $0$, alors on ne va pas pouvoir dire si $\sigma = 100$ ou $\sigma = 10000$ : on a obtenu $1$ comme on pouvait obtenir $10$, c'est égal. Par contre si j'obtiens une seconde mesure $y_1 = 2$ alors ce n'est plus un hasard, j'ai vraiment affaire à un écart-type relativement petit, peut-être 3 ou 4. -
D'ailleurs je pousse encore le raisonnement :
L'exemple numérique précédent montre bien qu'il ne peut y avoir de majoration de $\sigma$ avec 1 seule mesure.
Par contre il peut y avoir une minoration : il y a peu de chance que $\sigma = 0,2$ si $y_0=1$.
Il reste donc à montrer que l'intégrale de $p(\sigma|y)$ sur un intervalle $[0,b]$ avec $b<1/a$ possède une limite lorsque $a$ tend vers $0$.
A+
JL -
Désolé, j'ai dit de grosses bêtises au message précédent que j'annule donc.
Pas de minoration non plus, la proba sur $[0,b]$ tend vers $0$.
Tout ça vient du fait qu'avec une seule valeur $y_0=1$ on ne peut pas déterminer un ordre de grandeur pour $y$ : $\sigma$ peut être égal à mille, un million, on ne sait rien.
Sinon pour répondre aussi à "$\sigma$ est un paramètre, pas une v.a." on peut prendre l'exemple de la gaussienne dont l'écart-type $\sigma$ est connu mais dont la moyenne $m$ est inconnue. On fait un tirage $y_0$ et on en déduit que $m$ (pourtant un paramètre) est distribué selon une gaussienne de moyenne $y_0$ et d'écart-type $\sigma$. -
Désolé,
mais ce que tu racontes à la fin, je ne l'ai vu nulle part. Pas de déduction, en statistiques inférentielle, au mieux des estimations (donc à priori fausse, mais servant à avoir une idée de la vraie valeur) et des intervalles de confiance.
Je laisse aux bayésiens le soin de te répondre sur ta proposition, je connais mal.
Cordialement. -
Merci gerard0 pour ta réponse.
Du coup, j'ai également écrit un commentaire sur wiki dans l'article sur "l'estimation par intervalle de confiance", peut-être que j'aurai aussi une réaction par ce biais.
Le raisonnement à la base des "intervalle de confiance" est tout de même très étrange : on se sert d'une valeur de probabilité (95%) qui est maintenue après réalisation de l'événement. Or une probabilité, elle cesse d'exister après l'obtention d'une valeur (et cette valeur est infiniment précise dans la théorie, n'en déplaise aux fans de la physique statistique). De plus, une proba qui concernait une variable aléatoire $y$ sert, à l'issu de la réalisation de l'événement, à fournir une information sur une autre "variable/paramètre", à savoir $\sigma$. On transfère ce qu'on savait sur $y$ à une autre variable un peu facilement je trouve !
Franchement, si on ne fait pas intervenir de proba conditionnelle dans l'affaire, je ne vois pas trop comment on peut s'en sortir.
JL -
On dirait que tu n'as jamais lu un texte sérieux sur la notion d'intervalle de confiance. Pourtant on trouve partout que I est un intervalle de confiance au seuil p sur la valeur inconnue (déterministe) a si, avant l'expérience probabiliste, la valeur a avait une probabilité p d'être dans l'intervalle qui sera obtenu. On ne maintient rien et on ne parle justement plus de probabilité, mais de confiance.
Maintenant, si cette façon de penser te déplaît, tu peux t'en passer. Mais elle ne pose aucun problème et encore une fois, tu n'as pas compris ce qu'on estime (une valeur fixée, pas une "variable/paramètre" comme tu dis).
Si pour toi, l'écart type d'une variable inconnue mais fixé est variable, tu vas avoir bien du mal !!
Cordialement. -
Hey restons cool !
Tu sais, je connais ce qu'on m'a appris et je comprends ce que tu dis, et outre le super cours que j'ai conservé de Renée Veysseyre, j'ai beaucoup cherché sur internet une formulation qui puisse faire tilt mais je reste insatisfait. Et quand je suis insatisfait je ne zappe pas, ça m'intéresse encore davantage ! L'intérêt d'un forum c'est que l'échange permet souvent de générer des déblocages.
Je ferais quelques remarques par rapport à ta réponse :
"on ne maintient rien" : la valeur de 95% que l'on avait avant, on l'a toujours après
"on ne parle justement plus de probabilité mais de confiance" : jusqu'à preuve du contraire c'est la même chose, mais je suis preneur si tu peux formuler pourquoi c'est différent
"une valeur fixée, pas une variable" : ça me fait penser aux intégrales dépendant d'un paramètre... jusqu'au jour où tu dérives par rapport au paramètre... mais pour parler statistiques, on peut imaginer qu'on tire un dé en ton absence et qu'on ne te communique pas le résultat. Le résultat de cette expérience est une valeur fixée mais pour toi cela reste une variable aléatoire (distribuée uniformément de 1 à 6).
A+
JL -
Je reprends l'argument de gerard0, en statistique inférentielle, on ne détermine pas mais on estime. A contrario, en statistique descriptive, on détermine.
Il ne me semble pas intéressant de prendre le point de vue bayésien car on a aucune information sur le paramètre $\theta$ au départ. Le point de vue fréquentiste me semble plus approprié. Dans ton cas, nous observons une réalisation $x_{1}$ de ta variable aléatoire gaussienne. Dans ce cas, l'estimateur de $\sigma$ est $\left|x_{1}-\mu\right|$ où $\mu$ est la moyenne. L'estimation n'est pas très bonne du fait qu'on a observé qu'une seule réalisation et donc nous avons très peu d'information sur le paramètre à estimer. -
Tu chipotes JL :
""on ne maintient rien" : la valeur de 95% que l'on avait avant, on l'a toujours après " oui et la chaleur est toujours là (normal on est en été)
Puis tu deviens incohérent : ""on ne parle justement plus de probabilité mais de confiance" : jusqu'à preuve du contraire c'est la même chose"
Pas besoin de preuve, si tu confonds probabilité et degré de confiance, c'est foutu, tu ne fais plus des probas, mais de la divination. C'est justement ce qui fait que le "bayésien" reste confidentiel, il mêle trop des préconçus à des calculs non fondés. Une fois débarrassées des oripeaux pseudo-philosophiques (degré de confiance entre autres), il ne reste qu'un partie intéressante et utile des statistiques habituelles.
Ton dernier argument sur la valeur fixée n'a aucun rapport avec la situation dont tu parlais, il ne s'agit pas de faire varier l'écart type, mais de l'estimer. Une fois cela fait, rien n'interdit de traiter des situations variables, mais sans confondre l'estimation de la valeur déterministe avec une situation où cette valeur serait aléatoire (elle ne l'est pas). Si $\sigma$ est aléatoire, on est dans une situation totalement différente, qu'il faudrait étudier spécifiquement.
Mais comme tu vas rejeter les explications les unes après les autres, avec des arguments de moins en moins sérieux, je préfère en rester là, c'est devenu désagréable.
Cordialement. -
Bonjour à tous,
J'essaie d'avancer sur la question en reprenant toujours l'exemple simple d'un seul tirage (k=1) d'une variable $y$ distribuée selon une gaussienne d'écart-type $\sigma$. Si quelqu'un d'autre que gerard0 pouvait pointer mes erreurs ou même être d'accord avec moi.
Voici comment je comprends l'intervalle de confiance :
Déjà l'objectif : essayer d'obtenir une information sur $\sigma$
Ensuite le raisonnement : avant le tirage, on a une probabilité de 95% d'avoir $y^2$ compris entre $t_1\sigma^2$ et $t_2\sigma^2$ donc une probabilité de 95% d'avoir l'encadrement suivant de $\sigma$ :
$a=\dfrac{y}{\sqrt{t_2}} \leq \sigma \leq \dfrac{y}{\sqrt{t_1}}$
A l'issue du tirage, on obtient $y_1=1$ mais on ne sait toujours pas où se trouve cette valeur par rapport à $t_1\sigma^2$ et $t_2\sigma^2$, donc où se trouve $\sigma$ par rapport à $a$ et $b$.
Pour moi, il n'y a pas davantage de chance d'avoir $\sigma$ dans l'intervalle $[a,b]$ que ailleurs dans $\mathbb R$.
Du coup, on ne sait toujours rien sur $\sigma$ à l'issue du tirage, et l'objectif n'est pas atteint.
Numériquement, je reprends encore l'exemple de $\sigma = 10000$. Comme le centre de la gaussienne est plat, il y a autant de chance d'obtenir une valeur de 1, de 10 ou de 1000. Si j'obtiens 1, l'encadrement de $\sigma$ obtenu sera environ $0,44 < \sigma < 20$ ce qui est particulièrement faux.
A+
JL -
Re.
Après encore un peu de réflexion j'ai compris mon erreur, il y a bien davantage de chance d'obtenir une valeur entre disons 10 et 5000 lorsque l'écart-type est de 10000. On ne peut pas dire que 1, 10 ou 100 ont autant de chance de se produire parce qu'on est dans une partie plate d'une distribution. Cela n'a pas de sens de dire qu'une valeur a une certaine proba de se produire (proba nulle). Du coup je me suis fait un noeud au cerveau.
Quant à l'approche bayésienne, je vais reprendre le calcul avec une distribution de départ qui ne pose pas les problèmes d'intégrabilité de la distribution uniforme, par exemple une demi-gaussienne :
$p(\sigma) = \dfrac{2a}{\sqrt{2\pi}}exp(-a^2\sigma^2)$
Puis le fait de faire tendre $a$ vers $0$ assurera la totale méconnaissance de $\sigma$.
A+
JL -
JL écrivait:
> Numériquement, je reprends encore l'exemple de
> $\sigma = 10000$. Comme le centre de la gaussienne
> est plat, il y a autant de chance d'obtenir une
> valeur de 1, de 10 ou de 1000. Si j'obtiens 1,
> l'encadrement de $\sigma$ obtenu sera environ
> $0,44 < \sigma < 20$ ce qui est particulièrement faux.
Bonsoir
Le problème n'est pas que l'intervalle de confiance (qui est un intervalle aléatoire) contienne systématiquement la valeur estimée. On demande que l'intervalle de confiance contienne la vraie valeur avec une proba de 95% .
Pour information, suivant ton protocole (à savoir une seule réalisation y=y0 suivant une loi normale $N(0, \sigma)$ ), un bon intervalle de confiance de niveau 95% pour $\sigma$ est délimité par $|y_0| / 4$ et $|y_0| *16$.
Si tu as $\sigma = 10000$ et $y_0 = 1$ alors l'intervalle de confiance est [ 0.25 ; 16 ] et ne contient pas $\sigma$, c'est vrai. Mais obtenir $y_0 = 1$ avec $\sigma = 10000$ est rarissime, on est largement dans les 5% , pas de problème.
Pour info, ton intervalle $0,44 |y_0| < \sigma < 20 |y_0| $ est plus large que le mien et de niveau 93.7% "seulement". -
...et avec deux réalisations $y_1$ et $y_2$ suivant une même loi normale $N(0,\sigma)$, un bon intervalle de confiance de niveau 95% est délimité par $\frac14 \sqrt{y_1^2+y_2^2}$ et $\pi \sqrt{y_1^2+y_2^2}$.
-
.
-
Bonsoir,
Ce type de questions sur les intervalles de confiance me semble récurrent sur le forum. Or, les tests usuels sont abordés dès les premiers chapitres de livres ou de cours de Statistique. Il semble qu'il y ait un petit problème malgré la littérature foisonnante sur cette partie.
L'intervalle de confiance est le résultat calculatoire d'une procédure suite à la réalisation de l'échantillon. Il est faux de dire qu'un intervalle de confiance contient un paramètre avec une certaine probabilité (bien que cela soit tentant et, que l'on utilise cette tournure par abus de langage ce qui n'est pas si grave) parce qu'il s'agit d'une réalisation.
Soit l'intervalle de confiance contient le paramètre ou (exclusif) il ne le contient pas.
C'est l'application de la procédure déterminée auparavant qui garantit a priori une telle probabilité. C'est pourquoi, on ne parle pas de probabilité mais d'un niveau de confiance.
Cordialement. jm -
.
-
Bonjour
Concrètement, pour l'expérience décrire dans le premier message de cette discussion, vous donneriez quoi comme intervalle de confiance à 95% ?
Quel couple (T1,T2) ? -
@remark
Je n'utilise pas de formalisme car je pense que tu comprendras sans.
Dans de le cadre de la Statistique :
Par définition, l'intervalle de confiance est directement issu du calcul suivant la procédure d'intervalle de confiance. L'intervalle de confiance est une réalisation.
Par définition, la procédure d'intervalle de confiance de niveau a est ; tout couple de statistiques (T1,T2) tel que la probabilité qu'un paramètre encadré par par T1 et T2 soit supérieur à a.
Plus a est grand, plus l'intervalle à bornes aléatoires [T1,T2] a de chance de contenir la véritable valeur du paramètre.
Tu as donc les deux aspects que tu évoques dans ton message avec moins de risque (je trouve) de se prendre les pieds dans le tapis entre ce qui est aléatoire et, ce qui ne l'est pas. -
.
-
Bonjour.
Au vu de ce qu'on trouve dans la littérature, l'intervalle de confiance est, pour le probabiliste, un intervalle aléatoire, et pour le statisticien, à la fois l'intervalle aléatoire du modèle, et l'intervalle concret obtenu en faisant le test ou obtenant l'échantillon réel. Tout dépend si on se place avant ou après l'expérience aléatoire. Dans ses explications, JL se plaçait systématiquement après l'obtention d'une valeur, donc il s'agissait bien d'un intervalle déterministe (déterminé en théorie).
J'ai eu sur ce forum une discussion avec quelqu'un qui voulait absolument que la p-value obtenue dans un test soit une probabilité.. C'est la même situation, quand on les obtient, suite à un test, intervalle de confiance et p-value sont des objets non aléatoires qui ne permettent pas de parler de probabilité. Ce n'est qu'avant l'épreuve qu'on peut définir sainement des probabilités.
Cordialement. -
Bonjour à tous et merci pour enrichir la discussion.
Pour revenir sur mon erreur, c'était aussi ma conception de physicien qui m'avait induit en erreur.
Je crois que j'avais du mal à appréhender qu'après la réalisation de mon événement, la probabilité de 95% puisse toujours exister.
On obtient une valeur, mais on ne sait toujours pas où elle se situe dans la gaussienne.
Quant à essayer de trouver une cohérence avec l'approche bayésienne, l'exemple pour 1 seul tirage est sûrement très instructif.
Comme annoncé dans mon message précédent, j'ai essayé avec une autre distribution "a priori" de forme gaussienne et d'écart-type $1/a$ mais là encore on obtient encore un $p(y)$ (par intégration de $p(y,\sigma)$) équivalent à $a.\ln a$ quand $a\rightarrow 0$...
Le problème d'intégrabilité par rapport à $\sigma$ de la gaussienne initiale, i.e. $p(y|\sigma)$ pose problème...
Si quelqu'un a une remarque sur ce problème, suis aussi preneur !
A+
JL -
@JL
Salut,
plus haut, dans un exemple, tu as donné l'encadrement $0,44<\sigma<20$ , car tu connais l'intervalle de confiance $]~~ 0.44 |y_0| ~;~ 20 |y_0|~~ [$.
Comment le connais-tu ? Comment as-tu fais pour l'obtenir ? Ce sont des constantes 0.44 et 20 qui m'interpellent, car je les trouve étrangement fixées. (comme tu as vu, je propose un autre intervalle...mais peu importe) -
Bonsoir,
Si on prend les constantes qui sortent de la table centrée du Khi2 (de degré 1) pour 2.5% de chaque coté,
alors on on obtient les coefficients multiplicateurs 0.45 et 32,
Ce qui donne un intervalle de confiance quasiment deux fois plus long que .0.25 et 16.
Du coup, je ne comprends toujours pas d'où viennent les coef de JL. :-S
Connectez-vous ou Inscrivez-vous pour répondre.
Bonjour!
Catégories
- 163.1K Toutes les catégories
- 7 Collège/Lycée
- 21.8K Algèbre
- 37.1K Analyse
- 6.2K Arithmétique
- 52 Catégories et structures
- 1K Combinatoire et Graphes
- 11 Sciences des données
- 5K Concours et Examens
- 11 CultureMath
- 47 Enseignement à distance
- 2.9K Fondements et Logique
- 10.3K Géométrie
- 62 Géométrie différentielle
- 1.1K Histoire des Mathématiques
- 68 Informatique théorique
- 3.8K LaTeX
- 39K Les-mathématiques
- 3.5K Livres, articles, revues, (...)
- 2.7K Logiciels pour les mathématiques
- 24 Mathématiques et finance
- 312 Mathématiques et Physique
- 4.9K Mathématiques et Société
- 3.3K Pédagogie, enseignement, orientation
- 10K Probabilités, théorie de la mesure
- 772 Shtam
- 4.2K Statistiques
- 3.7K Topologie
- 1.4K Vie du Forum et de ses membres
Qui est en ligne 6
+2 Invités