Mathématiques des tests de signification
dans Statistiques
Bonjour
Je conçois l'approche de Fisher comme ceci.
On choisit une statistique de test dont on calcule la distribution sous H0. H0 étant une hypothèse simple de préférence.
On découpe la distribution selon des seuils de significativité.
Les seuils de significativité sont définis par ce que l'on considère comme un résultat extrême, c'est-à-dire un résultat qui n'arriverait que très peu et donc nous mettrait le doute sur la véracité de H0.
On calcule la p-value qui correspond à la probabilité d'obtenir un résultat au moins aussi extrême que la réalisation de la statistique de test sachant H0 vraie. Si la p-value est inférieure au seuil de significativité on rejette H0 sinon on ne rejette pas H0.
On dit souvent que Neyman-Pearson ont rigoureusement mathématisé les tests de signification de Fisher et ont dû ajouter à la procédure une hypothèse alternative et l'erreur de seconde espèce. Cependant Fisher a longtemps insisté sur l'inverse. J'aimerais alors savoir si c'est vrai. Est-ce que les tests de signification de Fisher peuvent exister mathématiquement sans hypothèse alternative ? (Autre que par simple équivalence). Si non ? À quoi sert mathématiquement l'hypothèse alternative (autre que juste calculer l'erreur de seconde espèce) ? Car elle a apparemment un rôle asymétrique avec H0 dans les tests de Neyman-Pearson et j'aimerais comprendre pourquoi. Si oui ? Alors comment Fisher aurait traité les concepts de taille d'effet et l'impact de la taille de l'échantillon sur la p value ?
Merci.
Je conçois l'approche de Fisher comme ceci.
On choisit une statistique de test dont on calcule la distribution sous H0. H0 étant une hypothèse simple de préférence.
On découpe la distribution selon des seuils de significativité.
Les seuils de significativité sont définis par ce que l'on considère comme un résultat extrême, c'est-à-dire un résultat qui n'arriverait que très peu et donc nous mettrait le doute sur la véracité de H0.
On calcule la p-value qui correspond à la probabilité d'obtenir un résultat au moins aussi extrême que la réalisation de la statistique de test sachant H0 vraie. Si la p-value est inférieure au seuil de significativité on rejette H0 sinon on ne rejette pas H0.
On dit souvent que Neyman-Pearson ont rigoureusement mathématisé les tests de signification de Fisher et ont dû ajouter à la procédure une hypothèse alternative et l'erreur de seconde espèce. Cependant Fisher a longtemps insisté sur l'inverse. J'aimerais alors savoir si c'est vrai. Est-ce que les tests de signification de Fisher peuvent exister mathématiquement sans hypothèse alternative ? (Autre que par simple équivalence). Si non ? À quoi sert mathématiquement l'hypothèse alternative (autre que juste calculer l'erreur de seconde espèce) ? Car elle a apparemment un rôle asymétrique avec H0 dans les tests de Neyman-Pearson et j'aimerais comprendre pourquoi. Si oui ? Alors comment Fisher aurait traité les concepts de taille d'effet et l'impact de la taille de l'échantillon sur la p value ?
Merci.
Connectez-vous ou Inscrivez-vous pour répondre.
Réponses
Je ne me prononcerai pas sur le débat historique, je connais trop mal le sujet.
" Est-ce que les tests de signification de Fisher peuvent exister mathématiquement sans hypothèse alternative ?" Non, puisqu'au delà d'une zone d'acceptation (je prends le test originel, sans p-value) il faut bien une zone de rejet. Zone de rejet ou hypothèse alternative, c'est la même chose.
Par exemple les tests de comparaison d'une moyenne à une valeur donnée sont différents selon qu'il s'agit de savoir s'il y a égalité, ou s'il y a amélioration, ou s'il y a diminution. Qu'on le veuille ou non, on utilise une hypothèse alternative pour raisonner.
Après, il y a l'analyse avec une hypothèse H1 précise : m=13 contre m=12. Mais c'est très peu utilisé, ça semble surtout servir pour apprendre la notion de puissance et de risque de seconde espèce.
Cordialement.
NB : Fischer utilisait vraiment des p-values ?
Oui Fisher utilisait les p-value étant donné qu'il en est lui même l'inventeur. Fisher recommandait à ce que l'on rapporte la p-value exacte afin d'avoir une mesure [du] niveau de preuve contre H0 et aussi pour faire des méta-analyses.
Merci pour votre réponse sur la nécessité de Ha. Cependant je ne saisis pas bien son rôle mathématique. Soit j'entends que la théorie de Neyman-Pearson sert à faire un choix entre H0 et Ha mais je ne comprends pas pourquoi ces 2 hypothèses ont un rôle asymétrique. Soit on dit souvent que Ha sert à donner la "direction" du test mais Ha peut tout aussi bien être une hypothèse simple ou n'importe qu'elle autre forme. Du coup je me figure mal son rôle. Pouvez-vous m'éclairer dessus ?
Merci encore.
Cordialement.
L'asymétrie des tests n'est pas réservée aux tests statistiques. On la trouve aussi pour les tests biologiques, médicaux ou industriels. A la base on teste une hypothèse, mais il faut décider, face à des résultats à priori variables, si le test est réussi ou pas. Et l'hypothèse alternative n'est que la façon de décider que le test est raté.
L'utilisation de la p-valeur comme une mesure est une idée dangereuse, elle donne à l'échantillon utilisé une influence démesurée (avec un autre échantillon, on aurait une autre p-valeur).
Pour comprendre mieux, il faut pratiquer la théorie des tests, lire ce qu'en disent les auteurs, réfléchir par soi-même à l'interprétation, etc. Il n'y a pas de voie royale à la compréhension. Et ne pas oublier que les travaux de Fischer, Pearson et Neyman datent d'un siècle et ouvraient la voie à la réflexion sur l'utilisation des statistiques sur échantillon, dans une période de débats (avec Yule, par exemple) sur l'acceptabilité de cette technique (Voir "La politique des grands nombres" de Alain Desrosières.
Cordialement.
NB : ton titre est trompeur, tu ne parles pas de mathématiques, mais d'interprétation.
Je ne pense pas vraiment que mon titre soit trompeur. Mon objectif était de comprendre au niveau mathématique pourquoi il y avait un débat entre Fisher et Neyman-Pearson. Neyman disait explicitement que sans hypothèse alternative aucune théorie des tests n'est mathématiquement correctes alors que Fisher répondait l'inverse. Car en effet je ne pense pas que ce soit aussi simple. Par exemple les intervalles de confiance. On peut définir un intervalle de confiance de la manière suivante.
Soit X un échantillon aléatoire d'une distribution de probabilité avec le paramètre statistique t , qui est une quantité à estimer. Un intervalle de confiance pour le paramètre t , avec un niveau de confiance a , est un intervalle avec des extrémités aléatoires ( u ( X ), v ( X )), déterminé par la paire de variables aléatoires u ( X ) et v ( X), avec la propriété : Pr(u(X)<t<v(X)) = a . Ici on n'exprime aucune d'hypothèse alternative. Or une définition équivalente d'un intervalle de confiance serait qu'il s'agit de l'ensemble des valeurs t telles que l'on ne rejette pas l'hypothèse H0 : t=t_0 contre Ha : t != t_0 pour les intervalles bilatéraux. Bref ces 2 définitions sont correctes mais une se fait sans hypothèse alternative et une avec. Et je trouve que le débat Fisher / Neyman-Pearson ressemble à cette analogie. D'où ma question est ce que l'approche de Fisher est mathématiquement correcte sans hypothèse alternative comme la première définition d'intervalle de confiance que j'ai donné.
L'utilisation de la valeur p est controversée. J'ai beaucoup lu à ce sujet aussi bien du coté des pours que des contres. Mais ma question ne portait pas dessus, je ne faisais qu'expliciter son histoire.
Je ne pense que que l'asymétrie des tests soit si répandue. Les tests bayésiens ou ceux vraisemblantistes [de vraissamblance ??] n'ont pas d'asymétrie. C'est pourquoi je trouve l'asymétrie des tests de Neyman-Pearson étrange et j'imagine que c'est dû au fait que l'hypothèse alternative joue un rôle mathématique particulier et c'est celui là que j'aimerais comprendre.
Cordialement.
[Ydebain. Comment interpréter la phrase en gras ci-dessous ?
Ici on n'exprime aucunement d'hypothèse alternative, hors une définition équivalente d'un intervalle de confiance peut être définit comme l'ensemble des valeurs t tel que l'on ne rejette pas l'hypothèse ...
(1) ... hormis une définition équivalente d'un intervalle de confiance peut-être défini comme l'ensemble des valeurs t telles ...
(2) ... or une définition équivalente d'un intervalle de confiance peut être [de le] définir comme l'ensemble des valeurs t telles...
AD]
Je suis tout à fait d'accord avec gerard0 sur le plan mathématiques, l'asymétrie vient du fait qu'on fait le test sous l'hypothèse H0 sans connaitre Ha même si ce sera notre manière de conclure en cas de rejet : unilatéral, bilatéral par exemple, c'est juste un choix. Je n'irai quand même pas jusqu'à dire qu'on se sert très peu d'une hypothèse alternative simple.
Elle permet de calculer le nombre de sujets nécessaires pour avoir une puissance voulue. Il n'est pas éthique donc interdit de faire un essai thérapeutique randomisé avec trop peu ou trop de patients. Pour fixer l'hypothèse alternative dans ce cadre, il est possible de se servir des résultats obtenus dans l'essai clinique avant la phase III ou dans la littérature.
Sur le fait que c'est dangereux, peut-être en tout cas ce n'est pas parfait c'est certain, mais il est difficile de faire mieux à ce jour et à choisir je préfère quand même cette méthode que de croire sur parole "mais si, moi je vous dis que mon traitement est efficace". Mais je ne vais pas lancer un débat sur ce sujet sensible.
Justement je ne vois pas la nécessité de Ha dans le fait de conclure ou non au rejet d'un test. Fisher définissait un seuil de significativité à partir duquel on décidait s'il fallait rejeter ou non H0. Donc pas d'hypothèse alternative.
Ensuite, je ne nie pas l'intérêt de Ha d'un point de vue pratique comme le fait de calculer la taille de l'échantillon nécessaire pour atteindre une certaine puissance. Mais le concept de puissance semble plutôt découler du fait que l'on définisse une hypothèse alternative. Ainsi je ne vois pas en quoi ça répond à ma question : quel est le rôle mathématique de l'hypothèse alternative. Si Fisher a tort alors qu'est-ce qu'il avait manqué ? Pourquoi l'hypothèse alternative est nécessaire au fait qu'un test soit mathématiquement correct ?
Et je rappelle que si on ne rejette pas, on ne peut pas vraiment conclure que H0 est vrai sans connaitre le risque de seconde espèce or sans hypothèse alternative, pas possible de s'en faire une idée.
Du coup, un test où on ne peut pas conclure ni si on rejette ni si on ne rejette pas, c'est bien gentil mais je ne vois pas trop à quoi ça sert.
Premièrement en général les utilisateurs de tests de Neyman-Pearson confronte H0 en tant qu'hypothèse simple contre Ha en tant qu'hypothèse composite couvrant une infinité de valeur. Je pourrais dire que si l'on rejette H0 pour une hypothèse alternative couvrant une infinité de valeur n'est pas utile et est d'ailleurs contraire aux principes de parcimonie.
Ensuite je pourrais rétorquer qu'utiliser des tests uniquement pour rejeter des hypothèses n'est pas inutile. Il suffit de voir l'immense littérature et l'impact de Popper et du rationalisme critique sur la science. Les idées de Fisher sont d'ailleurs souvent perçus comme ceux les plus près de ceux de Popper (il les a d'ailleurs écrit avant Popper).
Mais bref, tout ceci est une question d'interprétation. Or comme on me l'a dit plus haut, le sujet de cette discussion est d'ordre mathématique.
Cordialement
Je suis désolé mais je n'ai rien compris à cette histoire d'interprétation de test, ni à la demande initiale, soit dit en passant.
Juste pour me confirmer un point de détail, est-ce qu'un intervalle continu fermé contient bien une infinité de valeurs ?
À bientôt.
Cherche livres et objets du domaine mathématique :
Intégraphes, règles log et calculateurs électromécaniques.
Quand tu rejettes avec une hypothèse Ha unilatérale par exemple, ta zone de rejet est un unique intervalle et on conclut supérieur (respectivement inférieur)
Quand tu rejettes avec une hypothèse Ha bilatérale par exemple, ta zone de rejet est une réunion de 2 intervalles disjoints et on conclut différent
Choisir une zone de rejet, c'est choisir Ha. Bien sur la distribution de la statistique de test va être la même dans tous les cas et se fiche pas mal de Ha mathématiquement parlant mais la p-value va être différente quand même. On peut considérer qu'il faut le faire systématiquement en bilatéral et c'est le choix que tu décris il me semble mais il faut avoir conscience que c'est un choix. Je peux t'assurer que ce n'est pas le cas général, quand on teste un traitement contre placebo (ou traitement de référence), on veut conclure supérieur, conclure différence ne sert à rien donc interdire de faire cette conclusion est un gros problème qui nécessitait une solution.
Comme il s'agit surtout de l'interprétation qu'on peut en faire ensuite, rien de bien grave et je t'accorde qu'il n'y a pas une seule bonne réponse à ce genre de question.
Pour les tests statistiques on fait souvent une hypothèse H0 qui permet de se ramener à : Z suit une loi dont on suppose les paramètres connues. Ensuite on veut définir une zone où la valeur observée de Z aura mettons 95% de chance de se trouver et en dehors c'est la zone de rejet.
Le problème à mon avis est de savoir comment choisir cet intervalle qui contient effectivement une infinité de valeurs et il y a plusieurs écoles :
- est-ce qu'il faut le fixer de sorte à avoir 2,5% de chaque coté ?
- est-ce qu'il faut le fixer de sorte à avoir 5% d'un seul coté ? Est-ce qu'on peut se servir de la valeur observée de Z pour choisir le coté ?
- pour les lois asymétriques, on peut faire autre chose encore ?
D’expérience, il n'y a pas souvent unanimité à ce sujet.
Pour les histoires de zone d'acceptation et de rejet, je n'ai sans doute pas d'avis suffisamment pertinent sur la procédure de décision, mais il me semble que l'on fait dans ce sujet-ci aussi l'hypothèse que la loi est bien normale (centrée et réduite, puisqu'on parle de Z ?), ce qui est normal puisqu'il y a un théorème qui stipule que toute loi s'y ramène avec une grande taille d'échantillon et j'ai d'ailleurs du mal à raccrocher cela avec ta remarque sur le danger de faire un test randomisé sur trop de patients (je rappelle au passage que l'actualité récente a donné un exemple de test sur un échantillon record, mais il est difficile de démêler la réalité de l'effet d'annonce dans ce cas d'espèce).
Encore merci pour les explications, il faudrait maintenant savoir si la question du sujet est maintenant bien claire.
À bientôt.
Cherche livres et objets du domaine mathématique :
Intégraphes, règles log et calculateurs électromécaniques.
Le danger d'inclure trop de patients, c'est qu'on utilise un traitement qui n'a pas encore fait preuve de son efficacité quand même et aussi que le groupe contrôle lui n'y aura pas le droit alors qu'il va subir un simulacre. Ce sont des êtres humains, l'usage est de ne pas leur faire courir de risque inutile ;-)
Tant que j'y suis, puisque le sujet t'intéresse, la puissance d'un test qui est la probabilité de rejeter H0 à raison (c'est à dire sachant Ha vraie) augmente avec la taille de l'échantillon bien sûr mais augmente aussi avec la différence attendue entre H0 et Ha et c'est bien pour cela qu'on s'intéresse à Ha. Donc quand on s'attend à ce que le traitement n'apporte pas une grosse amélioration, on est obligé d'augmenter la taille de l'échantillon pour compenser. Après la communication sur ce sujet dans les médias est disons à revoir pour être gentille mais on sort totalement du champ des mathématiques.
Tout cela est finalement déterminé grâce à l'hypothèse alternative, comme tu le rappelles assez bien.
Ne reste qu'à voir si ces explications sont suffisantes par rapport à la question initiale.
À bientôt.
Cherche livres et objets du domaine mathématique :
Intégraphes, règles log et calculateurs électromécaniques.
Et je maintiens : Le titre est trompeur.
Donc si je comprends bien l'approche de Neyman-Pearson est une sorte d'explicitation de l'approche de Fisher.
Fisher dit que l'on choisit les seuils de significativité selon ce qui nous semble être des résultats extrêmes et Neyman-Pearson répondent que c'est équivalent à définir une hypothèse alternative particulière. Et le but de cette hypothèse est de définir la "direction" du test et c'est ce qui explique l'asymétrie dans le test. On s'intéresse à H0 et on le rejette dans une "direction" particulière qui est définie par Ha. En fait c'est que j'ai du mal à comprendre ce concept de direction. Parce que les cas unilatéraux et bilatéraux sont les plus simples, mais si Ha est une hypothèse simple ou par exemple si H0 : u=0 et Ha : u appartient à [12,32] , qu'est ce que ça signifie que Ha définit la "direction" du test?
Ensuite grâce à l'hypothèse alternative il est possible de définir une erreur de seconde espèce, les tests les plus puissants et calculer la taille de l'échantillon nécessaire pour atteindre une certaine puissance. Du coup en fait l'approche de Neyman-Pearson de ce point de vu est une approche qui explicite le point de vue de Fisher et permet d'une certaine façon de trouver un test optimal. Si je reprends mon exemple d'intervalle de confiance, la première définition est juste tout comme celle de Fisher également, et la deuxième définition est plus explicite et permet de définir les intervalles uniformément les plus précis. C'est donc plutôt une approche cherchant l'optimalité?
J'ai bon?
Merci encore pour vos explications
Autant quand on compare 2 moyennes ou 2 proportions, on peut considérer qu'il est assez intuitif de regarder la valeur absolue de la différence.
Autant si on pose H0 : X suit une loi uniforme discrète (ou même normale) qu'est-ce que je fais avec la liste de valeurs obtenues sur mon échantillon ?
Choisir Ha sera par exemple dire au moins une valeur n'a pas la même probabilité d'apparition que les autres mais rien ne m'interdit de faire autrement. Je peux aussi m'intéresser à la moyenne des rangs des premières apparitions de chaque valeur car l'hypothèse H0 nous permet de prévoir théoriquement cela.
C'est parfois bien plus délicat que de placer le risque de première espèce d'un seul coté ou de le répartir des 2 cotés, je suis d'accord.
Après le mot "direction" je ne sais pas d'où il vient mais si tu veux t'en faire une idée, je dirai qu'est-ce qui va contredire mon hypothèse de départ concrètement ? Je ne vois pas comment les mathématiques pourraient donner une réponse à cela, je suis d'accord avec gerard0, par contre une fois qu'on se met d'accord sur ce qui peut contredire H0 ce qui revient à expliciter Ha, les mathématiques vont faire le job.
En fait je crois que je ne comprends pas parce que je ne vois pas comme s'exprime mathématiquement le fait que Ha est l'hypothèse qui exprime ce qui peut contredire H0 et que c'est ce qui fait l'asymétrie.
Par exemple, les statistiques de vraisemblances (notamment défendu par Royall) demandent de définir deux hypothèses (comme dans la théorie de Neyma-Pearson) et de définir un seuil à partir duquel on considère que le rapport de vraisemblance des deux hypothèses fait basculer notre choix pour une hypothèse (le rapport de vraisemblance est également utilisé dans les tests d'hypothèses de Neyman-Pearson). Royall calcul même des probabilités d'erreur (pour être plus précis, l'erreur que le rapport de vraisemblance soit "favorable" envers une hypothèse fausse). Pourtant dans ce paradigme il n'y a pas d'asymétrie des hypothèses. C'est donc bien qu'il y a un concept mathématique particulier dans la théorie de Neyman-Pearson qui oblige l'asymétrie des hypothèses et c'est ça que je ne comprends pas.
Soit dit en passant, je suis désolé si je parais difficile et j'apprécie vraiment que vous preniez le temps de me répondre.
Comment on détermine ces probabilités préalables ? C'est sujet à débat et il n'y aura pas de réponse unique mathématiquement parlant.
Dans l'approche asymétrique, on fait autrement, on dit H0 est vraie et on tente une sorte de raisonnement par l'absurde.
Comment on prouve l'absurde ? C'est aussi sujet à débat car il y a potentiellement plusieurs manières possibles qui ne donnent pas le même résultat.
Il n'y a pas de solution miracle et je ne pense pas que nous résoudrons ce dilemme sur ce forum.
Merci pour vos réponses. Je me demande si vous auriez tout de même une source qui expose les mathématiques de Neyman-Pearson ? Non pas une liste de test mais une source qui expose la théorie mathématique avec une définition de chaque concept etc ?
Merci.
Dans le Saporta, dont Gerard0 à déjà parlé sur un autre sujet, les pages 325 à 370 (chapitre 14) expliquent par le menu tout ce qui concerne le sujet de ce fil (il y a aussi la liste des tests, malheureusement).
Je suis en train de cocher ce dont on n'a pas encore parlé, cela s'amenuise.
Par contre, il évoque les mêmes débats que Vassillia, tout au plus en donnant des références vers des articles plus spécifiques que je n'ai pas encore pris le temps de rechercher.
Si j'ai le temps et que quelqu'un ne l'a pas déjà fait, je donnerais les diverses références au plus tard avant demain matin.
À bientôt.
Cherche livres et objets du domaine mathématique :
Intégraphes, règles log et calculateurs électromécaniques.
C'est un test unilatéral où on introduit la valeur prévue sous H1 dans le calcul de la statistique de test mais la zone de rejet se fait bel et bien sous l'hypothèse H0. La seule différence est qu'on considère H1 connue donc on peut se permettre d'accepter H0 comme on a le risque de seconde espèce.
Bref j'abandonne, soit je n'ai pas les éléments pour répondre à tes questions, soit tu ne veux pas les entendre dans tous les cas, bon courage pour tes recherches.
En tout cas merci pour tes réponses, et merci à Dreamer pour les références. Je continuerais mes recherches merci
Tu parles d'un calcul du rapport de vraisemblance basé sur d'autres axiomes que le bayésianisme par contre comme on ne connait pas la probabilité préalable, on ne publie pas de conclusion dans l'article scientifique.
Ce sera au lecteur de se débrouiller pour mettre les probabilités préalables en fonction de ses à priori à lui s'il le souhaite. Ils n'acceptent pas les hypothèses composites du tout car il faudrait évaluer la probabilité de chaque valeur de l'intervalle.
C'est un petit peu comme les logiciens qui bataillent pour imposer un autre modèle, cela se respecte mais il n'y a pas de réponse, tu ne trouveras pas ce que tu cherches mais je ne veux pas te décourager.
La référence du livre dont je parlais plus haut est Saporta, Probabilités, analyse des données et Statistique, aux éditions Technip, 3ème édition (j'ai la deuxième, je suppose que la troisième est fondamentalement encore meilleure), dont j'ai fait l'éloge de son chapitre 14 par rapport au sujet.
Je conseille ydebain d'essayer de se procurer ce livre mais dans mon souvenir il était un peu cher.
Renseignements pris, il coûte environ 66 euros, ce qui est déjà un budget.
Voici aussi un article de synthèse, en pièce jointe, avec une bibliographie reprenant un peu tout l'historique sur la question, notamment les articles de Neyman et Pearson dans la période 1933-1938.
Je n'ai pas poussé plus avant la recherche mais je souhaite à ydebain d'y trouver ce qu'il recherche.
Bonne continuation.
Cherche livres et objets du domaine mathématique :
Intégraphes, règles log et calculateurs électromécaniques.