Deux tests pour une même question

Nathaparis · August 2020

Bonjour

J'ai deux séries de scores (variables continues) obtenus pour deux groupes d’élèves constitués aléatoirement à partir d’une population pour laquelle on se pose la question de savoir si une intervention (une méthode pédagogique par exemple) est efficace ou non. Le groupe intervention reçoit l’intervention, l’autre groupe constitue le groupe contrôle. Les scores sont normalement distribués, les tailles des échantillons sont supérieures à 30 et les variances des deux séries de scores sont égales.

Pour répondre à la question, j’ai utilisé deux méthodes : un test de Student sur la différence des moyennes et un test de Student sur la taille d’effet.

Les deux statistiques calculées sont très proches (voir fichier pdf ci-joint) mais tout de même différentes. C’est sur cette différence que je m’interroge car il me semble que les deux méthodes répondent à la même question, et requièrent les mêmes conditions d’utilisation. Comment expliquer alors que les résultats ne soient pas exactement les mêmes ?

Merci de vos retours

gerard0 · August 2020

Bonjour.

Je ne connais pas le deuxième test (taille d'effet), mais il semble normal que si on utilise deux tests différents, ils aient des résultats différents (sauf si justement les zones d'acceptation sont les mêmes). Je n'ai d'ailleurs pas trop compris pourquoi utiliser un deuxième test.

Cordialement.

Nathaparis · August 2020

Bonjour,

Merci pour votre réponse.
Dans les méta analyses, pour chaque étude ce sont des tailles d'effet qui sont calculées pour permettre dans un second temps de calculer une taille d'effet globale. Je me suis inspirée du What Works Clearinghouse (aux USA) qui calcule pour chaque étude une taille d'effet puis qui utilise un test de Student à partir de ces tailles d'effet pour déterminer si elles sont, ou non, statistiquement différentes de zéro. Peut-être que dans ce cadre il convient tout simplement d'abandonner le test de la différence des moyennes ...

Cordialement

gerard0 · August 2020

Je comprends que dans une méta analyse, on fasse une analyse des tailles d'effets : il y a plusieurs enquêtes. Mais ici, il n'y a qu'une seule enquête, la dispersion des tailles d'effets (de la taille d'effet) est nulle. Désolé, je ne sais pas ce que tu as calculé ...

Cordialement.

Nathaparis · August 2020

C'est vrai, une seule enquête ici. Mais la taille d'effet (le d de Cohen en ce qui me concerne), tout comme une moyenne, a une variance, et tout comme une différence de moyenne, on peut procéder à un test d'hypothèse (encore une fois, c'est comme cela que procède le What Works Clearinghouse américain). Cela peut être un test z, ou un calcul d'intervalle de confiance en admettant une distribution normale de la taille d'effet. Je détaille les calculs dans ma pièce jointe (je la rajoute à cette réponse) si cela peut aider à comprendre ma question.

Bien cordialement

gerard0 · August 2020

Bon,

un dernier essai de comprendre, après je renonce :
Tu as un seul $m_i$, un seul $m_c$, un seul S, donc un seul $d$. La variance d'une série de une seule valeur est nulle. Que peux-tu tester sur une variance nulle ? Quel test est adapté à un échantillon d'une seule valeur ?

Donc soit tu dis ce que tu as vraiment fait (et tu changes de baratin), soit il est inutile de continuer.

Nathaparis · August 2020

Et bien à part répéter ce que j'ai déjà dit, je ne vois pas trop quoi dire ... bien sur, je n'ai "qu'un seul d", tout comme une seul moyenne du groupe intervention et une seule moyenne du groupe contrôle. Mais, comme ces moyennes et taille d'effet sont considérées comme des réalisations de variables aléatoires (car calculées à partir d'échantillons d'une population), ont peut leur associer des variances (c'est bien comme cela que les tests d'hypothèse ont été construits il me semble). Donc je ne vois pas le problème. Voir par exemple exemple Michael Borenstein, Introduction to meta-analysis, 2009. Donc je ne change pas de "baratin", je crois tout simplement qu'on ne se comprend pas ...

Deux tests pour une même question

Réponses

Bonjour!

Catégories

In this Discussion

Qui est en ligne 28