Notion de "practical significance"

Bonjour
Je n'arrive pas à bien comprendre la liaison entre les concepts suivants : statistical significance (déterminée par alpha), practical significance (la différence tolérée entre la valeur attendue dans un test d'hypothèse et la véritable valeur), puissance d'un test et taille de l'échantillon.
Dans le MOOC que je suis sur l'A/B testing https://classroom.udacity.com/courses/ud257/lessons/4018018619/concepts/40043987060923 ils cherchent à induire la taille d'un échantillon, une fois fixée les 3 autres paramètres cités plus haut.
J'imagine que c'est une démarche classique mais je ne comprends pas bien comment ils interagissent entre eux.

De mémoire je me souvenais que la puissance d'un test était déterminée une fois choisis : la région d'acceptation (déterminée par alpha), la statistique de test (qui nous donne la distribution de la loi mère) et la taille de l'échantillon qui influe sur la variance de la statistique de test basée sur l'échantillon.
Je ne faisais nullement allusion au paramètre de "practical significance" ...

Avez-vous des exemples et éclaircissements à ce sujet ?

Réponses

  • Bonjour.

    La taille de l'échantillon à prendre dépend de la précision que l'on veut obtenir. Plus l'échantillon sera grand, plus la puissance du test sera grande et donc plus la "practical significance" pourra être petite.

    Bien évidemment, déterminer la taille minimum d'un échantillon n'est pas déterminer la puissance d'un test.

    Cordialement.
  • @gerard: voici les vidéos en question (2min):



    En gros la première vidéo nous dit qu' à alpha fixé (5%) lorsque l'on augmente la taille de l'échantillon la puissance du test augmente puisque les distributions sont plus concentrées.

    Par contre dans l'exercice on a l'impression que la taille de l'échantillon est uniquement identifié dès lors que l'on souhaite fixer alpha, beta et la practical significance... Je ne comprends pas ...

    On suppose que notre statistique de test est distribuée selon une loi symétrique (cf.dessin vidéo), on dessine la même distribution que l'on décale de 0.02 (practical significance). Si l'on espérait avoir une statistique de test nulle (représentant une différence), on sait qu'obtenir une statistique de 0.01 n'aura pas vraiment d'importance, par contre au delà de 0.02 on veut être capable de le détecter. On souhaite donc fixer la région d' acceptation de l'hypothèse nulle à l'intervalle [-0.2,0.2] (c'est la la cléf, ai je bien compris ??).

    Si le dernier point est bien ce que l'on recherche je suis perdu, car si mon but (sous une loi normale par exemple) est de trouver N tel que la région d'acceptation à alpha fixé 5% est égale à [-0.2,0.2] je me contre-fou de beta...
  • J'ai l'impression que tu vois une contradiction là où il n'y en a pas. Je te laisse étudier tes vidéos à la lumière de la signification des notions. Je ne les regarde pas, je suis incapable de suivre une vidéo de maths, ça n'a pas de sens pour moi.
  • @gérard: effectivement je trouve les vidéos très peu claires, du coup je vais reformuler la question telle qu'elle est posée: si je vous donne (dans le contexte déjà évoqué)
    * une practical significance de 0.02
    * un alpha =5%
    * un beta = 20%
    comment me trouvez-vous la taille de l'échantillon ?
    C'est implémenté ici : http://www.evanmiller.org/ab-testing/sample-size.html. Lorsque j'aurai compris la démarche, ça me paraîtra sans doute évident, mais en attendant l'explication vidéo est trop succincte et il semble qu'il manque des éléments dans l'explication ...
  • Ces éléments ne permettent pas de trouver la taille de l'échantillon, qui dépend bien évidemment de la loi suivie par les échantillons de taille n de la population en cause. Et évidemment du paramètre qui sert à tester.
  • Pas très claires ces vidéos. D'ailleurs dans le "sample size calculator online", je n'ai pas vu de "practical significance".

    J'ai l'impression que c'est ce qu'on appelle un test d'équivalence. Connais-tu les intervalles de confiance ?
Connectez-vous ou Inscrivez-vous pour répondre.