Analyse discriminante, projet

Bonjour,

Quelle différence faite vous entre l'analyse canonique discriminante et l'analyse discriminante linéaire ?

* Je connais bien la dernière technique ( l'analyse discriminante linéaire ) repose sur des hypothèses probabilistes:
- dans LDA on suppose que nos données sont distribuées selon une gaussiennes dont la moyenne dépends de la catégorie/label de la variable cible et dont la variance est la même indépendemment du label de nos données.
- l'analyse discriminante de Fisher est encore plus générale. On suppose que l'on connait uniquement les variances et moyennes de nos données catégorielles sans préciser un type de distribution et on cherche la direction discriminante optimale au sens où elle maximise la variance interclasse et minimise la variance intraclasse. (ces deux approches conincident dans certains cas).

* En revanche je en connais pas bien l'ACD or on me demande de faire une synthèse de toutes les méthodes évoquées (pour celles ci on a juste évoqué son nom) en cours. Voici ce que j'ai compris: il s'agit de trouver les combinaisons linéaires de variables qui permettent de séparer le mieux possible les k catégories.

On pourrait donc penser qu'il s'agit d'un prétraitement qui serait utile avant LDA: en choisissant une bonne combinaison de variables on sépare "mieux" les données et on aura donc plus de facilités à trouver une frontière de décision linéaire.
- Mais je me dit qu'intuitivement, plus on a de variables plus nos données sont facilement séparables (en augmentant la dimension de l'espace dans lequel on vit on gagne en séparabilité (c'est d'ailleurs le principe des algos à noyaux et fonction de redescription). Donc c'est assez contre-intuitif.

Je doute donc d'avoir bien compris l'objectifde l' ACD.

Réponses

  • En lisant cet extrait: https://www.math.univ-toulouse.fr/~besse/Wikistat/pdf/st-m-explo-afd.pdf
    j'ai l'impression que l' AFD n'est autre que ce que j'appel " l'analyse discriminante de Fisher". Sauf que dans mon cas je pars directement de l'objectif de maximiser le quotient de rayleigh (variance inter/variance intra) sans jamais parler d'ACP et la résolution se fait en une page alors que dans les autres cours je vois que ça fait intervenir l' ACP avec ue métrique particulière... et c'est très compliqué. Est cela même chose ?


    PS: j'ai trouvé ce cours mais c'est incompréhensble en l'état: https://www.math.univ-toulouse.fr/~besse/Wikistat/pdf/st-m-explo-afd.pdf

    Remarque: Celà peut être vu comme une méthode non supervisée si l'on considère la variable qualitative comme une variable explicative mais aussi comme une méthode supervisée si la variable qualitative est la variable à prédire:
    "Méthode factorielle de réduction de dimension pour l’exploration
    statistique de variables quantitatives et d’une variable qualitative.
    Construction du modèle statistique associé, estimation. Représen-
    tation graphique optimale des classes des individus, liens avec
    d’autres définitions de l’AFD."
  • Je penses qu'il est normal de faire la confusion, à titre d'exemple dans la documenytion scikit learn: http://scikit-learn.org/stable/modules/lda_qda.html
    ils font la distinction entre :
    - LDA classifieurs (analyse discriminante predictive.): hypothèses probabilistes sur les distributions)
    - LDA dimension reduction (analyse discriminante descriptive): aucunes hypothèses probabilistes, méthode purement géométrique, au même titre que l'ACP mais dans un but différent qui est celui de trouver non pas les axes qui maximise la variance globale mais les axes qui maximise le quotirnt de la variance inter / variance intra.

    PS: pour les connaisseurs je réitère ma demande: quel est le lien avec l'ACP ?
    Pourquoi dans ce doc https://www.math.univ-toulouse.fr/~besse/Wikistat/pdf/st-m-explo-afd.pdf qui m'a l'air très sérieux on ne parle que de variance inter et non de variance intra ?
Connectez-vous ou Inscrivez-vous pour répondre.