Multicolinéarité

Bonjour,

Si je suis bien le propos: en présence de variables explicatives $X$ extrêmement corrélées, tu as une incertitude importante sur les coefficients de régression $w$ associés à ces facteurs (le conditionnement est très mauvais). Pour autant, tu n'as pas nécessairement une incertitude importante sur la prédiction $y^\ast=f(X^\ast,w)$ elle-même.

Exemple: $X=(x_1,x_2)$ avec un unique facteur explicatif répété deux fois: $x_1=x_2$, et une fonction de régression $y=x_1w_1+x_2w_2$. Tu as une infinité de combinaisons $w_1,w_2$ de somme $w_1+w_2$ égales, qui mènent à des prédicteurs identiques. Donc tu ne peux pas déterminer uniquement les coefficients $w_1, w_2$. Cependant la capacité à prédire ne s'en trouve pas directement affectée puisque toutes ces fonctions de régression mènent au même résultat $y=x_1(w_1+w_2)=x_2(w_1+w_2)$.

Dans la vraie vie c'est plus compliqué parce qu'il est possible que cette corrélation entre $x_1$ et $x_2$ ne soit valide que sur un domaine limité, auquel cas tu peux faire de graves erreurs d'extrapolation si tu ignores l'incertitude sur les coefficients $w_1,w_2$ au profit d'une solution arbitrairement choisie.

[Correction:] Tu parles de classification plutôt que de régression, le propos s'applique de même à cette situation.