Preuve moindre carré dérivée matricielle
Bonjour,
En se basant sur ce site https://economictheoryblog.com/2015/02/19/ols_estimator/ et d'autres.
J'ai compris que dans une régression linéaire pour avoir la meilleure courbe possible on voulait réduire l'erreur des moindres carrés SCE.
On que que le SCE soit minimal avec SCE définit comme
SCE = (Y- Xb)T.(Y - Xb')
Le point représente le produit matriciel et T représente la transposé et SCE est égale à la somme de chaque erreur au carré.
J'ai aussi compris dans le cas où X est de dimension 2 (en comptant la colonne des 1 pour la constante, dans le cas d'une droite de type ax +b) que pour que SCE soit minimale il fallait que chaque dérivée partielle soit nulle https://fr.khanacademy.org/math/statistics-probability/describing-relationships-quantitative-data/more-on-regression/v/proof-part-3-minimizing-squared-error-to-regression-line.
Ce que je ne comprends pas c'est la généralisation de la phrase "toutes les dérivées partielles doivent être. nulles" à la forme matricielle.
b=(XTX)-1X'y
Quand on pose la dérivé = 0 qu'est ce que cela veut dire pour une matrice, qu'elle n'est constitué que de 0 ?
j'ai crois avoir compris que la dérivé matricielle est la matrice jacobienne contenant du coup sur chaque ligne une dérivée partielle et ne possédant qu'une colonne.
Mais même avec cela les 2 égalités ci-dessous sorte de nulle part pour moi.
D'ailleur si on considère que
y = X.b
au lieu de y = X.b + erreur
on trouve la même chose après multiplication par la transposé de X au début
XTy = XTX.b
Puis par multiplication par l'inverse de (XTX) au début
b=(XTX)-1X'y
Comment peut on se permettre de négliger l'erreur, ok on la veut la plus petite possible mais elle ne le sera jamais.
Est-ce que quelqu'un saurait m'expliquer cette partie de dérivation de matrice ?
Merci.
En se basant sur ce site https://economictheoryblog.com/2015/02/19/ols_estimator/ et d'autres.
J'ai compris que dans une régression linéaire pour avoir la meilleure courbe possible on voulait réduire l'erreur des moindres carrés SCE.
On que que le SCE soit minimal avec SCE définit comme
SCE = (Y- Xb)T.(Y - Xb')
Le point représente le produit matriciel et T représente la transposé et SCE est égale à la somme de chaque erreur au carré.
J'ai aussi compris dans le cas où X est de dimension 2 (en comptant la colonne des 1 pour la constante, dans le cas d'une droite de type ax +b) que pour que SCE soit minimale il fallait que chaque dérivée partielle soit nulle https://fr.khanacademy.org/math/statistics-probability/describing-relationships-quantitative-data/more-on-regression/v/proof-part-3-minimizing-squared-error-to-regression-line.
Ce que je ne comprends pas c'est la généralisation de la phrase "toutes les dérivées partielles doivent être. nulles" à la forme matricielle.
b=(XTX)-1X'y
Quand on pose la dérivé = 0 qu'est ce que cela veut dire pour une matrice, qu'elle n'est constitué que de 0 ?
j'ai crois avoir compris que la dérivé matricielle est la matrice jacobienne contenant du coup sur chaque ligne une dérivée partielle et ne possédant qu'une colonne.
Mais même avec cela les 2 égalités ci-dessous sorte de nulle part pour moi.
D'ailleur si on considère que
y = X.b
au lieu de y = X.b + erreur
on trouve la même chose après multiplication par la transposé de X au début
XTy = XTX.b
Puis par multiplication par l'inverse de (XTX) au début
b=(XTX)-1X'y
Comment peut on se permettre de négliger l'erreur, ok on la veut la plus petite possible mais elle ne le sera jamais.
Est-ce que quelqu'un saurait m'expliquer cette partie de dérivation de matrice ?
Merci.
Connectez-vous ou Inscrivez-vous pour répondre.