Moindres carrés et régression linéaire
dans Statistiques
Bonjour,
soient $X_1,\ldots,X_p$ des variables centrées mesurées sur $n$ individus. On souhaite prédire $(y_i)_{i=1}^n$ en utilisant les $X_j$. Le modèle de régression est de la forme $$(M_1) : y=X\beta+\varepsilon$$ où $X=(X_1|\cdots|X_p)$. On suppose que $X$ est de rang $p$.
1) Déduire l'estimateur $\hat{\beta}$ de $\beta$ par les moindres carrés.
2) Donner la décomposition en valeurs singulières de $X$ puis exprimer $\hat{\beta}$ à l'aide de ces matrices. Quel est l'avantage de cette expression par rapport à celle de 1) ?
3) Montrer que le modèle (M1) est équivalent au modèle $$(M_1') : y=H\gamma+\varepsilon $$ avec $H$ semi-orthogonale et $\gamma$ le vecteur des coefficients de régression, $H$ et $\gamma$ à définir.
4) Donner l'estimateur $\hat{\gamma}$ de $\gamma$ dans ce nouveau modèle par les moindres carrés.
5) En utilisant $\hat{\gamma}$, déduire $\hat{\beta}$ du modèle (M_1). Quel est le lien avec 2) ?
6) Quel est l'avantage de (M_1') sur (M_1) ?
Alors
1) $\hat{\beta} = (X^TX)^{-1}X^Ty$
2) $X=S\Sigma T^T$ avec S et T semi-orthogonales et $\Sigma$ diagonale des valeurs singulières de $X^TX$ implique $\hat{\beta}=T\Sigma^{-1}S^Ty$. Pas de matrice à inverser (à part une matrice diagonale) donc numériquement intéressant.
3) $y=X\beta+\varepsilon=S\Sigma T^T \beta+\varepsilon$. On peut donc poser $H=S$ semi-orthogonale et $\gamma=\Sigma T^T \beta $.
4) $\hat{\gamma}=(S^TS)^{-1}S^T\gamma=S^T \gamma$ en réutilisant la formule de 1).
5) En écrivant $X\hat{\beta}=H\hat{\gamma}$, j'arrive à $\hat{\beta} = T\Sigma^{-1} \hat{\gamma}$. On retrouve 2) en remplaçant $\hat{\gamma}$ par son expression de 4).
6) Aucune idée.
Merci de votre aide (pour la question 6) du coup..). Je ne vois pas en quoi avoir une matrice semi-orthogonale est mieux qu'une matrice quelconque numériquement...
soient $X_1,\ldots,X_p$ des variables centrées mesurées sur $n$ individus. On souhaite prédire $(y_i)_{i=1}^n$ en utilisant les $X_j$. Le modèle de régression est de la forme $$(M_1) : y=X\beta+\varepsilon$$ où $X=(X_1|\cdots|X_p)$. On suppose que $X$ est de rang $p$.
1) Déduire l'estimateur $\hat{\beta}$ de $\beta$ par les moindres carrés.
2) Donner la décomposition en valeurs singulières de $X$ puis exprimer $\hat{\beta}$ à l'aide de ces matrices. Quel est l'avantage de cette expression par rapport à celle de 1) ?
3) Montrer que le modèle (M1) est équivalent au modèle $$(M_1') : y=H\gamma+\varepsilon $$ avec $H$ semi-orthogonale et $\gamma$ le vecteur des coefficients de régression, $H$ et $\gamma$ à définir.
4) Donner l'estimateur $\hat{\gamma}$ de $\gamma$ dans ce nouveau modèle par les moindres carrés.
5) En utilisant $\hat{\gamma}$, déduire $\hat{\beta}$ du modèle (M_1). Quel est le lien avec 2) ?
6) Quel est l'avantage de (M_1') sur (M_1) ?
Alors
1) $\hat{\beta} = (X^TX)^{-1}X^Ty$
2) $X=S\Sigma T^T$ avec S et T semi-orthogonales et $\Sigma$ diagonale des valeurs singulières de $X^TX$ implique $\hat{\beta}=T\Sigma^{-1}S^Ty$. Pas de matrice à inverser (à part une matrice diagonale) donc numériquement intéressant.
3) $y=X\beta+\varepsilon=S\Sigma T^T \beta+\varepsilon$. On peut donc poser $H=S$ semi-orthogonale et $\gamma=\Sigma T^T \beta $.
4) $\hat{\gamma}=(S^TS)^{-1}S^T\gamma=S^T \gamma$ en réutilisant la formule de 1).
5) En écrivant $X\hat{\beta}=H\hat{\gamma}$, j'arrive à $\hat{\beta} = T\Sigma^{-1} \hat{\gamma}$. On retrouve 2) en remplaçant $\hat{\gamma}$ par son expression de 4).
6) Aucune idée.
Merci de votre aide (pour la question 6) du coup..). Je ne vois pas en quoi avoir une matrice semi-orthogonale est mieux qu'une matrice quelconque numériquement...
Réponses
-
Bonjour,
J'avoue n'avoir pas correctement lu ton message mais j'ai l'impression que les calculs informatiques seraient fortement simplifiés en évitant une inversion de matrice.
On peut montrer, par exemple, qu'on peut trouver une décomposition QR intervenant dans l'estimateur des moindres carrés : une des matrices étant triangulaire supérieure, les calculs viennent tout seul.
A suivre.
Cordialement.
Connectez-vous ou Inscrivez-vous pour répondre.
Bonjour!
Catégories
- 163.2K Toutes les catégories
- 9 Collège/Lycée
- 21.9K Algèbre
- 37.1K Analyse
- 6.2K Arithmétique
- 53 Catégories et structures
- 1K Combinatoire et Graphes
- 11 Sciences des données
- 5K Concours et Examens
- 11 CultureMath
- 47 Enseignement à distance
- 2.9K Fondements et Logique
- 10.3K Géométrie
- 63 Géométrie différentielle
- 1.1K Histoire des Mathématiques
- 68 Informatique théorique
- 3.8K LaTeX
- 39K Les-mathématiques
- 3.5K Livres, articles, revues, (...)
- 2.7K Logiciels pour les mathématiques
- 24 Mathématiques et finance
- 313 Mathématiques et Physique
- 4.9K Mathématiques et Société
- 3.3K Pédagogie, enseignement, orientation
- 10K Probabilités, théorie de la mesure
- 773 Shtam
- 4.2K Statistiques
- 3.7K Topologie
- 1.4K Vie du Forum et de ses membres