Régression linéaire, estimateur moindre carré
dans Statistiques
Bonjour
J'ai une petite difficulté. J'ai besoin d'aide au sujet de cette régression linéaire en pièce jointe.
Pour la question 1 : Soit $\hat{\theta}_n = (\hat{\theta}_1; \hat{\theta}_2)$
Le problème s'écrit sous forme matricielle suivante![:\](https://les-mathematiques.net/vanilla/resources/emoji/confused.png ":\")
[
\begin{bmatrix}
Y_1 \\
Y_2 \\
\dots \\
Y_n
\end{bmatrix}
=
\begin{bmatrix}
\sin(u_1) & \cos(u_1) \\
\sin(u_2) & \cos(u_1) \\
\dots & \dots \\
\sin(u_n) & \cos(u_n)
\end{bmatrix}
\begin{bmatrix}
\theta_1 \\
\theta_2
\end{bmatrix}
+
\begin{bmatrix}
\xi_1 \\
\xi_2 \\
\dots \\
\xi_n
\end{bmatrix}
\] Ce qui peut s'écrire avec une notation plus dense : \[
\begin{bmatrix}
Y_i
\end{bmatrix}
=
\begin{bmatrix}
\sin(u_i) \\
\cos(u_i)
\end{bmatrix}^T
\begin{bmatrix}
\theta_1 \\
\theta_2
\end{bmatrix}
+
\begin{bmatrix}
\xi_i
\end{bmatrix}
\] On note \[
\begin{bmatrix}
\sin(u_i) \\
\cos(u_i)
\end{bmatrix}
=
\begin{bmatrix}
Z^i
\end{bmatrix}
\] Donc l'estimateur des moindre carré est solution du problème d'optimisation :
$\displaystyle \hat{\theta}_n = \arg \, \min_{\theta} \Big( \sum_{i=1}^n Y_i - (Z^i)^T \theta \Big)^2$
Ainsi je ne sais pas comment trouver le minimum atteint par $(\hat{\theta}_1; \hat{\theta}_2)$
Dans mon cours, on définit une matrice $B_n = (Z^i)^T Z^n$ Dans ce cas là elle sera de taille $(2,2)$
Après calcul je trouve $B_n$ qui est : \[
\begin{bmatrix}
\sum_{i=1}^n\sin^2(u_i) & \sum_{i=1}^n \cos(u_i)\sin(u_i) \\
\sum_{i=1}^n \cos(u_i)\sin(u_i) & \sum_{i=1}^n \cos^2(u_i)
\end{bmatrix}
\] C'est une matrice symétrique à coefficients réels, elle est diagonalisable. Définie positive, donc l'EMC existe et est unique.
Le déterminant $\displaystyle \det(B_n) = \sum_{i=1}^n\sin^2(u_i)\cos^2(u_i) - \sum_{i=1}^n \cos^2(u_i)\sin^2(u_i) = 0$
Ainsi, dans le cours on a que $\hat{\theta}_n = B_n^{-1} (Z^n)^T Y^n$.
Mais je ne sais pas comment faire les calculs pour trouver l'expression explicite de $(\hat{\theta}_1; \hat{\theta}_2)$.
J'ai une petite difficulté. J'ai besoin d'aide au sujet de cette régression linéaire en pièce jointe.
Pour la question 1 : Soit $\hat{\theta}_n = (\hat{\theta}_1; \hat{\theta}_2)$
Le problème s'écrit sous forme matricielle suivante
[\begin{bmatrix}
Y_1 \\
Y_2 \\
\dots \\
Y_n
\end{bmatrix}
=
\begin{bmatrix}
\sin(u_1) & \cos(u_1) \\
\sin(u_2) & \cos(u_1) \\
\dots & \dots \\
\sin(u_n) & \cos(u_n)
\end{bmatrix}
\begin{bmatrix}
\theta_1 \\
\theta_2
\end{bmatrix}
+
\begin{bmatrix}
\xi_1 \\
\xi_2 \\
\dots \\
\xi_n
\end{bmatrix}
\] Ce qui peut s'écrire avec une notation plus dense : \[
\begin{bmatrix}
Y_i
\end{bmatrix}
=
\begin{bmatrix}
\sin(u_i) \\
\cos(u_i)
\end{bmatrix}^T
\begin{bmatrix}
\theta_1 \\
\theta_2
\end{bmatrix}
+
\begin{bmatrix}
\xi_i
\end{bmatrix}
\] On note \[
\begin{bmatrix}
\sin(u_i) \\
\cos(u_i)
\end{bmatrix}
=
\begin{bmatrix}
Z^i
\end{bmatrix}
\] Donc l'estimateur des moindre carré est solution du problème d'optimisation :
$\displaystyle \hat{\theta}_n = \arg \, \min_{\theta} \Big( \sum_{i=1}^n Y_i - (Z^i)^T \theta \Big)^2$
Ainsi je ne sais pas comment trouver le minimum atteint par $(\hat{\theta}_1; \hat{\theta}_2)$
Dans mon cours, on définit une matrice $B_n = (Z^i)^T Z^n$ Dans ce cas là elle sera de taille $(2,2)$
Après calcul je trouve $B_n$ qui est : \[
\begin{bmatrix}
\sum_{i=1}^n\sin^2(u_i) & \sum_{i=1}^n \cos(u_i)\sin(u_i) \\
\sum_{i=1}^n \cos(u_i)\sin(u_i) & \sum_{i=1}^n \cos^2(u_i)
\end{bmatrix}
\] C'est une matrice symétrique à coefficients réels, elle est diagonalisable. Définie positive, donc l'EMC existe et est unique.
Le déterminant $\displaystyle \det(B_n) = \sum_{i=1}^n\sin^2(u_i)\cos^2(u_i) - \sum_{i=1}^n \cos^2(u_i)\sin^2(u_i) = 0$
Ainsi, dans le cours on a que $\hat{\theta}_n = B_n^{-1} (Z^n)^T Y^n$.
Mais je ne sais pas comment faire les calculs pour trouver l'expression explicite de $(\hat{\theta}_1; \hat{\theta}_2)$.
Réponses
-
Bonjour,
Pour la suite de la question, on définit le risque $R_n = E_{\theta}^n \Arrowvert\hat{\theta}_n- \theta \Arrowvert^2$
Vu que les $\xi_i$ suivent une loi normale, centrée réduite, alors : $R_n =trace(B_n^{-1})$, c'est bien ça ?
Sachant que j'ai du mal à inverser $B_n$
Je viens de trouver que $B_n^{-1} $ est :
\[
\begin{bmatrix}
\sum_{i=1}^n \cos^2(u_i) & 0 \\
0 & \sum_{i=1}^n\sin^2(u_i)
\end{bmatrix}
\]
Donc le risque quadratique $R_n = trace ((B_n^{-1}) = n$ -
Bonsoir,
Il est un peu tard et, je n'ai pu lire que rapidement vos deux messages. Ainsi, n'est-il pas possible dans ce cas d'obtenir une fonction à deux variables (vos paramètres) puis de calculer le gradient de la réponse pour trouver l'optimum ?
Cordialement. -
Re bonsoir,
Du coup après recherche :
Par l'expression : $\hat{\theta}_n = B_n^{-1} (Z^n)^T Y^n$ et en résolvant un produit matriciel, je trouve que :
$ \hat{\theta}_1 = \sum_{i=1}^n \cos^2(u_i) \left[ \sum_{i=1}^n Y_i \sin(u_i) \right]$
Et $ \hat{\theta}_2 = \sum_{i=1}^n \sin^2(u_i) \left[ \sum_{i=1}^n Y_i \cos(u_i) \right]$
Est ce qu'un connaisseur pourrait me confirmer les résultats sur $\hat{\theta}_n$ et sur le fait que $nR_n(\hat{\theta}_n) = n^2$ ?
Je vous remercie d'avance.
Pour la question 2 vu que les $ \xi_i $ suivent une normale centrée réduite, alors $\hat{\theta}_1$ suit la loi $N(\theta_1, a)$. avec $ a =\sum_{i=1}^n \cos^2(u_i)$ et $b = \sum_{i=1}^n \sin^2(u_i)$ pour $\hat{\theta}_1$ qui suit la loi $N(\theta_1,b)$
Est ce bien ça ? Par contre je sais pas comment détrminer la loi des Y^n. Pourriez vous m'aider svp ? -
Bonsoir JADM,
OUi, j'ai cette méthode, mais elle est beaucoup plus longue, et la formule de$ \hat{\theta}_n = B_n^{-1} (Z^n)^T Y^n$ en est une conséquence. -
De nouveau bonsoir,
Votre déterminant est-il vraiment égal à 0 pour n=2 ? Si, tel n'est pas le cas inverser la matrice et, vous pourrez trouver une fonction des deux paramètres.
Cordialement. -
Ah Jadm, c'est ce qu'il me semblait.
Mon déterminant est faux, car il faut développer. Mais dans les calculs suivant je ne l'ai pas utilisé. Je sais pas pourquoi je l'ai calculé d'ailleurs :-X
En revanche, l'inverse de la matrice $B_n$ me semble pas tout a fait ça.... QUelqu'un pourrait m'aider svp ?
Je suis un peu perdu, je me demande si $B_n^{-1}$ n'est pas :
\begin{bmatrix}
\frac{1}{ \sum_{i=1}^n \cos^2(u_i)} & 0 \\
0 & \frac{1}{ \sum_{i=1}^n \sin^2(u_i)}
\end{bmatrix} -
Bonjour,
J'essaie de résoudre un problème de statistique (Il est posté sur le forum en question pour les curieux).
J'ai une matrice $B_n$ à inverser. Et je suis perdu. Il s'agit de : \begin{bmatrix}
\sum_{i=1}^n\sin^2(u_i) & \sum_{i=1}^n \cos(u_i)\sin(u_i) \\
\sum_{i=1}^n \cos(u_i)\sin(u_i) & \sum_{i=1}^n \cos^2(u_i)
\end{bmatrix} C'est une matrice symétrique à coefficients réels, elle est diagonalisable. Définie positive, donc l'EMC existe et est unique.
Est ce que $B_n^{-1}$ est : $$
\begin{bmatrix}
\sum_{i=1}^n \cos^2(u_i) & 0 \\
0 & \sum_{i=1}^n\sin^2(u_i)
\end{bmatrix} \qquad \text{ou bien}\qquad
\begin{bmatrix}
\frac{1}{ \sum_{i=1}^n \sin^2(u_i)} & 0 \\
0 & \frac{1}{ \sum_{i=1}^n \cos^2(u_i)}
\end{bmatrix} $$ Je vous remercie d'avance. -
Bonsoir Pedro
L'inverse de la matrice $M=\begin{pmatrix}a&b\\c&d\end{pmatrix}$ n'existe que si $\det M\neq 0$ et alors elle vaut $M^{-1}=\dfrac 1{ad-bc}\begin{pmatrix}d&-b\\-c&a\end{pmatrix}$.
L'inverse que tu recherches est donc, si $\det B_n\neq 0$ : $$\frac 1{\det B_n}\begin{bmatrix}
\sum_{i=1}^n\cos^2(u_i) &- \sum_{i=1}^n \cos(u_i)\sin(u_i) \\
-\sum_{i=1}^n \cos(u_i)\sin(u_i) & \sum_{i=1}^n \sin^2(u_i)
\end{bmatrix}
$$ Alain -
Bonsoir,
Merci AD pour cette info.
Le calcul du déterminant n'est pas chose facile, j'ai développer pour $n=2$ en espérant voir quelque chose, mais en vain.
Il y a les terme $1/4 \sum_{i=1}^n \sin^2(2u_i)$ qui s'annulent entre eux quand on utilise la trigonométrie... Mais après ça devient long, et je ne vois pas de simplification... Je suis au pied du mur. -
Bonjour,
Mon but est d'inverser la matrice, pour cela j'ai besoin du déterminant qui est :
$\displaystyle \det(B_n) = \sum_{i=1}^n\sin^2(u_i) \sum_{i=1}^n\cos^2(u_i) -( \sum_{i=1}^n \cos(u_i)\sin(u_i) )^2$
Pour le membre de droite je trouve : $ 1/4 ( \sum_{i=1}^n \sin(2u_i) )^2$ en utilisant la trigonométrique.
Pour le membre de gauche $\sum_{i=1}^n\sin^2(u_i)\cos^2(u_i)$ je ne vois pas du tout comment faire. J'ai essayé l'exponentielle complexe, en vain !
J'ai essayé de simplifier mais en vain... Je sais pas si quelque connaît une astuce. -
du coup la en utilisant $ cos^2 + sin^2 = 1$ Je trouve :
$\sum_{i=1}^n\sin^2(u_i) \sum_{i=1}^n\cos^2(u_i) = \sum_{i=1}^n(1- \cos^2(u_i)) \sum_{i=1}^n\cos^2(u_i)$
ce qui donne : $ ( n- \sum_{i=1}^n \cos^2(u_i) ) * \sum_{i=1}^n \cos^2(u_i) = n (\sum_{i=1}^n \cos^2(u_i)) - (\sum_{i=1}^n \cos^2(u_i))^2$ -
Une réponse sur ton autre message qui montre que ce déterminant n'est nul que si tous les $u_i-u_j$ sont nuls à $\pi$ près.
-
Cela se fait de tete : det$ =\sum_{i<j}\sin^2(u_i-u_j).$
-
Tu as une sacrée tête, P.
Je ne l'ai vu qu'en regardant le cas n=2 puis calculant ce qui se passe en général. Avec 7 lignes de calculs écrits au total.
Cordialement. -
Heu, j'ai fait le calcul en conduisant...
-
Félicitations !
Mais un peu dangereux, non ? -
Bonsoir
Merci à vous tous. Effectivement il a une sacré tête
Mais je viens de me rendre que le résultat est toujours compliqué pour en tirer un renseignement pour mon problème initial.
DOnc revenons à notre problème :
La matrice $B_n$ est :
\begin{bmatrix}
\sum_{i=1}^n\sin^2(u_i) & \sum_{i=1}^n \cos(u_i)\sin(u_i) \\
\sum_{i=1}^n \cos(u_i)\sin(u_i) & \sum_{i=1}^n \cos^2(u_i)
\end{bmatrix}
ET $n R_n(\hat{\theta}_n ) =trace(B_n^{-1}) = $. Or $trace(B_n^{-1}) = \frac {n}{\det B_n}$
D'ou : $n R_n(\hat{\theta}_n ) = \frac {n^2}{\det (B_n)} = \frac {1}{\frac {\det (B_n)}{n^2} }$.
DOnc il faut calculer la limite. On comment par la limite de $\det( B_n)$
On sait que : $\frac {1}{n} \sum_{i=1}^n \cos(i/n) $ tends vers $\int_0^1 \cos(u) du$ quand $n$ tends ver sl'infini.
Donc $ \frac {1}{\frac {\det (B_n)}{n^2} }$ tends vers $[\int_0^1 \cos^2(u_i) \int_0^1 \sin^2(u)du -(\int_0^1 \cos(u) \sin(u)du)^2$
Pour la question 3, il s’agit de trouver un intervalle de confiance de niveau Alpha.
$\hat{\theta}_1 \sin(2) +hat{\theta}_2 \sin(2)$ est une combinaison de coordonnées d'un vecteur suivant la loi normale.
il suit donc une loi normale de moyenne : $\theta_1 \sin(2) +\theta_2 \sin(2)$
d'ou un intervalle de confiance centre $\hat{\theta}_1 \sin(2) +hat{\theta}_2 \sin(2) $ plus ou moins $C_\alpha \sqrt(v)$.
Mais comment trouver $C_\alpha \sqrt(v)$
Connectez-vous ou Inscrivez-vous pour répondre.
Bonjour!
Catégories
- 163.1K Toutes les catégories
- 7 Collège/Lycée
- 21.9K Algèbre
- 37.1K Analyse
- 6.2K Arithmétique
- 53 Catégories et structures
- 1K Combinatoire et Graphes
- 11 Sciences des données
- 5K Concours et Examens
- 11 CultureMath
- 47 Enseignement à distance
- 2.9K Fondements et Logique
- 10.3K Géométrie
- 62 Géométrie différentielle
- 1.1K Histoire des Mathématiques
- 68 Informatique théorique
- 3.8K LaTeX
- 39K Les-mathématiques
- 3.5K Livres, articles, revues, (...)
- 2.7K Logiciels pour les mathématiques
- 24 Mathématiques et finance
- 312 Mathématiques et Physique
- 4.9K Mathématiques et Société
- 3.3K Pédagogie, enseignement, orientation
- 10K Probabilités, théorie de la mesure
- 772 Shtam
- 4.2K Statistiques
- 3.7K Topologie
- 1.4K Vie du Forum et de ses membres
In this Discussion
Qui est en ligne 12
+9 Invités