Régression linéaire multiple
dans Statistiques
Bonjour,
Dans un contexte d'apprentissage supervisé dans le cadre d'une regression linéaire multible quelle est la perte que l'on cherche à minimiser ? Je me place du côté probabiliste dans un premier temps, peut- on dire que l'on cherche $Argmin_{\beta}\ E[(Y-\beta^TX)^2]$ (avec Y et X des variables aléatoires) et que l'on transpose ça au cadre statistique en transformant l'espérance en somme et en considérant des réalisations de Y et X ?
Je cherche juste à formaliser la régression linéaire dans le contexte de l'apprentissage statistique où l'on cherche à minimiser l'espérance d'une fonction (de coût ou de perte je ne sais jamais la différence).
Dans un contexte d'apprentissage supervisé dans le cadre d'une regression linéaire multible quelle est la perte que l'on cherche à minimiser ? Je me place du côté probabiliste dans un premier temps, peut- on dire que l'on cherche $Argmin_{\beta}\ E[(Y-\beta^TX)^2]$ (avec Y et X des variables aléatoires) et que l'on transpose ça au cadre statistique en transformant l'espérance en somme et en considérant des réalisations de Y et X ?
Je cherche juste à formaliser la régression linéaire dans le contexte de l'apprentissage statistique où l'on cherche à minimiser l'espérance d'une fonction (de coût ou de perte je ne sais jamais la différence).
Réponses
-
Par contre il y a quelque chose de pas très logique,
1) en notant que $Y$ est une variable aléatoire et qu'à $x$ fixé, $E[Y|X=x]$ est une constante, on introduit la variable aléatoire $Y-E[Y|X=x]:=\varepsilon, \forall x\in \R^p$.
Quand on écrit $Y=E[Y|X]+\varepsilon$ ça voudrait dire que pour $x$ fixé on a une variable aléatoire $Y(w)=E[Y|X=x]+\varepsilon(w) \forall w \in X^{-1}(x)$ ?
2) L'auteur nous dit qu'en choisissant l'esperance conditionnelle les erreurs sont nécessairements centrées (par propriété de "la tour") pour tant dans beaucoup de livres c'est une hypothèse à poser...
Connectez-vous ou Inscrivez-vous pour répondre.
Bonjour!
Catégories
- 163.2K Toutes les catégories
- 9 Collège/Lycée
- 21.9K Algèbre
- 37.1K Analyse
- 6.2K Arithmétique
- 53 Catégories et structures
- 1K Combinatoire et Graphes
- 11 Sciences des données
- 5K Concours et Examens
- 11 CultureMath
- 47 Enseignement à distance
- 2.9K Fondements et Logique
- 10.3K Géométrie
- 65 Géométrie différentielle
- 1.1K Histoire des Mathématiques
- 69 Informatique théorique
- 3.8K LaTeX
- 39K Les-mathématiques
- 3.5K Livres, articles, revues, (...)
- 2.7K Logiciels pour les mathématiques
- 24 Mathématiques et finance
- 314 Mathématiques et Physique
- 4.9K Mathématiques et Société
- 3.3K Pédagogie, enseignement, orientation
- 10K Probabilités, théorie de la mesure
- 773 Shtam
- 4.2K Statistiques
- 3.7K Topologie
- 1.4K Vie du Forum et de ses membres