Régression linéaire multiple

Bonjour,
Dans un contexte d'apprentissage supervisé dans le cadre d'une regression linéaire multible quelle est la perte que l'on cherche à minimiser ? Je me place du côté probabiliste dans un premier temps, peut- on dire que l'on cherche $Argmin_{\beta}\ E[(Y-\beta^TX)^2]$ (avec Y et X des variables aléatoires) et que l'on transpose ça au cadre statistique en transformant l'espérance en somme et en considérant des réalisations de Y et X ?


Je cherche juste à formaliser la régression linéaire dans le contexte de l'apprentissage statistique où l'on cherche à minimiser l'espérance d'une fonction (de coût ou de perte je ne sais jamais la différence).

Réponses

  • Par contre il y a quelque chose de pas très logique,

    1) en notant que $Y$ est une variable aléatoire et qu'à $x$ fixé, $E[Y|X=x]$ est une constante, on introduit la variable aléatoire $Y-E[Y|X=x]:=\varepsilon, \forall x\in \R^p$.

    Quand on écrit $Y=E[Y|X]+\varepsilon$ ça voudrait dire que pour $x$ fixé on a une variable aléatoire $Y(w)=E[Y|X=x]+\varepsilon(w) \forall w \in X^{-1}(x)$ ?

    2) L'auteur nous dit qu'en choisissant l'esperance conditionnelle les erreurs sont nécessairements centrées (par propriété de "la tour") pour tant dans beaucoup de livres c'est une hypothèse à poser...
Connectez-vous ou Inscrivez-vous pour répondre.