Généralisation moindres carrés

etanche · May 2020

Bonjour

1/ Soit un nuage de q-points de $\R^3$ , $M_k(x_k,y_k,z_k)$ avec $k=1;\ldots;q$

Quelle est l’équation du plan $ax+by+cuz+d=0$ le plus proche possible de ce nuage de points.

2/ Même question avec un nuage de $q$ points de $\R^n$ , $M_j(x_{1,j},x_{2,j},\ldots,x_{n,j})$ avec $j=1;\ldots;q$.

Quelle est l’équation de l’hyperplan $a_1x_1+a_2x_2+\cdots+a_nx_n=a_{n+1}$ le plus proche possible de nuage de points ?
Merci.

P. · May 2020

Je crois que JJ a un texte tout pret sur le sujet.

etanche · May 2020

Comment trouver ce texte merci ?

P. · May 2020

JJ est du forum, trouve le et fais lui un MP.

gerard0 · May 2020

Et il te demandera tout de suite "que veut dire "le plus proche" pour toi ?". On a déjà eu cette question à différentes occasions (récemment, c'était un cercle pour des points de $\mathbb R^2$).
Et effectivement, dans le cas où c'est au sens des moindres carrés, il a des éléments solides.

Cordialement.

etanche · May 2020

Ha oui «le plus proche possible » ?

gerard0 · May 2020

"Le plus proche possible au sens des moindres carrés" est une notion définie. Mais il y a bien d'autres façons d'être proche; par exemple la somme des distances.

Cordialement.

JJ · May 2020

Bonjour à tous,

Voici le lien pour l'article mentionné par P. (que je salue à cette occasion) :

"Régression plane en 3D." pp.13-26 https://fr.scribd.com/doc/31477970/Regressions-et-trajectoires-3D

gebrane · May 2020

bonjour gerard0
Une question que je me pose toujours en statistique, suite à ton message; pourquoi la minimisation des moindres carrés est la plus utilisée et la plus célèbre en statistique que la minimisation des sommes des distances.

Rescassol · May 2020

Bonjour,

Euclidien, produit scalaire, norme euclidienne ....

Cordialement,

Rescassol

JJ · May 2020

Bonjour gebrane,

Pourquoi la minimisation des moindres carrés est la plus utilisée et la plus célèbre en statistique que la minimisation des sommes des distances ?

On pourrait répondre (selon le principe du moindre effort) : parce que c'est mathématiquement la plus simple à appliquer.

Mais il n'y a pas que cela. On cite classiquement le cas où elle correspond à l’estimateur du maximum de vraisemblance dans un modèle précis où x est la variable explicative, y la variable dépendante et où on suppose que le terme d’erreur aléatoire a une forme bien précise.

Mais en général, rien ne prouve, à priori, que la méthode des moindres carrés soit la plus appropriée dans le cadre de tel ou tel problème concret. En principe, on devrait donc choisir, au cas par cas, la méthode de régression la plus appropriée pour satisfaire le critère d’ajustement
spécifique au problème que l’on traite.

Il y a une petite discussion à ce sujet pp.4-5 dans cet article : https://fr.scribd.com/doc/14819165/Regressions-coniques-quadriques-circulaire-spherique

gerard0 · May 2020

Gebrane,

historiquement elle est apparue avec la recherche des erreurs et le fait que la droite d'ajustement des moindres carrés est tout simplement l'axe d'inertie du nuage de points (mais on a déformé la méthode); les techniques de calcul étaient connues des mathématiciens mécaniciens de l'époque.
Mais on retrouve les résultats dans l'analyse de régression, quand on cherche un modèle affine Y=aX+b d'une situation statistique de série double $(x_i,y_i)_{i=1..n}$. Il est assez raisonnable de poser $x_i=ax_i+b+\varepsilon_i$ en supposant que les variables aléatoires $\varepsilon_i$ sont minimales, c'est à dire en moyenne nulles et de variance la plus faible possible. Or justement, on trouve que cette variance est la somme des carrés qu'on minimise.
Cette coïncidence entre la méthode purement descriptive (droite d'ajustement de Y en X) et la méthode modélisation probabiliste (régression à une variable) fait que c'est devenu la méthode de référence, parfois utilisée abusivement.

Cordialement.

P. · May 2020

Il y a deux sortes de moindres carres, ceux de la droite de regression et ceux qui font passer un sous espace affine au milieu d'un nuage de pointsde $\R^n$ en minimisant la somme des carres des distances des points au sous espace en choissant le meilleur sous espace. Du point de vue des probas le second probleme peut se voir et considerant les $N$ points du nuage comme des masses de Dirac et en considerant la va $X$ de $R^n$ qui tombe sur un des points avec la probabilite uniforme $1/N$. Ce point de vue est developpe dans 'Moins de coordonnees pour les moindres carres, Gerard Letac' qu'on trouve par Google. En fait le texte considere plus generalement une va $X$ de $\R^n$ pas forcement discrete et recherche le sous espace affine $F$ de $R^n$ parmi tous les sous espaces affines de dimension fixee $k<n$ qui minimise l'esperance de $\|X-p_F(X)\|^2$ ou $p_F(X)$ est la projection orthogonale de $X$ sur $F$. Le resultat est tres simple : $F$ doit passer par la moyenne de $X$ et sa direction est definie par les $k$ premiers vecteurs propres de la matrice de covariance de $X$.

gebrane · May 2020

Merci JJ et gerard pour les explications.
A-t-on aussi pour un ajustement linéaire Y=aX+b d'un nuage de points, par la minimisation des sommes des distances, de très belles formules pour a et b comme par la minimisation des sommes des distances au carrés.
Est-ce que cette droite passe aussi par le point moyen ou par, je ne sais pas, le point médiane

gerard0 · June 2020

Malheureusement non.

Les calculs avec les sommes de valeurs absolues sont difficiles (tu as sans doute rencontré cela en analyse avec certaines normes). De plus, la moyenne a une propriété intéressante : c'est le nombre qui minimise la somme des carrés des écarts (*). Avec la somme des écarts absolus, c'est la médiane qui est le minimiseur, médiane qui n'est pas obtenue directement par un calcul (**).
JJ qui a regardé cela de près a peut-être des formules, pour ma part je n'en connais pas (j'avoue, je n'ai pas cherché).

Cordialement.

(*) Théorème de Huygens : $\sum(x_i- a)^2 =\sum(x_i- \bar x)^2 +n(\bar x-a)^2$ .
(**) de plus, pour des séries discrètes, elle peut ne pas avoir de valeur unique.