Généralisation moindres carrés
Bonjour
1/ Soit un nuage de q-points de $\R^3$ , $M_k(x_k,y_k,z_k)$ avec $k=1;\ldots;q$
Quelle est l’équation du plan $ax+by+cuz+d=0$ le plus proche possible de ce nuage de points.
2/ Même question avec un nuage de $q$ points de $\R^n$ , $M_j(x_{1,j},x_{2,j},\ldots,x_{n,j})$ avec $j=1;\ldots;q$.
Quelle est l’équation de l’hyperplan $a_1x_1+a_2x_2+\cdots+a_nx_n=a_{n+1}$ le plus proche possible de nuage de points ?
Merci.
1/ Soit un nuage de q-points de $\R^3$ , $M_k(x_k,y_k,z_k)$ avec $k=1;\ldots;q$
Quelle est l’équation du plan $ax+by+cuz+d=0$ le plus proche possible de ce nuage de points.
2/ Même question avec un nuage de $q$ points de $\R^n$ , $M_j(x_{1,j},x_{2,j},\ldots,x_{n,j})$ avec $j=1;\ldots;q$.
Quelle est l’équation de l’hyperplan $a_1x_1+a_2x_2+\cdots+a_nx_n=a_{n+1}$ le plus proche possible de nuage de points ?
Merci.
Connectez-vous ou Inscrivez-vous pour répondre.
Réponses
Et effectivement, dans le cas où c'est au sens des moindres carrés, il a des éléments solides.
Cordialement.
Cordialement.
Voici le lien pour l'article mentionné par P. (que je salue à cette occasion) :
"Régression plane en 3D." pp.13-26 https://fr.scribd.com/doc/31477970/Regressions-et-trajectoires-3D
Une question que je me pose toujours en statistique, suite à ton message; pourquoi la minimisation des moindres carrés est la plus utilisée et la plus célèbre en statistique que la minimisation des sommes des distances.
Euclidien, produit scalaire, norme euclidienne ....
Cordialement,
Rescassol
Pourquoi la minimisation des moindres carrés est la plus utilisée et la plus célèbre en statistique que la minimisation des sommes des distances ?
On pourrait répondre (selon le principe du moindre effort) : parce que c'est mathématiquement la plus simple à appliquer.
Mais il n'y a pas que cela. On cite classiquement le cas où elle correspond à l’estimateur du maximum de vraisemblance dans un modèle précis où x est la variable explicative, y la variable dépendante et où on suppose que le terme d’erreur aléatoire a une forme bien précise.
Mais en général, rien ne prouve, à priori, que la méthode des moindres carrés soit la plus appropriée dans le cadre de tel ou tel problème concret. En principe, on devrait donc choisir, au cas par cas, la méthode de régression la plus appropriée pour satisfaire le critère d’ajustement
spécifique au problème que l’on traite.
Il y a une petite discussion à ce sujet pp.4-5 dans cet article : https://fr.scribd.com/doc/14819165/Regressions-coniques-quadriques-circulaire-spherique
historiquement elle est apparue avec la recherche des erreurs et le fait que la droite d'ajustement des moindres carrés est tout simplement l'axe d'inertie du nuage de points (mais on a déformé la méthode); les techniques de calcul étaient connues des mathématiciens mécaniciens de l'époque.
Mais on retrouve les résultats dans l'analyse de régression, quand on cherche un modèle affine Y=aX+b d'une situation statistique de série double $(x_i,y_i)_{i=1..n}$. Il est assez raisonnable de poser $x_i=ax_i+b+\varepsilon_i$ en supposant que les variables aléatoires $\varepsilon_i$ sont minimales, c'est à dire en moyenne nulles et de variance la plus faible possible. Or justement, on trouve que cette variance est la somme des carrés qu'on minimise.
Cette coïncidence entre la méthode purement descriptive (droite d'ajustement de Y en X) et la méthode modélisation probabiliste (régression à une variable) fait que c'est devenu la méthode de référence, parfois utilisée abusivement.
Cordialement.
A-t-on aussi pour un ajustement linéaire Y=aX+b d'un nuage de points, par la minimisation des sommes des distances, de très belles formules pour a et b comme par la minimisation des sommes des distances au carrés.
Est-ce que cette droite passe aussi par le point moyen ou par, je ne sais pas, le point médiane
Les calculs avec les sommes de valeurs absolues sont difficiles (tu as sans doute rencontré cela en analyse avec certaines normes). De plus, la moyenne a une propriété intéressante : c'est le nombre qui minimise la somme des carrés des écarts (*). Avec la somme des écarts absolus, c'est la médiane qui est le minimiseur, médiane qui n'est pas obtenue directement par un calcul (**).
JJ qui a regardé cela de près a peut-être des formules, pour ma part je n'en connais pas (j'avoue, je n'ai pas cherché).
Cordialement.
(*) Théorème de Huygens : $\sum(x_i- a)^2 =\sum(x_i- \bar x)^2 +n(\bar x-a)^2$ .
(**) de plus, pour des séries discrètes, elle peut ne pas avoir de valeur unique.
je réponds à cette question subsidiaire dans le nouveau fil : http://www.les-mathematiques.net/phorum/read.php?4,2021556