Régression linéaire

1) L'idée de régression vient, me semble-t-il de Galton qui croyait avoir mis en évidence une loi biologique (la "régression vers la moyenne") qui n'est qu'un artéfact statistique. Puis le mot a été utilisé comme synonyme d'ajustement à un modèle fonctionnel (ajustement linéaire, ...). Actuellement, on parle plus de corrélation que de régression, sauf pour les deux droites d'ajustement.
2) La méthode des moindres carrés a été une évidence pour ses créateurs, mécaniciens dans l'âme et donc connaissant parfaitement la notion d'axe d'inertie d'un ensemble de points massifs. Elle a plusieurs avantages, entre autres de ne pas dépendre de celui qui fait les calculs et d'être facilement automatisable (calculettes, logiciels). De plus, on retrouve dans des méthodes basées sur des modèles probabilistes (Y=Ax+B+e où e est une variable aléatoire de moyenne nulle et de variance minimale) exactement les mêmes résultats, sans parler du fait que dans ce cas, ça se généralise à plusieurs variables explicatives. Et l'analyse des erreurs de mesure montre que, dans ce cas, c'est la bonne idée.
3) La méthode de Mayer a exactement les inconvénients correspondants : Comment choisir les sous-nuages ? Et si on les choisit au hasard, le droite d'ajustement dépend souvent plus du hasard que de le forme du nuage.
4) La méthode des moindres écarts absolu a deux inconvénients : On ne sait pas calculer simplement, et les points loin des autres ne jouent pas de rôle particulier, alors qu'il est évident qu'ils "signifient quelque chose".

Enfin tu proposes plein de méthodes, alors vas-y, étudie ce que ça donne sur diverses séries doubles. mais ne crois pas avoir été le premier à t'interroger sur ce fait, et des tas de statisticiens ont planché là dessus. D'ailleurs la méthode de Mayer a été proposée bien après les moindres carrés, car les calculs à l'époque étaient pénibles, puisque faits à la main.

Enfin à priori, tu obtiendras des droites différentes, dont aucune n'est "mieux que les autres", et si le nuage de points est allongé à peu près droit, toutes ces droites sont en gros "proches". Mais n'importe comment, si le coefficient de régression n'est pas très proche de 1 (ou de -1), la droite oublie l'essentiel de l'information du nuage.

Cordialement.