Optimisation et Ridge
Bonjour,
Pour résoudre le problème de minimisation, l'auteur trouve le gradient du Lagrangien et cherche l'estimateur qui l'annule. Cette démarche de recherche des extremums locaux n'est elle pas uniquement valide dans le cadre de contraintes d'égalité ?
[Lorsque l'on est en présence de contraintes d'inégalités il faut appliquer KKT il me semble et il y a beaucoup de choses à vérifier: comme les conditions de relachement (https://fr.wikipedia.org/wiki/Conditions_de_Kuhn-Tucker).]
On dirait qu'ici l'auteur sait que le minimum local ne sera pas un point intérieur mais sur la frontière; donc il se ramène a des conditions d'égalité...
qu'en pensez vous ?
https://snag.gy/Unexs5.jpg
Pour résoudre le problème de minimisation, l'auteur trouve le gradient du Lagrangien et cherche l'estimateur qui l'annule. Cette démarche de recherche des extremums locaux n'est elle pas uniquement valide dans le cadre de contraintes d'égalité ?
[Lorsque l'on est en présence de contraintes d'inégalités il faut appliquer KKT il me semble et il y a beaucoup de choses à vérifier: comme les conditions de relachement (https://fr.wikipedia.org/wiki/Conditions_de_Kuhn-Tucker).]
On dirait qu'ici l'auteur sait que le minimum local ne sera pas un point intérieur mais sur la frontière; donc il se ramène a des conditions d'égalité...
qu'en pensez vous ?
https://snag.gy/Unexs5.jpg
Réponses
-
2) Comment passe t'on de la boule de contraintes à l'ellipsoide ? Je ne comprends pas bien le paragraphe... Quelles sont les équivalences ?
Je ne vois pas pourquoi $X\hat{\beta_{ridge}}$ est la projection orthogonale de $X\hat{\beta}$ sur l'"ellipsoide" ...
https://snag.gy/C0VGza.jpg -
Pour 1) voici un rappel:
https://snag.gy/BCKJbu.jpg
https://snag.gy/gniD30.jpg
entre les deux théorèmes je ne vois pas trop la différence, ils semblent dire la même chose sauf que dans le second il y a une hypothèse supplémentaire de qualification des contraintes...
Quel est l'intérêt de la deuxième version par rapport à la première ? -
Bonjour,
Je ne comprends pas comment on obtient une telle valeur ajustée $\hat{Y}$... De plus je ne vois pas l'intérêt de centrer réduire...
https://snag.gy/FlyGRJ.jpg
https://snag.gy/GRQe1Y.jpg -
Pour résoudre le problème de minimisation, l'auteur trouve le gradient du Lagrangien et cherche l'estimateur qui l'annule. Cette démarche de recherche des extremums locaux n'est elle pas uniquement valide dans le cadre de contraintes d'égalité ?
[Lorsque l'on est en présence de contraintes d'inégalités il faut appliquer KKT il me semble et il y a beaucoup de choses à vérifier: comme les conditions de relachement (https://fr.wikipedia.org/wiki/Conditions_de_Kuhn-Tucker).]
On dirait qu'ici l'auteur sait que le minimum local ne sera pas un point intérieur mais sur la frontière; donc il se ramène a des conditions d'égalité...
qu'en pensez vous ?
https://snag.gy/Unexs5.jpg -
Je pense que la question a déjà été posée: http://www.les-mathematiques.net/phorum/read.php?4,1504100
Connectez-vous ou Inscrivez-vous pour répondre.
Bonjour!
Catégories
- 163.2K Toutes les catégories
- 9 Collège/Lycée
- 21.9K Algèbre
- 37.1K Analyse
- 6.2K Arithmétique
- 53 Catégories et structures
- 1K Combinatoire et Graphes
- 11 Sciences des données
- 5K Concours et Examens
- 11 CultureMath
- 47 Enseignement à distance
- 2.9K Fondements et Logique
- 10.3K Géométrie
- 65 Géométrie différentielle
- 1.1K Histoire des Mathématiques
- 69 Informatique théorique
- 3.8K LaTeX
- 39K Les-mathématiques
- 3.5K Livres, articles, revues, (...)
- 2.7K Logiciels pour les mathématiques
- 24 Mathématiques et finance
- 314 Mathématiques et Physique
- 4.9K Mathématiques et Société
- 3.3K Pédagogie, enseignement, orientation
- 10K Probabilités, théorie de la mesure
- 773 Shtam
- 4.2K Statistiques
- 3.7K Topologie
- 1.4K Vie du Forum et de ses membres