Dérivée au sens de Gateaux : applications

Il y a par exemple la formule d'Euler Lagrange pour le calcul des variations qui donne une condition nécessaire pour avoir un extremum d'une fonctionnelle $J$ de la forme $J(u)=\int_{t_1}^{t_2}f(t,u(t), \dot u (t) ) \mathrm d t$. Pour démontrer que cette condition est nécessaire on dit simplement qu'en un point extrémal toute dérivée de Gateaux de $J$ doit s'annuler et on utilise ensuite un argument de type distributions pour conclure : c'est le lemme fondamental du calcul des variations.

Les distributions sont cependant apparues après le lemme fondamental, lui même démontré et énoncé qu'après la découverte de l'équation d'Euler-Lagrange.

Edit : La formule d'Euler Lagrange est très importante puisqu'elle est à la base de tout le calcul des variations et de la formulation Lagrangienne de la mécanique classique et autres domaines de la physique. On la retrouve déjà dans le problème de la brachistochrone.

La notion de différentielle au sens de Gateaux est bien adaptée à l'optimisation.
Certes elle est plus générale (moins exigeante, on peut être $G$-dérivable en un point sans même y être continue), fonctionne mal pour la composition, cependant les conditions nécessaires en optimisation se ramènent souvent à de la dimension 1 et donc à de la dérivée directionnelle.

Ce qui généralise la dérivée (ou la différentielle) pour une fonction convexe, c'est un ensemble qui s'appelle le sous-différentiel. Il existe même si la fonction n'est pas dérivable, et même si la fonction prend la valeur $+\infty$. En dimension $1$, le sous-différentiel en $a$ est réduit à un singleton ssi $f'(a)$ existe, et dans ce cas le point est exactement $f'(a)$. Il y a un théorème analogue en dimension supérieure, je ne précise pas les hypothèses, cependant je souhaite souligner que cette fois $f'(a)$ est remplacé par la $G$-dérivée et non la $F$-dérivée en $a$.

Une notion (intermédiaire en dimension infinie mais identique à la $F$-dérivée en dimension finie) est la différentielle au sens de Hadamard, où cette fois on s'autorise à dériver selon les courbes et non uniquement selon les droites (+un peu de régularité). Eh bien tu as un joli théorème, Lipschitzien + G-dérivable implique H-dérivable. Ce n'est pas difficile à démontrer, mais cela te donne la H-dérivabilité de certaines normes, qui sont G-dérivables en certains points (et nécessairement Lipschitz) mais F-dérivable nulle part.

[Ce n'est pas du gâteau ! René Eugène Gateaux (1889-1914) ne prend pas de â. AD]

En gros avec la différentielle au sens de Gateaux (merci AD pour la correction) on dérive selon les droites, avec la différentielle de Hadamard on dérive selon les courbes et avec la différentielle au sens de Fréchet on a le développement limité.

Ces notions partent de la plus générale à la moins générale, même si en dimension finie, Hadamard et Fréchet coïncident.

Bref pour rester sur le même plan, tu peux estimer qu'en dimension finie G c'est dériver selon les droites et F (=H) selon les courbes.

J'aime bien ce genre d'exemple pour comprendre : considères $C$ le graphe de $x\mapsto x^3$ privé de $(0,0)$ et comme fonction $f$ l'indicatrice de $C$. Toute droite passant par l'origine coupe $C$ en au maximum deux points, ce qui fait que, $h\in \R^2$ étant fixé, $f(th)$ vaut $0$ pour $|t|$ assez petit (ce "petit" dépendant de $h$). Ainsi, toutes les dérivées directionnelles en $(0,0)$ existent et valent $0$. Pourtant, en prenant l'arc $\gamma(t)=(t,t^3)$, $f\circ \gamma$ n'est pas continue en $0$, donc a fortiori non dérivable, ce qui entraîne que $f$ n'est pas Hadamard (ni Fréchet) dérivable.