Optimisation fonctionnelle
Bonjour,
Je recherche les variables aléatoires réelles à densité qui sont de variance maximale sur un intervalle borné, puis celles qui sont d'entropie maximale encore sur un intervalle borné (sur $\R$ entier la borne supérieure semble être $+\infty$ dans les deux cas).
J'obtiens donc les systèmes suivants (avec $f$ vérifiant toutes les hypothèses nécessaires):
Maximiser $V(f)=\Big\{ \int_{a}^{b} x^2 f(x) dx - \Big( \int x f(x) dx \Big)^2 \Big\}$
Sous $\int_{a}^{b} f(x) dx=1$
Resp.:
Maximiser $H(f)=-\int_{a}^{b} f(x) \log(f(x)) dx$
Sous $\int_{a}^{b} f(x) dx=1$
J'ai essayé de poser $\^f$ l'optimum, puis de créer une petite perturbation $h$ et calculer lim $\frac{V(\^f+\varepsilon h)-V(\^f)}{\varepsilon}$ quand $\varepsilon$ tend vers $0$, mais ça ne donne rien de concluant :-/
On a vu quelques méthodes sur le calcul des variations en optimisation cette année, mais on imposait à la fonction solution des conditions sur les bords au lieu de la condition d'être une mesure de probabilité. Je ne me sens pas trop à l'aise pour extrapoler à la situation actuelle..
Si vous avez des idées, des liens intéressants, des conseils ..etc, je suis preneur ^^
Merci d'avance,
Benjamin.
Je recherche les variables aléatoires réelles à densité qui sont de variance maximale sur un intervalle borné, puis celles qui sont d'entropie maximale encore sur un intervalle borné (sur $\R$ entier la borne supérieure semble être $+\infty$ dans les deux cas).
J'obtiens donc les systèmes suivants (avec $f$ vérifiant toutes les hypothèses nécessaires):
Maximiser $V(f)=\Big\{ \int_{a}^{b} x^2 f(x) dx - \Big( \int x f(x) dx \Big)^2 \Big\}$
Sous $\int_{a}^{b} f(x) dx=1$
Resp.:
Maximiser $H(f)=-\int_{a}^{b} f(x) \log(f(x)) dx$
Sous $\int_{a}^{b} f(x) dx=1$
J'ai essayé de poser $\^f$ l'optimum, puis de créer une petite perturbation $h$ et calculer lim $\frac{V(\^f+\varepsilon h)-V(\^f)}{\varepsilon}$ quand $\varepsilon$ tend vers $0$, mais ça ne donne rien de concluant :-/
On a vu quelques méthodes sur le calcul des variations en optimisation cette année, mais on imposait à la fonction solution des conditions sur les bords au lieu de la condition d'être une mesure de probabilité. Je ne me sens pas trop à l'aise pour extrapoler à la situation actuelle..
Si vous avez des idées, des liens intéressants, des conseils ..etc, je suis preneur ^^
Merci d'avance,
Benjamin.
Connectez-vous ou Inscrivez-vous pour répondre.
Réponses
(il me semble qu'il manque la condition f(x)>=0 pour que f(x) soit une mesure)
Il est possible de ramener le probème à un calcul de variations classique (c'est à dire avec des conditions sur les bords) en s'intéressant non pas à la fonction f(x) mais à la fonction :
$F(x) = \int_{a}^{x} f(u)du$
On recherche alors une fonction F(x) dont les valeurs sont fixées en a et b, avec
$F(a) = 0 F(b) = 1 et f(x) = F'(x) > 0 sur (a, b) $
Il suffit alors de faire une intégration par parties dans l'expression de V(f) pour faire disparaître f au profit de F.
$V(f) = M2(f) - (M1(f))^2$
$M2(f) = \int_{a}^{b} x^2 f(x)dx = b^2 - \int_{a}^{b} 2x F(x)dx$
$M1(f) = \int_{a}^{b} x f(x)dx = b - \int_{a}^{b} F(x)dx$
La densité f(x) qui fournit la variance maximale, exprimée par V(f), est celle qui est constante sur l'intervalle (a,b) et vaut f(x) = 1/(b-a) .
Une idée de démonstration est la suivante :
1) On approche f(x) sur l'intervalle (a,b) par une fonction en escalier PN(x) définie sur N intervalles $I_k$ par :
$I_k = ((k-1)(b-a)/N \leq x < k(b-a)/N)$, avec k de 1 à N
$PN(x) = PN_k$ constant pour $x \in I_k $
$ \sum_{k=1}^{N} PN_k/N = 1 $
2) La fonction V(PN(x)) est une forme quadratique des $PN_k$. On montre qu'elle atteint son minimum lorsque les $PN_k$ sont tous égaux à (b-a)/N
3) On fait tendre N vers l'infini.
J'essaye tout de suite ^^ Mais je devrais m'en sortir maintenant, je pense.
GPP29 : je pense que tu as fait une erreur quelque part, car la loi uniforme ne donne pas la variance maximale.
Intuitivement j'avais pensé plutôt à une loi Beta "symétrique" $B(p,p)$ sur $[a,b]$, dont la variance vaut $\frac{(b-a)^2}{4(2p+1)}$. Dès que $p
$f(x)=\frac{1}{2 \delta}$ si $x \in [0,\delta] \cup [1-\delta,1],$ 0 sinon.
J'obtiens une variance de $\frac{1-\delta}{2}-\frac{\delta^2}{4}$ (modulo les erreurs de calcul ^^), qui tend vers $\frac{1}{2}$ quand $\delta$ tend vers $0$ (ce qui correspond à deux pics de Dirac, en $0$ et en $1$). Or la variance de la loi uniforme sur le même intervalle vaut $\frac{1}{12}$.
Il semblerait donc que la variance soit maximale pour des distributions "les plus éloignées possible" de la moyenne (c'est peut-être logique, finalement :-/)
Je n'avais pas vu ta réponse, mais ça confirme donc ce que j'obtiens :-)
On veut minimiser la quantité (forme lagrangienne)
$$V(f)=\int_a^bx^2f(x)dx-\left(\int_a^bxf(x)dx\right)^2+\lambda\left(\int_a^b f(x)dx-1\right)$$
En laissant tomber les termes de second ordre, on trouve que
$$V(f+\delta f)-V(f)=\int_a^b \left[x^2-2\left(\int_a^b xf(x)dx\right)x+\lambda\right]\delta f(x)dx$$
d'où
$$\frac{\delta V}{\delta f}=x^2-2\left(\int_a^bxf(x)dx\right)x+\lambda.$$
Un optimum est atteint si cette dérivée fonctionnelle s'annule pour tout $x$ du support de $f$. On ne peut annuler cette dérivée pour tout $x$ du support de $f$, sauf si $f$ prend un nombre fini de valeur. L'optimum est donc atteint pour une va discrète. D'autre part on a affaire à un polynôme de degré $2$, donc avec au plus deux solutions. C'est donc une va discrète sur au plus deux réels de l'intervalle $[a,b]$. On écarte le cas où il y a une racine double, car on atteint un minimum (variance nulle). Donc si on a deux racines distinces, elles sont symétriques par rapport à la moyenne (facile à voir sur le polynôme). Donc les probabilités d'atteindre chacun de ces réels sont égales, donc valent $1/2$. Il est alors évident que dans ce cas la variance maximale est obtenue en mettant ces deux réels aux extrémités de l'intervalle, c'est à dire en $a$ et $b$.
Enfin, pour le maximum de l'entropie, il suffit d'écrire $H(f+\delta f)-H(f)$ comme précédemment, d'annuler la dérivée fonctionnelle. L'optimum est atteint pour une fonction $f$ constante sur $[a,b]$, et la condition de normalisation donne la loi uniforme sur $[a,b]$.
PS : tu travailles au CEA de Cadarache ? Tu y fais des probas ?
Amicalement,
erratum : j'ai effectivement commis une erreur dans le point 2) de mon analyse.
Sinon oui je suis stagiaire pour l'été au CEA Cadarache, mon boulot étant de voir ce qu'il se passe (ce n'est guère plus précis..) si on calcule des indices de sensibilité à partir de l'entropie plutôt qu'avec la variance. Dans un modèle $(X_1,...,X_n) \rightarrow Y$, on arrive respectivement aux expressions $1-\frac{V(E[Y|X_i])}{V(Y)}$, $1-\frac{H(Y|X_i)}{H(Y)}$, qui mènent à des intégrales plus où moins faciles à approcher (la fonction qui lie les $X_i$ et $Y$ n'étant pas toujours connue) ..etc. A la fin une application sur un "vrai" exemple est prévue si tout se passe bien :-)
Au lieu de Kuja, tu pourras mettre Sébastien DA-VEIGA, et tu peux aussi passer le bonjour à Nicolas De Victor, Bertrand Ioos et Amandine Marrel de ma part (je ne sais pas si tu travailles avec l'un des trois) !
J'ai appliqué ta méthode (il y a juste le passage de $V(f+\delta f)-V(f)=...$ à $\frac{\delta V}{\delta f}(x)=...$ que je ne comprend pas trop), et j'obtiens l'équa diff.
$$f^2+f'f+f'=0$$
Plus qu'à chercher un cours sur les équa diff. ;o) Vive les stats
$$1+\log(f(x))=\frac{1}{f(x)},$$
Mais en y regardant de plus près l'unique solution de cette équation est $f=1$. D'où la même conclusion que toi (ce qui ne m'empêche pas de trouver ça étrange..)
Deux points :
- a moins que je ne me sois grandement fourvoyé, ton équation est fausse.
En négligeant les termes de second ordre en $\delta f$ et en utilisant le fait que $\log(f)=\log(f)+\log(1+\delta f/f)=\log(f)+\delta f/f$ au premier ordre, je trouve
$$\frac{\delta H}{\delta f}=-\log(f)-1+\lambda$$
Cette égalité doit être vérifiée pour tout $x\in[a,b]$ à l'optimum, ce n'est possible que si $f$ est constante.
- les équations donnant l'optimum d'un problme variationnel sont valables pour tout $x$ sur lequel on intègre, donc ici $f$ est constante sur $[a,b]$ uniquement, et vaut 0 ailleurs. La normalisation fait alors que la constante vaut $1/(b-a)$.
Amicalement,
<BR>
<BR><a href=" http://www.lsp.ups-tlse.fr/Chafai/Docs/entropie.pdf"> http://www.lsp.ups-tlse.fr/Chafai/Docs/entropie.pdf</a><BR>