Construction de l'entropie
dans Analyse
Bonjour,
Je trouve du mal à voir pourquoi $H_n$ est de cette forme, et est-ce que nécessairement on a $ \sum_{i=1}^{i=n} p_{i} = 1 $ ?!
Merci bien pour vos proposition :-D.
Je trouve du mal à voir pourquoi $H_n$ est de cette forme, et est-ce que nécessairement on a $ \sum_{i=1}^{i=n} p_{i} = 1 $ ?!
Merci bien pour vos proposition :-D.
Connectez-vous ou Inscrivez-vous pour répondre.
Réponses
Oui, la somme des probabilités est l'unité.
Le problème est qu'il n'y a pas que la fonction qu'ils donnent qui fonctionne pour n=2, avec les deux premières propriétés seulement.
Intéresse toi à la suite $u_n=H_n(\frac{1}{n}, ..., \frac{1}{n})$, et particulièrement aux $u_{2n}$. Une autre piste que je n'ai pas encore explorée mais qui pourrait être fructueuse : le cas où $p$ est rationnel, et utiliser la densité des rationnels pour exploiter la continuité de $H_2$.
Aussi un conseil : la relation sur $H_n$ et $H_{n-1}$ peut te donner des informations sur $H_2$.
Bonne chance, si je fais des grosses avancées je te tiens au courant ;-)
1*. $n \mapsto H_n(\frac{1}{n},...,\frac{1}{n})$ est croissante (et ici disons $H_2(\frac{1}{2},\frac{1}{2})=1$)
2*. Chaque $H_n$ est continue (pour la topologie induite par la topologie produit sur $[0;1]^n$, bref continuité séquentielle).
3*. Soit $n>0$. On considère que $i\mapsto p_i$ est une mesure de proba sur l'ensemble d'évènements $\{1;...;n\}$. Etant donné $X\subseteq \{1;...;n\}$ de cardinal $k$, si l'on note $p_{X,i}$ la probabilité de $i \in X$ sachant $X$ et $p$ la probabilité de $X$, alors on a $H_n(p_1,...,p_n)=pH_k((p_{X,i})_{i \in X})+H_{n-k+1}(p,(p_i)_{i \notin X})$.
Là l'énoncé que tu donnes est assez minimaliste, probablement trop. J'imagine que le 3* se déduit de 3 (qui est 3* pour $k=2$) par récurrence. De même 2* devrait se déduire sans problème par récurrence.
Je ne vois pas de raison que 1* se déduise de 1, 2 et 3 en revanche; je crois aussi que l'énoncé est incomplet.
Tu appliques ta relation de récurrence à $H_3(0, p, 1-p)$ et à $H_3(p, 1-p, 0)$ et ça tombe comme un fruit mur :-D
Je pense que c'est un bon exemple de comment utiliser la relation de récurrence pour étudier $H_2$, je vais chercher des idées du même style.
La première idée c'est $H_2(1-p,p)=\frac{H_3((1-p)^2,(1-p)p,p)}{2-p}$, ça vient d'une autre bonne idée mais c'est trop long à taper, il s'agit d'écrire la formule de récurrence pour $n=3$ avec $p_1$ et $p_2$ dans les $H_2$ et remplacer par ce qui va bien dans $H_3$ (à la place de laisser les valeurs dans $H_3$ déterminer celles dans les $H_2$).
Après on prend $p=2$ et on trouve $H_3(\frac{1}{2}, \frac{1}{4}, \frac{1}{4})=\frac{3}{2}$, et en le réécrivant on trouve que c'est aussi égal à $H_2(\frac{3}{4},\frac{1}{4})+\frac{3}{4}H_2(\frac{2}{3}, \frac{1}{3})$.
La deuxième idée c'est de développer $H_3(\frac{3}{6}, \frac{2}{6}, \frac{1}{6})$ de deux manières différentes (celles qui font apparaître des tiers et des quarts).
Tout ça donne un système de trois équations à trois inconnues et on trouve $H_2(\frac{2}{3}, \frac{1}{3})=0$, $H_2(\frac{3}{4}, \frac{1}{4})=\frac{3}{2}$ et $H_3(\frac{3}{6}, \frac{2}{6}, \frac{1}{6})=1$.
Tout ça représentait beaucoup de calcul numérique et j'avoue que en fin de journée c'est dur de prendre du recul et de voir une méthode derrière cette folie. Je vais m'arrêter là pour aujourd'hui (au moins...) mais déjà pour s'occuper en réinjectant les valeurs connues de $H_2$ dans la première équation et en développant $H_3$ d'autres manières il doit y avoir moyen de faire quelque chose.
Indications :
On pose $\displaystyle f(x) = H_2(x,1-x).$
On considère $\displaystyle H_3(a,b,c) = H_3(b,c,a)$ avec $\displaystyle a+b+c = 1$ pour établir que, en utilisant la symétrie des arguments dans $\displaystyle H_3$ :
Pour tout $\displaystyle a,c \in [0,1[$ tels que $\displaystyle a+c \leq 1$,
on a $\displaystyle f(0)=f(1)=0$ (à établir facilement)
et $\displaystyle f(c) + (1-c)f({a \over 1-c})=f(a)+(1-a) f({c \over 1-a})$
De cette équation fonctionnelle, on déduit que nécessairement
Pour tout $\displaystyle x \in ]0,1[$, $\displaystyle f(x) = x h(x) + (1-x) h(1-x)$ avec une fonction $h$ quelconque vérifiant, pour tout $\displaystyle u,v >0$, $\displaystyle h(uv)=h(u)+h(v).$
On conclut.
Merci bien Victor2N pour tes efforts pour atteindre quelques valeurs numériques, je peux bien voir que ça vous a pris pas mal d'efforts et j'ai suivi les calculs que vous avez faits, bon vous êtes trompé un petit peu à la fin, mais c'est une bonne idée pour un petit peu voir les choses. Je te remercie.
Merci bien aussi YvesM, je pense que (1-a) à la place de f(1-a) ;-). j'ai pu suivre vos pas et arriver à ce stade là, je vais essayer maintenant de résoudre cette équation fonctionelle.
Merci pour vos efforts une 2éme fois ;-)
Les $(H_n)_{n\in \N}$ sont symétriques par hypothèse.
Pour tout entier $n$, posons $\Delta_n:=\{(p_1,\ldots,p_n) \in [0,1]^n \mid \sum_{k=1}^n x_k =1\}$.
Soit $k\geq 2$ un entier tel que $H_k$ est continue et $p\in \Delta_{k+1}$. Il existe $j\in \{1,...,k\}$ tel que $p_j$ et $p_{j+1}$ ne sont pas tous les deux nuls. Soit $V:= \{x \in \Delta_{k+1}\mid x_j+x_{j+1} >0\}$. Alors $V$ est un voisinage de $p$ dans $\Delta_{k+1}$ et par symétrie de $H_k$ et $H_{k+1}$, on a pour tout $x\in V$, $$H_{k+1}(x_1,\ldots,x_j,x_{j+1},\ldots,x_{k+1})= H_k(x_1,\ldots,x_{j-1},x_j+x_{j+1},\ldots,x_{k+1}) + (x_j+x_{j+1})H_2\Big ( \frac{x_j}{x_j+x_{j+1}}, \frac{x_{j+1}}{x_j + x_{j+1}}\Big ). \tag 1$$ Or le membre de droite de cette expression est continu en $x$ sur $V$.
Par suite, la continuité de $H_2$ (hypothèse) entraîne celle de $H_k$ pour tout $k\geq 2$ par réccurrence.
@Palabra : Je joins un fichier qui propose la résolution de l'équation fonctionnelle avec différentes conditions. Tu verras que la continuité en un seul point ou être bornée sur un intervalle implique la continuité sur tous les réels strictement positifs.
Pourquoi ne pas montrer qu’elle est bornée ?
Tout de suite on se sent bête face à la solution... Un bel exemple de comment il ne faut pas se perdre dans des calculs et des valeurs numériques et simplement rester concentré sur ce qu'on cherche, et d'autant plus quand on sait ce qu'on doit trouver X:-(
Ce n’est pas la solution mais une solution.
Je suis physicien et je suis bien incapable de trouver cette solution. Disons que sa fait partie de ma culture générale. On trouve des dizaines de façons différentes de montrer que l’entropie à bien cette forme à partir d’hypothèses variées.
Une des questions posées était comment faire apparaître un logarithme. Ici, c’est par une équation fonctionnelle.