A lire

Deug/Prépa

Licence

Agrégation
A télécharger

Télécharger

277 personne(s) sur le site en ce moment

E. Cartan

A lire

Articles

Math/Infos

Récréation
A télécharger

Télécharger

Théorème de Cantor-Bernstein

Théo. Sylow

Théo. Ascoli

Théo. Baire

Loi forte grd nbre

Nains magiques

Le théorème des grandes déviations

monter: Appendice 1: Grandes déviations précédent: Appendice 1: Grandes déviations

Le théorème des grandes déviations

Si $X_1,\ldots,X_n$ sont des variables aléatoires indépendantes

et de même loi

, de moyenne

et telles qu'il existe $\alpha >0$ avec $\hbox{I\hskip -2pt E}(e^{\alpha \vert X_n\vert}) < \infty,$ et si on note $S_n=X_1+\cdots+X_n,$ le théorême suivant calcule pour

le nombre $\lim_{n\rightarrow \infty}(\Pr(S_n\geq na))^{1/n}.$

Théorème Soit $\mu$ une mesure positive sur $\hbox{I\hskip -2pt R}$ non concentrée en un point et telle que l'intervalle des $\theta$ réels satisfaisant $L(\theta)=\int_{-\infty}^{\infty}e^{\theta x}\mu(dx)<\infty$ ait un intérieur $\Theta$ non vide. On considère la fonction strictement convexe sur $\Theta$ égale à $k=\log L$ et l'intervalle ouvert $M=k'(\Theta),$ et on note par $\psi:M\rightarrow \Theta$ la fonction réciproque de

Soit $m=k'(\theta)$ fixé dans . Soient $X_1,\ldots,X_n$ des variables aléatoires indépendantes et de même loi $e^{\theta x-k(\theta)}\mu(dx).$ Soit enfin $a\in M$ avec et les nombres

$\displaystyle u_n$	$\displaystyle =$	$\displaystyle \Pr(\frac{1}{n}(X_1+\cdots+X_n)\geq a)$
$\displaystyle h(m,a)$	$\displaystyle =$	$\displaystyle -\int_m^a(a-x)\psi'(x)dx=a(\psi(m)-\psi(a))+k(\psi(a))-k(\psi(m)).$

Dans ces conditions on a

(Inégalité des grandes déviations) $u_n^{1/n}\leq e^{h(m,a)}.$
(Théorème des grandes déviations) $\lim_{n\infty}u_n^{1/n}= e^{h(m,a)}.$

Commentaires: 1) Une insupportable confusion règne dans la littérature d'enseignement concernant ce résultat, dû à Cramer (1938), principalement à cause de ses généralisations à des hypothèses plus faibles (et peu intéressantes) dans $\hbox{I\hskip -2pt R}$ ainsi qu'à $\hbox{I\hskip -2pt R}^d,$ où les résultats n'ont pas l'harmonie du résultat ci dessus.

2) Dans sa présentation, le théorème fait jouer un rôle symétrique à toute la famille de lois de probabilités $e^{\theta x-k(\theta)}\mu(dx)$ quand $\theta$ varie dans $\Theta.$ Cette famille est appelée une famille exponentielle naturelle engendrée par $\mu.$ Attention, $\mu$ n'est pas unique: $\mu'$ engendre la même famille exponentielle, c'est à dire le même ensemble de probabilités, indépendamment du paramétrage, si et seulement si il existe et réels tels que $\mu'(dx)=e^{ax+b}\mu(dx)$ . Il est clair que la loi d'une variable aléatoire réelle telle qu'il existe $\alpha >0$ avec $\hbox{I\hskip -2pt E}(e^{\alpha\vert X\vert})<\infty$ appartient à une famille exponentielle naturelle: il suffit de prendre pour $\mu$ la loi de Toutefois, pour la loi de donnée, souvent avec un paramètre, il n'est pas toujours apparent de relier cette loi avec la famille exponentielle à laquelle elle appartient. Par exemple la loi de Bernoulli $(1-p)\delta_0+p\delta_1$ appartient à la famille exponentielle engendrée par $\mu=\delta_0+\delta_1:$ prendre $p=\frac{e^{\theta}}{1+e^{\theta}}.$

3) Implicitement, l'énoncé utilise des résultats simples comme le fait que $\Theta$ soit un intervalle et comme la convexité de , qui se démontrent comme le 1) et le 6) du théorème 6.7 du cours de Deug. De plus, il est facile de voir que avec les notations du théorème, l'espérance des est $m=k'(\theta)$ et leur variance est $k''(\theta)=1/\psi'(m).$

4) La partie 2) du théorème est plus difficile. La partie 1) est comme on va le voir amusante et élémentaire. Elle fournit une démonstration de poche de la loi forte des grands nombres qui affirme que si $X_1,\ldots,X_n,\ldots$ sont des variables aléatoires indépendantes et de même loi de moyenne , alors $\Pr(\lim_{n\infty}S_n/n=m)=1.$ Si on fait l'hypothèse suplémentaire de l'existence de moments exponentiels, c'est à dire qu'il existe $\alpha >0$ avec $\hbox{I\hskip -2pt E}(e^{\alpha \vert X_n\vert}) < \infty,$ alors l'inégalité des grandes déviations et le critère de Cauchy, du fait que , entraine que la série $\sum u_n$ converge, et on procède alors comme au Théorème 6.6 du cours pour conclure avec le lemme de Borel.

5) Travaux pratiques: Voici quelques mesures $\mu$ classiques, et les lois et les fonctions qui vont avec.

Loi de Bernoulli: $\mu=\delta_0+\delta_1,$ $L(\theta)=1+e^{\theta},$ $\Theta=\hbox{I\hskip -2pt R},$ $k(\theta)=\log(1+e^{\theta}),$ $k'(\theta)=\frac{e^{\theta}}{1+e^{\theta}},$ $\psi(m)=\log\frac{m}{1-m},$ $k(\psi(m))= -\log(1-m)$ et

$\displaystyle h(m,a)=a\log\frac{a}{m}+(1-a)\log\frac{1-a}{1-m}.$

Loi de Poisson: $\mu=\sum_{n=0}^{\infty}\frac{1}{n!}\delta_n,$ $L(\theta)=\exp e^{\theta},$ $\Theta=\hbox{I\hskip -2pt R},$ $k(\theta)=e^{\theta},$ $k'(\theta)=e^{\theta},$ $M=]0,\infty[,$ $\psi(m)=\log m,$ $k(\psi(m))= m$ et

$\displaystyle h(m,a)=a\log\frac{m}{a}+a-m.$

Loi gamma: Soit $\alpha >0$ fixé. $\mu=\frac{1}{\Gamma(\alpha)}x^{\alpha-1}{\bf 1}_{]0,\infty[}(x)dx,$ $L(\theta)=\frac{1}{(-\theta)^{\alpha}}$ si $\theta\in\Theta=]-\infty ,0[,$ $k(\theta)=\alpha\log(-\theta),$ $k'(\theta)=\frac{\alpha}{-\theta},$ $M=]0,\infty[,$ $\psi(m)=\frac{\alpha}{-m},$ $k(\psi(m))= \alpha\log\frac{m}{\alpha}$ et

$\displaystyle h(m,a)=\alpha-\alpha\frac{a}{m}+\alpha\log\frac{a}{m}.$

Loi normale: Soit $\sigma>0$ fixé. $\mu=\frac{1}{\sigma\sqrt{2\pi}}\exp(-\frac{x^2}{2\sigma^2})dx,$ $L(\theta)=\exp(\frac{\sigma^2\theta^2}{2}),$ $\Theta=\hbox{I\hskip -2pt R},$ $k(\theta)=\frac{\sigma^2\theta^2}{2},$ $k'(\theta)=\sigma^2\theta,$ $M=\hbox{I\hskip -2pt R},$ $\psi(m)=\frac{m}{\sigma^2},$ $k(\psi(m))= \frac{m^2}{2\sigma^2}$ et

$\displaystyle h(m,a)=-\frac{(a-m)^2}{2\sigma^2}.$

Démonstration de l'inégalité des grandes déviations : Notons $S_n=X_1+\cdots+X_n.$ Pour tout tel que $\theta+t\in \Theta$ l'astuce est d'observer que les deux évènements $\{S_n/n\geq a\}$ et $\{e^{tS_n}\geq e^{nta}\}$ sont les mêmes (comme à la Prop. 6.6). On écrit, à l'aide de l'inégalité de Markov (voir cours de Deug, Prop. 6.2) appliquée à $Y=e^{tS_n}$ et à $y=e^{nta}$ :

$\displaystyle u_n=\Pr(e^{tS_n}\geq e^{nta}) \leq e^{-nta}\hbox{I\hskip -2pt E}... ...}\hbox{I\hskip -2pt E}(e^{tX_1})]^n =[e^{-ta}\frac{L(\theta+t)}{L(\theta)}]^n.$

Donc $u_n^{1/n}\leq e^{-ta+k(\theta+t)-k(\theta)}.$ Observons ensuite que $t\mapsto -ta+k(\theta+t)-k(\theta)$ est convexe sur l'intervalle ouvert $(-\theta+\Theta)\cap]0,\infty[$ et que sa dérivée s'y annule au point $t=\psi(a)-\psi(m),$ c'est à dire tel que $k'(\theta+t)=a.$ La valeur de $-ta+k(\theta+t)-k(\theta)$ en ce point est exactement

et le résultat est montré.

Démonstration du théorème des grandes déviations : On pose désormais $\tau=\psi (a)> \theta.$ Avec cette notation, on remarque que

$\displaystyle h(m,a)=-a(\tau-\theta)+k(\tau)-k(\theta).$

L'astuce de Harald Cramer ici est d'introduire les variables aléatoires $Y_1,\ldots,Y_n$ indépendantes et de même loi $e^{\tau x-k(\tau)}\mu(dx)$ Si on a lu le commentaire 2, on remarque que cette loi appartient à la même famille exponentielle naturelle que la loi des

L'espérance de

est $a=k'(\tau).$ On pose ensuite $U_n=Y_1+\cdots+Y_n,$

et $v_n=\hbox{I\hskip -2pt E}[e^{-(\tau-\theta)V_n}{\bf 1}_{V_n\geq 0}].$ L'espérance de

est zéro. On montre alors l'identité remarquable

$\displaystyle u_n=e^{nh(m,a)}v_n.$

Pour le voir, on introduit la mesure positive $\mu_n$ sur $\hbox{I\hskip -2pt R}$ égale à la

ième puissance de convolution $\mu^{*n},$ c'est à dire de transformée de Laplace

$L(\theta)^n.$ La loi de

est donc $e^{\theta s-nk(\theta)}\mu_n(ds),$ comme on le vérifie en calculant la transformée de Laplace de cette loi et en voyant qu'elle est égale à celle de

soit

$\displaystyle \hbox{I\hskip -2pt E}(e^{tS_n})=\left(\frac{L(\theta+t)}{L(\theta)}\right)^n= e^{nk(\theta+t)-nk(\theta)}$

pour tout $t\in -\theta+\Theta.$ De même, la loi de

est $e^{\tau u-nk(\tau)}\mu_n(du).$ Par conséquent

$\displaystyle {e^{nh(m,a)}\hbox{I\hskip -2pt E}[e^{-(\tau-\theta)V_n}{\bf 1}_{V_n\geq 0}]}$
	$\displaystyle =$	$\displaystyle e^{n[h(m,a)+(\tau-\theta)a]}\hbox{I\hskip -2pt E}[e^{-(\tau-\theta)U_n}{\bf 1}_{U_n\geq na}]$
	$\displaystyle =$	$\displaystyle e^{n[k(\tau)-k(\theta)]}\int_{na}^{\infty} e^{-(\tau-\theta)u}e^{\tau u-nk(\tau)}\mu_n(du)$
	$\displaystyle =$	$\displaystyle \int_{na}^{\infty}e^{\theta u-nk(\theta)}\mu_n(du)=\Pr(S_n\geq na)=u_n,$

et l'identité annoncée $u_n=e^{nh(m,a)}v_n$ est montrée. On peut remarquer qu'elle nous donne au passage une seconde démonstration, moins élémentaire, de la partie 1, puisque trivialement

Cette partie algébrique étant faite, pour voir que la limite de $u_n^{1/n}$ est $e^{h(m,a)},$ il suffit de montrer que $\lim_{n\rightarrow \infty} v_n^{1/n}=1.$ C'est la partie plus difficile.

Commencons par un lemme classique:

Lemme Si est une variable aléatoire positive alors l'ensemble des $s\in \hbox{I\hskip -2pt R}$ tels que $\hbox{I\hskip -2pt E}(f^s)<\infty$ est un intervalle et $s\mapsto [\hbox{I\hskip -2pt E}(f^s)]^{1/s}$ est croissante sur $]0,\infty[\cap I.$

Démonstration du lemme: On pourrait utiliser une inégalité classique de Hölder. Utilisons plutôt ici l'outil familier de la convexité du logarithme de la transformée de Laplace. Soit $(1-p)\delta_0+p\nu(df)$ la loi de avec $\nu(df)$ probabilité sur $]0,\infty[$ et $0< p\leq 1$ (tout est trivial si Soit $\mu(dx)$ l'image de $\nu(df)$ par $f\mapsto x=\log f.$ Soit la transformée de Laplace de $\mu$ , soit son domaine de finitude et soit $t(s)=\log T(s).$ Sur on a $\hbox{I\hskip -2pt E}(f^s)=pe^{t(s)}.$ Enfin si sont dans comme est convexe on a

$\displaystyle t(s)=t(\frac{s}{s_1}s_1+(1-\frac{s}{s_1})0) \leq \frac{s}{s_1}t(s_1)+(1-\frac{s}{s_1})t(0).$

Comme

(car $\mu$ est une probabilité) on obtient que $\frac{1}{s}t(s)\leq \frac{1}{s_1}t(s_1).$ Comme

$\displaystyle p^{\frac{1}{s}}= \exp (\frac{1}{s}\log p)\leq \exp (\frac{1}{s_1}\log p)=p^{\frac{1}{s_1}},$

le lemme est montré.

Achevons alors la démonstration du théorème. On pose

$\displaystyle A_n=\{V_n\geq 0\}, \ B_n=\{e^{-(\tau-\theta)V_n/n^{3/4}}\geq \frac{1}{2}\}.$

On a alors

$\displaystyle v_n^{n^{-3/4}} \stackrel{(1)}{\geq}\ \hbox{I\hskip -2pt E}[e^{-... ...c{1}{2}\Pr(A_n\cap B_n)\ \stackrel{(3)}{\geq} \frac{1}{2}(\Pr(A_n)-\Pr(B_n)).$

Dans cette chaîne d'inégalités, (1) vient du lemme appliqué à $f=e^{-(\tau-\theta)V_n}{\bf 1}_{V_n\geq 0}$ et au couple

et $s=1/n^{3/4}$ , (2) est l'inégalité de Markov

appliquée à $Y=f^{n^{-3/4}}$ et

et (3) vient du fait que si

sont deux évènements alors $A\subset (A\cap B)\cup B$ et donc $\Pr(A\cap B)\geq \Pr(A)-\Pr(B).$ Faisons alors tendre

vers l'infini. D'après le théorème central limite, la loi de $V_n/\sqrt{n}$ tend vers une loi normale centrée. On en déduit que $\Pr(A_n)$ tend vers

et, puisque

est aussi $B_n=\{\frac{V_n}{\sqrt{n}}\geq \frac{\log 2}{(\tau-\theta)}n^{1/4}\},$ on en déduit que $\Pr(B_n)$ tend vers

Par conséquent, la limite inférieure de $v_n^{n^{-3/4}}$ est $\geq 1/4.$ Mais $\liminf \frac{1}{n^{3/4}}\log v_n\geq -\log 4$ entraine naturellement que $\liminf \frac{1}{n}\log v_n\geq 0.$ Comme $\log v_n\leq 0$ la limite de $\frac{1}{n}\log v_n$ est bien 0 et le théorème des grandes déviations est démontré.

monter: Appendice 1: Grandes déviations précédent: Appendice 1: Grandes déviations

G_Letac

Adresse Mail:

Actuellement 16057 abonnés

Qu'est-ce que c'est ?

Taper le mot à rechercher

Mode d'emploi

Faites connaître Les-Mathematiques.net à un ami
Curiosités
Participer
Latex et autres....
Collaborateurs
Forum

Nous contacter

WWW IMS
Cut the knot
Mac Tutor History...
Number, constant,...
Plouffe's inverter
The Prime page