Algorithme EM
Bonjour.
Ayant rapidement vu l'espérance conditionnelle en Licence 3 (ça fait loin!) je suis un petit peu perdu concernant l'application de l'algorithme EM à un mélange gaussien.
En effet si l'on se réfère au super article de Wikipédia en français je n'arrive pas à comprendre comment on passe de la vraisemblance des données complétées à l'espérance conditionnelle $Q$.
(ie) comment passe t'on de $L(x, z, \Phi)=\sum_{i=1}^{n} \sum_{k=1}^{g} z_{i k} \log \left(\pi_{k} f\left(x_{i}, \theta_{k}\right)\right)$ à $Q\left(\Phi, \Phi^{(c)}\right)=\sum_{i=1}^{n} \sum_{k=1}^{g} E\left(z_{i k} | x, \Phi^{(c)}\right) \log \left(\pi_{k} f\left(x_{i}, \theta_{k}\right)\right)$ ? avec $Q\left(\boldsymbol{\theta} ; \boldsymbol{\theta}^{(c)}\right)=E\left[L((\mathbf{x}, \mathbf{z}) ; \boldsymbol{\theta}) | \boldsymbol{\theta}^{(c)}\right]$ (et $t_{i k}=E\left(z_{i k} | x, \Phi^{(c)}\right)$ et $t_{i k}=\frac{\pi_{k}^{(c)} f\left(x_{i}, \theta_{k}^{(c)}\right)}{\sum_{\ell=1}^{g} \pi_{\ell}^{(c)} f\left(x_{i}, \theta_{\ell}^{(c)}\right)}$)
Je serais très heureux si quelqu'un pouvait me montrer comment on obtient Q donné par Wikipédia.
Ayant rapidement vu l'espérance conditionnelle en Licence 3 (ça fait loin!) je suis un petit peu perdu concernant l'application de l'algorithme EM à un mélange gaussien.
En effet si l'on se réfère au super article de Wikipédia en français je n'arrive pas à comprendre comment on passe de la vraisemblance des données complétées à l'espérance conditionnelle $Q$.
(ie) comment passe t'on de $L(x, z, \Phi)=\sum_{i=1}^{n} \sum_{k=1}^{g} z_{i k} \log \left(\pi_{k} f\left(x_{i}, \theta_{k}\right)\right)$ à $Q\left(\Phi, \Phi^{(c)}\right)=\sum_{i=1}^{n} \sum_{k=1}^{g} E\left(z_{i k} | x, \Phi^{(c)}\right) \log \left(\pi_{k} f\left(x_{i}, \theta_{k}\right)\right)$ ? avec $Q\left(\boldsymbol{\theta} ; \boldsymbol{\theta}^{(c)}\right)=E\left[L((\mathbf{x}, \mathbf{z}) ; \boldsymbol{\theta}) | \boldsymbol{\theta}^{(c)}\right]$ (et $t_{i k}=E\left(z_{i k} | x, \Phi^{(c)}\right)$ et $t_{i k}=\frac{\pi_{k}^{(c)} f\left(x_{i}, \theta_{k}^{(c)}\right)}{\sum_{\ell=1}^{g} \pi_{\ell}^{(c)} f\left(x_{i}, \theta_{\ell}^{(c)}\right)}$)
Je serais très heureux si quelqu'un pouvait me montrer comment on obtient Q donné par Wikipédia.
Réponses
-
Je ne saurais faire le calcul car je ne sais pas ce qui est fixe et ce qui bouge. D'autre part pour l'esperance conditionnelle je ne sais pas par rapport à quelle proba (quel paramètre) on la calcul...
Si vous pouviez m'éclairer ce serait très sympas (intuitivement je ne sais jamais trop comment/quelles méthodes/ intuition on utilise pour calculer une espérance conditionnelle. Si quelqu'un arrive à détailler cet exercice ça m'aidera à comprendre comment on manipule l'esp.cond.)
Connectez-vous ou Inscrivez-vous pour répondre.
Bonjour!
Catégories
- 163.1K Toutes les catégories
- 8 Collège/Lycée
- 21.9K Algèbre
- 37.1K Analyse
- 6.2K Arithmétique
- 53 Catégories et structures
- 1K Combinatoire et Graphes
- 11 Sciences des données
- 5K Concours et Examens
- 11 CultureMath
- 47 Enseignement à distance
- 2.9K Fondements et Logique
- 10.3K Géométrie
- 62 Géométrie différentielle
- 1.1K Histoire des Mathématiques
- 68 Informatique théorique
- 3.8K LaTeX
- 39K Les-mathématiques
- 3.5K Livres, articles, revues, (...)
- 2.7K Logiciels pour les mathématiques
- 24 Mathématiques et finance
- 312 Mathématiques et Physique
- 4.9K Mathématiques et Société
- 3.3K Pédagogie, enseignement, orientation
- 10K Probabilités, théorie de la mesure
- 772 Shtam
- 4.2K Statistiques
- 3.7K Topologie
- 1.4K Vie du Forum et de ses membres