Convexité

Bonjour
Un peu d'apprentissage.

Cadre: la régression logistique et le réseau de neurones à une couche.
Exercice 1: http://cedric.cnam.fr/vertigo/Cours/ml2/tpDeepLearning1.html
La fonction de coût utilisée pour comparer une distribution supervisée discrète $\hat{y_i}$ et la véritable distribution (1 sur la composante qui est la bonne catégorie) $y_i^*$ est donnée par l'entropie croisée : $\mathcal{L}_{\mathbf{W},\mathbf{b}}(\mathbf{\hat{y_i}}, \mathbf{y_i^*}) = -\sum\limits_{c=1}^{10} y_{c,i}^* \log(\hat{y}_{c,i}) = - \log(\hat{y}_{c^*,i})$.

Le résultat final du coût est donné par : $\ \mathcal{L}_{\mathbf{W},\mathbf{b}}(\mathcal{D}) = - \frac{1}{N}\sum\limits_{i=1}^{N} \log(\hat{y}_{c^*,i}),$
l'on rappelle que : $ \widehat{y_{c,i}}=\big(:= p(\widehat{y_{c,i}} \mid \mathbf{x_i}) \big) \dfrac{e^{\langle \mathbf{x_i} ; \mathbf{w_{c}}\rangle + b_{c}}}{\sum\limits_{c'=1}^{10} e^{\langle \mathbf{x_i} ; \mathbf{w_{c'}}\rangle + b_{c'}}} $


Peut-on dire que $\mathcal{L}_{\mathbf{W},\mathbf{b}}(\mathcal{D}) $ est convexe en $W,b$ ? J'ai envie de dire non mais bizarrement en le traçant sous géogebra dans un cas simple : une dimension on voit une fonction qui est bien convexe dans le cas d'un unique exemple. Alors je me dis que mon intuition est peut être fausse..

Réponses

Connectez-vous ou Inscrivez-vous pour répondre.