Perceptron

dfshr8 · September 2017

Bonjour,

Je ne comprends pas dans la série d'exercice: http://www-connex.lip6.fr/~schwander/enseignement/2016-2017/m2bigdata_apprentissage/tp2.pdf pourquoi on a la formule (tirée du chapeu) suivante:
https://snag.gy/PytMgZ.jpg

Qu'esdt ce qui me prouve que l'on va améliorer les poids neuronaux et que l'hyperplan déterminé par ces poids "s'amélioreé ??

Shah d'Ock · September 2017

Par récurrence transfinie sur le nombre de neurones divisé par $w_i(t+dt)$.

dfshr8 · September 2017

Une idée?

dfshr8 · September 2017

Pour ceux que ça intéresse je cherche à comprendre la mise à jour des poids dans le cas exact (pas stochastique): https://stats.stackexchange.com/questions/137834/clarification-about-perceptron-rule-vs-gradient-descent-vs-stochastic-gradient .

Ca ressemble à une descente de gradient, mais pour quelle fonction ? N'y a t'il pas des hypothèses de régularité dans ces méthodes de descente de gradient (comme celle de Newton par exemple)?

Par exemple ce fil suggère la minimisation du risque J, mais niveau régularité ce n'est pas ça!!
https://stats.stackexchange.com/questions/138229/from-the-perceptron-rule-to-gradient-descent-how-are-perceptrons-with-a-sigmoid

Edit: https://math.stackexchange.com/questions/1993190/stochastic-gradient-descent-sgd-algorithm-explanation En plus je ne saisis pas bien pourquoi il y a le mot stochastique parfois (gradient stochastic).

dfshr8 · September 2017

Bon j'espère avoir plus de réactivité sur stackexchange (un peu déçu quand même...)

Réponses