Prérequis pour Machine/Deep Learning
Bonjour,
Je souhaite savoir le minimum des prérequis nécessaires permettant de lire et d'implémenter quelques articles classiques ou de lire avec aisance des références classiques dans les domaines de deep learning et machine learning.
Je ne cherche pas à trop me plonger dans ces prérequis (Probabilités, algèbre linéaire, théorie de l'information etc.), je cherche juste à comprendre les bases, le minimum possible; après je pourrais découvrir au fur et à mesure les notions.
Auriez-vous des references (en anglais ou en français) à me suggérer, de préférence avec des exercices corrigés et qui soient intuitifs et plus orientés vers la pratique plutôt que la théorie ?
Je vous remercie d'avance.
Je souhaite savoir le minimum des prérequis nécessaires permettant de lire et d'implémenter quelques articles classiques ou de lire avec aisance des références classiques dans les domaines de deep learning et machine learning.
Je ne cherche pas à trop me plonger dans ces prérequis (Probabilités, algèbre linéaire, théorie de l'information etc.), je cherche juste à comprendre les bases, le minimum possible; après je pourrais découvrir au fur et à mesure les notions.
Auriez-vous des references (en anglais ou en français) à me suggérer, de préférence avec des exercices corrigés et qui soient intuitifs et plus orientés vers la pratique plutôt que la théorie ?
Je vous remercie d'avance.
Connectez-vous ou Inscrivez-vous pour répondre.
Réponses
Et la convolution, notamment le problème de trouver le $h$ qui minimise $\|y-h\ast x\|^2+\epsilon \|h\|^2$, savoir exprimer la convolution par $h$ comme une multiplication par la matrice circulante de $H$ et voir comment se restreindre aux matrices circulantes change le calcul du gradient et l'implémentation de la descente de gradient.
Une matrice circulante c'est une matrice avec plein de contraintes (que $x_{i,j} = x_{i+1,j+1}$). c'est important de bien voir que la convolution n'est pas spécialement optimale quand on travaille sur la sortie d'une couche d'un ANN, c'est juste qu'on ne sait pas tellement définir d'autres contraintes sur les matrices inter-couches.
Idéalement les contraintes devraient essayer de s'adapter aux données et au ANN, mais en pratique on n'a pas tellement d'algorithme qui marche pour ça.
À partir de là tu peux utiliser les librairies keras, pytorch, tensorflow.
Nombre de participants limité à 20.
http://www.ipam.ucla.edu/programs/special-events-and-conferences/an-industrial-short-course-on-deep-learning-and-the-latest-ai-algorithms-2/
...
tu peux utiliser les rappels de maths du goodfellow
https://www.deeplearningbook.org/
se trouve aussi en pdf en cherchant un peu, une version fr est sortie , mais doit être chère.
Autre piste sur fastai mooc
https://github.com/fastai/numerical-linear-algebra/blob/master/README.md
Bonnes lectures !
- Algèbre linéaire et calcul matriciel
- Statistique descriptive à n dimensions et analyse de données
- Statistique inférentielle (paramétrique)
- Théorie de la mesure
- Optimisation linéaire (et non linéaire dans un second temps)
- Réseaux de neurones
C'est issu de : https://openclassrooms.com/forum/sujet/math-et-deep-learning-que-faut-til-apprendre