Deep-learning - Cours de maths

Bonjour à tous
Cela fait plus d'1 an que je me suis lancé dans le deep-learning et je souhaiterais poursuivre, plus en détail, mon apprentissage.

Étant développeur, je n'ai aucun problème en ce qui concerne l'aspect technique et développement des Réseaux de neurones mais j'aimerais aller bien plus loin sur l'aspect mathématique, analyse des données etc.

Auriez-vous des idées sur les thèmes généraux à aborder, des sujets particuliers qui seraient utiles sur ce genre de problématique ?

Réponses

  • Bonjour,
    Comme, vous étudiez depuis un an le sujet, c:est difficile de vous conseiller. Les quatre premiers chapitres du livre de Bengio vous donnent les notions minimales de mathématiques générales, de statistiques et d'informatique théorique pour comprendre le livre.
    Ainsi, chaques notions peut être étudiée à l'envie : algèbre linéaire, théorie des graphes, complexité algorithmique (machine de Turing, problèmes P et NP complexes,...,), théorie de l'information...Pour approfondir, les auteurs donnent des références de livres plus ardus que vous pouvez étudier.
    Avec le deep learning, il n'y fondamentalement rien de révolutionnaire ormis les tâches de réductions des données pour un traitement des données plus rapide qui consiste en des analyses de données. Vous pouvez peut-être vous renseigner sur des livres d'analyse des données dites à la française (Auteurs : Morineau, Nakache, Pages, Saporta).
    Le livre dont le titre est 'Statistique et méthodes neuronales' dont un co-auteur est Sylvie Thyria peut vous donner beaucoup de travail.
    Cordialement.
    N.B. pour une sensibilisation à la déontologie et à l'éthique condition si ne qua non se référer aux différents travaux de la CNIL.
  • Bonjour,
    Je voudrais rectifier, il s'agit de Mme Sylvie Thiria. Un livre assez complet mais squand même de bon niveau s'intitule 'Analyse mudimenssionnelle exploratoire' de Morineau et al.
    Avec tout ça, on devrait pouvoir battre Panisse et Escartefigue avec un logiciel alphaBelote mais rien n'est moins sûr vus les énergumènes ;-)
    Bien cordialement.
  • Merci pour cette réponse.
  • Bonjour,

    Quelques références utiles aussi:
    - Pro Deep learning with Tensorflow, de Pattanayak - ça reprend un peu quelques bases théoriques et détaille des use cases standard en tensorflow.
    - Les cours de Stanford sur le deep learning axés Vision sont accessibles sur Youtube (juste y chercher "Stanford deep learning") et reprennent tout depuis la base, et les notes de cours sont sur http://cs231n.github.io/
  • Bonsoir,
    J'ai regardé les liens donnés par Hapax. Cela ne correspond pas du tout à la question initiale de Ashka qui demande à comprendre les notions mathématiques liées aux réseaux de neurones profonds. Or, dans ces cours, on rentre directement dans le vif du sujet. Il y a pléthore de ce genre de cours sur internet. Je viens de relire les quatre premiers chapitres de Bengio, c'est vraiment clair pour aborder le deep learning dans votre démarche.
    Bonne semaine.
  • Je ne sais pas si j'ai mal compris la question, mais à mon sens ce qu'il est important de comprendre sur la théorie du deep learning c'est essentiellement:
    - les différents types de réseaux, différents types de couches etc.
    - les procédures de fitting (en gros la backpropagation, les différents types de parameters updates dans la descente de gradient, la régularisation et cie).

    Je suis bien d'accord que sans notions adéquates en algèbre linéaire, en probas et en optimisation ça complique les choses, mais là ce n'est pas vraiment spécifique au deep learning, c'est un peu la base mathématique du machine learning en général :)
Connectez-vous ou Inscrivez-vous pour répondre.