IFT6266: Plan de chaque cours¶

31 Mars¶

• Révision en vue de l’examen final

29 Mars¶

• RBMs empilés et DBNs
• Révision en vue de l’examen final

24 Mars¶

2 présentations d’articles de AISTATS 2010:

• Guillaume Desjardins: Parallel Tempering for Training of Restricted Boltzmann Machines
• Xavier Glorot: Understanding the difficulty of training deep feedforward neural networks

22 Mars¶

• Intro aux RBMs empilés et DBNs

17 Mars¶

• Tutorial sur les RBMs en Theano

15 Mars¶

• Entraînement des RBMs. Contrastive divergence et PCD. Section 5 de Learning Deep Architectures for AI

10 Mars¶

• La Machine de Boltzmann Restreinte. Gradient dans les MRFs et les RBMs. Gibbs dans les machines de Boltzmann et les RBMs. Section 5 de Learning Deep Architectures for AI

8 Mars¶

• Champs markoviens, machine de Boltzmann et RBMs. La Machine de Boltzmann Restreinte. Section 5 de Learning Deep Architectures for AI

24 Février¶

• MCMC et Gibbs
• Inférence dans les modèles probabilistes

22 Février¶

• Intro aux Modèles probabilistes pour les architectures profondes.
• Modèles probabilistes graphiques: matière préparatoire pour les RBMs et DBNs.

17 Février¶

• Résumé des Auto-encodeurs débruitants vs auto-encodeurs ordinaires
• Difficulté d’entraîner des architectures profondes. Section 4.2 de Learning Deep Architectures for AI, et le résumé sur Le défi d’entraîner des réseaux de neurones profonds.
• Pré-entraînement non-supervisé couche par couche et ajustement supervisé. Section 6 de Learning Deep Architectures for AI

15 Février¶

• Auto-encodeurs débruitants empilés
  • Présentation de Pascal Vincent sur les auto-encodeurs débruitants
  • Article original sur les Denoising Auto-Encoders

12 Février¶

• Auto-encodeurs et auto-encodeurs débruitants
  • Survol des auto-encodeurs: section 4.6 de Learning Deep Architectures for AI
  • Tutorial sur les auto-encodeurs débruitants

10 Février¶

• Auto-encodeurs
  • Survol des auto-encodeurs: section 4.6 de Learning Deep Architectures for AI

8 Février¶

• Fin de la discussion sur les réseaux à convolution * Tutoriel sur les réseaux à convolution pour Theano
• Auto-encodeurs * Survol des auto-encodeurs: section 4.6 de Learning Deep Architectures for AI

3 Février¶

• Réseaux à convolution
  • LeNet
  • Time-Delay Neural Networks
• Comment faire un journal d’expérience
• Discussion sur les tickets et le projet

1er Février¶

• Intro à Jobman pour céduler et organiser des jobs d’expériences, et exemple d’utilisation avec les MLPs
  • Présentation de Dumitru Erhan sur Jobman.
• Suite de l’entraînement des réseaux de neurones et choix des hyper-paramètres (Training Multi-Layer Neural Networks)
• Intro aux réseaux à convolution
  • Néocognitron
  • LeNet
  • Tutoriel sur les réseaux à convolution pour Theano

27 Janvier¶

• Introduction à mercurial pour la gestion des révisions de code, présentation de Dumitru Erhan
• Suite de l’entraînement des réseaux de neurones:
  • Arrêt prématuré (early stopping): Training Multi-Layer Neural Networks
• Réponses aux questions sur python, numpy, et Theano.
• Démarrage du tutorial profond de Theano
• Exemple sur la régression logistique en Theano.

25 Janvier¶

• Suite de l’entraînement des réseaux de neurones:
  • The Back-Propagation Algorithm
  • Logistic Regression
  • Training Multi-Layer Neural Networks
• Plan de travail pour les premières semaines du projet. Discussions sur les transformations des images pour générer plus de variations et produire un classifieur plus robuste à toutes sortes de bruits et de variations.

20 Janvier¶

• Introduction to Multi-Layer Perceptrons (Feedforward Neural Networks)
  • Most Common Training Criteria and Output Non-Linearities
• Discussion sur les objectifs et le cadre du projet
• Introduction à Theano
• Intro au tutoriel profond de Theano

18 Janvier¶

• Flow Graphs, Chain Rule and Backpropagation: Efficient Computation of the Gradient
• Introduction to Multi-Layer Perceptrons (Feedforward Neural Networks)
  • Multi-Layer Neural Networks
  • Most Common Training Criteria and Output Non-Linearities

13 Janvier¶

• Introduction to Gradient-Based Learning
  • The Gradient
  • Gradient Descent
  • Stochastic Gradient Descent
  • Minibatch Stochastic Gradient Descent
  • Momentum
  • Choosing the Learning Rate Schedule

11 Janvier¶

• Introduction to Deep Learning Algorithms
  • Depth
  • Motivations for Deep Architectures
  • Insufficient depth can hurt
  • The brain has a deep architecture
  • Cognitive processes seem deep
  • Breakthrough in Learning Deep Architectures

6 Janvier¶

• Introduction au cours, objectifs du cours, modalités d’évaluation (plan de cours)
• Very Brief Introduction to Machine Learning for AI
  • Intelligence
  • Artificial Intelligence
  • Machine Learning
  • Formalization of Learning
  • Supervised Learning
  • Unsupervised Learning
  • Local Generalization
  • Distributed versus Local Representation and Non-Local Generalization