03 Cours Deep

Réseaux de neurones
et apprentissage profond
Une brève introduction, partie 1
E. Viennet
L2TI
Université Paris 13
2018-2019
E. Viennet (Université Paris 13) EMA - Yaoundé 2019 - Deep Learning 1 2018-2019 1 / 73
Plan du cours
1 Introduction au Deep Learning

Quelques applications au traitement d’images ou de vidéos
Principe général
Histoire du connexionnisme
2 Perceptrons multi-couches
Exemples en 2 dimensions
3 Apprentissage par descente du gradient
Introduction au Deep Learning
Plan

Principe général
Les méthodes d’apprentissage de réseaux de neurones artificiels,

deep learning connaissent depuis quelques années un succès
fulgurant, à tel point qu’elles sont souvent confondues avec
l’Intelligence Artificielle.
Ces méthodes sont particulièrement bien adaptées au traitement
des signaux et images, lorsqu’on dispose de beaucoup de
données.
Introduction au Deep Learning Quelques applications au traitement d’images ou de vidéos
Coloriage
image en niveaux de gris image couleur
Source: S. Lizuka et al., 2017 https://arxiv.org/abs/1702.00783
Super-résolution
image basse résolution (ici 8x8 pixels)
image haute résolution (ici 32x32)
Source: R. Dahl et al., SIGGRAPH 2016 http://iizuka.cs.tsukuba.ac.jp/projects/colorization/en/
Estimation de la pose
image de scène squelette numérique
https://www.youtube.com/watch?v=pW6nZXeWlGM
Source: Z. Cao et al., Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields (2016)
https://arxiv.org/abs/1611.08050
Everybody Dance Now
Vidéo de synthèse : faire danser une autre personne
https://www.youtube.com/watch?v=PCBTZh41Ris
Source: C. Chan (2018) https://arxiv.org/pdf/1808.07371.pdf
Décrire des photos
Décrire le contenu d’une image avec des mots ou des phrases
https://cs.stanford.edu/people/karpathy/deepimagesent/
generationdemo/
Source: Karpathy et al. (2015) http://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/
Karpathy_Deep_Visual-Semantic_Alignments_2015_CVPR_paper.pdf
Analyse de comportement, surveillance
Analyser des comportements en temps réel
https://www.youtube.com/watch?v=xhp47v5OBXQ
Source: http://www.deepglint.com, CVPR 2016
Traduire (sur des images)
Détecter, traduire et remplacer du texte dans des images
Sur la traduction automatique de texte, voir https://ai.googleblog.

com/2016/09/a-neural-network-for-machine.html
Source: https://ai.googleblog.com/2015/07/how-google-translate-squeezes-deep.html
Lire sur les lèvres
LipNet arrive à lire 93% des phrases,

que des humains entrainés ne lisent qu’à 52%
https://www.youtube.com/watch?v=fa5QGremQf8
Source: Assael et al. (2016) https://arxiv.org/pdf/1611.01599.pdf
Peinture artistiques
A partir d’une photo, générer des peintures selon un « style »
https://deepart.io/
http://genekogan.com/works/style-transfer/
Source: Gatys et al. (2016) http://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Gatys_
Image_Style_Transfer_CVPR_2016_paper.pdf
Véhicules autonomes
Des progrès rapides et des performances

impressionnantes
problèmes difficiles, dont on a longtemps pensé la solution

lointaine (vision, jeux de Go, etc.)
les images :
I problèmes en grande dimension ;
I conditions très variables : pose, éclairage,déformations,
occultations.
dans de nombreux cas, les systèmes artificiels ont déjà de
meilleures performances que les humains.
Autres démonstrations : https://ml-showcase.com
Introduction au Deep Learning Principe général
Approximer des fonctions à partir d’exemples
Approximer des fonctions à partir d’exemples
CHAPTER 1. INTRODUCTION
Composer des fonctions : réseau multicouche profond
Output
CAR PERSON ANIMAL
(object identity)
3rd hidden layer

(object parts)
2nd hidden layer

(corners and
contours)
1st hidden layer

(edges)
Visible layer
(input pixels)
Source: Goodfellow 2016
Introduction
CHAPTER au Deep Learning
1. INTRODUCTION Principe général
Approches de l’apprentissage
Output
Mapping from
Output Output
features
Additional
Mapping from Mapping from layers of more
Output
features features abstract
features
Hand- Hand-
Simple
designed designed Features
features
program features
Input Input Input Input
Deep
Classic learning
Rule-based
machine
Source: Goodfellow 2016 systems Representation
learning
learning
E. Viennet (Université Paris

Figure13) EMA
1.5: Flowcharts - Yaoundé
showing 2019
how the - Deep
diﬀerent Learning
parts of an AI 1system relate to each 2018-2019 19 / 73
Introduction au Deep Learning Histoire du connexionnisme
1957 : le perceptron
Rosenblatt propose le perceptron pour la classification
un poids wi par entrée xi

Pn
y=
1 si i=0 wi xi > 0
−1 sinon
séparateur linéaire dans l’espace
d’entrée
Années 80 : perceptrons multi-couches
1 perceptron : 1 décision
si plusieurs classes (ex :
reconnaissance de chiffres) :
1 cellule de sortie par classe
enchaînement de plusieurs
couches : perceptron
multi-couche (MLP)
on introduit des non linéarités
entre les couches
Années 90 :
Avancées en théorie et applications de l’apprentissage statistique

(SVM, approches bayesiennes, ...) ;
Premières applications industrielles des réseaux de neurones
(LeNet, codes postaux).
Années 2000-2019 : croissance de la taille des jeux

de données
109
Dataset size (number examples)
108 Canadian Hansard

WMT Sports-1M
107 ImageNet10k
106 Public SVHN
105 Criminals ImageNet ILSVRC 2014
104
MNIST CIFAR-10
103
102 T vs. G vs. F Rotated T vs. C
Iris
101
100
1900 1950 1985 2000 2015
Year
igure 1.8:Goodfellow
Source: Dataset 2016 sizes have increased greatly over time. In the early 1900s, statisti
udied datasets using hundreds or thousands of manually compiled measurements (Ga
Années 2000-2019 : croissance de la puissance de

calcul
Loi de Moore depuis 50 ans, apparition des GPUs, des ASICs
2010 : Deep learning
Hinton, Le Cun, Bengio, ...

ImageNet
Années 2010-2019 : nombreuses applications

forts enjeux économiques et sociétaux
Perceptrons multi-couches
Plan

Principe général
Inspiration biologique
Si on veut construire une machine « intelligente », on peut

s’inspirer du cerveau animal
Le cerveau humain :
I apprend continument
I s’adapte à de nombreuses tâches
I est très rapide
I est massivement parallèle
Source: http ://www.robotspacebrain.com/wp-content/uploads/2013/11/Santiago-Ramon-y-Cajal-Drawings.jpg
Qu’est-ce qu’un neurone ?
Modèle simplifié :
X0
X1 w0
w1
X2
w2 X
... y = sign( wj xj + b)
...
...
... wp
Xp
Anatomie d’un réseau multicouche (MLP)
Source: Deep Learning in Neuroradiology http://www.ajnr.org/content/early/2018/02/01/ajnr.A5543
Perceptron multi-couches (MLP)
Les MLP sont des modèles puissants : on peut montrer qu’un MLP est
un approximateur universel (Cybenko 1989) :
toute fonction (d’un compact vers un compact) peut être
approchée aussi bien que l’on veut par un MLP à trois couches,
avec suffisamment de neurones sur la couche cachée et une
sortie linéaire.
On peut donc résoudre tout problème de ML avec un MLP, si on arrive
à apprendre les poids...
Source: Deep Learning in Neuroradiology http://www.ajnr.org/content/early/2018/02/01/ajnr.A5543
Neurone et fonction de transfert ReLu

Chaque neurone calcule son état :
X
y = f (W .X ) = f ( wi xi )
i
où f est une fonction linéaire rectifiée (ReLu) :

s si s > 0
f (s) =
0 sinon
Perceptrons multi-couches Exemples en 2 dimensions
Voir la demo de TensorFlow en JavaScript :
http://playground.tensorflow.org
Exemple 2d : séparation linéaire dans le plan
Pas de couche cachée
Exemple 2d : MLP à une couche cachée
Exemple 2d : MLP à deux couches cachées
Apprentissage par descente du gradient
Plan

Principe général
Apprentissage et optimisation
L’apprentissage consiste à trouver les bons paramètres wi de toutes

les connexions.
On cherche à minimer le coût (loss) L sur les exemples.
Exemples de coûts :
Quadratique (MSE) :
1 X
L = MSE = (ŷi − yi )2
m
i
Maximum de vraisemblance
Optimisation 1d
global maximum
4
local maximum
2
−2
local minimum
−4
global minimum
−6
0 0.2 0.4 0.6 0.8 1 1.2
Source: figure Wikipedia
Exemple : optimisation MSE modèle linéaire
ŷ = w.x
coût = (ŷ − y )2
voir 01-exemple-1d.ipynb
Apprentissage et optimisation
Apprentissage d’un réseau multicouche
∂L
Gradient du coût par rapport à W : ∂w =?
Apprentissage d’un réseau multicouche
Rétropropagation du gradient
Chain rule
… LOSS
Source: Sung Kim, HKUST, http ://bit.ly/PyTorchZeroAll
Chain rule
Chain rule
Chain rule
Chain rule
*
Forward pass x= 2, y = 3
*
=2
*
=6
=3
Backward propagation = 5 is given.

=2
*
=6
=5
=3

=2
=y
*
=6
=x =5
=3

=2
=y
*
=5 =6
*y
=1
5
=x =5
=3
0
x=1
= 5*
Computational graph
Computational graph
Computational graph
Computational graph
Forward pass x=1, y = 2 where w=1
Backward propagation
=1
=1 =-1 =1
=1 =2
=1
=1 =-1 =1
=1 =2
=1
=1 =-1 =1
=1 =2
Représentation graphique du calcul

CHAPTER 1. INTRODUCTION
Element Element
Set Set
+
+
⇥ ⇥ ⇥ Logistic
Regression
Logistic
Regression
w1 x1 w2 x2 w x
Figure 1.3: Illustration of computational graphs mapping an input to an output where

each node performs an operation. Depth is the length of the longest path from input to
Source: Goodfellow 2016
output but depends on the definition of what constitutes a possible computational step
TheE.computation
Viennet (Université depicted
Paris 13) in these graphs
EMA - Yaoundé 2019is theLearning
- Deep output 1 of a logistic regression
2018-2019 model,
69 / 73
Exercice
Soit le modèle
ŷ = x 2 .w2 + x.w1 + b
loss = (ŷ − y )2
1 Calculer (manuellement) :
∂loss
=?
w1
∂loss
=?
w2
2 Coder ce calcul en Python.
3 Faire le même calcul avec PyTorch.
Résumé
Nous avons vu :
l’importance du Deep Learning dans de nombreuses applications
en vision ;
un bref historique de l’apprentissage des réseaux
connexionnistes ;
les principes de l’apprentissage par descente du gradient ;
le principe de l’algorithme de rétropropagation du gradient.
Installation de PyTorch
http://pytorch.org
conda install pytorch torchvision -c pytorch
Exemples : notebooks
02-pytorch-exemple-1d
Toy-Classif-2classes-simplifie
A suivre :
réseaux à convolutions
exemples

03 Cours Deep

Transféré par

Droits d'auteur :

Formats disponibles

03 Cours Deep

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

03 Cours Deep

Transféré par

Droits d'auteur :

Formats disponibles

Réseaux de neurones

Une brève introduction, partie 1

1 Introduction au Deep Learning

3 Apprentissage par descente du gradient

1 Introduction au Deep Learning

3 Apprentissage par descente du gradient

Introduction au Deep Learning

Les méthodes d’apprentissage de réseaux de neurones artificiels,

image en niveaux de gris image couleur

Source: S. Lizuka et al., 2017 https://arxiv.org/abs/1702.00783

Source: R. Dahl et al., SIGGRAPH 2016 http://iizuka.cs.tsukuba.ac.jp/projects/colorization/en/

image de scène squelette numérique

Everybody Dance Now

Vidéo de synthèse : faire danser une autre personne

Source: C. Chan (2018) https://arxiv.org/pdf/1808.07371.pdf

Décrire des photos

Décrire le contenu d’une image avec des mots ou des phrases

Analyse de comportement, surveillance

Analyser des comportements en temps réel

Source: http://www.deepglint.com, CVPR 2016

Traduire (sur des images)

Détecter, traduire et remplacer du texte dans des images

Sur la traduction automatique de texte, voir https://ai.googleblog.

Lire sur les lèvres

LipNet arrive à lire 93% des phrases,

Source: Assael et al. (2016) https://arxiv.org/pdf/1611.01599.pdf

A partir d’une photo, générer des peintures selon un « style »

Des progrès rapides et des performances

problèmes difficiles, dont on a longtemps pensé la solution

Approximer des fonctions à partir d’exemples

Approximer des fonctions à partir d’exemples

Composer des fonctions : réseau multicouche profond

3rd hidden layer

2nd hidden layer

1st hidden layer

Input Input Input Input

E. Viennet (Université Paris

un poids wi par entrée xi

Années 80 : perceptrons multi-couches

Avancées en théorie et applications de l’apprentissage statistique

Années 2000-2019 : croissance de la taille des jeux

108 Canadian Hansard

Années 2000-2019 : croissance de la puissance de

2010 : Deep learning

Hinton, Le Cun, Bengio, ...

Années 2010-2019 : nombreuses applications

1 Introduction au Deep Learning

3 Apprentissage par descente du gradient

Si on veut construire une machine « intelligente », on peut

Source: http ://www.robotspacebrain.com/wp-content/uploads/2013/11/Santiago-Ramon-y-Cajal-Drawings.jpg

Qu’est-ce qu’un neurone ?

Anatomie d’un réseau multicouche (MLP)

Source: Deep Learning in Neuroradiology http://www.ajnr.org/content/early/2018/02/01/ajnr.A5543

Perceptron multi-couches (MLP)

Anatomie d’un réseau multicouche (MLP)

Anatomie d’un réseau multicouche (MLP)

Source: Deep Learning in Neuroradiology http://www.ajnr.org/content/early/2018/02/01/ajnr.A5543

Neurone et fonction de transfert ReLu

où f est une fonction linéaire rectifiée (ReLu) :

Voir la demo de TensorFlow en JavaScript :