Détection d’anomalies basée sur les représentations

latentes d’un autoencodeur variationnel

Mémoire

Stéphane Caron

Maîtrise en statistique - avec mémoire

Maître ès sciences (M. Sc.)

Québec, Canada

© Stéphane Caron, 2021

Résumé

Dans ce mémoire, nous proposons une méthodologie qui permet de détecter des anomalies
parmi un ensemble de données complexes, plus particulièrement des images. Pour y arriver,
nous utilisons un type spécifique de réseau de neurones, soit un autoencodeur variationnel
(VAE). Cette approche non-supervisée d’apprentissage profond nous permet d’obtenir une re-
présentation plus simple de nos données sur laquelle nous appliquerons une mesure de distance
de Kullback-Leibler nous permettant de discriminer les anomalies des observations "normales".
Pour déterminer si une image nous apparaît comme "anormale", notre approche se base sur
une proportion d’observations à filtrer, ce qui est plus simple et intuitif à établir qu’un seuil
sur la valeur même de la distance. En utilisant notre méthodologie sur des images réelles, nous
avons démontré que nous pouvons obtenir des performances de détection d’anomalies supé-
rieures en termes d’aire sous la courbe ROC, de précision et de rappel par rapport à d’autres
approches non-supervisées. De plus, nous avons montré que la simplicité de l’approche par
niveau de filtration permet d’adapter facilement la méthode à des jeux de données ayant
différents niveaux de contamination d’anomalies.

ii
Abstract

In this master’s thesis, we propose a methodology that aims to detect anomalies among com-
plex data, such as images. In order to do that, we use a specific type of neural network
called the varitionnal autoencoder (VAE). This non-supervised deep learning approach allows
us to obtain a simple representation of our data on which we then use the Kullback-Leibler
distance to discriminate between anomalies and "normal" observations. To determine if an
image should be considered "abnormal", our approach is based on a proportion of observations
to be filtered, which is easier and more intuitive to establish than applying a threshold based
on the value of a distance metric. By using our methodology on real complex images, we can
obtain superior anomaly detection performances in terms of area under the ROC curve (AUC),
precision and recall compared to other non-supervised methods. Moreover, we demonstrate
that the simplicity of our filtration level allows us to easily adapt the method to datasets
having different levels of anomaly contamination.

iii
Remerciements

Je tiens tout d’abord à remercier mon directeur Thierry Duchesne pour son support constant
tout au long de mon mémoire. Ses conseils et ses commentaires m’ont permis d’avancer plus
rapidement et également d’en apprendre beaucoup sur la rédaction de documents scientifiques.
Je le remercie d’avoir fait preuve de patience dans l’écriture de ce mémoire que j’ai décidé
de rédiger à temps partiel, s’étirant ainsi sur une plus longue période de temps. Aussi, je
souhaite remercier mon conseiller en recherche, collègue et ami François-Michel pour tous ses
conseils ingénieux qui m’ont permis de résoudre plusieurs problèmes techniques au cours de
mes expérimentations. Dans la pratique, François-Michel a joué le rôle de "codirecteur" dans
ce projet. Je souhaite également remercier mon collègue départemental, mais surtout mon ami
très proche, Samuel, pour toutes les heures passées au téléphone à m’écouter partager mes
idées, mes problèmes techniques ou mes états d’âme. Sam a été un mentor pour moi tout au
long de ma maîtrise et de ce projet. Je me considère extrêmement chanceux d’avoir un ami
comme lui, qui ne refuse pratiquement jamais de m’aider, et ce, peu importe l’heure et la
journée ...

Par ailleurs, je tiens aussi à remercier mon employeur Intact Assurance de m’avoir supporté
tout au long de ma maîtrise que j’ai faite à temps partiel.

Je ne pourrais pas terminer des remerciements sans remercier ma famille et mon amoureuse
Violaine. Mes parents, qui m’ont épaulé tout au long de mon parcours scolaire, sont à mes yeux
un facteur déterminant dans la réalisation de ce projet. Finalement, mon amoureuse Violaine
a également été une pièce maîtresse dans la réussite de ce mémoire. Elle a été le facteur le plus
important dans la préservation de mon moral, qui a été mis à l’épreuve à plusieurs reprises
pour achever ce mémoire. Elle m’a soutenu de mille et une manières, ce qui m’a grandement
poussé à mettre les efforts nécessaires. Elle est une source de motivation pour moi et c’est
d’ailleurs elle qui m’a donné l’énergie et la force dans le dernier droit de ce projet qui sera
enrichissant et structurant pour le reste de ma carrière. Merci à vous tous !

iv
Table des matières

Résumé ii

Abstract iii

Remerciements iv

Table des matières v

Liste des tableaux vi

Liste des figures vii

Introduction 1

1 Contexte 3
1.1 Les méthodes de détection d’anomalies . . . . . . . . . . . . . . . . . . . . . 3
1.2 Les autoencodeurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3 Les autoencodeurs variationnels . . . . . . . . . . . . . . . . . . . . . . . . . 12

2 Méthode de détection d’anomalies 17

2.1 Les objectifs de l’approche . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2 Les hypothèses de l’approche . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.3 Description de l’approche . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

3 Expérimentations 29
3.1 Jeux de données . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2 Méthodes testées . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.3 Résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.4 Discussion et interprétation des résultats . . . . . . . . . . . . . . . . . . . . 44

Conclusion 62

Bibliographie 65

v
Liste des tableaux

3.1 Description des deux ensembles de données pour le jeu de données d’ImageNet. 30
3.2 Description des six scénarios de test effectués pour le jeu de données provenant
de MNIST. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.3 Description des deux ensembles de données pour le jeu de données de MNIST. . 31
3.4 Horaire des paramètres β pour le jeu de données provenant de ImageNet et le
jeu de données provenant de MNIST. . . . . . . . . . . . . . . . . . . . . . . . . 34
3.5 Résultats des différentes métriques pour les différentes expérimentations concer-
nant le jeu de données ImageNet. . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.6 Résultats des aires sous la courbe ROC sur le jeu de données MNIST. . . . . . 41
3.7 Résultats des précisions selon la quantité de contamination et le scénario de
test sur le jeu de données MNIST. . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.8 Résultats des rappels selon la quantité de contamination et le scénario de test
sur le jeu de données MNIST. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

vi
Liste des figures

1.1 Distribution de 5000 simulations d’une loi normale (a) et d’une loi standard
Cauchy (b). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2 Exemple illustrant la structure de base d’un autoencodeur. . . . . . . . . . . . 9
1.3 Exemple simpliste d’une architecture d’autoencodeur . . . . . . . . . . . . . . . 10
1.4 Structure de base d’un autoencodeur variationnel. . . . . . . . . . . . . . . . . 13

2.1 Exemple de vectorisation d’une image. . . . . . . . . . . . . . . . . . . . . . . . 19

2.2 Exemple illustrant comment nos ensembles de populations "normales" et "anor-
males" sont créés dans nos jeux de données. . . . . . . . . . . . . . . . . . . . . 20
2.3 Figure illustrant des exemples d’images considérées comme "normales" et d’autres
comme "anormales". Dans ce cas, les images dites "normales" sont des images
de voitures. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.4 Figure montrant le mécanisme derrière le concept de perceptual optimization . . 23
2.5 Exemples de situations représentant les deux différents scénarios se rapportant
aux représentation latentes des observations "normales" et "anormales". . . . . 25

3.1 Exemples d’images pour notre jeu de données d’images réelles tirées de ImageNet. 30
3.2 Exemples d’images pour notre jeu de données MNIST. . . . . . . . . . . . . . . 31
3.3 Architecture du modèle DA-VAE pour le jeu de données ImageNet. . . . . . . . 33
3.4 Architecture du modèle DA-VAE pour le jeu de données provenant de MNIST. 34
3.5 Graphiques en boîtes et moustaches illustrant les résultats sur ImageNet. . . . . 40
3.6 Graphiques en boîtes et moustaches illustrant les résultats en aire sous la courbe
ROC sur les données MNIST. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.7 Graphiques en boîtes et moustaches illustrant les résultats de précision pour les
données MNIST. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.8 Graphiques en boîtes et moustaches illustrant les résultats de rappel pour les
données MNIST. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.9 Graphiques illustrant les scores d’anomalies selon le scénario de contamination
pour le modèle DA-VAE appliqué sur le jeu de données ImageNet. . . . . . . . 45
3.10 Exemples d’images qui sont bien reconstruites (a) et mal reconstruites (b) selon
la méthode ACP appliquée au jeu de données d’entraînement d’ImageNet. . . . 47
3.11 Échantillons d’images provenant du jeu de données d’entraînement ayant des
statistiques de distance faibles (a) et élevées (b) pour le scénario "Plus" du jeu
de données ImageNet. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.12 Échantillons d’images pré-sélectionnées avec l’inverse de leur score d’anomalie
(1 − γ). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.13 Moyenne des µ et σ des représentations latentes du jeu de données d’entraîne-
ment sur le jeu de données ImageNet. . . . . . . . . . . . . . . . . . . . . . . . 50

vii
3.14 Graphique des deux premières composantes principales calculées à partir des
vecteurs µ et σ du jeu de données d’entraînement de ImageNet. . . . . . . . . . 51
3.15 Pourcentage du critère de Kullback-Leibler dans la perte totale selon l’itération
d’entraînement et le scénario de contamination. . . . . . . . . . . . . . . . . . . 52
3.16 Exemples d’images générées par le modèle DA-VAE en utilisant seulement la
partie décodeur de l’autoencodeur ainsi que des simulations provenant d’une loi
N (0,I). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.17 Graphiques illustrant les scores d’anomalies selon le scénario de contamination
pour le modèle DA-VAE appliqué sur le scénario de test 1 de MNIST. . . . . . 54
3.18 Exemples d’images qui sont bien reconstruites (a) et mal reconstruites (b) selon
la méthode ACP appliquée sur le jeu de données d’entraînement de MNIST. . . 56
3.19 Échantillons d’images provenant du jeu de données d’entraînement ayant des
statistiques de distance faibles et élevées. . . . . . . . . . . . . . . . . . . . . . . 57
3.20 Moyenne des µ et σ des représentations latentes du jeu de données d’entraîne-
ment sur le jeu de données MNIST. . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.21 Graphique des deux premières composantes principales réalisé sur les vecteurs
µ et σ du jeu de données d’entraînement MNIST. . . . . . . . . . . . . . . . . 59
3.22 Distribution des vecteurs µ et σ pour le modèle DA-VAE entraîné avec un
espace latent à deux dimensions. . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.23 Pourcentage du critère de Kullback-Leibler dans la perte totale selon l’itération
d’entraînement et le scénario de contamination . . . . . . . . . . . . . . . . . . 61

viii
Introduction

La détection d’anomalies est un sujet complexe qui a généré beaucoup de littérature en sta-
tistique, en apprentissage machine et plus récemment en vision numérique. Il existe plusieurs
applications de ces méthodes dans les domaines de la cyber-intrusion, de la finance et de l’assu-
rance, de la médecine ou dans l’identification de dommages industriels (Chandola et al., 2009).
Une anomalie est définie par Zimek and Schubert (2017) comme un événement, une mesure
ou une observation qui diffère significativement de la majorité des données. Une anomalie,
également appelée une aberration, est une notion intrinsèque à plusieurs domaines reliés à
l’analyse des données, car une donnée anormale ou aberrante est généralement intéressante à
identifier ou à retirer d’une source de données. Dans un premier temps, il peut être intéressant
de l’identifier simplement parce que c’est l’objectif poursuivi en soi. Dans un deuxième temps,
il peut également être pertinent de retirer une observation anormale ou aberrante avant de
réaliser une autre tâche d’apprentissage.

Une difficulté reliée à la détection d’anomalies est qu’on doit souvent utiliser des données non
étiquetées, car les anomalies sont généralement générées par des phénomènes imprévus. Cela
fait en sorte qu’on doit approcher le problème de manière non-supervisée. Une autre difficulté,
plus particulièrement reliée avec les approches non-supervisées, est qu’il faut généralement
déterminer un seuil nous permettant de prendre une décision quant à la nature d’une donnée
(anomalie ou non). Finalement, ces difficultés deviennent encore plus prononcées lorsqu’on
doit traiter des données complexes, comme des images.

Dans le contexte de données non structurées, comme des images, du texte ou du son, les
réseaux de neurones sont couramment utilisés. En effet, leurs couches superposées peuvent
traiter une entrée complexe, comme une image, et compresser cette information vers une
représentation vectorielle plus compacte et riche en informations. Récemment, plusieurs ap-
proches d’apprentissage profond ont été proposées dans l’objectif de détecter un changement
de distribution. C’est d’ailleurs un problème d’éthique potentiel qui a été rapporté par Amodei
et al. (2016). Ces approches de out-of-distribution detection sont utilisées pour détecter des
images qui semblent "anormales" (Ren et al., 2019). Ces méthodes ne seront cependant pas
étudiées dans ce mémoire. L’accent est plutôt mis sur les autoencodeurs, des approches non-
supervisées qui sont utilisées dans un contexte de détection d’anomalies. Les autoencodeurs

1
sont effectivement une catégorie de réseaux de neurones fréquemment utilisés en apprentis-
sage non-supervisé. Il existe d’ailleurs plusieurs applications d’autoencodeurs dans un contexte
de détection d’anomalies, où l’erreur de reconstruction est souvent utilisée comme indicateur
d’anomalie. Cependant, ces méthodes requièrent de fixer un seuil de détection, souvent sous
forme de distance ou de métrique, qui peut être difficile à établir ou à expliquer. C’est d’ailleurs
pour cette raison que An and Cho (2015) proposent de se baser sur une probabilité de recons-
truction, qui est une mesure objective et ne requiert pas de seuil quelconque. Par contre, cette
mesure de probabilité est basée sur la capacité de reconstruire les observations originales, ce
qui peut être problématique dans le contexte d’images complexes, plutôt que sur la repré-
sentation latente, qui elle peut être beaucoup plus simple. D’autres approches, comme dans
Chalapathy et al. (2018), se basent plutôt sur cette représentation latente pour faire la détec-
tion d’anomalies. C’est davantage vers ce type d’approches que nous souhaitons orienter notre
méthodologie.

Dans ce mémoire, nous souhaitons contribué à cette partie de la littérature, soit la détection
d’anomalies dans un jeu de données d’images, en utilisant un score d’anomalie facilement in-
terprétable. Nous proposons également de simplifier la détermination du seuil nécessaire pour
conclure quelles observations sont "normales" et quelles observations sont "anormales". Avec
cette contribution, nous proposons d’utiliser des méthodes existantes comme des autoenco-
deurs pour encoder des structures de données complexes dans des représentations latentes.
Ces représentations latentes et leur erreur de représentation serviront ensuite de base pour un
cadre décisionnel simple et intuitif à appliquer. Nous illustrons ensuite comment, à partir d’au-
toencodeurs variationnels (VAE), nous sommes en mesure de créer ces dites représentations
et de détecter les anomalies dans un ensemble d’images.

2
Chapitre 1

Contexte

En premier lieu, nous allons commencer par faire une brève revue des différentes catégories de
méthodes de détection d’anomalies et de leur fonctionnement respectif. Ensuite, nous allons
faire un résumé de la théorie des autoencodeurs et expliquer comment ceux-ci sont perti-
nents dans un contexte de détection d’anomalies. Ensuite, nous allons décrire plus en détails
un type particulier d’autoencodeur utilisé dans cette étude, soit l’autoencodeur variationnel.
Finalement, nous allons expliquer comment les autoencodeurs, plus particulièrement les au-
toencodeurs variationnels, peuvent être utilisés dans un contexte de détection d’anomalies.

1.1 Les méthodes de détection d’anomalies

Tout d’abord, il est pertinent de commencer par mentionner que toutes les méthodes de détec-
tion d’anomalies fonctionnent fondamentalement de la même manière. En effet, ces algorithmes
sont en mesure de faire l’apprentissage d’un jeu de données et de stocker cette information
dans un modèle d’apprentissage. En sachant ce qui est "normal", il est donc également pos-
sible d’utiliser ce modèle pour évaluer ce qui est "anormal" en identifiant ce qui dévie de cette
"normalité". Le choix du modèle est crucial, car si celui-ci ne s’ajuste pas bien aux données,
il pourrait nous induire en erreur sur "l’anormalité" d’une observation (Aggarwal, 2016).

Pour démontrer l’importance du choix de modèle, prenons un exemple simpliste et fréquem-

ment utilisé en pratique, soit sur la moyenne d’une loi normale à variance connue, souvent
appelé le test Z. Dans ce test statistique, qui peut être utilisé pour de la détection d’anomalies,
l’hypothèse nulle est que les données suivent une loi normale de moyenne et variance connues.
Prenons par exemple des observations à une dimension x1 , ..., xN de moyenne µ et d’écart-type
σ. La valeur Z ; pour une observation xi peut être définie comme

|xi − µ|
Zi = . (1.1)
σ

3
Cette valeur Z nous donne en fait le nombre d’écarts-types dont une observation dévie de la
moyenne. On peut généralement penser que si une observation dévie beaucoup de la moyenne,
cela peut constituer un indicateur important d’anomalie. Dans ce cas-ci, on utilise souvent
la règle du pouce Zi ≥ 3 comme indicateur d’anomalie. En d’autres mots, une observation
est improbable, ou potentiellement "anormale", si elle se situe à plus de 3 écarts-types de la
moyenne. Ce modèle de détection d’anomalies s’applique bien dans le cas où nos observations
sont indépendantes et proviennent réellement toutes d’une même loi normale. Dans la figure
1.1a, on peut voir 5000 simulations d’une loi normale de moyenne nulle et d’écart-type égal à 2.
On peut voir que notre règle du pouce, ou notre modèle, fonctionne relativement bien puisque
les valeurs se situant à l’extérieur de l’intervalle [−6, 6] ont toutes une fréquence relative très
faible. Cela nous laisse croire que cette méthode de détection d’anomalies serait adéquate.

Dans une autre situation où les données ne proviennent pas d’une loi normale, notre règle du
pouce, ou notre modèle, peut être moins adéquat. Supposons que nos données proviennent
plutôt d’une loi à queue lourde, comme la loi standard Cauchy. En simulant 5000 observations
de cette loi, nous obtenons une moyenne empirique de −1.6 et un écart-type empirique de
160.2. C’est donc dire que l’intervalle défini avec le modèle précédent serait de [−482.2, 479].
On peut voir à la figure 1.1b que plusieurs observations ne sont pas considérées comme des
anomalies selon ce modèle, alors que leur fréquence relative est pourtant très faible.

0.25 0.30

0.25
0.20

0.20
Fréquence relative

Fréquence relative

0.15
0.15
0.10
0.10

0.05
0.05

0.00 0.00
20 10 0 10 20 20 10 0 10 20
Valeurs Valeurs

(a) Distribution normale (b) Distribution standard Cauchy

Figure 1.1 – Distribution de 5000 simulations d’une loi normale (a) et d’une loi standard
Cauchy (b).

L’exemple du test Z illustre simplement le fait que le choix du modèle aura un impact impor-
tant dans la détection d’anomalies. Au final, la pertinence du modèle choisi sera étroitement
liée à la nature des données. Il existe plusieurs catégories d’algorithmes de détection d’anoma-
lies. Dans Aggarwal (2016), quatre de ces approches nous apparaissent comme particulièrement
intéressantes à survoler.

4
1.1.1 Analyse des valeurs extrêmes
La détection d’anomalies via l’analyse des valeurs extrêmes est probablement une des ap-
proches les plus simples. Dans un cas à une seule dimension, les anomalies sont définies comme
les valeurs très grandes ou très faibles par rapport à la majorité des autres valeurs. On s’inté-
resse donc à la queue d’une distribution, comme dans l’exemple avec la statistique Z présenté
plus tôt. Bien que l’analyse des valeurs extrêmes ne soit pas la méthode la plus utilisée en
pratique pour identifier des anomalies, elle fait souvent partie intégrante de plusieurs autres
méthodes. En effet, l’analyse des valeurs extrêmes est souvent utilisée comme étape finale de
plusieurs autres algorithmes. C’est d’ailleurs ce qui permet généralement de déterminer ce qui
dévie d’une certaine normalité, via une valeur unidimensionnelle comme un score d’anomalie
ou une distance.

1.1.2 Les modèles probabilistes

L’élément clé des approches basées sur des modèles probabilistes est qu’on fait une hypothèse
sur la distribution des données. Ensuite, on ajuste le modèle statistique correspondant à cette
hypothèse sur les données en faisant l’apprentissage des paramètres du modèle. Un exemple
classique pourrait être d’ajuster un mélange de k lois normales. Avec ce modèle, on fait l’hy-
pothèse que chaque observation provient d’un des k groupes de la loi mélange, dont une ou
plusieurs de ces classes peuvent correspondre à des anomalies. On peut faire l’apprentissage des
paramètres du modèle avec l’algorithme expectation-maximization (EM). Par la suite, on peut
évaluer "l’anormalité" d’une observation en se basant sur le modèle ajusté. Ce type d’approche
a l’avantage de pouvoir s’appliquer assez facilement à plusieurs types de données. Par contre,
le désavantage est que l’on doit faire une hypothèse quant à la distribution des données, qui
peut parfois être inadéquate. Certains jeux de données peuvent difficilement être représentés
par une distribution connue, ce qui peut mener à un mauvais ajustement du modèle et ainsi
mener à de mauvaises conclusions quant à la nature d’une observation.

1.1.3 Les modèles linéaires et non-linéaires

Ce type d’approche est basé sur la projection des données dans un espace à plus petites di-
mensions via un modèle linéaire ou non-linéaire. Un exemple classique est l’utilisation d’une
régression linéaire. Par exemple, dans le cas d’une régression linéaire à deux variables expli-
catives, on apprend la relation entre les variables explicatives et la variable réponse yi donnée
par l’équation 1.2. Dans ce cas-ci, on utilise généralement la méthode des moindres carrés pour
estimer les paramètres du modèle, soit les paramètres β0 , β1 et β2 :

yi = β0 + β1 x1,i + β2 x2,i + i ∀i ∈ 1, ..., n. (1.2)

5
Les estimations de ces paramètres, soit βˆ0 , βˆ1 et βˆ2 , nous permettent de prédire la variable
réponse yˆi :

yˆi = βˆ0 + βˆ1 x1,i + βˆ2 x2,i ∀i ∈ 1,...,n, (1.3)

où n représente le nombre d’observations dans le jeu de données. On peut ensuite utiliser

l’erreur de prédiction comme indicateur d’anomalie. Cette erreur de prédiction, définie comme
yi − yˆi , est également appelée erreur de reconstruction. La prémisse de base est que si le
modèle est en mesure de bien s’ajuster aux données, les observations "normales" devraient
être bien reconstruites par le modèle. À l’inverse, les observations "anormales" devraient être
mal reconstruites par le modèle. On peut d’ailleurs se servir encore une fois de l’analyse des cas
extrêmes pour reconnaître les erreurs les plus importantes, et par le fait même, les anomalies.

Un autre exemple classique dans cette catégorie d’approches est l’utilisation d’une analyse en
composantes principales (ACP). Dans ce cas-ci, nous n’avons pas de variable réponse yi sur
laquelle calculer une erreur de reconstruction. L’erreur de reconstruction sera donc basée sur
la capacité de reconstruire l’entrée xi . Cette technique de réduction de dimensionnalité permet
de projeter les données dans un espace où les variables de représentation sont décorrélées et
où l’utilisation d’un sous-ensemble de ces variables peut être suffisante pour expliquer une
bonne partie de la variabilité originale des données. La transformation permettant d’obtenir
un espace de représentation à k dimensions est donnée par l’équation 1.4 :

Z = XV. (1.4)

Dans l’équation 1.4, X est une matrice n × p représentant les n observations initiales de
dimension p, mais où le vecteur de moyennes X̄, calculé sur chaque colonne de X, a été soustrait
à la matrice originale et où chaque élément de X est divisé par l’écart-type échantillonnal de
sa colonne. X est donc la matrice centrée et standardisée des données initiales. V représente
une matrice p × k, où k < p, de vecteurs propres correspondant aux k valeurs propres les
plus élevées de la matrice de corrélation Σ = n−1 X > X. La valeur k signifie qu’on conserve
seulement k variables de reconstruction, ou également appelées composantes principales. La
reconstruction des observations dans cet espace à k dimensions peut ensuite être retrouvée
par l’équation 1.5 :

X̂ = ZV > . (1.5)

La projection de cet espace plus petit vers l’espace original défini par l’équation 1.5 permet
d’obtenir une erreur de reconstruction. Celle-ci peut être obtenue par une fonction appliquée à

6
la différence entre X̂ et X. Par exemple, on pourrait prendre la distance quadratique moyenne
entre chaque instance de X̂ et X et ainsi obtenir n erreurs de reconstruction. Cette erreur de
reconstruction peut être utilisée pour trouver les observations qui dévient de la normalité du
modèle de la même manière qu’avec une régression linéaire.

Ce type d’approche de détection d’anomalies a le potentiel de mieux s’adapter à des données

où il n’y a pas de distribution connue. La régression linéaire est un exemple de modèle li-
néaire, mais on pourrait également utiliser un modèle plus complexe qui permet de capturer
des non-linéarités. Par exemple, il est possible d’utiliser des réseaux de neurones pour faire l’ap-
prentissage des données vers un espace de dimension inférieure. Le désavantage avec de telles
approches est qu’on peut perdre la notion d’interprétabilité, ce qui peut être ennuyeux dans
certains exemples d’applications où il peut être intéressant de savoir quelles raisons expliquent
la présence d’une anomalie dans les données.

1.1.4 Les méthodes basées sur les distances

Cette catégorie de méthodes de détection d’anomalies est basée sur l’idée de trouver les obser-
vations qui sont isolées de la majorité des autres observations. Cela est généralement quantifié
par des mesures de distances ou de dissimilarités. Parmi ces méthodes, on peut retrouver
trois sous-catégories fréquemment utilisées en pratique : les regroupements (clustering), les
méthodes de densité et les méthodes des plus proches voisins.

Dans le cas des regroupements et des méthodes de densité, l’objectif est de trouver des zones
de l’espace qui caractérisent les fréquences denses du jeu de données. Les anomalies sont
généralement identifiées en considérant les observations qui ne font pas parties de ces zones.
Dans le cas spécifique des regroupements, on fait une séparation de l’espace qui est basée
sur les observations elles-mêmes. Si on prend comme exemple l’algorithme de regroupement
k-moyennes, on peut évaluer le score d’anomalie d’une observation en prenant sa distance
minimale du centroïde des classes. Un autre exemple de méthode pouvant faire partie de cette
catégorie sont les Isolation forest (Liu et al., 2008). Dans cette approche, on tente d’isoler
les anomalies par des regroupements hiérarchiques réalisés sur des échantillons bootstrap des
données. Nous donnerons davantage de détails sur cette approche dans la section 3.2.4.

Dans le cas des méthodes de densité, on partitionne l’espace des données en k zones a priori,
ensuite on évalue la densité des observations dans chaque zone en fonction du nombre d’obser-
vations dans cette zone. Un exemple simple serait d’utiliser la méthode de l’histogramme afin
de compartimenter l’espace en plusieurs sous-espaces et ensuite évaluer la densité d’une région
par le nombre d’observations s’y retrouvant. Ce genre d’approche a généralement l’avantage
d’être interprétable, car on peut savoir exactement pourquoi une observation fait partie d’un
sous-ensemble ayant une faible densité. Prenons un exemple simple à seulement deux dimen-
sions où on retrouve le poids et la grandeur d’une personne. En séparant l’espace en différentes

7
régions, on réalise que seulement très peu de personnes ont un poids inférieur à 45 kg et une
grandeur supérieure à 1.80 m. Ainsi, on peut facilement expliquer pourquoi une personne de
39 kg et de 1.85 m est considérée comme une anomalie.

Finalement, les méthodes basées sur les plus proches voisins permettent de définir un score
d’anomalie qui dépend de la distance entre une observation et ses k plus proches voisins. Plus
cette distance est grande, plus on peut penser que la donnée est isolée du reste des autres
observations. Encore une fois, on peut avoir recours à l’analyse des cas extrêmes pour évaluer
à partir de quelle distance on peut considérer une donnée comme une anomalie.

1.2 Les autoencodeurs

Maintenant que nous avons couvert les notions de base de différentes approches de détection
d’anomalies, nous allons couvrir les concepts de base derrière le fonctionnement des autoen-
codeurs. Comme mentionné dans la section 1.1.3, certaines approches de modélisation plus
complexes, comme les autoencodeurs, peuvent être utilisées pour faire l’apprentissage d’un jeu
de données.

Les premiers travaux se rapprochant de l’autoencodeur connu aujourd’hui remontent aux

années 1980 (Rumelhart et al., 1986). Dans ces travaux, le principe était d’apprendre une
représentation cachée en utilisant l’entrée xi elle-même comme variable réponse à prédire.
Avec la montée en popularité des réseaux de neurones au début des années 2000, une nou-
velle génération d’autoencodeurs a vu le jour. Ces autoencodeurs avaient désormais plusieurs
couches cachées superposées (Hinton and Salakhutdinov, 2006), permettant ainsi de faire l’ap-
prentissage de données plus complexes comme des images. Un autoencodeur est un réseau de
neurones qui a comme objectif d’apprendre une représentation intermédiaire d’une entrée de
manière non-supervisée (Goodfellow et al., 2016). Pour réaliser cet objectif, l’autoencodeur se
décompose en deux composantes : un encodeur et un décodeur. L’encodeur reçoit en entrée x
et convertit celle-ci vers une représentation latente z. Le décodeur prend en entrée cette repré-
sentation latente z et la décode pour ainsi retrouver une sortie qui doit se rapprocher le plus
possible de l’entrée initiale x. Cette structure de base est illustrée dans la figure 1.2. Histori-
quement, les autoencodeurs étaient vus comme une méthode de réduction de dimensionnalité,
mais désormais, ceux-ci ont davantage d’applications liées au fait qu’ils peuvent apprendre
des variables latentes riches en informations. On peut citer des applications en vision nu-
mérique permettant de retrouver le contenu d’une image (Krizhevsky and Hinton, 2011) ou
même en traitement de la langue naturelle pour interpréter un discours oral (Feng et al., 2014).

L’intuition derrière les autoencodeurs est de reconstruire une entrée x en passant par deux
fonctions (l’encodeur et le décodeur) apprises par le modèle. Ces deux fonctions vont permettre
d’obtenir une sortie x̂, donnée par l’équation

8
 Couche Représentation Couche de
d’entrée (x) latente (z) sortie (x̂)

encodeur : qθ (x) décodeur : pφ (z)

Figure 1.2 – Exemple illustrant la structure de base d’un autoencodeur. Dans le cas ci-dessus,
on pourrait interpréter le schéma comme un réseau pleinement connecté où les blocs pourraient
représenter les neurones et les liens seraient les poids, ou les paramètres du réseau.

x̂ = pφ {qθ (x)}.

Ainsi, ce genre de méthode n’a pas besoin d’une étiquette y, car son objectif est de reproduire
la valeur de x elle-même ; c’est d’ailleurs pour cela qu’on parle d’une approche d’apprentissage
non-supervisée. L’apprentissage des paramètres est fait en minimisant l’erreur de reconstruc-
tion. La perte peut donc être définie par une fonction de la forme

L(x, x̂) = L(x, pφ {qθ (x)}),

où qθ (·) est l’encodeur et pφ (·) est le décodeur. L’optimisation de cette fonction de perte
est faite par descente du gradient. En d’autres mots, les paramètres θ de l’encodeur et φ
du décodeur sont optimisés graduellement, en prenant la dérivée de la fonction de perte par
rapport aux différents paramètres de ces deux composantes :

0 ∂L
Θ ←Θ−∗ ,
∂Θ

où  est un taux d’apprentissage qui permet de moduler la vitesse d’apprentissage et Θ = {θ, φ}

0
comprend les paramètres de l’encodeur et du décodeur. Θ correspond aux valeurs des para-
mètres à la suite d’une itération. Cette approche d’optimisation s’appelle la rétropropagation
du gradient. Il s’agit d’une composante clé dans l’optimisation des différentes couches des
réseaux de neurones.

9
Pour mieux comprendre l’entraînement d’un autoencodeur, illustrons l’apprentissage d’un au-
toencodeur de base avec un exemple simpliste. Supposons que nous avons en entrée un jeu de
données X avec p = 2 variables et n = 10 observations. Nous voulons encoder ces deux va-
riables dans une variable latente unidimensionnelle avec un autoencodeur à une seule couche
cachée. Au total, notre autoencodeur possède trois couches, soit une couche d’entrée, une
couche cachée et une couche de sortie. Nous choisissons également une fonction d’activation
sigmoïde pour notre couche cachée et une fonction d’activation linéaire pour notre couche de
sortie. Les fonctions d’activation sont des transformations appliquées aux valeurs des neurones
d’une couche du réseau, ce qui permettra entre autres d’avoir un modèle non-linéaire, dans le
cas de fonctions d’activation non-linéaires. L’architecture du réseau est illustrée dans la figure
1.3.
x1 x̂1
ω1 1
,1 ω 2,
z1

2
ω2
ω 1, ,2

b1 b2
x2 x̂2

encodeur : qθ (x) décodeur : pφ (z)

Figure 1.3 – Exemple simpliste d’une architecture d’autoencodeur

La fonction correspondant à l’encodeur, qui transforme l’entrée x vers la représentation latente

z, est définie par l’équation 1.6. Dans cette équation, h(·) est la fonction d’activation sigmoïde
donnée par h(x) = 1/(1 + e−x ). Les paramètres θ qui doivent être optimisés sont w1,1 , w1,2 et
b1 .

qθ (x) = h x1 w1,1 + x2 w1,2 + b1 . (1.6)

Pour définir l’encodeur, il est également possible d’utiliser la notation matricielle définie par
(i) (i)
l’équation 1.7 où X = [x1 , x2 ]. Pour une seule observation, on peut définir X (i) = [x1 , x2 ].
Le vecteur de poids w1 est donné par w1 = [w1,1 , w1,2 ] :

qθ (X) = h X ∗ w1 + b1 . (1.7)

10
De la même manière que pour l’encodeur, il est possible de définir de manière plus détaillée
la fonction associée au décodeur :


p1 (z) = z ∗ w + b ,
φ 2,1 2
pφ (Z) =
p2 (z) = z ∗ w + b .
φ 2,2 2

Les paramètres φ qui doivent être optimisés sont w2,1 , w2,2 et b2 . Encore une fois, il est possible
d’utiliser une notation matricielle, comme définie à l’équation 1.8 où w2 = [w2,1 , w2,2 ] :

pφ : R → R2 .


pφ (Z) = h Z ∗ w2 + b2 = X̂, (1.8)

Pour trouver les valeurs optimales des paramètres θ et φ du modèle, nous devons définir une
fonction de perte (équation 1.2). Supposons que nous voulons minimiser l’erreur de recons-
truction seulement ; nous pouvons alors définir notre fonction de perte de la manière suivante :

L(X,X̂) = L X, pφ {qθ (X)}
n
1 X (i)
= [x − pφ {qθ (x(i) )}]T [x(i) − pφ {qθ (x(i) )}]
2
i=1
n Xp=2
1 (i) (i)
2
xj − pjφ {qθ (xj )} ,
X
=
2
i=1 j=1

où i représente la i-ième observation et j représente le j-ième élément de l’entrée X. Maintenant

que nous avons notre fonction de perte, nous pouvons optimiser les paramètres de nos fonctions
encodeur et décodeur en utilisant la règle de dérivation en chaîne sur chacune des couches de
notre réseau (voir équation 1.2). Il s’agit d’une manière assez courante pour entraîner un
autoencodeur.

Une fois que l’autoencodeur est entraîné, il est possible d’utiliser l’erreur de reconstruction
comme score d’anomalie. En effet, une donnée mal reconstruite pourrait être vue comme une
donnée aberrante, ou une donnée que le réseau n’a pas eu l’habitude de voir lors de l’entraîne-
ment. Dans Aggarwal (2016), ce genre de méthode de détection d’anomalies fait partie de la
catégorie des algorithmes basés sur les modèles linéaires ou non-linéaires. Dans ce genre d’ap-
proche, on fait généralement l’apprentissage du modèle par l’erreur de reconstruction, où l’on
cherche à minimiser les erreurs de prédiction. Toutefois, l’erreur de reconstruction n’est pas le
seul critère qui peut être utilisé pour entraîner un autoencodeur. Dans la prochaine section,
nous allons considérer un type précis d’autoencodeur, soit l’autoencodeur variationnel. Nous
verrons également quelle autre composante peut être utilisée comme score d’anomalie.

11
1.3 Les autoencodeurs variationnels
Les autoencodeurs variationnels (VAE) Kingma and Welling (2013) ont une approche légè-
rement différente des autres autoencodeurs. En effet, au lieu d’encoder les données dans un
vecteur de variables latentes à p dimensions, les données sont plutôt encodées dans deux
vecteurs de taille p : un vecteur de moyennes µ et un vecteur d’écarts-types σ. Ces deux
vecteurs sont ensuite utilisés comme paramètres d’une distribution paramétrique servant à gé-
nérer aléatoirement une représentation latente à p dimensions. Cette dernière représentation
latente correspond donc dans ce cas-ci à une simulation d’une loi normale multivariée avec
les paramètres µ et σ. Cela permet d’obtenir, pour une donnée x, une représentation latente
continue. C’est d’ailleurs la particularité la plus importante des VAE par rapport aux autres
autencodeurs. En d’autres mots, les autoencodeurs de base ont comme objectif d’apprendre
une représentation latente discrète, alors que les VAE apprennent une représentation continue
qui représente plutôt une zone de l’espace latent. Cette zone est effectivement définie par les
paramètres µ et σ associés à une entrée donnée. Cela veut aussi dire qu’une fois l’algorithme
entraîné, la sortie de celui-ci est stochastique dans le sens où deux encodages d’une même
entrée x peuvent donner deux sorties différentes. Cependant, une donnée x va toujours me-
ner aux mêmes valeurs de µ et σ, cette composante n’est donc pas stochastique. La figure 1.4
illustre la structure de base des autoencodeurs variationnels. Dans cette figure, on peut remar-
quer que comme dans le cas d’un autoencodeur traditionnel, les données en entrée passent par
des couches cachées, qui peuvent être pleinement connectées ou de convolution. Une couche
pleinement connectée est une couche où chaque neurone est connecté avec tous les neurones
de la couche suivante. Cette connexion est faite via un produit matriciel entre les valeurs des
neurones et les poids du modèle. Dans le cas d’une couche de convolution, le produit matri-
ciel est obtenu entre les valeurs d’une matrice se déplaçant sur toutes les zones de la couche
précédente. Cette matrice, également appelée un filtre, est généralement carrée et de petites
dimensions. Les paramètres d’une couche de convolution sont les valeurs de cette matrice,
ou de ce filtre. Contrairement aux couches pleinement connectées, les couches de convolution
ont l’avantage d’avoir beaucoup moins de paramètres, ce qui devient un aspect crucial dans
le domaine de la vision numérique où les données d’entrée sont généralement très complexes.
De plus, les filtres se déplaçant sur l’image permettent de traiter l’information de manière
localisée, ce qui est également un aspect important dans le traitement des images.

Comme les autoencodeurs traditionnels, la première partie de l’autoencodeur variationnel

est l’encodeur, qθ (·). Un peu avant d’obtenir la représentation latente, le réseau se divise
en deux composantes (µ et σ). La représentation latente z est ensuite générée en simulant
une réalisation d’une loi normale multivariée avec les paramètres µ et σ. C’est la fonction
qu’on désigne par qθ (z|x) dans la figure 1.4. Une fois la représentation z générée, celle-ci
est décodée jusqu’au format original par des couches pleinement connectées ou des couches de
déconvolution. Pour les couches de déconvolution, on fait l’opération inverse de la convolution.

12
Cette partie est le décodeur, pφ (·).

Couche Couche
d’entrée de sortie

qθ (z|x) ∼ N (µ, σ)
µ
z
σ

encodeur : qθ (x) décodeur : pφ (z)

Figure 1.4 – Structure de base d’un autoencodeur variationnel. La représentation latente z

est générée en simulant de la loi qθ (z|x), une loi normale multivariée avec les paramètres µ et
σ calculés par le réseau.

Les autoencodeurs variationnels sont également différents quant au calcul de perte qui est
essentiel à l’optimisation du réseau. En effet, on ajoute une autre composante de perte à
l’erreur de reconstruction de base. La fonction de perte est désormais définie comme une
somme de deux composantes :

 
L(x, pφ {qθ (x)}) + DKL qθ (z|x)||p(z) , (1.9)

où DKL est une divergence de Kullback-Leibler. Cette mesure statistique permet de quantifier
la différence entre deux distributions. Pour deux distributions continues A et B, respectivement
de densités a(·) et b(·), la divergence de Kullback-Leibler est donnée par

Z ∞  a(x) 
DKL (A||B) = a(x)log
b(x)
Z−∞
∞ (1.10)
= a(x)[log(a(x)) − log{b(x)}].
−∞

Dans le cas précis de l’autoencodeur variationnel, la distribution qθ (z|x) est une loi normale
multivariée de paramètres µ et σ. La loi p(z), ou la loi a priori, est une loi normale multivariée
standard N (0,I), où I est la matrice identitaire. Dans le calcul de perte, plus la représentation
latente simulée provenant de la distribution qθ (z|x) diverge d’une loi N (0, I), plus la perte
sera importante. Cela permet de régulariser la représentation latente dans un espace contraint
par la distribution a priori. Pour le calcul du critère de Kullback-Leibler entre une loi N (µ, σ)
et une loi N (0, I) à k dimensions, l’équation 1.10 se développe comme suit :

13
 Z ∞ 
DKL (Nµ,σ ||N0,I ) = Nµ,σ (x) log(Nµ,σ (x)) − log(N0,I (x))
−∞ (1.11)
1
= tr(σ 2 ) + µT µ − k − log det(σ 2 ) .
2
.

La trace calculée sur σ 2 est la somme des variances sur les k dimensions. Étant donné que la
matrice de variance-covariance est supposée diagonale a priori, son déterminant est égal au
produit des éléments de sa diagonale. On peut donc simplifier l’équation 1.11 comme suit :

1n X 2 X 2 X Y o
DKL (Nµ,σ ||N0,I ) = σk + µk − 1 − log σk2
2
k k k k
1n X 2 X 2 X X o
= σk + µk − 1− log(σk2 ) (1.12)
2
k k k k
1 Xn 2 o
= σk + µ2k − 1 − log(σk2 ) .
2
k

Il est aussi possible de réécrire l’équation 1.12 sous cette forme :

1 Xn 2 2 2
o
DKL (Nµ,σ ||N0,I ) = exp(σk ) + µk − 1 − σk . (1.13)
2
k

L’objectif de cette nouvelle composante est de s’assurer que la distribution encodée qθ (z|x) ne
dévie pas trop de la distribution a priori p(z). Si cette composante de perte est suffisamment
prise en compte lors de l’optimisation, nous devrions donc obtenir des paramètres µ et σ se
rapprochant d’un vecteur de 0 et d’un vecteur de 1.

Comme expliquée un peu plus tôt, la représentation latente de ce type d’autoencodeur est
simulée d’une loi normale multivariée, donc stochastique. Cela pourrait en théorie rendre
complexe la tâche d’optimisation du réseau. En effet, les paramètres du réseau, soit ceux de
l’encodeur et du décodeur, sont optimisés par descente du gradient. On calcule donc la perte
L(x) et on dérive cette fonction par rapport à chaque paramètre du réseau. Mais qu’en est-il
de la loi normale multivariée qui a généré notre représentation latente ? Afin de simplifier le
calcul des dérivées lors de la rétropropagation, on redéfinit le calcul de la représentation z dans
un format plus simple. Cette simplification est communément appelée la reparametrization
trick. En effet, il est possible pour certaines distributions, comme la loi normale, de séparer
ses paramètres (µ et σ) de sa composante stochastique. Concrètement, on peut définir une
simulation normale multivariée comme

z = µ + diag(σ) ∗ , (1.14)

14
où  ∼ N (0,I) et ∗ dénote le produit élément par élément. En bref, cela signifie que la couche
z, illustrée dans la figure 1.4, est générée à partir de deux couches de paramètres µ et σ et
d’une simulation N (0,I). Cette réécriture permet d’isoler la composante stochastique associée
à la loi normale. Lors de la rétropropagation, on peut calculer les dérivées des paramètres µ
et σ seulement et ignorer .

1.3.1 β-VAE
La composante de perte associée au critère de divergence de Kullback-Leibler apporte de la
régularisation au modèle en restreignant celui-ci dans un certain espace contraint (Kingma
and Welling, 2013). Cette régularisation est d’autant plus importante dans un contexte où les
réseaux de neurones ont un potentiel d’apprentissage important et où il devient primordial
d’éviter le sur-apprentissage. Par contre, trop de régularisation pourrait amener un réseau à
sous-apprendre. Il est donc important de trouver le bon équilibre entre la perte associée à la
reconstruction et la perte associée au critère de Kullback-Leibler (KL).

Pour trouver ce bon équilibre, on peut ajouter un hyperparamètre à notre fonction de perte.
Cet hyperparamètre, dénoté β, permet de donner plus ou moins d’importance au critère de
KL. Avec cet hyperparamètre, la fonction de perte est maintenant donnée par

 
L(x, pφ {qθ (x)}) + β × DKL qθ (z|x)||p(z) . (1.15)

Dans ce cas-ci, on parle plutôt d’un β-VAE, qui a été introduit par Higgins et al. (2017).
Plus la valeur de cet hyperparamètre β est élevée, plus la régularisation est importante et
aussi plus les éléments de la représentation latente seront dissociés les uns des autres (ce
qu’on appelle une représentation disentangled en anglais). Cela est dû à la covariance nulle
de la loi normale multivariée utilisée comme fonction a priori de p(z), sur laquelle ce critère
de perte est basé. Cette propriété de disentanglement peut devenir intéressante dans le cas
où l’on souhaite avoir des variables latentes indépendantes qui expliquent différents aspects
des données. Un exemple cité dans Higgins et al. (2017) fait référence à un jeu de données
synthétiques de visages. Après avoir entraîné un réseau qui permet d’obtenir des variables
latentes disentangled, les auteurs sont capables de démontrer que chaque variable latente a une
fonction précise dans l’image reconstruite : rotation, éclairage, élévation, etc. Ils ont d’ailleurs
illustré ces différentes fonctions en faisant varier les valeurs d’une variable latente à la fois.
Ces variations permettaient de modifier différents aspects de l’image reconstruite, comme par
exemple la rotation de l’image.

15
1.3.2 La détection d’anomalies avec un VAE
Pour ce qui est de la détection d’anomalies, les autoencodeurs variationnels, ou les β-VAE
peuvent en théorie être utilisés de la même manière qu’un autoencodeur de base. En effet, le
VAE calcule une erreur de reconstruction qui peut ensuite être utilisée comme score d’anoma-
lie. Par contre, une autre composante du VAE peut potentiellement être intéressante dans un
contexte de détection d’anomalie, et c’est d’ailleurs autour de cela que va se concentrer la suite
de ce mémoire. Il s’agit de la représentation latente qui elle est basée sur une distribution a
priori. Étant donné que la fonction de perte du VAE pénalise une représentation latente s’éloi-
gnant de cette distribution a priori, il serait intéressant de voir comment se comporte cette
représentation latente pour des observations "normales" comparativement à des observations
"anormales". Cette représentation, potentiellement riche en informations, possède générale-
ment un niveau de complexité bien inférieur à l’entrée x elle-même. En bref, le fait d’obtenir
une représentation simple et riche en informations sur laquelle on a un a priori pourrait deve-
nir une possibilité intéressante quant à la détection d’anomalies. Avec ce survol des méthodes
de détection d’anomalies et des autoencodeurs, nous sommes en mesure de décrire plus en
détails notre approche proposée dans le prochain chapitre.

16
Chapitre 2

Méthode de détection d’anomalies

Le cœur de notre travail consiste à proposer une méthode de détection d’anomalies où nous
utilisons la représentation latente d’un autoencodeur variationnel. Cette représentation servira
ensuite comme base pour notre cadre décisionnel nous permettant de détecter des anomalies
dans un ensemble de données constitué d’images.

2.1 Les objectifs de l’approche

Le premier objectif de notre approche est de faire la détection d’anomalies sur des données
complexes, par exemple des images. Nous considérons une image "anormale" comme une image
qui contient un contenu global substentiellement différent des autres images. Par exemple, si
nous avons un jeu de données d’images de voitures, nous pouvons considérer une image de
chien comme une anomalie.

Le deuxième objectif que nous poursuivons est d’avoir une approche qui discrimine des ano-
malies en utilisant un seuil qui s’apparente à un niveau de confiance plutôt qu’à une métrique
quelconque qui peut être difficile à établir et à interpréter. Sachant ces objectifs, il faut que
notre méthodologie soit en mesure de traiter des données complexes et doit nous donner en
sortie un score d’anomalie facile à interpréter.

Tout d’abord, il est pertinent de mentionner que le choix d’utiliser des réseaux de neurones,
plus particulièrement des autoencodeurs, est étroitement lié au fait de traiter des données com-
plexes. En effet, les réseaux de neurones ont le potentiel d’apprendre des relations complexes
et non-linéaires. De plus, l’architecture du réseau peut être adaptée selon la complexité des
données en ajoutant des couches de paramètres. Finalement, les réseaux à convolutions sont
également bien adaptés au domaine de la vision numérique en prenant en compte l’information
de manière locale dans une image.

Ensuite, l’avantage d’avoir un score d’anomalie facile à interpréter en sortie est de simplifier
la prise de décision pour discriminer les anomalies des observations "normales". Pour illustrer

17
cet avantage, prenons un contre-exemple où l’on veut faire la détection d’anomalies à partir
d’une méthode basée sur une distance comme les k plus proches voisins. Dans cette approche,
nous pourrions considérer comme "anormales" les observations pour lesquelles il y a moins
de k voisins à l’intérieur d’un rayon de longueur . La détection d’anomalie requiert donc de
définir les paramètres k et , qui ne pourront pas être choisis aussi facilement qu’un niveau de
confiance. Un score d’anomalie que l’on pourrait interpréter de manière similaire à un niveau
de confiance serait effectivement beaucoup plus simple et objectif à déterminer.

2.2 Les hypothèses de l’approche

Dans notre approche, nous supposons que nous avons accès à un jeu de données d’entraînement
X = {X (1) , ..., X (n) } qui contient n observations indépendantes de X ∈ Rd1 ×d2 . Afin de
simplifier la notation, on suppose que les matrices sont carrées, soit d1 = d2 = d. De cette
manière, ces matrices peuvent être exprimées comme des vecteurs de longueur d2 . On pourrait
aisément traiter des matrices où d1 serait différent de d2 . Dans notre cas, on peut donc réécrire
(i) (i)
sous la forme vectorielle x(i) = [x1 ,...,xd2 ] ; la façon d’obtenir cette forme vectorielle a peu
d’importance, tant qu’on procède toujours de la même manière pour toutes les observations.
Ces représentations peuvent être obtenues par ligne ou par colonne. Dans notre cas, nous avons
dû procéder à ce genre de transformation pour l’une des approches comparatives testées dans
nos applications, soit l’analyse en composantes principales. Pour ce faire, nous avons aplati les
matrices (images) en vecteurs. La figure 2.1 illustre de quelle façon nous pourrions procéder
pour des images à un seul canal et des images à trois canaux, ou de type RGB.

Les n observations de notre jeu d’entraînement proviennent d’un mélange à proportion (1 − p)

d’observations identiquement distribuées dites "normales" et p d’observations identiquement
distribuées dites "anormales". Dans un cas théorique, on pourrait dire que nos observations
"normales" proviennent d’un sous-ensemble, disons N , faisant partie de l’ensemble T . Les
observations "anormales", A, peuvent quant à elles provenir du reste de l’ensemble T , soit N ∩
T . Cet exemple est illustré à la figure 2.2a. Cependant, dans la pratique il est difficile d’obtenir
des images "anormales" couvrant la totalié de l’ensemble N ∩ T . Pour nous permettre d’avoir
une population d’observations "anormales", nous allons plutôt assumer que nos anomalies
proviennent d’un sous-ensemble A, ce qui est illustré à la figure 2.2b.

Pour indiquer si la matrice X (i) provient de la population dite "normale" N , soit X (i) ∈ N ,
on utilise la fonction indicatrice définie ci-dessous,


0 si X (i) ∈ N
δi =
1 si X (i) 6∈ N .

18
 Image brute Version matricielle Version vectorielle

2 5 3 10

5 90 150 95

4 10 120 75 2 5 3 … 55 20

6 50 130 60

45 155 55 20

(a) Images à un seul canal ("noir et blanc")

Image brute Version matricielle Version vectorielle

32 9 30 121
78 16 16 35 2
2 5 3 10 4 56
5 90 150 95 50 202 2 5 … 20 78 16 … 98 32 9 … 43

4 10 120 75 160 43

6 50 130 60 98

45 155 55 20

(b) Images à 3 canaux (RGB )

Figure 2.1 – Figure illustrant une méthodologie pour transformer une image d’entrée brute
en format vectoriel selon le nombre de canaux de l’image. Les valeurs présentées dans les
matrices sont fictives.

On suppose que la proportion p est faible, typiquement moins de 5%. Dans la pratique, nous ne
connaissons pas la valeur des δi , ce qui veut dire que nous ne pouvons connaître la proportion
réelle d’anomalies p.

Nous avons également k observations indépendantes de matrices constituées des mêmes d × d

dimensions dans un jeu de données test X ∗ = {X ∗(1) ,...,X ∗(k) }. On suppose que la proportion
d’anomalies p∗ dans ce jeu de données est similaire ou différente de p. C’est donc dire que parmi
ces k observations, (1 − p∗ ) × k proviennent de la même distribution N que les données du jeu
d’entrainement et une proportion p∗ sont des anomalies (également de la même population
A d’anomalies que le jeu d’entrainement). De la même manière que pour le jeu de données

19
 T T

N N A

A=N ∩T

(a) Exemple théorique (b) Exemple pratique

Figure 2.2 – Exemple illustrant comment nos ensembles de populations "normales" et "anor-
males" sont créés dans nos jeux de données.

d’entraînement X , nous ne savons pas si une matrice X ∗ du jeu de données test provient de la
population dite "normale" N . Nous ne connaissons donc pas non plus la proportion réelle p∗ .
Pour indiquer si la matrice X ∗(i) provient de la population dite "normale" N , soit X ∗(i) ∈ N ,
on utilise la même fonction indicatrice que celle définie dans l’équation 2.1 :


0 si X ∗(i) ∈ N
δi∗ = (2.1)
1 si X ∗(i) 6∈ N .

2.3 Description de l’approche

Notre approche se divise essentiellement en deux étapes. La première étape implique d’en-
traîner un autoencodeur variationnel pour apprendre les "caractéristiques" de la population
normale du jeu de données d’entraînement X . La deuxième étape consiste à définir un cadre
décisionnel à partir des représentations latentes de l’autoencodeur entraîné nous permettant
ainsi d’identifier les anomalies dans le jeu de données de test X ∗ avec seuil α similaire à un
niveau de confiance, mais que nous appellerons plutôt niveau de filtration.

2.3.1 Entraîner l’autoencodeur

La première étape consiste à utiliser le jeu de données d’entraînement X pour entraîner l’au-
toencodeur variationnel. Étant donné que X ne contient presque pas d’anomalies, cela devrait
permettre d’appendre les caractéristiques, ou la distribution, de la population dite "normale".
Cette distribution apprise sera contenue dans la représentation latente du VAE entraîné, ou
plus spécifiquement dans les couches µ et σ du réseau. Ces deux couches précèdent la couche
latente et permettent de générer celle-ci de manière stochastique, comme nous l’avons vu dans
la section 1.3. Les VAE sont généralement entraînés avec une fonction de coût à deux com-
posantes (voir l’équation 1.9). Une de ces deux composantes est associée à la représentation

20
latente du réseau, s’assurant ainsi que celle-ci s’approche d’une distribution a priori, soit une
N (0, I) dans notre cas. Pour ce faire, les valeurs des couches µ et σ doivent s’approcher des
paramètres de la loi a priori, soit les vecteurs (0, 1) = (0m , 1m ) dans le cas d’une représen-
tation latente à m dimensions ; nous pourrons d’ailleurs tirer avantage de cette hypothèse a
priori dans notre règle de décision que nous allons décrire en détails à la prochaine section.
La deuxième composante de la fonction de perte, soit l’erreur de reconstruction, demeure
primordiale dans l’entraînement du réseau. Dans sa forme la plus simple, cette erreur de re-
construction est définie pixel par pixel. Dans le cas de l’erreur quadratique moyenne, cette
composante de perte peut être définie pour la contribution d’une observation i comme

d 2
(i) (i) 1 X (i)
L(x , pφ {qθ (x )}) = 2 (xl − pφ {qθ (x(i) )}l )2 , (2.2)
d
l=1

où pφ {qθ (x(i) )}l est le l-ème élément du vecteur ou de la matrice de sortie pφ {qθ (x(i) )} donnée
par l’équation 1.2. Dans le cas d’une image, le l-ème élément correspond au l-ème pixel de
l’image.

La fonction de perte définie à l’équation 2.2 accorde autant d’importance à chacun des pixels
de l’image. C’est donc dire que le réseau a pour objectif de bien reconstruire autant les pixels
en arrière-plan que les pixels centraux. Dans notre cas, on cherche à trouver des anomalies
dans le contenu global de l’image. Pour illustrer ce qu’on veut dire par "contenu global", la
figure 2.3 montre quelques exemples d’images considérées comme "normales" et "anormales".
Dans la figure 2.3, on peut y voir que les images "normales" de la sous-figure 2.3a corres-
pondent à des voitures dans un environnement extérieur. La sous-figure 2.3b présente des
images "anormales", où l’on peut apercevoir des chiens dans un environnement extérieur.
Même si l’arrière-plan de ces images est similaire à celui de 2.3a, le contenu global correspond
à des images de chiens et non de voiture. À l’opposé, on peut apercevoir à la sous-figure 2.3c
des images de voitures correspondant à des modèles particuliers, des environnements intérieurs
et aussi contenant des écritures sur les marges supérieures et inférieures de l’image. Malgré
ces observations, le contenu global de ces images correspond tout de même à des voitures, ce
qui nous amène à les considérer comme des images dites "normales".

La figure 2.3 illustre le fait qu’il devient pertinent de trouver une manière d’accorder plus
d’importance au contenu global de l’image. Pour ce faire, on utilise un concept qui s’appelle
perceptual loss. Dans ce type d’optimisation, on calcule la perte en se basant sur une couche
spécifique d’un autre réseau de neurones pré-entraîné sur beaucoup plus d’images. En pratique,
on utilise généralement des architectures de réseaux connus, comme VGG (Simonyan and
Zisserman, 2014) ou ResNet (He et al., 2015), pré-entraînés sur ImageNet (Deng et al., 2009).
Cette approche est d’ailleurs utilisée pour transformer le style d’une image, par exemple pour
donner le style d’un peintre célèbre à une image quelconque (Johnson et al., 2016). La figure 2.4

21
 (a) Images "normales" (b) Images "anormales" (c) Images "normales"

Figure 2.3 – Figure illustrant des exemples d’images considérées comme "normales" et
d’autres comme "anormales". Dans ce cas, les images dites "normales" sont des images de
voitures.

illustre le mécanisme exact du calcul de la perte. On peut y voir que l’erreur de reconstruction
du réseau n’est plus calculée directement entre la sortie du réseau x̂ et l’entrée x. En effet, les
deux composantes sont plutôt données en entrée à un autre réseau, et l’erreur est calculée en
comparant plutôt une représentation précise de ce réseau obtenue par ces deux composantes.

Étant donné que le réseau correspondant à la fonction g(·) dans la figure 2.4 est pré-entraîné sur
plusieurs images réelles, cela nous permet d’extraire une couche qui contient de l’information à
plus bas niveau comme la reconnaissance de lignes, des formes précises, des couleurs, etc. Plus
la couche sélectionnée est près de l’entrée du réseau, plus l’information utilisée pour calculer
la perte sera simple et brute. À l’inverse, si on sélectionne une couche plus près de la sortie,
nous serons en mesure de prendre en compte de l’information plus complexe, par exemple
des formes particulières (Johnson et al., 2016). L’erreur de reconstruction qui était définie à
l’équation 2.2 peut maintenant se définir comme suit :

d2
(i) (i) 1 X h (i) i2
L(x , pφ {qθ (x )}) = 2 g(x )l − g(pφ {qθ (x(i) )})l . (2.3)
d
l=1

L’objectif d’utiliser ce type de perte est d’optimiser la reconstruction du réseau non pas sur les

22
 Image
VAE VGG16*
d’entrée

pφ {qθ (x)} x̂ g(·) g(x̂)

x g(·) g(x)

Figure 2.4 – Figure montrant le mécanisme derrière le concept de perceptual optimization. Au

lieu de calculer la perte entre x et x̂, la perte est calculée entre g(x) et g(x̂). La fonction g(·)
permet d’extraire les valeurs d’une couche spécifique d’un autre réseau pré-entraîné, comme
par exemple VGG16 pré-entraîné sur ImageNet.

valeurs précises des pixels reconstruites en sortie, mais plutôt sur des représentations contenant
de l’information plus structurée. Cela permet entre autres d’orienter l’apprentissage vers la
reconstruction du contenu à plus haut-niveau, plutôt que sur la reconstruction parfaite de
chaque pixel. Il est important de rappeler que notre objectif est de trouver des anomalies, et
non reconstruire parfaitement des images.

Une fois l’autoencodeur variationnel entraîné, c’est-à-dire lorsque les paramètres θ et φ sont
fixés, il nous est donc possible d’utiliser la partie encodeur du réseau, qθ (·), pour transformer
les images, ou les données en entrée, en une paire de vecteurs (µ, σ) :

qθ (x) = (µ, σ), µ ∈ Rm , σ ∈ Rm .

Certains détails supplémentaires concernant l’entraînement de l’autoencodeur variationnel se-

ront décrits dans la section 3.2.1.

2.3.2 Définir le cadre décisionnel

La prochaine étape de notre approche consiste à définir un cadre décisionnel nous permettant
de discriminer les anomalies des observations "normales". Avec ce cadre décisionnel, on cherche
à savoir si une observation provenant du jeu de données test, soit X ∗ , provient de la population
normale N . Pour ce faire, nous allons définir une métrique ou une statistique de distance,
obtenue via une fonction T (·), que nous pourrons ensuite comparer à un seuil de décision
s. La valeur de la statistique de distance et le seuil nous permettront de définir une région
RN = {x : T (x) < s}, pour un s > 0. Si une observation x(i) se retrouve dans cette région RN ,

23
nous pourrons supposer que celle-ci est de la population N , donc poser δ̂i∗ = 0. Afin de prendre
en compte l’apprentissage fait par l’autoencodeur variationnel, la statistique de distance sera
basée sur la représentation latente obtenue par l’encodeur qθ (·) pour une observation x(i) .
Cela nous permet de réécrire la région RN ainsi :

RN = {x : T (qθ (x(i) )) < s}.

Pour obtenir cette région RN , il faut donc procéder en deux étapes. La première consiste à
calculer la statistique de distance, donnée par la fonction T (·), sur chacune des instances de
notre jeu de données d’entraînement. La deuxième étape consiste à calculer le seuil s, ce que
nous ferons plus bas à l’aide d’un niveau de filtration α similaire à un niveau de confiance. Ces
deux étapes nous permettront de définir notre région de décision nous permettant d’inférer
quelles observations du jeu de données test devraient être étiquetées comme des anomalies.
Les prochaines sections décrivent plus en détails comment calculer les statistiques de distance
et comment définir le seuil à partir de celles-ci.

Définir une statistique de distance

À partir de la section 2.3.1, nous sommes en mesure d’obtenir des représentations latentes,
encodées sous forme de vecteurs, pour chaque instance de notre jeu de données X . Nous allons
utiliser ces représentations latentes pour générer une statistique de distance selon laquelle nous
prévoyons un comportement différent selon qu’une observation est "normale" ou "anormale".
La métrique que nous avons choisie pour définir notre statistique de distance est la distance de
Kullback-Leibler entre une loi N (µ, σ) et une loi N (0,I), où les vecteurs (µ, σ) correspondent à
la représentation latente obtenue par l’autoencodeur variationnel. Cette statistique de distance,
que nous appellerons T , est donc définie comme suit pour une observation i :

T (i) = DKL N (µ(i) , σ (i) )||N (0, I) ,

 

qui permet donc de quantifier la distance entre les vecteurs (µ(i) , σ (i) ) de la représentation
latente d’une observation i et les vecteurs (0m , 1m ) correspondant aux paramètres d’une loi
N (0,I). Nous pouvons donc calculer cette distance pour chacune des n observations du jeu
de données d’entraînement X pour obtenir l’ensemble de valeurs TX = {T (1) , ..., T (n) }. Le
raisonnement derrière le choix de cette métrique réside dans le fait que celle-ci est utilisée
comme composante dans le critère de perte utilisé lors de l’entraînement de l’autoencodeur.
Si l’importance relative de cette composante de perte est différente entre les anomalies et les
observations "normales", cette différence devrait se refléter dans les représentations latentes,
donc aussi dans la statistique de distance calculée. Le débalancement naturel des anomalies

24
dans un jeu de données nous amène à faire l’hypothèse que les deux composantes de perte ne
seront pas optimisées de manière similaire entre les anomalies et les observations "normales".

Maintenant que nous avons fait l’hypothèse que les valeurs des statistiques de distance des
anomalies différeront des valeurs des statistiques de distance des observations "normales", il
reste à savoir si une valeur élevée est un signe d’anomalie ou l’inverse. Pour savoir comment
interpréter la valeur de la statistique, il faut inspecter certaines observations du jeu de don-
nées d’entraînement. Nous proposons d’analyser certaines observations ayant des statistiques
de distance élevées et certaines observations ayant des statistiques de distance faibles. En ana-
lysant les deux extrémités, nous serons en mesure de conclure comment les représentations
latentes des observations dites "normales" se comportent par rapport à la loi N (0,I).

Nos expérimentations révèlent deux scénarios possibles par rapport au comportement des
représentations latentes d’observations "normales" par rapport à la N (0,I) :

1. Près de la N (0,I) : Les valeurs des statistiques de distance correspondant aux obser-
vations "normales" sont faibles dans l’ensemble TX .
2. Éloigné de la N (0,I) : Les valeurs des statistiques de distance correspondant aux
observations "normales" sont élevées dans l’ensemble TX .

Les deux scénarios décrits ci-dessus sont illustrés en exemple dans la figure 2.5. Dans cette
figure, on peut voir le paramètre µ sur l’axe des x et le paramètre σ 2 sur l’axe des y, ce
qui représenterait le cas où les représentations latentes auraient une seule dimension, soit une
valeur générée par une loi N (µ, σ 2 ). On peut y voir la différence par rapport au point central
(les deux croix noires) entre les observations connues "normales" (les points rouges) et les
observations connues "anormales" (les points bleus). La marque en forme de "+" correspond
au point central des observations "normales" et la marque en forme de "x" correspond au point
central des observations "anormales". Cette figure illustre le cas où l’on connait l’étiquette de
toutes les observations. Dans un cas réel, nous ne connaitrons pas ces étiquettes et il faudra
donc tenter de déterminer lequel de ces deux scénarios semble le plus plausible en analysant
certaines observations étant très près et très éloignés du point central (0m , 1m ).

1.01

0.6
1.00
Sigma^2

Sigma^2

Anomalie Anomalie
0.99 0 0
0.4
1 1

0.98

0.2

0.97

−0.01 0.00 0.01 −0.4 −0.2 0.0 0.2 0.4

Mu Mu

(a) Scénario 1 (b) Scénario 2

Figure 2.5 – Exemples de situations représentant les deux différents scénarios se rapportant
aux représentation latentes des observations "normales" et "anormales".

25
Une fois que nous avons défini et analysé les statistiques de distance obtenues sur l’ensemble
d’entraînement, nous pouvons passer à la prochaine étape qui consiste à trouver le seuil s nous
permettant de définir la région de décision RN .

Trouver le seuil s

Pour trouver le seuil s, on va utiliser un niveau de filtration α similaire à un niveau de

confiance. Ce niveau de filtration α nous permettra de déterminer le seuil s. Le seuil déterminé
avec un niveau de filtration α sera appelé s(1−α) . Par exemple, avec un niveau de filtration
α = 0.05, notre seuil s0.95 nous permettra d’identifier les observations ayant des statistiques
de distances se retrouvant dans les 95% plus "normales" de l’ensemble d’entraînement X . En
faisant varier ce paramètre α, nous pourrions identifier plus ou moins d’anomalies. Dans le
cas où la proportion d’anomalies p est connue et la même dans X et X ∗ , il est logique de fixer
α = p.

Pour fixer la valeur du seuil s(1−α) , nous allons extraire une valeur de notre ensemble de
statistiques de distance TX . Nous pourrons ensuite comparer cette valeur s(1−α) à la valeur
d’une statistique de distance correspondant à une nouvelle observation pour conclure si cette
α pour rendre explicite
nouvelle observation fait partie de la région RN , que nous dénoterons RN
la dépendance au niveau de filtration α. Le scénario identifié à la section précédente nous
est nécessaire pour trouver la valeur du seuil s(1−α) . Dans le scénario où les observations
"normales" sont près de la N (0,I), soit le scénario 1, nous allons préalablement ordonner les
valeurs de TX en ordre croissant. Dans le scénario inverse où les observations "normales" sont
éloignées de la N (0,I), soit le scénario 2, nous allons plutôt ordonner les valeurs de TX en
0
ordre décroissant. Nous définissons TX , l’ensemble TX ordonné selon le scénario en question.
0
Le seuil s(1−α) correspond donc à la valeur associée au rang b(1 − α) × nc de l’ensemble TX :

0
s(1−α) = TX {(1−α)×n} ,

0 0
où TX {(1−α)×n} est la valeur correspondant au rang b(1 − α) × nc de l’ensemble TX . Ce seuil
α , qui représente la région où une observation est considérée
nous permet de définir la région RN
comme "(1 − α)−normale". Si on définit t comme étant la valeur d’une statistique de distance
α est donnée par :
calculée comme t = T (qθ (x)), la région RN


 t∈R:t<s si les observations "normales" sont près de N (0, I),
α (1−α)
RN = 
 t∈R:t>s si les observations "normales" sont éloignées de N (0, I).
(1−α)

Pour étiqueter les observations de notre jeu de données test, nous allons calculer les statistiques
de distance T des k observations de ce jeu de données X ∗ . Si la valeur de la statistique de

26
distance T (j) correspondant à l’observation x∗(j) fait partie de la région RN
α , on peut donc

conclure que l’observation fait partie de "ensemble (1−α)-normal". Si la statistique de distance

T (j) ne fait pas partie de la région RN
α , on l’étiquettera comme une "α-anomalie".

α nous permet de définir si une observation est une α-anomalie ou non. De manière
La région RN
similaire, on peut également utiliser l’ensemble TX pour établir un score d’anomalie pour une
observation donnée. Ce score d’anomalie est défini entre [0,1], où une anomalie évidente devrait
avoir un score se rapprochant de 1. Pour établir ce score, il faut calculer la statistique de
distance T (j) correspondant à l’observation x∗(j) , ensuite calculer le rang de cette statistique
0
de distance parmi l’ensemble TX et finalement diviser ce rang par le nombre d’observations n
0
dans l’ensemble TX . Ce score d’anomalie, dénoté γ, pour une observation x∗(j) est donné par

rangT 0 (T (j) )
γ(x∗(j) ) = X
, (2.4)
n

où rangT 0 (T (j) ) correspond au rang de la statistique de distance T (j) dans l’ensemble ordonné
X
0
TX . Une valeur élevée du score défini à l’équation 2.4, ou près de 1, signifie que l’observation
x∗(j) est considérée comme une anomalie selon l’algorithme.

L’algorithme 1 résume les différentes étapes de notre approche.

27
Algorithme 1 : Algorithme de détection d’anomalies basé sur les représentations latentes
d’un autoencodeur variationnel
Input : Ensemble de données d’entraînement x(i) , i = 1,...,n
Ensemble de données de test x∗(j) , j = 1, ..., k
Niveau de filtration α
(j)
Output : Indicateurs d’α-anomalies δ̂α , j = 1,...,k
θ, φ ← paramètres de l’encodeur (qθ (·)) et du décodeur (pφ (·)) du VAE entraîné;
for i=1 to n do
(µ(i) , σ (i) ) = qθ (x(i) )
(i)
TX = DKL N (µ(i) , σ (i) )||N (0, I)
 

end
0
Ordonner TX selon le scénario identifié pour obtenir TX ;
for j=1 to k do
(µ(j) , σ (j) ) = qθ (x∗(j) )
(j)
TX ∗ = DKL N (µ(j) , σ (j) )||N (0, I)
 
(j)
γ(x∗(j) ) = rangT 0 (TX ∗ )/n
X

if γ(x∗(j) ) >= (1 − α) then

(j)
δ̂α = vrai
else
(j)
δ̂α = f aux
end
end
return δ̂ α et γ(x∗(j) , j = 1, ..., k)

Cette section conclut la description de notre approche de détection d’anomalies. Dans la

prochaine section, nous allons présenter différentes expérimentations mettant en application
cette approche.

28
Chapitre 3

Expérimentations

Nous avons testé notre approche de détection d’anomalies sur différents jeux de données. Nous
avons également comparé nos résultats avec d’autres méthodes. Dans tous les cas, l’objectif
est d’utiliser un jeu de données d’entraînement X contenant une proportion p d’anomalies et
de tester le modèle sur un jeu de données de test X ∗ contenant une proportion p∗ anomalies.
Toutes les approches comparées sont des méthodes non-supervisées. Dans les prochaines sec-
tions de ce chapitre, nous donnerons plus de détails sur les jeux de données utilisés (section
3.1) et les différentes méthodes testées (section 3.2). Ensuite, nous présenterons les résultats
à la section 3.3 et discuterons de ces résultats à la section 3.4. Le code Python utilisé pour
réaliser les analyses de ce chapitre est disponible sur le répertoire GitHub 1 du projet.

3.1 Jeux de données

Dans la première expérimentation, notre jeu de données a été créé à partir d’images réelles
provenant de différentes sources de données, dont principalement ImageNet (Deng et al., 2009).
Pour simplifier la terminologie, nous allons utiliser le terme ImageNet pour caractériser le jeu
de données de cette expérience. Dans la deuxième expérimentation, notre jeu de données a été
créé à partir d’images tirées de MNIST (LeCun et al., 2010). Dans les deux cas, les anomalies
sont définies à partir des classes du jeu de données. Nous utiliserons les classes seulement dans
le but de valider notre approche, et non dans l’entraînement des méthodes.

Dans le cas du premier jeu de données, nous avons défini la classe dite "normale" à partir des
images de Stanford Cars (Krause et al., 2013), soit des images de voitures. Les anomalies sont
des images tirées aléatoirement des jeux de données Stanford Dogs (Khosla et al., 2011) et
Indoor scene recognition (Quattoni and Torralba, 2009), des images de chiens et de pièces de
bâtiment, respectivement. Ces images sont toutes tirées à la base de ImageNet. La figure 3.1
présente quelques exemples d’images provenant des deux classes. Les images sont de type RGB
1. https://github.com/stecaron/deep-stat-thesis

29
et ont toutes été re-dimensionnées en images de 128 pixels par 128 pixels. Le tableau 3.1 montre
le nombre d’instances utilisées dans les jeux de données d’entraînement X et de test X ∗ . On
peut également y voir la proportion d’anomalies dans chaque ensemble selon trois scénarios
différents. Le scénario de contamination appelé "Moins", signifie qu’il y a moins d’anomalies
dans l’ensemble de test que dans l’ensemble d’entraînement. Le scénario appelé "Égal" veut
dire qu’il y a la même proportion d’anomalies dans les deux ensembles. Finalement, le scénario
appelé "Plus" est celui où il y a plus d’anomalies dans l’ensemble de test que dans l’ensemble
d’entraînement.

(a) Classe "normale" (b) Classe "anormale"

Figure 3.1 – Exemples d’images pour notre jeu de données d’images réelles tirées de ImageNet.
La figure à gauche (a) correspond à des exemples de la classe dite "normale" et le volet de
droite (b) correspond à des exemples de la classe d’anomalies.

Table 3.1 – Description des deux ensembles de données pour le jeu de données d’ImageNet.

Contamination Ensemble de données Nombre d’instances Pourcentage d’anomalies

X 10000 10%
Moins
X∗ 1000 1%
X 10000 5%
Égal
X∗ 1000 5%
X 10000 1%
Plus
X∗ 1000 10%

Dans le cas du deuxième jeu de données, la classe "normale" est définie en prenant une
catégorie du jeu de données MNIST, soit un chiffre de 0 à 9. Nous avons ensuite défini trois
scénarios de test différents. Ces trois scénarios se différencient par le nombre de classes que nous
catégorisons comme des anomalies. Pour chacun de ces trois scénarios, nous avons testé deux
catégories "normales" différentes, ce qui donne au total six scénarios de test. Ces scénarios sont
définis de manière plus détaillée dans le tableau 3.2. La figure 3.2 présente quelques exemples
d’images, considérant que le chiffre 1 est la classe "normale" et tous les autres chiffres sont

30
des anomalies. Les images sont de type noir et blanc et sont toutes de dimensions 28 pixels
par 28 pixels. Le tableau 3.3 montre le nombre d’instances utilisées dans les jeux de données
d’entraînement X et de test X ∗ . Il montre également les proportions d’anomalies dans chaque
ensemble, de la même manière qu’avec le jeu de données ImageNet. Pour chacun des niveaux
de contamination, les six différents scénarios du tableau 3.2 ont été testés.

Table 3.2 – Description des six scénarios de test effectués pour le jeu de données provenant
de MNIST.

Scénario de test Chiffre "normal" Chiffres "anormaux"

1 1 5
2 1 5,9
3 1 0,2,3,4,5,6,7,8,9
4 6 8
5 6 3,8
6 6 0,1,2,3,4,5,7,8,9

(a) Classe normale (b) Classe "anormale"

Figure 3.2 – Exemples d’images pour notre jeu de données MNIST. La figure à gauche (a)
correspond à des exemples de la classe "normale" et le volet de droite (b) correspond à des
exemples de la classe d’anomalies. Il s’agit plus particulièrement du scénario de test 3.

Table 3.3 – Description des deux ensembles de données pour le jeu de données de MNIST.

Contamination Ensemble de données Nombre d’instances Pourcentage d’anomalies

X 4000 10%
Moins
X∗ 800 1%
X 4000 5%
Égal
X∗ 800 5%
X 4000 1%
Plus
X∗ 800 10%

31
3.2 Méthodes testées
Dans un premier temps, nous avons testé notre approche de détection d’anomalies basée sur des
autoencodeurs variationnels, que nous appellerons DA-VAE (section 3.2.1). Dans un deuxième
temps, nous avons testé trois autres approches. Tout d’abord, nous avons testé une méthode
basée sur une analyse en composantes principales (ACP), décrite plus en détails dans la section
3.2.2. Ensuite, nous avons testé une approche basée sur un autoencodeur traditionnel avec des
couches de convolutions (AE), décrite dans la section 3.2.3. Finalement, nous avons testé une
dernière approche utilisant le même autoencodeur variationnel que dans l’approche DA-VAE,
mais en appliquant l’algorithme de détection d’anomalies Isolation Forest (Liu et al., 2008)
sur les représentations latentes (ISOF-VAE). Cette méthode est décrite plus en détails dans la
section 3.2.4. Ces quatre différentes approches et leurs détails d’entraînement sont approfondis
dans les prochaines sous-sections.

3.2.1 Détails sur la méthode DA-VAE

La section 2.3 décrit en détail le fonctionnement de l’approche que nous proposons. Par contre,
certains détails concernant l’entraînement de l’autoencodeur variationnel ont été omis jusqu’à
maintenant. Tout d’abord, il faut mentionner que l’architecture du réseau de neurones est
différente pour chacun des deux jeux de données décrits à la section 3.1.

Dans le cas du jeu de données provenant de ImageNet, nous avons défini quatre couches de
convolution pour l’encodeur et quatre couches de convolution transposée, ou de déconvolution,
pour le décodeur. Chaque couche de convolution est suivie d’une normalisation par mini-lot
(batch normalization) et d’une fonction d’activation de type ReLU. Juste avant de définir
les couches de vecteurs latents µ et σ, le résultat de la dernière couche de convolution de
l’encodeur, de dimensions (512 × 16 × 16), est aplati en un vecteur de longueur 131 072. Les
couches de vecteurs latents µ et σ sont ensuite obtenues via une couche linéaire. La couche
latente possède 25 dimensions. Nous avons entraîné le réseau sur 25 itérations complètes des
données tout en ayant 130 observations par mini-lot. Ces mini-lots sont des sous-ensembles
du jeu de données d’entraînement utilisés pour calculer les pertes sur lesquelles on calcule
les dérivés permettant de mettre à jour les paramètres de l’autoencodeur à chaque itération
d’entraînement. Ces sous-ensembles sont définis aléatoirement. L’algorithme d’optimisation est
celui de Adam (?) et le taux d’apprentissage est de 0.001. Finalement, le niveau de filtration
α appliqué sur le jeu de données de test est le même que la proportion de contamination dans
le jeu de données de test. La figure 3.3 présente en détails les différentes couches de l’encodeur
et du décodeur.

Pour le jeu de données provenant de MNIST, nous avons défini trois couches de convolution
pour l’encodeur et 3 couches de convolution transposée pour le décodeur. Nous avons fait
le choix de mettre moins de couches que dans le cas du jeu de données ImageNet en raison

32
 µ

Linéaire
1×25

Entrée Conv-2D Conv-2D Conv-2D Conv-2D Flatten z

3×128×128 16×128×128 128×64×64 256×32×32 512×16×16 1×131072 σ 1×25

Linéaire
1×25

(a) Architecture de l’encodeur

z Linéaire Unflatten Deconv-2D Deconv-2D Deconv-2D Deconv-2D Sortie

1×25 1×131072 512×16×16 256×32×32 128×64×64 16×128×128 3×128×128 3×128×128

(b) Architecture du décodeur

Figure 3.3 – Architecture du modèle DA-VAE pour le jeu de données ImageNet. Les blocs
représentent les couches du réseau. Les blocs jaunes représentent les couches où il n’y a pas
de paramètres à optimiser. Les blocs verts sont des couches de convolution ou déconvolution
et les blocs gris sont des couches linéaires.

de la complexité moins importante des données. Chaque couche de convolution est suivie
d’une fonction d’activation de type ReLU. Chaque couche de convolution de l’encodeur est
également suivie d’un max pooling de dimensions 2 × 2. Juste avant de définir les couches
de vecteurs latents µ et σ, le résultat de la dernière couche de convolution de l’encodeur, de
dimensions (64 × 4 × 4), est aplati en un vecteur de longueur 1024. Les couches de vecteurs
latents µ et σ sont ensuite obtenues via une couche linéaire. La couche latente possède 25
dimensions. Nous avons entraîné le réseau pendant 75 itérations complètes des données tout
en ayant 256 observations par mini-lot. L’algorithme d’optimisation est celui de Adam et le
taux d’apprentissage est de 0.001. Finalement, le niveau de filtration α appliqué sur le jeu de
données de test est le même que la proportion de contamination dans l’ensemble de données
de test. La figure 3.4 présente en détails les différentes couches de l’encodeur et du décodeur.

Horaire du paramètre β

Dans les deux expériences, nous avons traité le paramètre β d’une manière particulière. En
effet, étant donné que nous utilisons des β-VAE, nous devons définir un paramètre β qui donne
plus ou moins d’importance à la composante de perte associée au critère de Kulback-Leibler
(voir section 1.3.1). Dans notre cas, nous n’avons pas conservé ce paramètre β fixe tout au long
de l’entraînement. Pour l’entraînement des deux différents jeux de données, nous avons donc
mis en place un horaire du paramètre β selon l’itération d’entraînement. Cet horaire n’est pas

33
 µ

Linéaire
1×25
Conv-2D + Conv-2D + Conv-2D +
Entrée 0-padding Flatten z
Max-pooling Max-pooling Max-pooling
1×28×28 32×8×8 1×1024 σ 1×25
16×14×14 32×7×7 64×4×4
Linéaire
1×25

(a) Architecture de l’encodeur

z Linéaire Unflatten Deconv-2D Deconv-2D Deconv-2D Conv-2D Sortie

1×25 1×1024 64×4×4 64×8×8 32×16×16 16×28×28 1×28×28 1×28×28

(b) Architecture du décodeur

Figure 3.4 – Architecture du modèle DA-VAE pour le jeu de données provenant de MNIST.
Les blocs représentent les couches du réseau. Les blocs jaunes représentent les couches où
il n’y a pas de paramètres à optimiser. Les blocs verts sont des couches de convolution ou
déconvolution et les blocs gris sont des couches linéaires.

le même selon le jeu de données et a été choisi en se basant sur la section 3.1 de l’article de
Bowman et al. (2015). Ce qui est proposé dans cet article est de commencer l’entraînement
en attribuant un poids de zéro à la perte de KL. Pendant les premières itérations, le réseau
va donc optimiser ses paramètres en fonction de la composante de reconstruction seulement.
Par la suite, on augmente le paramètre β pour régulariser le modèle et ainsi rapprocher les
paramètres µ et σ de ceux de la N (0,I). Le tableau 3.4 présente les paramètres β utilisés
selon l’itération d’entraînement et le jeu de données.

Table 3.4 – Horaire des paramètres β pour le jeu de données provenant de ImageNet et le
jeu de données provenant de MNIST.

Itération βImageN et βM N IST

[0,5] 0 0
[6,10] 100 10
[11,∞] 10 1

L’intuition derrière l’horaire établi est de contrôler le modèle dans les premières itérations pour
éviter d’accorder trop d’importance, et ce trop rapidement, à la composante de régularisation.
Cela pourrait avoir comme conséquence de nuire au reste de l’optimisation et à l’apprentissage
de la composante de reconstruction.

34
3.2.2 Détails sur la méthode ACP
Une première approche testée pour comparer nos résultats consiste à effectuer une analyse en
composantes principales (ACP). L’objectif premier de cette technique non-supervisée est de
réduire la dimension d’un ensemble de données en conservant le plus d’information possible.
Cela permet d’ailleurs de représenter les données dans un espace plus simple. Il est aussi
possible de reconstruire ces représentations dans les dimensions originales, tel que vu à la sous-
section 1.1.3, et ainsi de calculer un score d’anomalie basé sur la capacité de bien reconstruire.
Dans cette méthode, les valeurs et vecteurs propres de la matrice de covariance des variables
centrées et standardisées,

1 T
ˆ
var(X) = X X,
n

nous permettent d’obtenir une projection de cette matrice dans un espace à plus petites
dimensions. La matrice de vecteurs propres V est de dimensions p × k, où p correspond au
nombre de variables de la matrice X et k correspond au nombre de composantes principales
conservées dans l’espace réduit. La représentation en dimension réduite, soit Z, est obtenue
par le produit de XV. Finalement, la reconstruction dans l’espace original, X̂, est donnée par
X̂ = ZVT = XVT V.

Étant donné que nos données sont des images, ou des matrices en plusieurs dimensions, nous
avons aplati chacune des entrées pour obtenir des vecteurs. Dans le cas des images en couleur
provenant d’ImageNet, nous avons d’abord aplati chacun des canaux RGB. Ensuite, nous
avons fait une analyse en composantes principales sur chaque canal RGB séparément. Chaque
canal image est de dimensions 1 × 128 × 128, ce qui veut dire que nous obtenons trois vecteurs
de longueur 16 384. Pour les images provenant de MNIST, les images sont de dimensions
1 × 28 × 28, ce qui nous donne des vecteurs de longueur 784.

Pour trouver les anomalies, nous avons utilisé l’erreur de reconstruction entre les données
originales (x∗(j) )kj=1 et leur reconstruction (x̂∗(j) )kj=1 basée uniquement sur un certain nombre
de composantes principales. Dans nos expériences, ce nombre de composantes principales a été
établi afin d’obtenir une projection conservant approximativement 80% de la variance originale
des données. Nous avons utilisé l’erreur quadratique moyenne comme erreur de reconstruction.
Une observation x∗(j) est considérée comme une anomalie au niveau de filtration α (une α-
anomalie) si

l(x∗(j) , x̂∗(j) ) > t1−α {L(X , X̂ )}, (3.1)

35
où l(x∗(j) , x̂∗(j) ) correspond à l’erreur de reconstruction pour l’observation i du jeu de don-
nées test X ∗ et t1−α {L(X , X̂ )} correspond au percentile 1 − α de l’ensemble des erreurs de
reconstruction sur le jeu de données d’entraînement X . Dans le cas de l’ACP appliquée sur
ImageNet, nous avons calculé l’erreur de reconstruction sur chaque canal indépendamment
pour ensuite prendre la moyenne des trois erreurs de reconstruction. Le niveau de filtration
α choisi est le même que la proportion de contamination dans l’ensemble de données de test,
puisqu’il s’agit effectivement de la proportion des observations à "filtrer". Nous avons choisi
cela afin de mettre toutes les méthodes comparatives sur le même pied d’égalité. Nous avons
donc fixé cette même valeur de α pour les deux autres méthodes comparatives. De plus, nous
avons choisi α égal à la vraie proportion de contamination du jeu de données test afin de
comparer les méthodes dans une situation plus simple.

Pour le jeu de données ImageNet, nous avons conservé le nombre de composantes principales
nous permettant de conserver exactement 80 % de la variabilité pour chaque canal RGB. Ce
nombre de composantes principales peut donc varier légèrement selon le canal et l’échantillon-
nage du jeu de données et prend des valeurs entre 90 et 110. Pour le jeu de données MINST,
nous avons toujours conservé les 30 premières composantes principales, ce qui nous permet de
conserver approximativement 80 % de la variabilité.

3.2.3 Détails sur la méthode AE

Une deuxième approche testée consiste à utiliser un autoencodeur traditionnel et de se servir
de l’erreur de reconstruction comme score d’anomalie. Pour cette approche, nous avons utilisé
les mêmes architectures que celles définies dans la section 3.2.1, mais sans les couches linéaires
latentes du réseau DA-VAE. Par exemple, pour l’autoencodeur appliqué sur les images prove-
nant de ImageNet, nous avons conservé les quatre premières couches de convolution et avons
ensuite appliqué les quatre dernières couches de convolution transposée immédiatement après.

Nous avons utilisé l’erreur quadratique moyenne comme erreur de reconstruction. Les anoma-
lies du jeu de données test X ∗ sont donc prédites de façon similaire à ce qui est présenté à
l’équation 3.1. Comme pour les autres méthodes, le niveau de filtration α choisi est le même
que la proportion de contamination dans le jeu de données de test.

3.2.4 Détails sur la méthode ISOF-VAE

Finalement, nous avons testé une dernière approche qui consiste à utiliser différemment les
représentations latentes du réseau entraîné avec l’approche DA-VAE. Au lieu de calculer une
distance de Kullback-Leibler entre chaque représentation latente et une distribution normale
N (0,I), nous utiliserons ici les représentations latentes pour entraîner l’algorithme Isolation
Forest. Cet algorithme non-supervisé, principalement utilisé en détection d’anomalies, utilise
plusieurs arbres de décisions binaires regroupés dans ce qu’on appelle une forêt d’arbres. Cha-
cun des arbres est entraîné sur un certain nombre d’observations tirées au hasard et avec

36
remise. De plus, il est également possible de tirer au hasard un certains nombre de variables
pour entraîner chacun des arbres. Ce processus est très similaire à ce qui est fait en apprentis-
sage supervisé avec les forêts aléatoires (Breiman, 2001). L’hypothèse de base de cet algorithme
quant aux anomalies est fondée autour du fait qu’elles sont peu nombreuses et possèdent des
caractéristiques différentes des observations "normales". Sachant cette hypothèse, ces anoma-
lies sont susceptibles d’être isolées dans les premières séparations des arbres de décisions. Pour
déterminer si une observation est isolée, on calcule le nombre de nœuds à parcourir dans l’arbre
pour atteindre cette observation. Plus ce chemin est petit, plus l’observation risque d’être une
anomalie.

Afin d’obtenir un score d’anomalie comparable à notre niveau de filtration α, nous avons légè-
rement transformé le score d’anomalie calculé par l’algorithme. Pour une observation donnée,
le score d’anomalie S calculé par l’algorithme est obtenu en prenant la moyenne du nombre
de nœuds parcourus dans chacun des arbres de la forêt pour atteindre cette observation. Plus
ce score est petit, plus l’observation est susceptible d’être isolée et d’être considérée "anor-
male". Pour être en mesure de comparer ce score avec notre niveau de filtration, nous avons
d’abord calculé ce score pour chacune des n observations de notre jeu de données d’entraî-
nement, ce que nous appelons l’ensemble SX = {S (1) , ..., S (n) }. Nous définissons également
0
SX comme l’ensemble SX ordonné en ordre croissant. Ensuite, nous avons défini notre propre
score d’anomalie S ∗ (·) pour une observation du jeu de donnée de test x∗(j) comme suit,

rangS 0 (S (j) )
∗ ∗(j) X
S (x )= ,
n

où rangS 0 (S (j) ) correspond au rang du score S (j) de l’observation x∗(j) dans l’ensemble or-
X
0
donné SX . Ce score S ∗ (x∗(j) ), peut être comparé à notre niveau de filtration α. Ce niveau de
filtration choisi est le même que la proportion de contamination dans le jeu de données de
test.

Nous avons utilisé les mêmes hyperparamètres de l’algorithme Isolation Forest dans les ex-
périences réalisées sur ImageNet et celles réalisées sur MNIST. Dans les deux cas, le nombre
d’arbres est égal à 100. Le nombre d’observations échantillonnées dans chaque arbre est de
256. Finalement, toutes les variables, ou les dimensions latentes, peuvent être utilisées pour
entraîner chacun des arbres.

3.3 Résultats
Pour comparer les différentes méthodes, nous avons utilisé trois métriques différentes. La
première est l’aire sous la courbe ROC. Cette métrique nous permet de faire abstraction du
seuil de filtration α. Ensuite, nous avons également choisi les métriques de précision et de

37
rappel, pour lesquelles nous devons fixer la proportion α d’observations "filtrées". Nous avons
entraîné et testé les algorithmes à 20 reprises, ce qui nous permet de calculer une moyenne
et une mesure de dispersion, soit l’écart-type, autour de chacune des métriques. Pour les 20
réplications, l’échantillonnage des jeux de données de test et d’entraînement est refait. La
variabilité des résultats entre les 20 réplications est expliquée par trois composantes :

1. l’échantillonnage des jeux de données ;

2. l’initialisation des paramètres et l’optimisation par descente du gradient dans les réseaux
de neurones ;
3. la composante stochastique dans la représentation latente du VAE.

La première composante, soit l’échantillonnage des jeux de données, affecte les quatre différents
algorithmes. La deuxième composante, soit l’initialisation des paramètres et l’optimisation
par descente du gradient, n’affecte que les méthodes reliées à des réseaux de neurones : DA-
VAE(3.2.1), AE (3.2.3) et ISOF-VAE (3.2.4). La composante stochastique dans l’optimisation
par descente du gradient est reliée au fait que le jeu de données d’entraînement est divisé en
sous-ensembles, aussi appelés mini-lots, qui sont définis aléatoirement. L’optimisation globale
du réseau de neurones peut donc emprunter des chemins légèrement différents avec une même
initialisation. Finalement, la troisième composante concerne seulement les deux méthodes
utilisant l’autoencodeur variationnel : DA-VAE et ISOF-VAE. Comme il a été expliqué à la
section 1.3, la représentation latente de l’autoencodeur variationnel est obtenue en combinant
les paramètres des couches µ et σ du modèle ainsi que la simulation d’une loi N (0,I). Nous
ne faisons qu’une présentation brute des résultats dans cette sous-section et nous en faisons
l’analyse et les discutons à la sous-section 3.4.

3.3.1 Résultats sur ImageNet

Le tableau 3.5 synthétise les résultats obtenus sur le jeu de données provenant d’ImageNet.
On peut y voir les résultats pour les quatre approches différentes, pour les trois scénarios
de contamination ainsi que pour les trois métriques choisies. Nous avons mis en gras les
méthodes pour lesquelles les résultats sont significativement supérieurs aux autres selon un
test de Mann-Whitney, aussi appelé Wilcoxon Rank Sum Test (Mann and Whitney, 1947). Ce
test statistique non paramétrique permet de tester l’hypothèse que le score médian ou moyen
d’un groupe est supérieur à celui d’un autre groupe indépendant. Pour chacune des trois
métriques, nous voulons comparer les valeurs obtenues par une méthode avec celles obtenues
par une autre méthode. Étant donné que les échantillons sont tous indépendants, nous ne
pouvons pas utiliser la version appariée du test de Wilcoxon. Nous avons sélectionné un seuil
de significativité de 5% pour le test. Pour qu’une méthode apparaisse en gras, elle doit avoir
une métrique significativement supérieure aux métriques des trois autres méthodes, ce que
nous testons par trois tests distincts de Mann-Whitney, chacun au seuil de 5% . Si aucune

38
méthode n’apparait en gras, cela veut dire qu’aucune des quatre méthodes ne s’est montrée
significativement supérieure aux trois autres. Dans la figure 3.5, on peut voir plus en détails
la distribution des résultats obtenus sur les 20 réplications via des graphiques en boîtes et
moustaches.
Table 3.5 – Résultats selon les métriques d’aire sous la courbe ROC, de précision et de rappel
pour les différentes expérimentations concernant le jeu de données ImageNet (moyennes sur
les 20 réplications ± un écart-type). Les résultats en gras sont significativement supérieurs
aux trois autres.

Contamination Métrique ACP AE ISOF-VAE DA-VAE

ROC 0.406 ± 0.086 0.549 ± 0.090 0.886 ± 0.059 0.935 ± 0.042
Moins Précisionα=0.01 0.016 ± 0.028 0.019 ± 0.041 0.325 ± 0.268 0.400 ± 0.231
Rappelα=0.01 0.025 ± 0.043 0.020 ± 0.040 0.089 ± 0.079 0.120 ± 0.093
ROC 0.426 ± 0.040 0.584 ± 0.050 0.859 ± 0.037 0.923 ± 0.018
Égal Précisionα=0.05 0.040 ± 0.023 0.136 ± 0.041 0.499 ± 0.086 0.504 ± 0.057
Rappelα=0.05 0.052 ± 0.029 0.144 ± 0.048 0.461 ± 0.087 0.576 ± 0.065
ROC 0.429 ± 0.030 0.568 ± 0.047 0.811 ± 0.045 0.920 ± 0.019
Plus Précisionα=0.1 0.111 ± 0.025 0.202 ± 0.035 0.437 ± 0.044 0.449 ± 0.030
Rappelα=0.1 0.137 ± 0.036 0.231 ± 0.042 0.594 ± 0.078 0.798 ± 0.058

3.3.2 MNIST
Le tableau 3.6 synthétise les résultats obtenus sur le jeu de données MNIST pour la métrique
d’aire sous la courbe ROC. Les résultats sont présentés par scénario de contamination et
par scénario de test (voir tableau 3.2 pour plus de détails sur les scénarios de test). Les
résultats pour les métriques de précision et de rappel sont présentés de la même manière
dans les tableaux 3.7 et 3.8 respectivement. Nous avons mis en gras les méthodes qui sont
significativement meilleures que toutes les autres selon le test expliqué à la sous-section 3.3.1.
Dans les figures 3.6, 3.7 et 3.8, on peut voir plus en détails la distribution des résultats obtenus
pour les trois différentes métriques sur les 20 réplications grâce à des graphiques en boîtes et
moustaches.

39
 Moins Égal Plus

1.0

0.8

Aire sous la courbe ROC

0.6

0.4

0.2
ACP AE ISOF−VAE DA−VAE ACP AE ISOF−VAE DA−VAE ACP AE ISOF−VAE DA−VAE
Méthode

(a) Résultats en aire sous la courbe ROC

Moins Égal Plus

0.6
Précision

0.4

0.2

0.0

ACP AE ISOF−VAE DA−VAE ACP AE ISOF−VAE DA−VAE ACP AE ISOF−VAE DA−VAE

Méthode

(b) Résultats en précision

Moins Égal Plus

0.75

0.50
Rappel

0.25

0.00

ACP AE ISOF−VAE DA−VAE ACP AE ISOF−VAE DA−VAE ACP AE ISOF−VAE DA−VAE

Méthode

(c) Résultats en rappel

Figure 3.5 – Graphiques en boîtes et moustaches illustrant les résultats sur les 20 réplications
de chacune des approches et scénarios de contamination pour l’expérience avec les données
ImageNet. Les trois sous-figures concernent une métrique différente.

40
Table 3.6 – Résultats des aires sous la courbe ROC des différentes approches selon le scénario
de contamination et le scénario de test appliqué sur le jeu de données MNIST (moyennes sur
les 20 réplications ± un écart-type). Les résultats en gras sont significativement supérieurs
aux trois autres.

Contamination Scénario ACP AE ISOF-VAE DA-VAE

1 0.991 ± 0.006 0.990 ± 0.004 0.969 ± 0.031 0.987 ± 0.007
2 0.988 ± 0.005 0.988 ± 0.005 0.965 ± 0.022 0.982 ± 0.021
3 0.993 ± 0.005 0.994 ± 0.004 0.976 ± 0.017 0.992 ± 0.005
Moins
4 0.893 ± 0.034 0.929 ± 0.034 0.754 ± 0.078 0.836 ± 0.067
5 0.893 ± 0.035 0.948 ± 0.026 0.794 ± 0.061 0.880 ± 0.059
6 0.856 ± 0.059 0.847 ± 0.092 0.850 ± 0.065 0.893 ± 0.046
1 0.993 ± 0.004 0.994 ± 0.002 0.980 ± 0.011 0.994 ± 0.002
2 0.991 ± 0.003 0.992 ± 0.002 0.978 ± 0.010 0.988 ± 0.007
3 0.993 ± 0.004 0.996 ± 0.001 0.980 ± 0.011 0.991 ± 0.007
Égal
4 0.903 ± 0.027 0.959 ± 0.012 0.828 ± 0.060 0.901 ± 0.042
5 0.913 ± 0.027 0.969 ± 0.010 0.824 ± 0.057 0.871 ± 0.122
6 0.900 ± 0.031 0.854 ± 0.049 0.860 ± 0.056 0.921 ± 0.036
1 0.994 ± 0.003 0.998 ± 0.001 0.986 ± 0.009 0.994 ± 0.003
2 0.993 ± 0.004 0.997 ± 0.001 0.981 ± 0.009 0.991 ± 0.007
3 0.993 ± 0.003 0.998 ± 0.001 0.985 ± 0.008 0.995 ± 0.002
Plus
4 0.942 ± 0.025 0.985 ± 0.005 0.833 ± 0.058 0.915 ± 0.041
5 0.948 ± 0.021 0.992 ± 0.003 0.875 ± 0.040 0.936 ± 0.028
6 0.929 ± 0.015 0.911 ± 0.027 0.882 ± 0.031 0.933 ± 0.028

1.0
1.000

0.975 0.9
Moins

Moins
0.950 0.8

0.925
0.7

0.900
0.6
1.00 1.0
Aire sous la courbe ROC

0.99
0.8
0.98
Égal

Égal
0.97 0.6

0.96
0.4
0.95
1.00 1.0

0.99
0.9
Plus

Plus

0.98

0.97 0.8

0.96
1 2 3 4 5 6

Méthode ACP AE ISOF−VAE DA−VAE

Scénario de test

Figure 3.6 – Graphiques en boîtes et moustaches illustrant les résultats sur les 20 réplica-
tions de chacune des approches, des scénarios de test et des scénarios de contamination pour
l’expérience avec les données MNIST. Toutes les figures présentent les résultats en aire sous
la courbe ROC.

41
Table 3.7 – Résultats des précisions selon la quantité de contamination et le scénario de test
sur le jeu de données MNIST. La valeur de α dépend du scénario de contamination. Pour le
scénario "Moins" α = 0.01, pour le scénario "Égal" α = 0.05 et finalement pour le scénario
"Plus" α = 0.1 (moyennes sur les 20 réplications ± un écart-type). Les résultats en gras sont
significativement supérieurs aux trois autres.

Contamination Scénario ACP AE ISOF-VAE DA-VAE

1 0.688 ± 0.384 0.256 ± 0.097 0.280 ± 0.255 0.271 ± 0.212
2 0.500 ± 0.424 0.141 ± 0.178 0.238 ± 0.234 0.282 ± 0.243
3 0.583 ± 0.482 0.411 ± 0.319 0.263 ± 0.289 0.387 ± 0.273
Moins
4 0.135 ± 0.182 0.197 ± 0.193 0.033 ± 0.057 0.020 ± 0.051
5 0.110 ± 0.188 0.168 ± 0.212 0.028 ± 0.053 0.145 ± 0.159
6 0.118 ± 0.145 0.363 ± 0.267 0.060 ± 0.092 0.115 ± 0.142
1 0.779 ± 0.079 0.777 ± 0.037 0.678 ± 0.102 0.809 ± 0.057
2 0.685 ± 0.013 0.672 ± 0.014 0.677 ± 0.011 0.681 ± 0.009
3 0.821 ± 0.056 0.793 ± 0.033 0.702 ± 0.089 0.829 ± 0.059
Égal
4 0.276 ± 0.078 0.526 ± 0.063 0.216 ± 0.096 0.375 ± 0.108
5 0.329 ± 0.081 0.556 ± 0.050 0.210 ± 0.097 0.358 ± 0.104
6 0.331 ± 0.065 0.501 ± 0.056 0.283 ± 0.094 0.443 ± 0.113
1 0.535 ± 0.016 0.563 ± 0.020 0.545 ± 0.021 0.555 ± 0.027
2 0.583 ± 0.024 0.566 ± 0.021 0.550 ± 0.036 0.556 ± 0.025
3 0.531 ± 0.025 0.571 ± 0.016 0.540 ± 0.025 0.559 ± 0.018
Plus
4 0.455 ± 0.048 0.496 ± 0.020 0.321 ± 0.083 0.424 ± 0.057
5 0.452 ± 0.039 0.507 ± 0.020 0.379 ± 0.061 0.452 ± 0.050
6 0.425 ± 0.023 0.464 ± 0.022 0.394 ± 0.044 0.456 ± 0.036

1.00

0.6
0.75
Moins

Moins
0.4
0.50

0.25 0.2

0.00 0.0

0.9

0.6
0.8
Précision

Égal

0.7 0.4 Égal

0.6
0.2

0.5
0.0

0.5
0.60

0.4
Plus

Plus

0.55
0.3

0.50
0.2

1 2 3 4 5 6
Scénario de test

Méthode ACP AE ISOF−VAE DA−VAE

Figure 3.7 – Graphiques en boîtes et moustaches illustrant les résultats sur les 20 réplica-
tions de chacune des approches, des scénarios de test et des scénarios de contamination pour
l’expérience avec les données MNIST. Toutes les figures présentent les résultats en précision.

42
Table 3.8 – Résultats des rappels selon la quantité de contamination et le scénario de test
sur le jeu de données MNIST. La valeur de α dépend du scénario de contamination. Pour le
scénario "Moins" α = 0.01, pour le scénario "Égal" α = 0.05 et finalement pour le scénario
"Plus" α = 0.1 (moyennes sur les 20 réplications ± un écart-type). Les résultats en gras sont
significativement supérieurs aux trois autres.

Contamination Scénario ACP AE ISOF-VAE DA-VAE

1 0.200 ± 0.139 0.138 ± 0.067 0.095 ± 0.092 0.075 ± 0.062
2 0.100 ± 0.085 0.081 ± 0.107 0.085 ± 0.079 0.1 ± 0.095
3 0.131 ± 0.134 0.181 ± 0.170 0.09 ± 0.118 0.11 ± 0.094
Moins
4 0.100 ± 0.116 0.088 ± 0.089 0.038 ± 0.070 0.025 ± 0.063
5 0.063 ± 0.093 0.075 ± 0.108 0.031 ± 0.054 0.088 ± 0.089
6 0.081 ± 0.099 0.156 ± 0.130 0.056 ± 0.084 0.0625 ± 0.074
1 0.859 ± 0.083 0.871 ± 0.067 0.663 ± 0.110 0.778 ± 0.066
2 1.000 ± 0.000 1.000 ± 0.000 1.000 ± 0.001 1.000 ± 0.001
3 0.873 ± 0.079 0.901 ± 0.038 0.671 ± 0.116 0.786 ± 0.064
Égal
4 0.381 ± 0.096 0.628 ± 0.090 0.239 ± 0.110 0.412 ± 0.123
5 0.451 ± 0.123 0.645 ± 0.079 0.230 ± 0.099 0.401 ± 0.112
6 0.435 ± 0.100 0.588 ± 0.076 0.319 ± 0.101 0.481 ± 0.120
1 0.997 ± 0.005 1.000 ± 0.000 0.980 ± 0.028 0.995 ± 0.007
2 0.994 ± 0.011 1.000 ± 0.000 0.963 ± 0.031 0.985 ± 0.027
3 0.994 ± 0.008 1.000 ± 0.000 0.977 ± 0.023 0.996 ± 0.010
Plus
4 0.841 ± 0.085 0.984 ± 0.012 0.476 ± 0.159 0.733 ± 0.137
5 0.873 ± 0.091 0.994 ± 0.007 0.593 ± 0.139 0.824 ± 0.102
6 0.789 ± 0.055 0.859 ± 0.047 0.629 ± 0.104 0.807 ± 0.097

0.5

0.4 0.3

0.3
Moins

Moins
0.2

0.2

0.1
0.1

0.0 0.0

1.0 0.8

0.6
0.8
Rappel

Égal

Égal
0.4
0.6

0.2

0.4

1.00 1.0

0.8
0.95
Plus

Plus

0.6

0.90 0.4

0.2
1 2 3 4 5 6
Scénario de test

Méthode ACP AE ISOF−VAE DA−VAE

Figure 3.8 – Graphiques en boîtes et moustaches illustrant les résultats sur les 20 réplica-
tions de chacune des approches, des scénarios de test et des scénarios de contamination pour
l’expérience avec les données MNIST. Toutes les figures présentent les résultats en rappel.

43
3.4 Discussion et interprétation des résultats
Dans les prochaines sous-sections, nous discuterons des résultats obtenus par les différentes
méthodes sur les deux jeux de données. Nous irons également plus en profondeur dans l’analyse
de la méthode DA-VAE en regardant le comportement de la perte en entraînement ainsi que la
composition des représentations latentes produites par le modèle. Finalement, nous étudierons
l’impact du niveau de contamination sur les résultats et la pertinence du choix du niveau de
filtration α.

3.4.1 Résultats sur ImageNet

Dans le tableau 3.5, on peut voir les performances en aire sous la courbe ROC, en précision et
en rappel de chacune des approches. Pour les trois scénarios de contamination différents, on
remarque que deux méthodes sont beaucoup plus performantes, et ce, pour les trois métriques.
Ces deux approches sont ISOF-VAE et DA-VAE. Il est intéressant de remarquer que ces deux
approches utilisent la représentation latente de l’image pour discriminer les anomalies des
observations "normales" plutôt que la reconstruction faite sur les dimensions originales de
l’image. Dans la sous-section 3.4.1, nous ferons l’analyse plus en profondeur des résultats
moins performants des méthodes basées sur la reconstruction.

Notre approche DA-VAE est celle qui est la plus performante selon les métriques moyennes
analysées. En tenant compte du test de Mann-Whitney, nous sommes en mesure de conclure
que la méthode DA-VAE est même significativement supérieure à ISOF-VAE en aire sous la
courbe ROC, et ce, pour les trois scénarios de contamination. Pour ce qui est des résultats
en précision, les deux méthodes ne sont pas significativement différentes. Pour la métrique de
rappel, la méthode DA-VAE est significativement supérieure dans deux des trois scénarios de
contamination. On remarque également que les performances en aire sous la courbe ROC de
la méthode DA-VAE demeurent supérieures, et ce, pour les trois scénarios de contamination.
Dans le cas d’ISOF-VAE, les performances moyennes en aire sous la courbe ROC passent de
0.886 pour le scénario "Moins" à 0.811 pour le scénario "Plus". La variabilité des résultats
de notre approche DA-VAE est également inférieure à celle obtenue avec ISOF-VAE pour
les trois métriques. En analysant davantage les résultats sur les trois différents scénarios de
contamination, on peut remarquer que pour toutes les approches, le scénario de contamination
"Moins" est celui qui témoigne de la plus grande volatilité dans ses performances en test. Cela
était prévisible sachant qu’il n’y a que très peu d’anomalies, soit 1%, dans le jeu de données de
test. Dans les trois sous-figures de la figure 3.9, on peut voir les scores d’anomalie prédits pour
chacune des observations du jeu de données test en fonction de si l’observation est "anormale"
ou non, et ce, pour les 3 scénarios de contamination. Chacun des points correspond à une
observation. Les observations sont ordonnées en ordre croissant selon l’inverse de leur score
d’anomalie, soit 1 − γ. Ce score d’anomalie est défini à l’équation 2.4. En d’autres mots, plus
une observation est située à gauche sur l’axe des x, plus elle est "anormale" selon le modèle

44
DA-VAE. Les points de couleur violette sont des observations que nous connaissons comme
"normales" alors que les points jaunes sont des observations que nous connaissons comme
"anormales". Le trait horizontal rouge correspond à la valeur de notre niveau de filtration α.
Avec ce niveau de filtration, les observations sous la droite rouge sont considérées "anormales"
alors que celles au-dessus sont considérées comme "normales" selon le modèle. La ligne verte
correspond simplement à un trait partant de l’origine (0,0) et allant jusqu’au point (1,1) et
nous servira de point de référence pour comparer différents scénarios de contamination. Pour
chaque sous-figure, nous présentons une vue complète des observations du jeu de données de
test ainsi qu’une vue rapprochée sur les observations situées plus à gauche de l’axe des x.

Jeu de données test avec 1% de contamination Jeu de données test avec 5% de contamination
1.00 1.00
0.75 0.75

)
)

0.50 0.50

Score (1
Score (1

0.25 0.25
0.00 0.00
0 200 400 600 800 1000 0 200 400 600 800 1000

Vue rapprochée Vue rapprochée

0.20
0.2
) 0.15
)

0.10
Score (1
Score (1

0.1
0.05
0.0 0.00
0 25 50 75 100 125 150 175 200 0 25 50 75 100 125 150 175 200

(a) Scénario "Moins" (b) Scénario "Égal"

Jeu de données test avec 10% de contamination
1.00
0.75
)

0.50
Score (1

0.25
0.00
0 200 400 600 800 1000

Vue rapprochée
0.20
0.15
)

0.10
Score (1

0.05
0.00
0 25 50 75 100 125 150 175 200

(c) Scénario "Plus"

Figure 3.9 – Graphiques illustrant les scores d’anomalies selon le scénario de contamination
pour le modèle DA-VAE appliqué sur le jeu de données ImageNet. Les points violets sont
des observations que nous connaissons comme "normales" alors que les points jaunes sont
des observations que nous connaissons comme "anormales". Dans tous les cas, le niveau de
filtration α est défini comme le niveau de contamination dans le jeu de données de test et
est indiqué par la droite rouge horizontale. Pour chaque sous-figure, nous présentons une
vue complète des observations du jeu de données de test ainsi qu’une vue rapprochée sur les
observations situées plus à gauche de l’axe des x.

Dans les trois sous-figures à la figure 3.9, on peut voir que les observations "anormales", soit
les points jaunes, sont principalement regroupées à gauche de l’axe des x, ce qui est le compor-
tement souhaité. De plus, on peut remarquer que dans les trois différents scénarios, les points
les plus à gauche ne se retrouvent pas à la même position par rapport à la droite verte. Dans le

45
scénario "Égal", l’ensemble des points est relativement bien aligné avec la courbe verte. Cette
observation peut s’expliquer par le fait que les deux ensembles de données, X et X ∗ , possèdent
la même proportion d’anomalies. Dans le scénario "Moins", on peut observer une masse plus
importante de points au-dessus de la courbe verte dans les premières observations. Cela est
dû au fait que l’ensemble de test possède moins d’anomalies que l’ensemble d’entraînement, ce
qui fait en sorte que davantage d’observations obtiennent des scores d’anomalie plus faibles.
Finalement, dans le scénario "Plus", on observe qu’une masse de points se situent sous la
courbe verte dans les premières observations. À l’inverse du scénario "Moins", l’ensemble de
test possède ici davantage d’anomalies, en proportion, que l’ensemble d’entraînement, ce qui
fait en sorte que davantage d’observations obtiennent des scores d’anomalies élevés. Cette ana-
lyse nous permet de valider visuellement que l’approche s’adapte bien à différentes proportions
de contamination dans les jeux de données de test et d’entraînement.

Analyses des méthodes basées sur la reconstruction

Dans la sous-section précédente, nous avons mentionné que les approches basées sur la recons-
truction, soit ACP et AE, sont beaucoup moins performantes que les deux autres approches.
D’ailleurs, on remarque que la méthode ACP obtient des aires sous la courbe ROC sous 0.5
pour tous les scénarios de contamination. En théorie, nous aurions donc pu, pour cette mé-
thode, obtenir de meilleurs résultats en calculant notre score d’anomalie comme l’inverse du
score actuel ! Actuellement, notre prémisse de base est que les images étant les moins bien re-
construites sont potentiellement des anomalies. À l’inverse, les images les mieux reconstruites
sont potentiellement des images "normales". Nous avons fait cette hypothèse puisque les ano-
malies sont peu fréquentes dans nos jeux de données, ce qui devrait faire en sorte que les
paramètres appris par le modèle soient davantage représentés par les images "normales". En
analysant les résultats en aire sous la courbe ROC obtenus par l’ACP, nous concluons que ce
sont plutôt les anomalies qui sont mieux reconstruites que les images "normales". Ceci s’ex-
plique peut-être par le fait que l’ACP cherche des représentations qui conservent la plus grande
proportion possible de variabilité dans les données, et que les anomalies contribuent habituelle-
ment beaucoup à la variabilité. Pour s’en convaincre, nous avons regardé des exemples d’images
les mieux reconstruites sur l’ensemble d’entraînement. On peut voir quelques exemples à la
figure 3.10a. Dans le même ordre d’idées, la figure 3.10b illustre quelques exemples d’images
qui sont moins bien reconstruites.

46
 (a) Exemples d’images bien reconstruites

(b) Exemples d’images mal reconstruites

Figure 3.10 – Exemples d’images qui sont bien reconstruites (a) et mal reconstruites (b) selon
la méthode ACP appliquée au jeu de données d’entraînement d’ImageNet.

En analysant la figure 3.10, on remarque que les images bien reconstruites sont relative-
ment "simples", mais d’allure très variable. Ces images, que l’on peut voir à la figure 3.10a,

47
montrent des voitures avec une vue relativement éloignée. Les arrière-plans sont également
plutôt simples, avec des couleurs assez unies, mais très variables d’une image à l’autre. À
l’inverse, les images les moins biens reconstruites (figure 3.10b) sont plus "complexes". Par
exemple, on voit les voitures de très près, avec beaucoup de détails. Aussi, les arrière-plans sont
beaucoup plus complexes, avec différentes couleurs et formes. Au final, on pourrait conclure
que la méthode basée sur l’ACP discrimine sur la complexité de l’image et cherche à préser-
ver la variabilité plutôt que se concentrer sur le contenu global (voitures versus autres). La
méthode AE performe un peu mieux que l’ACP, mais elle obtient tout de même des aires
sous la courbe ROC inférieures à 0.6, et ce, pour les trois scénarios de contamination. On
pourrait penser que l’autoencodeur, avec la perte orientée sur le contenu, perceptual loss, gère
un peu mieux ces différents éléments (vues, couleurs, arrière-plan, etc), mais cela n’est pas
suffisant pour obtenir des performances optimales. Au final, les méthodes basées sur l’erreur
de reconstruction nous apparaissent moins pertinentes lorsque nous devons faire la détection
d’anomalies dans des images de complexités et de styles différents.

Analyse des représentations latentes

Dans la section 2.3.2, nous avons mentionné qu’il fallait analyser les statistiques de distance
afin de savoir si une statistique de distance élevée est signe d’anomalie ou de "normalité". Pour
ce faire, il suffit de visualiser un échantillon d’images de notre jeu de données d’entraînement
ayant des statistiques de distance élevées et un autre échantillon d’images ayant des statistiques
de distance faibles. Dans la figure 3.11, on peut voir quelques exemples provenant de ces
échantillons. On remarque assez rapidement que les observations ayant des statistiques de
distance faibles proviennent de notre classe "anormale". À l’inverse, les observations ayant
des statistiques de distance élevées proviennent de notre classe "normale", soit des images
de voitures. On remarque que les voitures de la figure 3.11 sont presque toutes des voitures
rouges. Il est possible que les représentations latentes de ce type de voitures soient situées
dans un espace similaire et le plus éloigné de la N (0,I). Nous avons voulu valider si la couleur
de la voiture avait un impact significatif dans la prise de décision. Pour ce faire, nous avons
pré-sélectionné un échantillon d’images de voitures de différentes couleurs et avons calculé
le score d’anomalie pour ces images. À la figure 3.12, on peut voir que les voitures rouges
obtiennent des scores d’anomalie plutôt élevés, même une avec un score sous la valeur du seuil
de filtration α. Cela nous permet de confirmer que ce n’est pas que la couleur de la voiture
qui a un impact.

De cette manière, il est possible de conclure que nous nous retrouvons dans le scénario où les
représentations latentes des observations "normales" sont plus éloignées de la N (0,I) (voir les
deux scénarios décrits à 2.3.2). À la figure 3.13, on peut confirmer cette observation alors qu’on
voit que les valeurs moyennes des µ et σ des observations "normales" sont plus éloignées de
la N (0,I). Dans cette figure, on calcule pour chaque observation du jeu de données d’entraî-

48
 (a) Statistiques de distance faible (b) Statistiques de distance élevées

Figure 3.11 – Échantillons d’images provenant du jeu de données d’entraînement ayant des
statistiques de distance faibles (a) et élevées (b) pour le scénario "Plus" du jeu de données
ImageNet.
(1 ) = 0.82 (1 ) = 0.75 (1 ) = 0.69 (1 ) = 0.71 (1 ) = 0.16 (1 ) = 0.77 (1 ) = 0.66 (1 ) = 0.11 (1 ) = 0.96 (1 ) = 0.26

(1 ) = 0.59 (1 ) = 0.91 (1 ) = 0.56 (1 ) = 0.36 (1 ) = 0.29 (1 ) = 0.75 (1 ) = 0.93 (1 ) = 0.1 (1 ) = 0.37 (1 ) = 0.03

Figure 3.12 – Échantillons d’images pré-sélectionnées avec l’inverse de leur score d’anomalie
(1−γ). Le score a été calculé selon le modèle DA-VAE du scénario "Plus" sur le jeu de données
ImageNet.

nement, la valeur moyenne sur les 25 dimensions latentes des vecteurs µ et σ. La différence
est beaucoup plus évidente pour le vecteur latent σ que pour µ. Pour µ, les observations
"normales" sont légèrement plus centrées à 0, mais les observations "anormales" s’éloignent
moins de la valeur centrée de 0. À la figure 3.14, nous avons réalisé une analyse en composantes
principales sur les vecteurs µ et σ et avons conservé les deux premières composantes princi-
pales. Cela nous permet d’obtenir une visualisation en deux dimensions des représentations
latentes des observations "normales" et "anormales". On peut voir que les deux groupes sont
relativement bien séparés sur les deux premières composantes principales. On peut également
voir la projection en deux dimensions du point (0m , 1m ), soit le carré noir. On remarque que
les anomalies (points bleus) semblent légèrement plus près du carré noir que les observations
"normales". Il faut rappeler que la projection en deux dimensions conserve approximativement
50% de la variabilité totale des représentations latentes.

49
 3

Anomalie
Densité

0
1

−0.5 0.0 0.5 1.0

µ moyen sur les 25 dimensions latentes

(a) Distribution des µ moyens

6

Anomalie
Densité

0
1

0.1 0.2 0.3 0.4 0.5

σ moyen sur les 25 dimensions latentes

(b) Distribution des σ moyens

Figure 3.13 – Moyenne des µ et σ des représentations latentes du jeu de données d’entraîne-
ment sur le jeu de données ImageNet. La densité rouge correspond à la densité des observations
"normales" et la densité bleue aux observations "anormales".

Analyse de la perte en entraînement

Dans la section 3.2.1, nous avons présenté l’horaire de l’hyperparamètre β utilisé selon l’ité-
ration d’entraînement de l’autoencodeur variationnel. Cet hyperparamètre, utilisé dans les
méthodes ISOF-VAE et DA-VAE, donne plus ou moins d’importance à la composante de
perte associée au critère de Kullback-Leibler. Cette sous-section a simplement comme objectif
de faire un compte-rendu de la composition de la perte en entraînement afin de faciliter la
reproductibilité de notre approche. En guise de rappel, notre objectif avec l’horaire de l’hy-
perparamètre β était de mettre l’accent sur la composante de reconstruction (β = 0) dans les
premières itérations pour ensuite augmenter la régularisation en augmentant l’hyperparamètre
β pendant quelques itérations. La figure 3.15 montre la composition de notre perte totale au
fil des itérations d’entraînement. La figure illustre le pourcentage de la perte provenant du

50
 2
2e CP (variance expliquée : 4.31 %)

0
Anomalie
0
1

−2

−4

−10 0 10 20
1er CP (variance expliquée : 45.5 %)

Figure 3.14 – Graphique des deux premières composantes principales calculées à partir des
vecteurs µ et σ du jeu de données d’entraînement de ImageNet appliqué sur le scénario de
contamination "Plus". Les points rouges sont des observations "normales" et les points bleus
sont des observations "anormales". Le carré noir correspond à la projection en deux dimensions
du point (0m , 1m ).

critère de Kullback-Leibler. L’autre composante de la perte est associée à la reconstruction.

On peut voir que les 5 premières itérations sont composées uniquement de la composante
de reconstruction. Cela est dû à notre hyperperamètre β = 0. Par la suite, la composante
de Kullback-Leibler prend plus d’importance et tend finalement vers une valeur près de 0
dans les dernières itérations. Il est rassurant de voir que l’horaire que nous avons établi pour
l’hyperparamètre β est cohérent avec la composition de la perte obtenue.

51
 6.0%
Pourcentage perte KLD

4.0%

2.0%

0.0%

0 5 10 15
Itération (ou epoch)

Scénario de contamination Égal Moins Plus

Figure 3.15 – Pourcentage du critère de Kullback-Leibler dans la perte totale selon l’itéra-
tion d’entraînement et le scénario de contamination. Ces résultats sont tirés du scénario de
contamination "Plus" pour le jeu de données ImageNet.

Génération d’images

Comme mentionné dans la section 1.3, les autoencodeurs variationnels ont la particularité
d’avoir une représentation latente continue. En effet, cela est dû au fait que le vecteur latent z
est obtenu en combinant une simulation d’une loi N (0,I) avec les vecteurs µ et σ appris par
le modèle (voir équation 1.14). Étant donné la composante de perte de Kullback-Leibler appli-
quée dans l’optimisation des paramètres, ces deux vecteurs devraient s’approcher des vecteurs
(0m , 1m ) où m correspond à la longueur de la représentation latente. Après l’entraînement de
l’autoencodeur, il est possible de valider le comportement du décodeur par rapport à une si-
mulation N (0,I). La figure 3.16 montre des exemples d’images générées à partir de simulations
de loi N (0,I) et reconstruites par la partie décodeur du DA-VAE. Pour ce faire, nous avons
simulé des observations de loi N (0,I) à m = 25 dimensions, soit la dimension latente de notre
autoencodeur variationnel entraîné. Par la suite, nous avons donné ces simulations en argu-
ment à notre fonction de décodeur pφ (·) où les paramètres de cette fonction représentés par
φ sont déjà ajustés. Cela nous permet d’obtenir de nouvelles images générées de toute pièce.
Ces images illustrent bien qu’une représentation latente provenant d’une loi N (0,I) donne un
résultat qui s’apparente à une voiture ou aux caractéristiques fréquentes d’une voiture (roues,
phares, pare-brise).

3.4.2 Résultats sur MNIST

Dans le tableau 3.6, on peut voir les performances en aire sous la courbe ROC pour les différents
scénarios de test réalisés sur MNIST. Premièrement, on remarque que toutes les approches

52
Figure 3.16 – Exemples d’images générées par le modèle DA-VAE en utilisant seulement la
partie décodeur de l’autoencodeur ainsi que des simulations provenant d’une loi N (0,I).

donnent des résultats performants avec des aires sous la courbe généralement supérieures à
0.85, et même parfois très près de 1. Cette observation vient témoigner du fait qu’étant donné la
nature plus simple des données, il est probablement plus facile de faire la détection d’anomalies.
En regardant de plus près les résultats des quatre approches, on remarque que notre approche
DA-VAE est rarement meilleure que les méthodes AE ou ACP en aire sous la courbe ROC
moyenne. La variabilité autour de la métrique est aussi légèrement plus élevée pour l’approche
DA-VAE. Par contre, les résultats sont généralement près des meilleures approches. De plus, le
test de Mann-Whitney ne nous permet pas de conclure que les autres méthodes sont meilleures
que DA-VAE. Notre approche montre également les meilleurs résultats en aire sous la courbe
ROC pour le scénario de test 6, et ce, pour les trois scénarios de contamination différents.
Le scénario de test 6 est celui qui considère le chiffre "6" comme "normal" et tous les autres
comme la classe "anormale". Étant donné la nature plus simple des images, les méthodes basées
sur la reconstruction (ACP et AE) semblent être celles qui fonctionnement généralement le
mieux. On pourrait donc croire que l’utilisation de la représentation latente dans les méthodes
ISOF-VAE et DA-VAE n’amène pas autant de valeur ajoutée que dans le cas d’images réelles
comme ImageNet. En faisant l’analyse des métriques de précision et de rappel (tableaux 3.7
et 3.8), on peut tirer essentiellement les mêmes conclusions quant aux performances relatives
des différentes approches. Nous ferons l’analyse plus détaillée de ces méthodes dans la sous-
section 3.4.2. Encore une fois, les méthodes basées sur la reconstruction semblent légèrement
supérieures. Toutefois, l’approche DA-VAE n’est pas significativement inférieure aux autres,
même en précision et rappel.

Pour illustrer les résultats du modèle selon différents scénarios de contamination, il est possible
de réutiliser les mêmes figures que celles décrites à la figure 3.9. Dans la figure 3.17, on peut
y voir ces figures générées pour le scénario de test 3 (voir tableau 3.2 pour un rappel des
scénarios de test).

53
 Jeu de données test avec 1% de contamination Jeu de données test avec 5% de contamination
1.00 1.00
0.75 0.75

)
)
0.50 0.50

Score (1
Score (1
0.25 0.25
0.00 0.00
0 100 200 300 400 500 600 700 800 0 100 200 300 400 500 600 700 800

Vue rapprochée Vue rapprochée

0.20
0.2

)
)

0.15

Score (1
Score (1

0.1 0.10
0.05
0.0 0.00
0 20 40 60 80 100 120 140 160 0 20 40 60 80 100 120 140 160

(a) Scénario "Moins" (b) Scénario "Égal"

Jeu de données test avec 10% de contamination
1.00
0.75
)

0.50
Score (1

0.25
0.00
0 100 200 300 400 500 600 700 800

Vue rapprochée
0.20
0.15
)

0.10
Score (1

0.05
0.00
0 20 40 60 80 100 120 140 160

(c) Scénario "Plus"

Figure 3.17 – Graphiques illustrant les scores d’anomalies selon le scénario de contamination
pour le modèle DA-VAE appliqué sur le scénario de test 1 de MNIST. Les points violets
sont des observations que nous connaissons comme "normales" alors que les points jaunes
sont des observations que nous connaissons comme "anormales". Dans tous les cas, le niveau
de filtration α est défini comme le niveau de contamination dans le jeu de données de test
et est indiqué par la ligne rouge horizontale. Pour chaque sous-figure, nous présentons une
vue complète des observations du jeu de données de test ainsi qu’une vue rapprochée sur les
observations situées plus à gauche de l’axe des x.

Dans les trois sous-figures à la figure 3.17, on peut voir que les observations "anormales",
soit les points jaunes, sont principalement regroupées à gauche de l’axe des x, ce qui est le
comportement souhaité. On remarque aussi que la segmentation est plus évidente que dans
le cas de la figure 3.9, ce qui nous permet de confirmer que la détection d’anomalies est plus
performante sur ce scénario de test du jeu de données MNIST que sur le jeu de données Ima-
geNet. Finalement, on peut également remarquer la disposition des observations par rapport à
la courbe verte. On peut tirer les mêmes constats que dans la section 3.4.1, mais en ajoutant
le fait que les positions des premières observations par rapport à la courbe verte sont encore
plus prononcées dans le cas du jeu de données MNIST.

Les graphiques de la figure 3.17 sont intéressants puisqu’ils pourraient servir d’outil pour esti-
mer la proportion d’anomalies dans le jeu de données test par rapport à la proportion présente
dans le jeu de données d’entraînement. Dans la réalité, nous ne pourrions pas savoir quels ob-

54
servations sont des anomalies et lesquelles sont "normales". Par contre, avec la disposition de
la courbe, nous pourrions savoir si le jeu de données de test contient, en proportion, moins,
autant ou plus d’anomalies que le jeu de données d’entraînement. Dans le cas où le jeu de
données de test contiendrait une proportion d’anomalies plus faible que le jeu de données
d’entraînement, le début de la courbe devrait s’éloigner de la droite y = x et s’approcher de
l’axe des y. Dans le cas où le jeu de données de test contiendrait une proportion d’anomalies
similaire au jeu de données d’entraînement, la courbe serait alignée avec la droite. Finalement,
dans le cas où le jeu de données de test contiendrait une proportion d’anomalies plus élevée
que le jeu de données d’entraînement, le début de la courbe devrait s’éloigner de la droite
y = x et s’approcher de l’axe des x.

En portant attention au niveau de filtration α dans les trois différentes sous-figures de la figure
3.17, on remarque que celui-ci semble être efficace dans le scénario de contamination "Égal".
Dans les deux autres scénarios, ce seuil ne semble pas être le niveau optimal. Toutefois, l’avan-
tage avec cette approche de filtration est qu’il est facile d’obtenir plus ou moins d’anomalies
en modulant la valeur de α.

Analyses des méthodes basées sur la reconstruction

Dans la sous-section 3.4.1, nous avions conclu que les méthodes basées sur la reconstruction
ne permettaient pas d’obtenir de bonnes performances sur des images réelles. Dans le cas du
jeu de données MNIST, les performances de ces méthodes sont généralement supérieures à
celles basées sur la représentation latente. Pour se convaincre de ces résultats, la figure 3.18a
montre des exemples d’images du jeu de données d’entraînement ayant de petites erreurs de
reconstruction. Ces exemples proviennent de la méthode ACP et du scénario de test 6. Dans le
même ordre d’idées, la figure 3.18b montre des images provenant de la même approche, mais
ayant plutôt des erreurs de reconstruction élevées.

55
 (a) Exemples d’images bien reconstruites

(b) Exemples d’images mal reconstruites

Figure 3.18 – Exemples d’images qui sont bien reconstruites (a) et mal reconstruites (b) selon
la méthode ACP appliquée sur le jeu de données d’entraînement de MNIST.

La figure 3.18 confirme en quelque sorte les bons résultats obtenus par la méthode ACP. On
voit que la prémisse de base, qui dit que les images de la "normale" seront bien reconstruites,

56
est validée. En comparaison avec le jeu de données ImageNet, on remarque que la classe "anor-
male" est beaucoup plus similaire à la classe "normale" dans le cas de MNIST. En effet, la
complexité et la variabilité des images est sensiblement la même. On pourrait dire que les
images des deux classes proviennent de la même source, ce qui n’était pas nécessairement le
cas avec notre jeu de données ImageNet. Ainsi, on peut conclure que les méthodes basées sur
la reconstruction sont performantes en détection d’anomalies lorsque les observations "anor-
males" montrent un niveau de complexité et de variabilité similaire aux images "normales".

Analyse des représentations latentes

Dans la section 3.4.1, nous avons fait l’analyse des représentations latentes par l’entremise
des statistiques de distance et d’échantillons d’images. Cela nous a permis de conclure que les
images "normales" avaient des statistiques de distance élevées alors que les anomalies avaient
des statistiques de distance faibles. Il faut donc refaire cette analyse, mais dans le cas de
MNIST. Dans la figure 3.19, on peut voir quelques-uns des échantillons d’images du scénario
de test 3 qui nous aident à tirer notre conclusion. Cette fois-ci, on remarque que les observations
ayant des statistiques de distance faibles proviennent de notre classe "normale", soit le chiffre
"1". À l’inverse, les observations ayant des statistiques de distance élevées proviennent de notre
classe "anormale", soit tous les autres chiffres. C’est d’ailleurs le cas pour les six différents
scénarios de test.

(a) Statistiques de distance faible (b) Statistiques de distance élevées

Figure 3.19 – Échantillons d’images provenant du jeu de données d’entraînement ayant des
statistiques de distance faibles (a) et élevées (b) pour le scénario de test 3 ("Plus") du jeu de
données MNIST.

De cette manière, il est possible de conclure que nous nous retrouvons plutôt dans le premier
scénario décrit à la sous-section 2.3.2, soit celui où les représentations latentes des observations
"normales" sont plus près de la N (0,I). C’est donc le scénario inverse par rapport aux expé-
rimentations faites sur ImageNet. On peut d’ailleurs confirmer cette conclusion en regardant
la figure 3.20, où l’on peut voir que les vecteurs µ et σ moyens des observations "normales"
sont plus près des paramètres de moyenne et d’écart-type de la N (0,I).

57
 300

200 Anomalie
Densité

0
1

100

−0.004 0.000 0.004

µ moyen sur les 25 dimensions latentes

(a) Distribution des µ moyens

200

Anomalie
Densité

0
1

100

0.985 0.990 0.995 1.000 1.005

σ moyen sur les 25 dimensions latentes

(b) Distribution des σ moyens

Figure 3.20 – Moyenne des µ et σ des représentations latentes du jeu de données d’entraîne-
ment sur le jeu de données MNIST. La densité rouge correspond à la densité des observations
"normales" et la densité bleue aux observations "anormales".

Dans la figure 3.21, on peut voir le résultat d’une analyse en composantes principales appliquée
sur les vecteurs µ et σ. Cette figure nous permet de visualiser en deux dimensions les repré-
sentations latentes apprises sur le jeu de données d’entraînement du scénario de test 3 et du
scénario de contamination "Plus". Si on compare avec la figure 3.14 qui fait référence au jeu de
données ImageNet, la séparation des anomalies et des observations "normales" est beaucoup
moins évidente. Cependant, les deux premières composantes principales n’expliquent même
pas 25% de la variabilité totale de la représentation latente. En se basant sur cette projection,
les "anomalies" semblent être plus éloignées du carré noir, qui représente la projection dans
cet espace du point (0m , 1m ). Cette conclusion concorde avec l’analyse de la figure 3.20. Étant
donné que l’analyse en composantes principales ne permet pas de voir clairement la séparation
des anomalies et des observations "normales" dans un espace en deux dimensions, nous avons
exploré une autre avenue afin d’obtenir cette visualisation. Pour ce faire, nous avons fait un

58
 20

15
2e CP (variance expliquée : 9 %)

10

Anomalie
0
1

−5

−5 0 5
1er CP (variance expliquée : 13.17 %)

Figure 3.21 – Graphique des deux premières composantes principales réalisé sur les vecteurs
µ et σ du jeu de données d’entraînement MNIST appliqué sur le scénario de test 3 et le
scénario de contamination "Plus". Les points rouges sont des observations "normales" et les
points bleus sont des observations "anormales". Le carré noir correspond à la projection en
deux dimensions du point (0m , 1m ).

nouvel entraînement de la méthode DA-VAE, mais cette fois-ci avec seulement deux dimen-
sions latentes (au lieu de 25). Cette configuration nous permettra de visualiser les vecteurs
µ et σ dans un espace à deux dimensions sans avoir à faire de réduction de dimensionnalité.
Dans la figure 3.22, on peut désormais voir de manière plus évidente que les représentations
latentes des observations "normales" sont plus près du point (0m , 1m ).

59
 1.01

0.01

1.00

0.00
0.99
µ2

σ2
0.98

−0.01

0.97

−0.010 −0.005 0.000 0.005 0.010 0.97 0.98 0.99 1.00 1.01
µ1 σ1
Anomalie 0 1 Anomalie 0 1

(a) Distribution de µ1 et µ2 (b) Distribution de σ1 et σ2

Figure 3.22 – Distribution des vecteurs µ et σ pour le modèle DA-VAE entraîné avec un
espace latent à deux dimensions sur le scénario de test 3 et le scénario de contamination "Égal"
du jeu de données MNIST. Les points rouges sont des observations "normales" et les points
bleus sont des observations "anormales".

Dans la figure 3.22, nous avons utilisé comme exemple un entraînement réalisé sur le scénario de
test 3 avec le scénario de contamination "Égal". Afin de pouvoir mieux observer la distribution
des points, nous avons conservé seulement 500 observations, choisies aléatoirement, du jeu de
données d’entraînement. Comme nous l’avions remarqué dans la figure 3.20, les deux classes
semblent mieux séparées selon le vecteur latent σ plutôt que selon le vecteur latent µ.

Analyse de la perte en entraînement

Dans la figure 3.23, on peut voir la composition de la perte à chacune des itérations de l’en-
traînement. On peut voir que la proportion de la composante de perte de Kullback-Leibler suit
le même patron qu’à la figure 3.15. Cependant, la proportion atteint un maximum beaucoup
plus élevé que dans le cas du jeu de données provenant de ImageNet. Encore une fois, il est
rassurant de voir que la composition réelle de la perte soit cohérente avec notre horaire établi
pour l’hyperparamètre β.

60
 75%
Pourcentage perte KLD

50%

25%

0%

0 20 40 60
Itération (ou epoch)

Scénario de contamination Égal Moins Plus

Figure 3.23 – Pourcentage du critère de Kullback-Leibler dans la perte totale selon l’itération
d’entraînement et le scénario de contamination. Ces résultats sont tirés du scénario de test 3,
où le chiffre "1" est considéré comme la classe "normale" et tous les autres sont considérés
dans la classe "anormale" pour l’expérience avec les données MNIST.

61
Conclusion

La détection d’anomalies est une tâche qui comporte généralement plusieurs défis en mo-
délisation et en analyse de données. Ces défis, dont entre autres l’absence d’étiquettes pour
l’entraînement, ont été mentionnés et décrits brièvement dans le chapitre d’Introduction. Notre
objectif était de proposer une méthodologie qui permet d’identifier les images d’un jeu de don-
nées qui dévient de la normalité et qui s’apparentent donc à des anomalies. Nous souhaitions
faire cette détection d’anomalies de manière non supervisée tout en simplifiant l’établissement
du seuil nous permettant de catégoriser si une observation est "normale" ou "anormale".

Dans ce mémoire, nous démontrons la pertinence d’utiliser des autoencodeurs variationnels

pour faire face aux défis traditionnels reliés à la détection d’anomalies, tout en restant efficaces
dans un contexte où les données sont complexes, comme des images. Nous discutons également
de différentes approches permettant de faire la détection d’anomalies, en mettant l’accent sur
les méthodes basées sur des autoencodeurs qui sont bien adaptées au traitement d’images.
À notre connaissance, c’est la première fois qu’une approche de détection d’anomalies se ba-
sant sur une distance de Kullback-Leibler calculée à partir de la représentation latente d’un
autoencodeur variationnel est proposée.

Suite aux expérimentations réalisées et présentées dans le chapitre 3, nous sommes en mesure
de conclure que notre approche produit des résultats performants autant sur des jeux de
données d’images réelles que d’images simples. La valeur ajoutée de notre approche par rapport
à d’autres méthodes est toutefois beaucoup plus évidente dans le cas d’images réelles. En effet,
les performances obtenues par notre approche sur des images simples, comme celles de MNIST,
ne sont généralement pas significativement meilleures ou pires que d’autres approches. En
revanche, les performances en aire sous la courbe ROC, en précision et en rappel obtenues
sur des images réelles plus complexes, comme celles d’ImageNet, sont supérieures aux autres
approches comparatives. Ces bonnes performances nous laissent croire que nous avons rempli
notre objectif d’être en mesure de détecter des anomalies dans un ensemble d’images. De plus,
la mise en place de notre niveau de filtration α nous permet d’avoir un seuil simple et intuitif
à établir. Bien que nous ayons réussi à remplir ces objectifs, nous aurions toutefois préféré y
arriver sans avoir d’étapes manuelles, comme déterminer le scénario décrivant le comportement
des observations "normales" et "anormales" à l’intérieur de l’espace latent.

62
Le facteur principal expliquant les bonnes performances obtenues sur des images réelles est fort
probablement l’utilisation d’un autoencodeur variationnel. En effet, cet algorithme d’appren-
tissage profond permet de représenter des données complexes dans une forme latente beaucoup
plus simple et permet aussi de bien identifier des observations "normales". Un des avantages
de notre approche est que les performances en détection d’anomalies demeurent supérieures
dans plusieurs scénarios différents : différentes complexités d’images, différentes proportions
de contamination, etc. Un des points faibles de notre approche est que l’autoencodeur varia-
tionnel est un algorithme relativement complexe avec plusieurs hyperparamètres. En effet, il
faut déterminer entre autres le nombre de couches de l’autoencodeur, la taille des filtres, les
fonctions d’activation, la taille de la dimension latente, etc. C’est d’ailleurs un point com-
mun à la majorité des approches basées sur des réseaux de neurones. Ensuite, un autre point
faible de notre approche est que l’on doit réaliser une étape manuelle, après l’entraînement de
l’autoencodeur, où l’on doit inspecter certaines observations pour voir si les représentations
latentes des observations "normales" sont plus près ou plus éloignées de notre point de réfé-
rence, en l’occurrence la loi N (0,I). Cette étape fait en sorte que notre méthodologie n’est pas
pleinement automatique.

À la lumière de nos résultats, notre approche pourrait être utilisée pour plusieurs applications
ou situations réelles où l’on cherche à identifier des images "anormales". Prenons par exemple
une situation où l’on dispose d’un ensemble d’images propres pour lequel on sait qu’il n’y a pas
d’anomalie ou de défectuosité. Supposons que dans le futur, on prévoit recevoir de nouvelles
images qui sont supposées représenter la même chose que notre ensemble d’images propres,
mais dont certaines de ces nouvelles images sont défectueuses où représentent quelque chose
de complètement différent. Nous ne connaissons pas d’avance à quoi ces images défectueuses
pourraient ressembler et n’avons aucun exemple d’image de la sorte sur lesquelles nous pour-
rions faire un apprentissage. Notre approche permettrait donc de déterminer lesquelles de ces
nouvelles images sont potentiellement défectueuses ou ne semblent pas représenter la même
chose que notre ensemble d’images a priori. On pourrait également penser à des exemples
d’applications où l’on cherche à nettoyer un jeu de données d’images. En effet, on pourrait
commencer par valider et confirmer un sous-ensemble d’images propres dans notre jeu de
données complet. Ensuite, on pourrait utiliser ce sous-ensemble comme jeu de données d’en-
traînement pour notre approche. Finalement, on pourrait utiliser le reste du jeu de données
comme jeu de données de test et ainsi valider si des images "anormales" font partie de notre
ensemble global. Cela reviendrait donc à utiliser notre approche comme technique de net-
toyage de données. Dans ce mémoire, nous avons mis l’accent sur des exemples d’applications
impliquant des images, mais il serait possible d’appliquer notre approche dans un contexte de
données tabulaires où l’on sait que la majorité des observations sont "normales". On pourrait
par exemple penser à des applications en finances où l’on cherche à trouver des transactions
financières "anormales" à partir de plusieurs caractéristiques complexes.

63
Dans le futur, il serait intéressant de voir si des variations de l’autoencodeur variationnel
pourraient donner de meilleurs résultats en détection d’anomalies. Parmi les possibilités de
variations, il serait intéressant de voir si une autre loi que la N (0,I) pourrait être utilisée
comme loi a priori pour régulariser la représentation latente et définir une statistique de
distance sur cette nouvelle représentation latente. L’objectif serait d’explorer d’autres lois qui
pourraient mieux discriminer des observations "normales" d’un petit groupe d’observations
"anormales". Ensuite, il serait pertinent de voir s’il est possible de mieux contrôler les deux
composantes de perte de l’autoencodeur variationnel. De ce fait, nous avons remarqué que
ces deux composantes ont parfois des échelles très différentes, ce qui affecte l’entraînement de
l’autoencodeur et la composition de la représentation latente. Dans ce mémoire, nous avons
fait plusieurs essais et avons utilisé l’hyperparamètre β pour modifier la pondération des deux
composantes de perte. Cette approche requiert donc plusieurs cycles d’essais et erreurs, ce qui
n’est pas optimal. Finalement, il serait également intéressant de voir s’il est possible de faire
en sorte que les représentations latentes des anomalies se comportent toujours de la même
manière par rapport à un point de référence, soit la distribution N (0,I) dans notre cas, et
ce peu importe l’échantillon. En effet, nous avons remarqué que selon la nature des données,
les représentations latentes des anomalies se retrouvaient dans certains cas plus près de la
N (0,I) et dans certains cas plus éloignées de la N (0,I). Ce constat ajoute une étape manuelle
pour mettre en place notre méthodologie, ce qui rend l’approche moins automatique et plus
difficile à appliquer dans la pratique, et possiblement moins généralisable. Il serait pertinent
de voir si un point de référence autre que la N (0,I) pourrait améliorer la méthode. Au final,
nous pouvons conclure que l’autoencodeur variationnel possède des propriétés intéressantes,
via l’apprentissage d’une représentation latente, pour faire de la détection d’anomalies sur des
données complexes comme des images, avec un potentiel intéressant d’application.

64
Bibliographie

Aggarwal, C. C. (2016). Outlier Analysis. Springer Publishing Company, Incorporated. 2nd

Edition. New York.

Amodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J., and Mané, D. (2016).
Concrete problems in ai safety. arXiv preprint arXiv :1606.06565.

An, J. and Cho, S. (2015). Variational autoencoder based anomaly detection using recons-
truction probability. Special Lecture on IE, 2(1) :1–18.

Bowman, S. R., Vilnis, L., Vinyals, O., Dai, A. M., Jozefowicz, R., and Bengio, S. (2015).
Generating sentences from a continuous space. arXiv preprint arXiv :1511.06349.

Breiman, L. (2001). Random forests. Machine learning, 45(1) :5–32.

Chalapathy, R., Menon, A. K., and Chawla, S. (2018). Anomaly detection using one-class
neural networks. arXiv preprint arXiv :1802.06360.

Chandola, V., Banerjee, A., and Kumar, V. (2009). Anomaly detection : A survey. ACM
Computing Surveys (CSUR), 41(3) :1–58.

Deng, J., Dong, W., Socher, R., Li, L.-J., Li, K., and Fei-Fei, L. (2009). Imagenet : A large-scale
hierarchical image database. In 2009 IEEE Conference on Computer Vision and Pattern
Recognition, pages 248–255.

Feng, X., Zhang, Y., and Glass, J. (2014). Speech feature denoising and dereverberation via
deep autoencoders for noisy reverberant speech recognition. In 2014 IEEE international
conference on acoustics, speech and signal processing (ICASSP), pages 1759–1763.

Goodfellow, I., Bengio, Y., and Courville, A. (2016). Deep Learning. MIT Press. http:
//www.deeplearningbook.org.

He, K., Zhang, X., Ren, S., and Sun, J. (2015). Deep residual learning for image recognition.
CoRR, abs/1512.03385.

65
Higgins, I., Matthey, L., Pal, A., Burgess, C., Glorot, X., Botvinick, M., Mohamed, S., and
Lerchner, A. (2017). beta-vae : Learning basic visual concepts with a constrained variational
framework. In 2017 ICLR.

Hinton, G. E. and Salakhutdinov, R. R. (2006). Reducing the dimensionality of data with

neural networks. Science, 313(5786) :504–507.

Johnson, J., Alahi, A., and Fei-Fei, L. (2016). Perceptual losses for real-time style transfer and
super-resolution. In European Conference on Computer Vision, pages 694–711. Springer.

Khosla, A., Jayadevaprakash, N., Yao, B., and Fei-Fei, L. (2011). Novel dataset for fine-grained
image categorization. In 2011 IEEE First Workshop on Fine-Grained Visual Categorization,
Conference on Computer Vision and Pattern Recognition, Colorado Springs, CO.

Kingma, D. P. and Welling, M. (2013). Auto-encoding variational bayes. arXiv preprint

arXiv :1312.6114.

Krause, J., Stark, M., Deng, J., and Fei-Fei, L. (2013). 3d object representations for fine-
grained categorization. In 2013 IEEE 4th International Workshop on 3D Representation
and Recognition (3dRR-13), Sydney, Australia.

Krizhevsky, A. and Hinton, G. E. (2011). Using very deep autoencoders for content-based
image retrieval. In 2011 ESANN, volume 1, page 2. Citeseer.

LeCun, Y., Cortes, C., and Burges, C. (2010). Mnist handwritten digit database. ATT Labs
[Online]. Available : http ://yann.lecun.com/exdb/mnist, 2.

Liu, F. T., Ting, K. M., and Zhou, Z. (2008). Isolation forest. In 2008 IEEE Eighth Interna-
tional Conference on Data Mining, pages 413–422. Pisa, Italy.

Mann, H. B. and Whitney, D. R. (1947). On a test of whether one of two random variables is
stochastically larger than the other. Annals of Mathematical Statistics, 18(1) :50–60.

Quattoni, A. and Torralba, A. (2009). Recognizing indoor scenes. In 2009 IEEE Conference
on Computer Vision and Pattern Recognition, pages 413–420.

Ren, J., Liu, P. J., Fertig, E., Snoek, J., Poplin, R., DePristo, M. A., Dillon, J. V., and
Lakshminarayanan, B. (2019). Likelihood ratios for out-of-distribution detection. arXiv
preprint arXiv :1906.02845.

Rumelhart, D. E., Hinton, G. E., and Williams, R. J. (1986). Parallel distributed proces-
sing : Explorations in the microstructure of cognition, vol. 1. chapter Learning Internal
Representations by Error Propagation, pages 318–362. MIT Press, Cambridge, MA, USA.

Simonyan, K. and Zisserman, A. (2014). Very deep convolutional networks for large-scale
image recognition. CoRR, abs/1409.1556.

66
Zimek, A. and Schubert, E. (2017). Outlier Detection. Springer, New York.

67