Redresseur (réseaux neuronaux)

En mathématiques, la fonction Unité Linéaire Rectifiée (ou ReLU pour Rectified Linear Unit) est définie par :

Graphique de la fonction Unité Linéaire Rectifiée

$f(x)=max(0,x)$ pour tout réel $x$

Elle est fréquemment utilisée comme fonction d'activation dans le contexte du réseau de neurones artificiels pour sa simplicité de calcul, en particulier de sa dérivée.

Variations

Un désavantage de la fonction ReLU est que sa dérivée devient nulle lorsque l'entrée est négative ce qui peut empêcher la rétropropagation du gradient. On peut alors introduire une version appelée Leaky ReLU définie par :

$f(x)=max(\epsilon x,x)$ pour tout réel $x$

Le paramètre $\epsilon$ est un réel strictement positif et inférieur à 1 $\epsilon \in ]0,1[$ La dérivée est alors égale à $\epsilon$ lorsque x est strictement négatif, ce qui permet de conserver la mise à jour des poids d'un perceptron utilisant cette fonction d'activation.