[Machine Learning] Fonction d'activation d'une couche de convolution

a marqué ce sujet comme résolu.
Auteur du sujet

Bonjour,

je suis en train de bosser sur les CNN.

Il y a un truc que je ne suis pas sur d’avoir compris: si on a une couche de convolution suivi d’une couche de ReLU, quelle est la fonction d’activation des neurones de la couche de convolution ? Est-ce Id() tout simplement, c’est à dire qu’ils ne font que sommer leurs inputs en fonction des poids synaptiques ? Il ne me semble pas, puisqu’il y a un threshold à prendre en compte, ce qui n’aurait pas de sens… Mais s’il s’agit d’une fonction d’activation classique comme la sigmoide, alors je ne vois pas l’intérêt d’une couche ReLU alors qu’on est déja "non-linéaire"…

Il est possible que tout simplement les papiers qui parlent de threshold incluent la "non-linéarité" au niveau de la convolution, là où d’autres font la distinction, mais j’aimerais être sur de ma compréhension.

Merci d’avance, en tout cas merci d’avoir lu jusqu’ici :)

+0 -0

Bonjour,

La fonction ReLU est dans sa définition une fonction d’activation. Ce qu’il faut comprendre, c’est que la partie convolution composé des trois couches successives (Convolution, ReLU et Pooling) répétées autant de fois que nécessaire permet d’extraire des patterns pour la partie entièrement connecté, le réseau de neurones. Le rôle du ReLU dans un CNN n’est pas d’activer mais de réduire les bruits pour garder le plus important. Après j’imagine que les foufous de matheux ont plein d’autres explications sur son usage par rapport à d’autres solutions, ce n’est pas du tout mon domaine de recherche.

Tant de choses, tant de vies, tant de possibilités.

+0 -0
Vous devez être connecté pour pouvoir poster un message.
Connexion

Pas encore inscrit ?

Créez un compte en une minute pour profiter pleinement de toutes les fonctionnalités de Zeste de Savoir. Ici, tout est gratuit et sans publicité.
Créer un compte