[Machine Learning] Fonction d'activation d'une couche de convolution

Bonjour,

je suis en train de bosser sur les CNN.

Il y a un truc que je ne suis pas sur d’avoir compris: si on a une couche de convolution suivi d’une couche de ReLU, quelle est la fonction d’activation des neurones de la couche de convolution ? Est-ce Id() tout simplement, c’est à dire qu’ils ne font que sommer leurs inputs en fonction des poids synaptiques ? Il ne me semble pas, puisqu’il y a un threshold à prendre en compte, ce qui n’aurait pas de sens… Mais s’il s’agit d’une fonction d’activation classique comme la sigmoide, alors je ne vois pas l’intérêt d’une couche ReLU alors qu’on est déja "non-linéaire"…

Il est possible que tout simplement les papiers qui parlent de threshold incluent la "non-linéarité" au niveau de la convolution, là où d’autres font la distinction, mais j’aimerais être sur de ma compréhension.

Merci d’avance, en tout cas merci d’avoir lu jusqu’ici

Bonjour,

La fonction ReLU est dans sa définition une fonction d’activation. Ce qu’il faut comprendre, c’est que la partie convolution composé des trois couches successives (Convolution, ReLU et Pooling) répétées autant de fois que nécessaire permet d’extraire des patterns pour la partie entièrement connecté, le réseau de neurones. Le rôle du ReLU dans un CNN n’est pas d’activer mais de réduire les bruits pour garder le plus important. Après j’imagine que les foufous de matheux ont plein d’autres explications sur son usage par rapport à d’autres solutions, ce n’est pas du tout mon domaine de recherche.