Modération du contenu indésirable et choquant

Bonjour !

Je suis désolé mais ce topic va paraître bizarre. J’ai vu il y a quelque temps un documentaire d’Arte qui s’intéresse à la modération des contenus sur le Web et sur Internet. Ce que j’en ai retenu c’est que les grandes entreprises du Web (je pense qu’on peut parler des GAFAM) reçoivent en permanence de grandes quantités d’images et de textes au travers de leurs réseaux sociaux ou autres services, et on besoin de détecter et d’éliminer le contenu indésirable (propos haineux, incitation au terrorisme, pornographie, images choquantes, etc.). Pour ce faire, ils font appel à des sous-traitants généralement situés dans des pays en développement (Asie, Afrique) qui emploient des personnes qui vont se confronter aux contenus et décider, selon les consignes, si l’élément doit être bloqué ou non. Même si des algorithmes permettent d’automatiser le processus partiellement, le travail est en grande partie réalisé par des êtres humains.

Une question que je me pose souvent en tant que développeur amateur (web ou autre) est la suivante : comment modérer le contenu sur des sites de taille petite ou moyenne ? Existe-t-il des services (via API par exemple) qui permettent de faire vérifier les images et les textes suspects ? Et qu’en est-il pour Zeste de Savoir : un système de modération pour ce genre de contenu est-il en place ? Le site a-t-il déjà été confronté à des images choquantes ? Que va-t-il se passer, si un utilisateur poste (par exemple !) l’image d’un homme décapité ?

Enfin, autant au niveau des grands sites Web que des petits, l’intégralité du contenu est-il modéré, ou le processus ne concerne que les contenus qui ont été signalés ?

Cordialement, Croal

Salut,

Sur Zeste de Savoir, tout est manuel.

Collectivement, les modérateurs lisent une grande partie de ce qui est posté, en particulier sur les forums.

À côté de ça, les simples membres peuvent signaler un message, ce qui lève une alerte pour l’équipe de modération.

D’accord ! Merci pour vos réponses.

Donc tout est manuel et l’équipe n’a jamais été confrontée à des contenus très violents. Mais, en tant que modérateurs, vous n’avez pas peur un jour de tomber sur une image vraiment horrible, qui vous restera dans la tête ?

Là encore je me demande s’il existe des services à qui on peut sous-traiter le travail. J’ai souvent des idées d’applications web ou autres projets mais je bute sur cet aspect de modération, dans le sens où je ne veux pas m’en charger moi-même, de peur de ce que je pourrais voir.

Et légalement le propriétaire du site est-il tenu de signaler à la police s’il découvre un contenu illégal ?

Mais, en tant que modérateurs, vous n’avez pas peur un jour de tomber sur une image vraiment horrible, qui vous restera dans la tête ?

Bof, le risque est probablement pas bien différent que d’être témoin d’un accident moche en sortant dans la rue. En plus ça fait partie de ces choses pour lesquelles il est difficile de prévoir sa propre réaction à moins d’y être confronté.

Par exemple, les Américains ont des problèmes avec les tétons, à l’évidence.

Par contre les nazis, ça passe. Contrairement à la France.

Limite y’avait un membre qui était borderline alt-right, mais on l’a viré.

Pour ceux que ça intéresse : sur le sujet : https://www.theverge.com/2019/6/19/18681845/facebook-moderator-interviews-video-trauma-ptsd-cognizant-tampa