« Je modérais des centaines de vidéos horribles et traumatisantes »
Au cours des derniers mois, la BBC a exploré un monde sombre et caché – un monde où aboutissent les contenus en ligne les plus pires, les plus horribles, les plus pénibles et, dans de nombreux cas, illégaux.
Décapitations, massacres, maltraitance d’enfants, discours de haine : tout cela finit dans les boîtes de réception d’une armée mondiale de modérateurs de contenu.
Vous ne les voyez pas ou n’entendez pas souvent parler d’eux, mais ce sont ces personnes dont le travail consiste à examiner puis, si nécessaire, à supprimer le contenu qui est soit signalé par d’autres utilisateurs, soit automatiquement signalé par des outils techniques.
La question de la sécurité en ligne est devenue de plus en plus importante, les entreprises technologiques étant soumises à de plus en plus de pressions pour supprimer rapidement les contenus nuisibles.
Et malgré de nombreux efforts de recherche et d’investissement dans des solutions technologiques pour aider, en fin de compte, pour l’instant, ce sont encore en grande partie les modérateurs humains qui ont le dernier mot.
Les modérateurs sont souvent employés par des sociétés tierces, mais ils travaillent sur les contenus publiés directement sur les grands réseaux sociaux comme Instagram, TikTok et Facebook.
Ils sont basés partout dans le monde. Les personnes à qui j’ai parlé lors de la réalisation de notre série The Moderators pour Radio 4 et BBC Sounds vivaient pour la plupart en Afrique de l’Est et avaient depuis quitté l’industrie.
Leurs histoires étaient déchirantes. Une partie de ce que nous avons enregistré était trop brutale pour être diffusée. Parfois, mon producteur Tom Woolfenden et moi terminions un enregistrement et restions assis en silence.
« Si vous prenez votre téléphone et que vous allez ensuite sur TikTok, vous verrez beaucoup d’activités, de danses, vous savez, des choses joyeuses », explique Mojez, un ancien modérateur basé à Nairobi qui a travaillé sur le contenu de TikTok. « Mais en arrière-plan, je modérais personnellement, par centaines, des vidéos horrifiantes et traumatisantes.
«Je l’ai pris sur moi. Laissons ma santé mentale prendre le dessus afin que les utilisateurs généraux puissent continuer à vaquer à leurs activités sur la plateforme.
Il existe actuellement de nombreuses réclamations juridiques en cours selon lesquelles le travail a détruit la santé mentale de ces modérateurs. Certains anciens travailleurs d’Afrique de l’Est se sont regroupés pour former un syndicat.
« En réalité, la seule chose qui me empêche de me connecter à une plateforme de médias sociaux et d’assister à une décapitation, c’est quelqu’un assis dans un bureau quelque part, qui regarde ce contenu pour moi et le révise pour que je n’aie pas à le faire », explique Martha Dark. qui dirige Foxglove, un groupe de campagne soutenant l’action en justice.
En 2020, Meta, alors connue sous le nom de Facebook, a accepté de verser une indemnité de 52 millions de dollars (40 millions de livres sterling) aux modérateurs qui avaient développé des problèmes de santé mentale en raison de leur travail.
L’action en justice a été initiée par une ancienne modératrice aux États-Unis, Selena Scola. Elle a décrit les modérateurs comme les « gardiens des âmes », en raison de la quantité d’images qu’ils voient contenant les derniers instants de la vie des gens.
Les anciens modérateurs à qui j’ai parlé ont tous utilisé le mot « traumatisme » pour décrire l’impact que le travail a eu sur eux. Certains avaient du mal à dormir et à manger.
L’un d’eux a décrit comment entendre un bébé pleurer avait fait paniquer un collègue. Un autre a déclaré qu’il avait du mal à interagir avec sa femme et ses enfants en raison des abus commis sur des enfants dont il avait été témoin.
Je m’attendais à ce qu’ils disent que ce travail était si épuisant émotionnellement et mentalement qu’aucun humain ne devrait avoir à le faire. Je pensais qu’ils soutiendraient pleinement l’automatisation de l’ensemble de l’industrie, avec des outils d’IA évoluant pour s’adapter à cette tâche.
Mais ils ne l’ont pas fait.
Ce qui est ressorti avec force, c’est l’immense fierté des modérateurs du rôle qu’ils ont joué dans la protection du monde contre les dangers en ligne.
Ils se considéraient comme un service d’urgence vital. L’un dit vouloir un uniforme et un insigne, se comparant à un ambulancier ou à un pompier.
« Pas même une seconde n’a été perdue », déclare quelqu’un que nous appelions David. Il a demandé à rester anonyme, mais il avait travaillé sur du matériel utilisé pour entraîner le chatbot viral IA ChatGPT, afin qu’il soit programmé pour ne pas régurgiter de matériel horrible.
« Je suis fier des personnes qui ont formé ce modèle pour qu’il soit ce qu’il est aujourd’hui. »
Mais l’outil même que David avait aidé à former pourrait un jour rivaliser avec lui.
Dave Willner est l’ancien responsable de la confiance et de la sécurité chez OpenAI, le créateur de ChatGPT. Il affirme que son équipe a construit un outil de modération rudimentaire, basé sur la technologie du chatbot, qui a réussi à identifier les contenus nuisibles avec un taux de précision d’environ 90 %.
« Quand j’ai en quelque sorte pleinement réalisé : ‘oh, ça va marcher’, honnêtement, je me suis un peu étouffé », dit-il. « [AI tools] ne vous ennuyez pas. Et ils ne se fatiguent pas et ne sont pas choqués…. ils sont infatigables.
Cependant, tout le monde n’est pas convaincu que l’IA soit la solution miracle pour le secteur en difficulté de la modération.
«Je pense que c’est problématique», déclare le Dr Paul Reilly, maître de conférences en médias et démocratie à l’Université de Glasgow. « Il est clair que l’IA peut être une manière assez brutale et binaire de modérer le contenu.
« Cela peut conduire à un blocage excessif des problèmes de liberté d’expression, et bien sûr, cela peut manquer de nuances que les modérateurs humains seraient capables d’identifier. La modération humaine est essentielle aux plateformes », ajoute-t-il.
« Le problème est qu’ils ne sont pas assez nombreux et que ce travail est incroyablement préjudiciable à ceux qui le font. »
Nous avons également contacté les entreprises technologiques mentionnées dans la série.
Un porte-parole de TikTok a déclaré que l’entreprise savait que la modération du contenu n’était pas une tâche facile et qu’elle s’efforçait de promouvoir un environnement de travail bienveillant pour ses employés. Cela inclut l’offre d’un soutien clinique et la création de programmes qui soutiennent le bien-être des modérateurs.
Ils ajoutent que les vidéos sont initialement examinées par une technologie automatisée, qui, selon eux, supprime un grand volume de contenu nuisible.
Pendant ce temps, Open AI – la société derrière Chat GPT – se dit reconnaissante du travail important et parfois difficile effectué par les travailleurs humains pour entraîner l’IA à repérer de telles photos et vidéos. Un porte-parole ajoute qu’avec ses partenaires, Open AI applique des politiques visant à protéger le bien-être de ces équipes.
Et Meta – qui possède Instagram et Facebook – affirme exiger de toutes les entreprises avec lesquelles elle travaille qu’elles fournissent une assistance sur site 24 heures sur 24 avec des professionnels qualifiés. Il ajoute que les modérateurs peuvent personnaliser leurs outils de révision pour brouiller le contenu graphique.
Les modérateurs sont sur BBC Radio 4 à 13h45 GMT, du lundi 11 novembre au vendredi 15 novembre, et le Les sons de la BBC.
