Les réseaux sociaux polluent la société.  La modération seule ne résoudra pas le problème

La modération (qu’elle soit automatisée ou humaine) peut potentiellement fonctionner pour ce que nous appelons des dommages « aigus » : ceux causés directement par des éléments de contenu individuels. Mais nous avons besoin de cette nouvelle approche car il existe également une multitude de problèmes « structurels » problèmes– des problèmes tels que la discrimination, les réductions de la santé mentale et la baisse de la confiance civique – qui se manifestent de manière générale dans le produit plutôt qu’à travers un élément de contenu individuel. Un exemple célèbre de ce type de problème structurel est l’expérience de « contagion émotionnelle » de Facebook en 2012, qui a montré que l’affect des utilisateurs (leur humeur telle que mesurée par leur comportement sur la plate-forme) changeait de manière mesurable en fonction de la version du produit à laquelle ils étaient exposés.

Dans le retour de flamme qui a suivi après la publication des résultats, Facebook (maintenant Meta) a mis fin à ce type d’expérimentation délibérée. Mais ce n’est pas parce qu’ils ont cessé de mesurer ces effets que les décisions concernant les produits ne continuent pas à les avoir.

Les problèmes structurels résultent directement des choix de produits. Les chefs de produit d’entreprises technologiques comme Facebook, YouTube et TikTok sont incités à se concentrer massivement sur la maximisation du temps et de l’engagement sur les plateformes. Et l’expérimentation y est toujours très vivante : presque chaque changement de produit est déployé auprès de petits publics de test via des essais contrôlés randomisés. Pour évaluer les progrès, les entreprises mettre en place des processus de gestion rigoureux pour favoriser leurs missions centrales (connues sous le nom d’objectifs et de résultats clés, ou OKR), même en utilisant ces résultats déterminer les primes et les promotions. La responsabilité de traiter les conséquences des décisions relatives aux produits incombe souvent à d’autres équipes qui sont généralement en aval et ont moins d’autorité pour traiter les causes profondes. Ces équipes sont généralement capables de répondre aux dommages aigus, mais souvent ne peuvent pas résoudre les problèmes causés par les produits eux-mêmes.

Avec attention et concentration, cette même structure de développement de produits pourrait être tournée vers la question des dommages sociétaux. Considérez le témoignage de Frances Haugen au Congrès l’année dernière, ainsi que révélations médiatiques sur l’impact présumé de Facebook sur la santé mentale des adolescents. Facebook a répondu à la critique en expliquant qu’il avait étudié si les adolescents feutre que le produit a eu un effet négatif sur leur santé mentale et si cette perception les a amenés à moins utiliser le produit, et non si le produit réellement a eu un effet néfaste. Bien que la réponse ait pu aborder cette controverse particulière, elle a montré qu’une étude visant directement la question de la santé mentale – plutôt que son impact sur l’engagement des utilisateurs – ne serait pas exagérée.

L’intégration des évaluations des dommages systémiques ne sera pas facile. Nous aurions à trier ce que nous pouvons réellement mesurer de manière rigoureuse et systématique, ce que nous exigerions des entreprises et les problèmes à prioriser dans de telles évaluations.

Les entreprises pourraient elles-mêmes mettre en œuvre des protocoles, mais leurs intérêts financiers vont trop souvent à l’encontre de limitations significatives du développement et de la croissance des produits. Cette réalité est un exemple standard de réglementation qui agit au nom du public. Que ce soit par le biais d’un nouveau mandat légal de la Federal Trade Commission ou de directives d’atténuation des dommages d’une nouvelle agence gouvernementale, le travail du régulateur serait de travailler avec les équipes de développement de produits des entreprises technologiques pour concevoir des protocoles mesurables et mesurables. pendant le cours du développement de produits pour évaluer les signaux de danger significatifs.

Cette approche peut sembler lourde, mais l’ajout de ces types de protocoles devrait être simple pour les plus grandes entreprises (les seules auxquelles la réglementation devrait s’appliquer), car elles ont déjà intégré des essais contrôlés randomisés dans leur processus de développement pour mesurer leur efficacité. La partie la plus longue et la plus complexe consisterait à définir les normes ; l’exécution réelle des tests ne nécessiterait aucune participation réglementaire. Il suffirait de poser des questions de diagnostic parallèlement aux questions normales liées à la croissance, puis de rendre ces données accessibles aux examinateurs externes. Notre article à paraître au Conférence ACM 2022 sur l’équité et l’accès dans les algorithmes, les mécanismes et l’optimisation expliquera cette procédure plus en détail et indiquera comment elle pourrait être effectivement établie.

Lorsque des produits atteignant des dizaines de millions de personnes sont testés pour leur capacité à stimuler l’engagement, les entreprises doivent s’assurer que ces produits, au moins dans l’ensemble, respectent également le principe « ne pas aggraver le problème ». Au fil du temps, des normes plus agressives pourraient être établies pour annuler les effets existants des produits déjà approuvés.