Un code de conception pour les grandes technologies

L’audio de cette conversation est disponible via votre service de podcast préféré.

L’invité d’aujourd’hui est Ravi Iyer, scientifique des données et psychologue moral au Psychology of Technology Institute, qui est un projet du Neely Center for Ethical Leadership and Decision Making de l’Université de Californie du Sud Marshall School et de la Haas School of Business de l’Université de Californie à Berkeley. Il est également un ancien cadre de Facebook ; au sein de l’entreprise, il a travaillé sur diverses questions d’intégrité civique.

Le Centre Neely a développé un code de conception qui cherche à répondre à un certain nombre de préoccupations concernant les méfaits des médias sociaux, notamment les questions liées à la sécurité des enfants en ligne. Il est approuvé par des individus et des organisations allant des universitaires de NYU et de l’USC au Tech Justice Law Project et New Public, ainsi que par des technologues qui ont travaillé sur des plateformes telles que Twitter, Facebook et Google.

J’ai parlé à Iyer des détails du code proposé, et en particulier de leur lien avec le débat sur la sécurité en ligne des enfants.

Ce qui suit est une transcription légèrement éditée de la discussion.

Justin Hendrix :

Ravi, que fait le Centre pour le leadership éthique et la prise de décision ?

Ravi Iyer :

Nous nous concentrons donc sur l’éthique et la technologie. Cela s’explique en partie par le fait que nous pensons que la technologie est une force importante dans le monde qui a de puissants effets déterminants sur notre comportement et a des effets puissants à la fois sur notre bien-être individuel et sur notre bien-être sociétal. Nous pensons donc que ce n’est pas la seule voie sur laquelle nous aurions pu nous concentrer, mais c’est la chose qui, selon nous, est le meilleur levier sur lequel nous concentrer en ce moment.

Et donc j’ai eu la chance, un professeur avec qui je travaillais dans le monde universitaire – lorsque j’étais psychologue de métier – quand j’ai quitté Meta, il est devenu directeur de ce centre. Il m’a donc fait appel à lui pour l’aider à faire avancer son travail.

Justin Hendrix :

Certains de mes auditeurs vous connaissent peut-être, et votre travail dans lequel vous avez publié Presse sur la politique technologique, ce dont je suis reconnaissant. Pour ceux qui ne vous connaissent peut-être pas, dites un mot ou deux sur votre carrière chez Meta et ce que vous avez fait là-bas ?

Ravi Iyer :

Ouais. J’ai commencé mon parcours chez Meta en tant que responsable de la science des données dans l’intégrité des fils d’actualité. Et j’avais fait beaucoup de travail sur la polarisation. J’ai un diplôme universitaire en psychologie sociale et j’ai travaillé avec Jonathan Haidt sur la polarisation.

J’ai également aidé un de mes amis à démarrer une entreprise appelée Ranker, et j’ai donc eu cette double carrière technologique et une carrière d’étude de la polarisation. Et quelqu’un a dit, eh bien, si vous allez travailler chez Facebook, vous pouvez travailler sur la polarisation et vous pouvez avoir un impact sur beaucoup de gens. Alors j’ai fait ça. C’est super. Environ six mois après mon séjour là-bas, il y a une sorte de célèbre le journal Wall Street article à propos d’eux dépréciant leurs efforts sur la polarisation.

J’ai donc déménagé ma famille ici. Je me disais, qu’est-ce que je vais faire ? Je suis venu ici pour travailler sur la polarisation, mais j’ai trouvé des moyens de travailler sur la polarisation sans nécessairement travailler sur la polarisation. Il y avait encore des possibilités, des domaines dans lesquels l’entreprise était prête à intervenir un peu plus, des choses comme les élections, des choses comme les pays à risque.

En fait, je suis passé du statut de responsable de la science des données à celui de responsable de recherche où je pouvais demander aux utilisateurs si leurs définitions du discours de haine correspondaient à nos définitions du discours de haine. Souvent, ce n’était pas le cas. Et puis j’ai finalement réalisé que la seule façon de s’attaquer à ces problèmes de manière plus large était de passer des efforts d’intégrité à une plus grande attention de l’équipe produit de base. J’ai donc fini mon temps là-bas à travailler au sein de l’équipe principale du fil d’actualité, essayant simplement de comprendre comment attaquer ces problèmes en amont du point de vue de la conception, par opposition à l’aval, comme le nettoyage après ce que faisaient les autres équipes.

Cela raconte en grande partie le temps que j’ai passé depuis que j’ai quitté Facebook, où j’essaie de transmettre cette expérience et ce message au monde entier, car je pense que beaucoup de choses que nous avons faites chez Facebook pourraient être faites de manière plus agressive. Ils pourraient postuler à TikTok, ils pourraient postuler à YouTube. J’espère donc qu’en appliquant ces leçons, je pourrai avoir encore plus d’impact.

Justin Hendrix :

Donc, l’une des façons dont je pense à vous dans mon esprit est à travers une phrase que vous avez utilisée dans un article que vous avez publié il n’y a pas très longtemps, je pense, après avoir commencé ce nouveau travail dans lequel vous vous trouvez actuellement, c’est-à-dire que « la modération du contenu est une impasse ».

Donc, pour beaucoup de gens qui écoutent ceci et qui travaillent sur la confiance et la sécurité, ou peut-être qu’ils ont fait beaucoup de travail sur la désinformation ou autre, ce type d’expression pourrait être un combat contre les mots. Pourquoi dites-vous que la modération du contenu est une impasse ? Et en quoi est-ce un point de départ pour votre travail ?

Ravi Iyer :

Je ne veux donc pas dire que la modération du contenu n’a aucune valeur. J’ai choisi intentionnellement l’expression impasse. Et je pense honnêtement que beaucoup de gens, j’ai travaillé aux côtés de nombreuses personnes qui travaillent dans des équipes de confiance et d’intégrité de sécurité. Et beaucoup de ces gens sont d’accord avec moi. Vous travaillez sur ces problèmes, vous vous réveillez le lendemain, vous travaillez sur le même problème.

Vous vous demandez : puis-je résoudre ce problème à un niveau plus racine plutôt que de résoudre ce problème avec une approche basée sur la modération ? J’ai donc choisi cette fin pour une raison. Je l’ai choisi pour indiquer que cela ne nous amènera pas là où nous souhaitons arriver, et non pas que la modération du contenu et les personnes qui modèrent ne font pas un travail important et bon.

Mais je fais souvent référence à l’analogie de Maria Ressa selon laquelle vous prenez un ruisseau sale, vous retirez un verre d’eau de ce ruisseau, vous nettoyez ce verre d’eau et vous le jetez à nouveau dans le ruisseau. Et je ne dis pas qu’il n’est pas important de nettoyer un verre d’eau, car peut-être alliez-vous boire ce verre d’eau.

Il est donc important d’améliorer l’expérience des gens, certes, mais il faut s’attaquer à la conception en amont de ces systèmes. Qu’est-ce qui pollue ce ruisseau en premier lieu, sinon vous allez vous réveiller chaque jour en essayant de nettoyer de plus en plus de verres d’eau. Et dans un monde d’IA générative, la situation va encore empirer.

J’ai donc choisi intentionnellement la modération du contenu comme une impasse pour aider les gens à passer, à mon avis, d’un endroit où ils se trouvaient vers un endroit où ils devaient se rendre. Mais cela ne veut pas dire que la modération du contenu ne fait pas un travail important.

Justin Hendrix :

Nous allons donc parler un peu de ce sujet spécifiquement autour de la sécurité des enfants en ligne. Au cours des derniers mois, vous avez fait part de vos réflexions au monde, notamment en ce qui concerne les réponses à la loi sur la sécurité des enfants en ligne. Bien sûr, il existe d’autres lois à travers le pays qui ont été, dans certains cas, promulguées concernant la sécurité des enfants en ligne, notamment le California Age Appropriate Design Code et certaines des lois peut-être plus restrictives et différentes qui ont été adoptées dans des endroits comme l’Arkansas et l’Utah. , etc.

Parlez-moi de ce travail, de cette idée d’améliorer le devoir de vigilance. KOSA a ce devoir de diligence. C’est l’un des principaux points de friction parmi les défenseurs qui examinent ces questions. Sur quoi travaillez-vous ici ?

Ravi Iyer :

Je pense donc que les personnes derrière ces efforts sont absolument au bon endroit avec leurs intentions. Je pense que tout le monde conviendra que les plateformes doivent agir dans le meilleur intérêt des mineurs. Je pense que lorsque vous n’êtes pas plus précis sur ce que vous voulez dire exactement, cela laisse la possibilité aux deux personnes de soutenir que vous êtes en fait… en train d’essayer de légiférer sur ce que les gens peuvent et ne peuvent pas dire, ce qui est inconstitutionnel, ou que vous Nous essayons, ou du moins, de permettre aux gens d’abuser de ces efforts, n’est-ce pas ?

Ainsi, certaines personnes pourraient dire que le devoir de diligence signifie que vous ne pouvez pas voir le contenu des membres LGBTQ+ de la communauté, car cela nuit aux jeunes. Les gens peuvent donc modifier le devoir de diligence de différentes manières. Les gens peuvent penser que vous pensez des choses que vous ne pensez pas. Et donc je pense qu’il est utile d’être précis.

Nous avons récemment lancé notre effort de code de conception. Nous essayons intentionnellement de ne pas prescrire exactement comment cela sera mis en œuvre. Les plateformes pourraient donc faire certaines de ces choses volontairement. Il existe des moyens pour cela. Les magasins d’applications pourraient jouer un rôle dans ces efforts. Et, mais je pense que la chose importante est d’être précis sur ce que nous voulons.

Et donc, que ce soit quelque chose qui soit mis en œuvre dans le cadre d’un devoir de diligence, ce que je soutiens, je pense simplement que cela peut être amélioré en étant plus précis plutôt qu’un devoir de diligence plus vague est simplement sujet aux abus et aux contestations judiciaires. .

Justin Hendrix :

Parlons un instant du devoir de diligence qui existe actuellement au sein de KOSA.

Vous avez donc évoqué cette idée d’exiger qu’une plateforme agisse dans le meilleur intérêt de l’utilisateur. C’est littéralement le point (a) de l’article 3 du devoir de diligence de KOSA : « La plateforme couverte doit agir dans le meilleur intérêt d’un utilisateur que la plateforme connaît ou devrait raisonnablement connaître en tant que mineur en prenant des mesures raisonnables dans sa conception et son fonctionnement de produits et services pour prévenir et atténuer ce qui suit… » Et puis, bien sûr, cela passe par beaucoup de mauvaises choses qui pourraient vous arriver, qu’il s’agisse de dépendance, comme les comportements, la violence physique, l’intimidation en ligne, les pratiques de marketing trompeuses, les préjudices financiers, et cetera. .

Mais c’est intéressant, je suppose, là-dedans. C’est l’un des endroits où je pense que les critiques s’accrochent, il y a un langage, certainement dans la limitation, qui commence à suggérer que l’intention ici est de limiter le contenu, de modérer le contenu. Il y a bien sûr une exception qui dit qu’il n’y a rien là-dedans, dans le devoir de diligence. Doit être interprété comme exigeant qu’une plate-forme empêche ou empêche tout mineur de rechercher délibérément et indépendamment ou de demander spécifiquement du contenu.

C’est presque comme s’il s’agissait simplement d’une sorte de présomption selon laquelle, bien sûr, du fait du respect du KOSA, les plates-formes…