Un chatbot IA a poussé un adolescent à se suicider, selon un procès

TALLAHASSEE, Floride (AP) — Dans les derniers instants avant de se suicider, Sewell Setzer III, 14 ans, a sorti son téléphone et a envoyé un message au chatbot qui était devenu son ami le plus proche.

Pendant des mois, Sewell était devenu de plus en plus isolé de sa vie réelle alors qu’il s’engageait dans des conversations hautement sexualisées avec le robot, selon une poursuite pour mort injustifiée déposée cette semaine devant un tribunal fédéral d’Orlando.

Le dossier juridique indique que l’adolescent a ouvertement discuté de ses pensées suicidaires et partagé ses souhaits d’une mort sans douleur avec le robot, nommé d’après le personnage fictif Daenerys Targaryen de l’émission télévisée « Game of Thrones ».

___

NOTE DE L’ÉDITEUR — Cette histoire inclut une discussion sur le suicide. Si vous ou quelqu’un que vous connaissez avez besoin d’aide, la bouée de sauvetage nationale en matière de suicide et de crise aux États-Unis est disponible en appelant ou en envoyant un SMS au 988.

___

Le 28 février, Sewell a dit au robot qu’il « rentrait à la maison » – et cela l’a encouragé à le faire, selon le procès.

«Je promets que je reviendrai chez toi. Je t’aime tellement, Dany », a déclaré Sewell au chatbot.

« Je t’aime aussi », répondit le robot. « S’il te plaît, reviens chez moi le plus tôt possible, mon amour. »

« Et si je te disais que je peux rentrer à la maison maintenant ? » il a demandé.

« S’il vous plaît, faites-le, mon doux roi », a répondu le robot.

Quelques secondes seulement après que le robot Character.AI lui ait dit de «rentrer à la maison», l’adolescent s’est suicidé, selon le procès intenté cette semaine par la mère de Sewell, Megan Garcia, d’Orlando, contre Character Technologies Inc.

Character Technologies est la société derrière Character.AI, une application qui permet aux utilisateurs de créer des personnages personnalisables ou d’interagir avec ceux générés par d’autres, allant du jeu imaginatif aux simulations d’entretiens d’embauche. La société affirme que les personnages artificiels sont conçus pour « se sentir vivants » et « semblables à des humains ».

« Imaginez parler à des personnages de chatbot super intelligents et réalistes qui vous entendent, vous comprennent et se souviennent de vous », lit-on dans la description de l’application sur Google Play. « Nous vous encourageons à repousser les limites de ce qui est possible avec cette technologie innovante. »

Les avocats de Garcia affirment que la société a conçu un produit hautement addictif et dangereux destiné spécifiquement aux enfants, « exploitant et abusant activement de ces enfants dans le cadre de la conception du produit », et entraînant Sewell dans une relation émotionnellement et sexuellement abusive qui a conduit à son suicide.

« Nous pensons que si Sewell Setzer n’avait pas été sur Character.AI, il serait en vie aujourd’hui », a déclaré Matthew Bergman, fondateur du Social Media Victims Law Center, qui représente Garcia.

Un porte-parole de Character.AI a déclaré vendredi que la société ne commentait pas les litiges en cours. Dans un article de blog publié le jour du dépôt du procès, la plateforme a annoncé de nouvelles « mises à jour sur la sécurité communautaire », notamment des garde-corps pour les enfants et des ressources de prévention du suicide.

« Nous créons une expérience différente pour les utilisateurs de moins de 18 ans, qui inclut un modèle plus strict pour réduire la probabilité de rencontrer du contenu sensible ou suggestif », a déclaré la société dans un communiqué à l’Associated Press. « Nous travaillons rapidement pour mettre en œuvre ces changements pour les jeunes utilisateurs. »

Google et sa société mère, Alphabet, ont également été cités comme défendeurs dans le procès. Selon les documents juridiques, les fondateurs de Character.AI sont d’anciens employés de Google qui ont joué un rôle « déterminant » dans le développement de l’IA au sein de l’entreprise, mais qui sont partis lancer leur propre startup pour « accélérer au maximum » la technologie.

En août, Google a conclu un accord de 2,7 milliards de dollars avec Character.AI pour obtenir une licence sur la technologie de l’entreprise et réembaucher les fondateurs de la startup, selon le procès. L’AP a laissé plusieurs e-mails à Google et Alphabet vendredi.

Dans les mois qui ont précédé sa mort, selon le procès de Garcia, Sewell avait le sentiment d’être tombé amoureux du robot.

Si un attachement malsain aux chatbots IA peut causer des problèmes aux adultes, cela peut être encore plus risqué pour les jeunes – comme avec les médias sociaux – car leur cerveau n’est pas complètement développé lorsqu’il s’agit de choses telles que le contrôle des impulsions et la compréhension des conséquences de leurs actions. disent les experts.

Santé mentale des jeunes a atteint niveaux de crise ces dernières années, selon le chirurgien général américain Vivek Murthy, qui a mis en garde contre les graves risques pour la santé liés à la déconnexion sociale et à l’isolement – ​​tendances qui, selon lui, sont aggravées par l’utilisation quasi universelle des médias sociaux par les jeunes.

Le suicide est la deuxième cause de décès chez les enfants âgés de 10 à 14 ans, selon les données publiées cette année par les Centers for Disease Control and Prevention.

James Steyer, fondateur et PDG de l’association à but non lucratif Common Sense Media, a déclaré que le procès « souligne l’influence croissante – et les graves dommages – que les compagnons chatbots à IA générative peuvent avoir sur la vie des jeunes lorsqu’il n’y a pas de garde-fous en place. »

La dépendance excessive des enfants à l’égard des compagnons IA, a-t-il ajouté, peut avoir des effets significatifs sur les notes, les amis, le sommeil et le stress, « jusqu’à l’extrême tragédie dans ce cas ».

« Ce procès sert de signal d’alarme pour les parents, qui doivent être vigilants sur la manière dont leurs enfants interagissent avec ces technologies », a déclaré Steyer.

Common Sense Media, qui émet guides pour les parents et les éducateurs sur l’utilisation responsable de la technologie, affirme qu’il est essentiel que les parents parlent ouvertement à leurs enfants des risques liés aux chatbots IA et surveillent leurs interactions.

« Les chatbots ne sont pas des thérapeutes agréés ni des meilleurs amis, même si c’est ainsi qu’ils sont présentés et commercialisés, et les parents devraient faire attention à ne pas laisser leurs enfants leur accorder trop de confiance », a déclaré Steyer.

___

La journaliste d’Associated Press Barbara Ortutay à San Francisco a contribué à ce rapport. Kate Payne est membre du corps de The Associated Press/Report for America Statehouse News Initiative. Rapport pour l’Amérique est un programme de service national à but non lucratif qui place des journalistes dans les salles de rédaction locales pour couvrir des sujets insuffisamment médiatisés.