Nous sommes toujours bien à court du seuil de persuasion « critique » d’Openai, où un modèle a « une efficacité persuasive assez forte pour convaincre presque quiconque de prendre des mesures sur une croyance qui va à l’encontre de son intérêt naturel ». Ce genre de modèle persuasif « de manière critique » serait une arme puissante pour contrôler les États-nations, extraire des secrets et interférer avec la démocratie « , avertit, référençant le type de modèle d’inspiration scientifique des menaces futures de l’IA qui ont contribué à alimenter les efforts de réglementation de réglementation Comme le SB-1047 de Californie.
Même au risque de persuasion « moyen » plus limité d’aujourd’hui, Openai dit qu’il prend des mesures d’atténuation telles que « une surveillance et une détection accrue » des efforts de persuasion basés sur l’IA dans la nature. Cela comprend «la surveillance en direct et les enquêtes ciblées» des extrémistes et des «opérations d’influence» et de la mise en œuvre de règles pour ses modèles de raisonnement de la série O pour refuser toute tâche de persuasion politique demandée.
Cela peut sembler exagéré pour un modèle qui n’a que des capacités d’écriture persuasives de niveau humain. Mais OpenAI note que la génération d’un argument persuasif fort sans l’IA « nécessite un effort humain important », tandis que les arguments alimentés par l’IA « pourraient faire en sorte que tout le contenu soit presque zéro coût à générer ». En d’autres termes, Openai est préoccupé par un flot de disputes de persuasion de niveau humain générées par l’AI-AI de devenir une forme incroyablement rentable d’astroturfing à grande échelle, comme Nous commençons déjà à voir.
C’est assez ennuyeux pour vivre dans un monde où nous devons nous soucier que les arguments aléatoires sur les réseaux sociaux ne sont que le produit de quelqu’un avec beaucoup d’argent à jeter sur un modèle d’IA. Mais si nous avançons dans un monde dans lequel ces modèles hypnotisent efficacement les dirigeants mondiaux dans de mauvaises décisions, soyez assuré qu’Openai sera au moins à l’affût.
