Cet outil est la réponse d’OpenAI à la chaleur qu’il a reçue des éducateurs, des journalistes et d’autres pour avoir lancé ChatGPT sans aucun moyen de détecter le texte qu’il a généré. Cependant, il s’agit encore d’un travail en cours et il est terriblement peu fiable. OpenAI indique que son détecteur de texte IA identifie correctement 26 % du texte écrit par IA comme « probablement écrit par IA ».
Alors qu’OpenAI a clairement encore beaucoup de travail à faire pour affiner son outil, il y a une limite à ce qu’il peut faire. Il est extrêmement peu probable que nous disposions d’un outil capable de repérer le texte généré par l’IA avec une certitude à 100 %. Il est vraiment difficile de détecter le texte généré par l’IA, car l’intérêt des modèles de langage de l’IA est de générer un texte fluide et d’apparence humaine, et le modèle imite le texte créé par les humains, explique Muhammad Abdul-Mageed, un professeur qui supervise la recherche en sciences naturelles. -traitement du langage et apprentissage automatique à l’Université de la Colombie-Britannique
Nous sommes dans une course aux armements pour construire des méthodes de détection qui peuvent correspondre aux modèles les plus récents et les plus puissants, ajoute Abdul-Mageed. Les nouveaux modèles de langage d’IA sont plus puissants et permettent de générer un langage encore plus fluide, ce qui rend rapidement obsolète notre kit d’outils de détection existant.
OpenAI a construit son détecteur en créant un tout nouveau modèle de langage AI semblable à ChatGPT qui est spécifiquement formé pour détecter les sorties de modèles comme lui. Bien que les détails soient rares, la société a apparemment formé le modèle avec des exemples de texte généré par l’IA et des exemples de texte généré par l’homme, puis lui a demandé de repérer le texte généré par l’IA. Nous avons demandé plus d’informations, mais OpenAI n’a pas répondu.
Le mois dernier, j’ai écrit sur une autre méthode de détection de texte généré par une IA : les filigranes. Ceux-ci agissent comme une sorte de signal secret dans le texte produit par l’IA qui permet aux programmes informatiques de le détecter comme tel.
Des chercheurs de l’Université du Maryland ont développé un moyen astucieux d’appliquer des filigranes au texte généré par des modèles de langage d’IA, et ils l’ont rendu disponible gratuitement. Ces filigranes nous permettraient de dire avec une certitude presque complète quand le texte généré par l’IA a été utilisé.
Le problème est que cette méthode oblige les entreprises d’IA à intégrer le filigrane dans leurs chatbots dès le début. OpenAI développe ces systèmes mais ne les a pas encore déployés dans aucun de ses produits. Pourquoi le retard ? Une raison pourrait être qu’il n’est pas toujours souhaitable d’avoir un filigrane de texte généré par l’IA.
L’une des façons les plus prometteuses d’intégrer ChatGPT dans les produits est d’en faire un outil pour aider les gens à rédiger des e-mails ou un correcteur orthographique amélioré dans un traitement de texte. Ce n’est pas exactement de la triche. Mais le filigrane de tous les textes générés par l’IA signalerait automatiquement ces sorties et pourrait conduire à des accusations injustifiées.
