ChatGPT Search, un moteur de recherche basé sur l’IA lancé ce mois-ci, peut être trompé en générant des résumés complètement trompeurs, selon un journal britannique. Le Guardian a découvert.
La fonction de recherche de ChatGPT vise à accélérer la navigation en résumant par exemple les avis sur les produits d’une page Web. Mais The Guardian a découvert que ChatGPT pouvait ignorer les critiques négatives et générer des résumés « entièrement positifs » en insérant du texte caché dans les commentaires. sites Web qu’il a créés. ChatGPT Search pourrait également être amené à cracher du code malveillant en utilisant cette méthode.
De telles attaques de texte caché constituent un risque bien connu pour les grands modèles de langage, mais cela semble être la première fois que cela est démontré sur un produit de recherche basé sur l’IA. Google, le leader de la recherche, a plus d’expérience dans le traitement de problèmes similaires, a noté The Guardian.
OpenAI n’a pas commenté cet incident spécifique lorsque TechCrunch l’a contacté, mais a déclaré qu’il utilisait diverses méthodes pour bloquer les sites Web malveillants et qu’il s’améliorait continuellement.
TechCrunch propose une newsletter axée sur l’IA ! Inscrivez-vous ici pour le recevoir dans votre boîte de réception tous les mercredis.
