Microsoft affirme que son outil de sécurité IA détecte non seulement les erreurs, mais les corrige également

Microsoft lance une nouvelle fonctionnalité appelée « correction » qui s’appuie sur les efforts de l’entreprise pour lutter contre les inexactitudes de l’IA. Les clients qui utilisent Microsoft Azure pour alimenter leurs systèmes d’IA peuvent désormais utiliser cette fonctionnalité pour détecter et réécrire automatiquement le contenu incorrect dans les sorties d’IA.

La fonctionnalité de correction est disponible en version préliminaire dans le cadre d’Azure AI Studio, une suite d’outils de sécurité conçus pour détecter les vulnérabilités, trouver des « hallucinations » et bloquer les messages malveillants. Une fois activée, le système de correction analysera et identifiera les inexactitudes dans la sortie de l’IA en la comparant avec le matériel source d’un client.

À partir de là, il mettra en évidence l’erreur, fournira des informations sur les raisons pour lesquelles elle est incorrecte et réécrira le contenu en question, le tout « avant que l’utilisateur ne puisse voir » l’inexactitude. Bien que cela semble être un moyen utile de remédier aux absurdités souvent prônées par les modèles d’IA, ce n’est peut-être pas une solution entièrement fiable.

Vertex AI, la plateforme cloud de Google pour les entreprises développant des systèmes d’IA, dispose d’une fonctionnalité qui « ancre » les modèles d’IA en vérifiant les résultats par rapport à la recherche Google, aux propres données d’une entreprise et (bientôt) aux ensembles de données tiers.

Dans une déclaration à TechCrunchun porte-parole de Microsoft a déclaré que le système de « correction » utilise « de petits modèles de langage et de grands modèles de langage pour aligner les résultats sur les documents de base », ce qui signifie qu’il n’est pas non plus à l’abri des erreurs. « Il est important de noter que la détection de la base ne résout pas le problème de la « précision », mais aide à aligner les résultats de l’IA générative sur les documents de base », a déclaré Microsoft TechCrunch.