L’IA générative peut ressembler à de la magie, mais derrière le développement de ces systèmes se trouvent des armées d’employés d’entreprises comme Google, OpenAI et d’autres, connus sous le nom d’« ingénieurs rapides » et d’analystes, qui évaluent l’exactitude des résultats des chatbots pour améliorer leur IA.
Mais une nouvelle directive interne transmise par Google aux sous-traitants travaillant sur Gemini, vue par TechCrunch, a fait craindre que Gemini pourrait être plus enclin à divulguer des informations inexactes sur des sujets très sensibles, comme les soins de santé, aux gens ordinaires.
Pour améliorer Gemini, les entrepreneurs travaillant avec GlobalLogic, une société d’externalisation propriété d’Hitachisont régulièrement invités à évaluer les réponses générées par l’IA en fonction de facteurs tels que la « véracité ».
Ces sous-traitants étaient jusqu’à récemment capables de « sauter » certaines invites, et ainsi de ne pas évaluer diverses réponses écrites par l’IA à ces invites, si l’invite sortait bien de leur domaine d’expertise. Par exemple, un entrepreneur pourrait ignorer une invite qui posait une question spécifique sur la cardiologie parce qu’il n’avait aucune formation scientifique.
Mais la semaine dernière, GlobalLogic a annoncé un changement de la part de Google selon lequel les sous-traitants ne sont plus autorisés à ignorer ces invites, quelle que soit leur propre expertise.
La correspondance interne consultée par TechCrunch montre qu’auparavant, les directives se lisaient comme suit : « Si vous ne possédez pas l’expertise critique (par exemple, codage, mathématiques) pour évaluer cette invite, veuillez ignorer cette tâche. »
Mais maintenant, les directives disent : « Vous ne devez pas ignorer les invites qui nécessitent une connaissance spécialisée du domaine. » Au lieu de cela, il est demandé aux entrepreneurs de « noter les parties de l’invite que vous comprenez » et d’inclure une note indiquant qu’ils n’ont pas de connaissances dans le domaine.
Cela a suscité des inquiétudes directes quant à l’exactitude de Gemini sur certains sujets, car les sous-traitants sont parfois chargés d’évaluer des réponses hautement techniques de l’IA sur des problèmes tels que les maladies rares pour lesquels ils n’ont aucune expérience.
« Je pensais que le but de sauter était d’augmenter la précision en le donnant à quelqu’un de meilleur ? » un entrepreneur a noté dans une correspondance interne, vue par TechCrunch.
Les entrepreneurs ne peuvent désormais ignorer les invites que dans deux cas : s’il leur manque « complètement des informations », comme l’invite ou la réponse complète, ou s’ils contiennent un contenu préjudiciable qui nécessite des formulaires de consentement spéciaux pour être évalué, selon les nouvelles directives.
Google n’a pas répondu aux demandes de commentaires de TechCrunch au moment de la publication.