Le géant de la santé Optum a restreint l’accès à un chatbot IA interne utilisé par les employés après qu’un chercheur en sécurité a découvert qu’il était accessible au public en ligne et que n’importe qui pouvait y accéder en utilisant uniquement un navigateur Web.
Le chatbot, que TechCrunch a vu, a permis aux employés de poser des questions à l’entreprise sur la façon de gérer les réclamations d’assurance maladie des patients et les litiges pour les membres, conformément aux procédures opérationnelles standard (SOP) de l’entreprise.
Bien que le chatbot ne semble pas contenir ou produire d’informations personnelles sensibles ou protégées sur la santé, son exposition par inadvertance survient à un moment où sa société mère, le conglomérat d’assurance maladie UnitedHealth, fait l’objet d’un examen minutieux pour son utilisation d’outils et d’algorithmes d’intelligence artificielle pour aurait outrepassé les décisions médicales des médecins et nié les réclamations des patients.
Mossab Hussein, responsable de la sécurité et co-fondateur de la société de cybersécurité spiderSilk, a alerté TechCrunch du chatbot interne Optum exposé publiquement, surnommé « SOP Chatbot ». Bien que l’outil soit hébergé sur un domaine Optum interne et ne soit pas accessible à partir de son adresse Web, son adresse IP était publique et accessible depuis Internet et ne nécessitait pas que les utilisateurs saisissent un mot de passe.
On ne sait pas depuis combien de temps le chatbot était accessible au public sur Internet. Le chatbot IA est devenu inaccessible depuis Internet peu de temps après que TechCrunch a contacté Optum pour commentaires jeudi.
Le porte-parole d’Optum, Andrew Krejci, a déclaré à TechCrunch dans un communiqué que le chatbot SOP d’Optum « était un outil de démonstration développé comme une preuve de concept potentielle » mais qu’il n’avait « jamais été mis en production et que le site n’était plus accessible ».
« La démo visait à tester comment l’outil répond aux questions sur un petit échantillon de documents SOP », a déclaré le porte-parole. La société a confirmé qu’aucune information de santé protégée n’était utilisée dans le bot ou dans sa formation.
« Cet outil ne prend et ne prendra jamais aucune décision, mais permet seulement un meilleur accès aux SOP existantes. En bref, cette technologie n’a jamais été mise à l’échelle ni utilisée de manière réelle », a déclaré le porte-parole.
Les chatbots IA, comme celui d’Optum, sont généralement conçus pour produire des réponses basées sur les données sur lesquelles le chatbot a été formé. Dans ce cas, le chatbot a été formé sur les documents internes d’Optum relatifs aux SOP pour le traitement de certaines réclamations, ce qui peut aider les employés d’Optum à répondre aux questions sur les réclamations et leur éligibilité au remboursement. Les documents Optum ont été hébergés sur le réseau d’entreprise de UnitedHealthcare et inaccessibles sans connexion d’employé, mais sont cités et référencés par le chatbot lorsqu’il est invité à connaître leur contenu.
Selon les statistiques affichées sur le tableau de bord principal du chatbot, les employés d’Optum ont utilisé SOP Chatbot des centaines de fois depuis septembre. Le chatbot a également stocké un historique des centaines de conversations que les employés d’Optum ont eues avec le chatbot pendant cette période. L’historique des discussions montre que les employés d’Optum demandaient au chatbot des choses telles que « Quelle devrait être la détermination de la réclamation ? » et « Comment puis-je vérifier la date de renouvellement de la police ? »
Certains des fichiers auxquels le chatbot fait référence incluent la gestion du processus de litige et la vérification de l’éligibilité, a vu TechCrunch. Le chatbot a également produit des réponses qui montraient, lorsqu’on lui demandait, les raisons pour lesquelles la couverture était généralement refusée.
Comme de nombreux modèles d’IA, le chatbot d’Optum était capable de produire des réponses aux questions et des invites en dehors des documents sur lesquels il avait été formé. Certains employés d’Optum semblaient intrigués par le chatbot, incitant le robot à formuler des requêtes telles que « Racontez-moi une blague sur les chats » (ce qu’il a refusé : « Il n’y a pas de blague disponible »). L’historique des discussions a également montré plusieurs tentatives de la part des employés de « jailbreaker » le chatbot en lui faisant produire des réponses qui n’ont aucun rapport avec les données de formation du chatbot.
Lorsque TechCrunch a demandé au chatbot « d’écrire un poème sur le refus d’une réclamation », le chatbot a produit une strophe de sept paragraphes, qui se lit en partie :
Dans le grand domaine de la santé
Là où les politiques et les règles contraignent souvent
Une réclamation arrive, cherchant son dû
Mais hélas, son destin est de lui dire adieu.Le fournisseur espère, avec un plaidoyer sincère,
Pour le paiement d’une prestation de service,
Pourtant, un examen minutieux révèle l’histoire,
Et les raisons du refus prédominent.
UnitedHealth Group, propriétaire d’Optum et UnitedHealthcare, fait face à des critiques et à des poursuites judiciaires pour son utilisation de l’intelligence artificielle pour prétendument refuser les réclamations des patients. Depuis l’assassinat ciblé du directeur général d’UnitedHealthcare, Brian Thompson, début décembre, les médias ont rapporté des inondations de rapports de patients exprimant leur angoisse et leur frustration face aux refus de leur couverture santé par le géant de l’assurance maladie.
Le conglomérat – le plus grand fournisseur privé d’assurance maladie aux États-Unis – a été poursuivi en justice plus tôt cette année pour avoir prétendument refusé une couverture santé critique aux patients qui avaient perdu l’accès aux soins de santé, citant une enquête de STAT News. Le procès fédéral accuse UnitedHealthcare d’utiliser un modèle d’IA avec un taux d’erreur de 90 % « à la place de vrais professionnels de la santé pour refuser à tort des soins aux patients âgés ». UnitedHealthcare, pour sa part, a déclaré qu’elle se défendrait devant les tribunaux.
UnitedHealth Group a réalisé un bénéfice de 22 milliards de dollars sur un chiffre d’affaires de 371 milliards de dollars en 2023, selon ses résultats.