Le sénateur veut que Google réponde de l’exactitude et de l’éthique de l’outil d’IA générative
Le sénateur Mark Warner, D-Virginie, a écrit une lettre à Sundar Pichai, PDG de la société mère de Google Alphabet, le 8 août, cherchant à clarifier le Med-PaLM 2 du développeur de technologie, un chatbot d’intelligence artificielle, et comment il est déployé et formés en milieu de soins.
POURQUOI EST-CE IMPORTANT
Dans le lettreWarner s’inquiète de certains les nouvelles soulignant les inexactitudes de la technologie, et il demande à Pichai de répondre à une série de questions sur Med-PaLM 2 (et d’autres outils d’IA similaires), basées sur sa transparence algorithmique, sa capacité à protéger la vie privée des patients et d’autres préoccupations.
Warner se demande si Google « donne la priorité à la course à l’établissement de parts de marché plutôt qu’au bien-être des patients » et si l’entreprise « contourne la confidentialité de la santé en formant des modèles de diagnostic sur des données de santé sensibles à l’insu ou sans le consentement des patients ».
Le sénateur demande à Pichai des éclaircissements sur la manière dont la technologie Med-PaLM 2 est déployée et testée dans divers établissements de santé – y compris à la clinique Mayo, dont le réseau de soins comprend VHC Health basé à Arlington, en Virginie, dans l’État d’origine de Warner – quelles sources de données il apprend et « combien d’informations et d’agence les patients ont sur la façon dont l’IA est impliquée dans leurs soins ».
Parmi les questions (citées de la lettre) Warner a posé au PDG de Google :
Les chercheurs ont trouvé de grands modèles de langage pour afficher un phénomène décrit comme « flagornerie« , dans lequel le modèle génère des réponses qui confirment ou répondent aux réponses préférées (tacites ou explicites) d’un utilisateur, ce qui pourrait entraîner des risques d’erreur de diagnostic dans le contexte médical. Avez-vous testé Med-PaLM 2 pour ce mode de défaillance ?
Les grands modèles de langage démontrent fréquemment la tendance à mémoriser le contenu de leurs données de formation, ce qui peut mettre en danger la vie privée des patients dans le contexte de modèles formés sur des informations de santé sensibles. Comment Google a-t-il évalué Med-PaLM 2 pour ce risque et quelles mesures Google a-t-il prises pour atténuer les fuites involontaires d’informations de santé sensibles ?
Quelle documentation Google a-t-il fournie aux hôpitaux, tels que la clinique Mayo, à propos de Med-PaLM 2 ? A-t-il partagé des modèles ou des cartes système, des fiches techniques, des déclarations de données et/ou des résultats de test et d’évaluation ?
Les propres recherches de Google reconnaissent que ses modèles cliniques ne reflètent les connaissances scientifiques qu’au moment où le modèle est formé, ce qui nécessite un « apprentissage continu ». À quelle fréquence Google recycle-t-il entièrement ou partiellement Med-PaLM 2 ? Google s’assure-t-il que les titulaires de licence n’utilisent que la version la plus récente du modèle ?
Google n’a pas fourni publiquement de documentation sur Med-PaLM 2, notamment en s’abstenant de divulguer le contenu des données d’entraînement du modèle. Le corpus de formation de Med-PaLM 2 intègre-t-il des informations de santé protégées ?
Google s’assure-t-il que les patients sont informés lorsque Med-PaLM 2, ou d’autres modèles d’IA proposés ou sous licence par, sont utilisés dans le cadre de leurs soins par des titulaires de licence de soins de santé ? Si oui, comment la divulgation est-elle présentée ? Fait-il partie d’une divulgation plus longue ou est-il présenté plus clairement ?
Les patients ont-ils la possibilité de refuser que l’IA soit utilisée pour faciliter leurs soins ? Si oui, comment cette option est-elle communiquée aux patients ?
Google conserve-t-il des informations ponctuelles sur les titulaires de licence de soins de santé, y compris les informations médicales protégées qu’elles contiennent ? Veuillez énumérer chaque raison pour laquelle Google conserve ces informations.
Quelles conditions de licence existent dans toute licence de produit pour utiliser Med-PaLM 2 afin de protéger les patients, d’assurer des garde-fous éthiques et d’empêcher une mauvaise utilisation ou une utilisation inappropriée de Med-PaLM 2 ? Comment Google garantit-il le respect de ces conditions dans le contexte post-déploiement ?
Dans combien d’hôpitaux Med-PaLM 2 est-il actuellement utilisé ? Veuillez fournir une liste de tous les hôpitaux et systèmes de soins de santé avec lesquels Google a autorisé ou partagé Med-Palm 2.
Google utilise-t-il les informations médicales protégées des hôpitaux utilisant Med-PaLM 2 pour recycler ou affiner Med-PaLM 2 ou tout autre modèle ? Si tel est le cas, Google exige-t-il que les hôpitaux informent les patients que leurs informations médicales protégées peuvent être utilisées de cette manière ?
Dans la propre publication de recherche de Google annonçant Med-PaLM 2, les chercheurs ont mis en garde contre la nécessité d’adopter « des garde-corps pour atténuer la dépendance excessive à l’égard de la production d’un assistant médical ». Quels garde-corps Google a-t-il adoptés pour atténuer la dépendance excessive à l’égard de la sortie de Med-PaLM 2 ainsi que quand il devrait et ne devrait pas être utilisé ? Quels garde-fous Google a-t-il incorporés dans les conditions de licence du produit pour éviter une dépendance excessive à l’égard de la sortie ?
LA GRANDE TENDANCE
Warner, qui possède une expérience commerciale dans le secteur de la technologie, s’est vivement intéressé aux initiatives de transformation numérique des soins de santé telles que télésanté et soins virtuels, la cyber-sécuritéet l’éthique et la sécurité de l’IA.
Ce n’est pas la première fois qu’il écrit directement à un PDG de Big Tech. En octobre dernier, Warner a écrit au PDG de Meta, Mark Zuckerberg cherchant à clarifier la technologie pixel de l’entreprise et les pratiques de suivi des données dans le domaine de la santé.
Il a partagé préoccupations similaires sur les risques potentiels de l’intelligence artificielle et a a demandé à la Maison Blanche travailler plus étroitement avec le secteur de la technologie pour aider à favoriser des déploiements plus sûrs de l’IA dans les soins de santé et ailleurs.
En avril dernier, Google a commencé à tester Med-PaLM 2 – qui peut répondre à des questions médicales, résumer des documents et effectuer d’autres tâches gourmandes en données – avec des clients du secteur de la santé tels que la clinique Mayo, avec laquelle il a été en étroite collaboration depuis 2019.
À la clinique Mayo, pendant ce temps, des travaux innovants se poursuivent sur l’IA générative dans une variété de cas d’utilisation cliniques et opérationnels. En juin, Google et Mayo a offert une mise à jour sur certains des projets d’automatisation ça se poursuit.
Le président de la plate-forme Mayo Clinic, le Dr John Halamka, s’est entretenu avec Nouvelles de l’informatique de la santé Le rédacteur en chef Bill Siwicki a récemment parlé du promesse – et limites – de l’IA générativede grands modèles de langage et d’autres applications d’apprentissage automatique pour la prestation de soins cliniques.
ENREGISTREMENT
« Bien que l’intelligence artificielle recèle sans aucun doute un énorme potentiel pour améliorer les soins aux patients et les résultats de santé, je crains que le déploiement prématuré d’une technologie non éprouvée ne conduise à l’érosion de la confiance dans nos professionnels et institutions médicales, à l’exacerbation des disparités raciales existantes dans les résultats de santé et à une augmentation risque d’erreurs de diagnostic et de prestation de soins », a déclaré Warner.
« Il est clair que davantage de travail est nécessaire pour améliorer cette technologie ainsi que pour garantir que la communauté des soins de santé élabore des normes appropriées régissant le déploiement et l’utilisation de l’IA », a-t-il ajouté.
Mike Miliard est rédacteur en chef de Healthcare IT News
Envoyez un courriel à l’auteur : [email protected]
Healthcare IT News est une publication HIMSS.
