L’IA non réglementée est déjà à l’œuvre dans le cabinet de votre médecin

“Il n’y a pas de bons tests en cours et ils sont ensuite utilisés dans des situations face aux patients – et c’est vraiment mauvais”, a déclaré Suresh Venkatasubramanian, un informaticien de l’Université Brown, à propos des systèmes d’IA que les médecins adoptent.

Venkatasubramanian a un point de vue unique sur la question. Il a contribué à la rédaction du projet de déclaration des droits de l’IA que l’administration Biden a publié en octobre 2022. Le projet appelait à une surveillance humaine forte pour garantir que les systèmes d’intelligence artificielle font ce qu’ils sont censés faire.

Mais le document n’est encore qu’un morceau de papier ; Le président Joe Biden n’a pas demandé au Congrès de le ratifier, et aucun législateur n’a pris la décision de le faire.

Il existe des preuves que les inquiétudes de Venkatasubramanian sont justifiées. La ville de New York a formé une coalition pour mettre fin au racisme dans les algorithmes cliniques et fait pression sur les systèmes de santé pour arrêter utilisant l’IA qui, selon la coalition, s’appuie sur des ensembles de données qui sous-estiment la capacité pulmonaire des individus noirs et leur capacité à accoucher par voie vaginale après une césarienne, et qui surestiment leur masse musculaire.

Même certains développeurs d’IA s’inquiètent de la manière dont les médecins utilisent leurs systèmes. “Parfois, lorsque nos utilisateurs s’habituaient à notre produit, ils commençaient à lui faire aveuglément confiance”, a déclaré Eli Ben-Joseph, co-fondateur et PDG de Regard, une entreprise qui revendique 1,7 million de diagnostics effectués avec sa technologie, qui intègre dans les dossiers médicaux d’un système de santé.

Tenez compte des mesures de protection mises en œuvre, en avertissant les médecins s’ils agissent trop rapidement ou ne lisent pas tous les résultats du système.

Le Congrès est loin de parvenir à un consensus sur la marche à suivre, malgré la tenue d’un sommet avec les dirigeants de l’industrie technologique le mois dernier.

La Food and Drug Administration, qui a pris les devants pour Biden, a autorisé de nouveaux produits d’IA avant leur mise sur le marché – sans le type de données complètes requises des fabricants de médicaments et d’appareils. L’agence les surveille ensuite pour déceler les événements indésirables.

Troy Tazbaz, directeur du centre d’excellence en santé numérique de l’agence, a déclaré que la FDA reconnaît qu’elle doit faire davantage. Les produits d’IA destinés aux soins de santé et similaires à ChatGPT, le robot capable de passer des examens médicaux, nécessitent « un paradigme très différent » pour être réglementés, a-t-il expliqué. Mais l’agence travaille toujours sur quoi.

Pendant ce temps, l’adoption de l’IA dans les soins de santé s’accélère même si les systèmes, a déclaré Venkatasubramanian, sont « incroyablement fragiles ». En diagnostiquant les patients, il voit des risques d’erreur et la possibilité de préjugés raciaux. Il soupçonne que les médecins feront trop facilement confiance aux jugements du système.

Presque tous les 10 innovateurs qui ont construit la technologie et qui ont parlé à POLITICO ont reconnu les dangers, sans surveillance.

“Il existe probablement déjà un certain nombre d’exemples aujourd’hui – et il y en aura d’autres l’année prochaine – où des organisations déploient de grands modèles de langage d’une manière qui n’est en fait pas très sûre”, Ross Harper, fondateur et PDG de Limbic, une entreprise qui utilise l’IA dans une application de thérapie comportementale, a déclaré.

“Ils commenceraient à lui faire aveuglément confiance”

Limbic a obtenu une certification de dispositif médical au Royaume-Uni et Harper a déclaré que la société progressait aux États-Unis malgré l’incertitude réglementaire.

« Ce serait une erreur de ne pas exploiter ces nouveaux outils », a-t-il déclaré.

Le chatbot de Limbic, qui, selon la société, est le premier du genre en Amérique, fonctionne via une application pour smartphone, en collaboration avec un thérapeute humain.

Les patients peuvent envoyer des messages au robot sur ce qu’ils pensent et ressentent, et le robot suit les protocoles thérapeutiques pour répondre, en utilisant l’intelligence artificielle et un modèle statistique distinct pour garantir que les réponses sont précises et utiles.

Un thérapeute fournit des informations à l’IA pour guider ses conversations. Et l’IA rend compte au thérapeute avec des notes de ses discussions, informant ainsi mieux les futures séances de thérapie du patient.

Une autre entreprise, Talkspace, utilise l’IA qui, selon elle, peut aider à détecter les personnes à risque de suicide après avoir analysé les conversations avec des thérapeutes.

D’autres produits d’IA créent et résument les dossiers des patients, les examinent et suggèrent un diagnostic.

Une grande partie de cette aide vise à aider les médecins surmenés à alléger leur fardeau.

Sécurité et innovation

Les étudiants en technologie ont déclaré que les systèmes d’IA qui changent – ​​ou « apprennent » – à mesure qu’ils obtiennent plus d’informations pourraient devenir plus ou moins utiles au fil du temps, modifiant ainsi leur profil de sécurité ou d’efficacité.

Et déterminer les impacts de ces changements devient encore plus difficile parce que les entreprises gardent étroitement les algorithmes au cœur de leurs produits – une « boîte noire » propriétaire qui protège la propriété intellectuelle mais fait obstacle aux régulateurs et aux chercheurs extérieurs.

Le Bureau du coordonnateur national des technologies de l’information sur la santé au HHS a proposé une politique vise à obtenir plus de transparence sur les systèmes d’IA utilisés dans le domaine de la santé, mais il ne se concentre pas sur la sécurité ou l’efficacité de ces systèmes.

« Comment pouvons-nous réellement réglementer quelque chose comme ça sans nécessairement perdre le rythme de l’innovation ? » a demandé Tazbaz, ciblant le principal défi de l’agence en matière d’IA. “Je dis toujours que l’innovation doit toujours fonctionner dans le cadre d’un paramètre – un paramètre de sécurité.”

Il n’existe aucune réglementation spécifique concernant cette technologie, c’est pourquoi la FDA envisage un nouveau système.

Tazbaz pense que la FDA créera un processus d’audits et de certifications continus des produits d’IA, dans l’espoir de garantir une sécurité continue à mesure que les systèmes évoluent.

La FDA a déjà approuvé environ 520 appareils compatibles avec l’IA, principalement pour la radiologie, où la technologie s’est révélée prometteuse pour la lecture des rayons X. Le commissaire de la FDA, Robert Califf, a déclaré lors d’une réunion en août il pense que l’agence a bien réussi avec les systèmes d’IA prédictifs, qui prennent des données et supposent un résultat.

Mais de nombreux produits actuellement en développement utilisent une technologie plus récente et plus avancée, capable de répondre aux requêtes humaines – ce que Califf a qualifié de « sorte de domaine effrayant » de la réglementation. Cela présente encore plus de défis pour les régulateurs, selon les experts.

Et il existe également un autre risque : des règles trop lourdes pourraient anéantir une innovation qui pourrait apporter des avantages aux patients si elle permettait de rendre les soins meilleurs, moins chers et plus équitables.

L’agence veille à ne pas freiner la croissance de la nouvelle technologie, a déclaré Tazbaz, s’adressant aux dirigeants de l’industrie, écoutant leurs préoccupations et partageant la réflexion de l’agence.

L’approche de l’Organisation mondiale de la santé n’est pas sans rappeler celle de Washington : une approche axée sur l’inquiétude, l’orientation et la discussion. Mais sans pouvoir de réglementation propre, l’OMS a récemment suggéré que les gouvernements de ses membres accélèrent le rythme.

Les modèles d’IA « sont rapidement déployés, parfois sans une compréhension complète de leurs performances », a déclaré l’organisme dans un communiqué.

Pourtant, chaque fois qu’elle décide de resserrer les règles, la FDA peut s’attendre à une réaction.

Certains leaders de l’industrie ont suggéré que les médecins sont eux-mêmes une sorte de régulateur, puisqu’ils sont des experts qui prennent la décision finale indépendamment des copilotes de l’IA.

D’autres soutiennent que même le processus d’approbation actuel est trop compliqué – et lourd – pour soutenir une innovation rapide.

“J’ai en quelque sorte l’impression d’être le tueur de la technologie”, a déclaré Brad Thompson, avocat chez Epstein Becker Green, qui conseille les entreprises sur leur utilisation de l’IA dans les soins de santé, en “informant pleinement les entreprises”.[ing] eux du paysage réglementaire.

« Est-ce que personnellement, je me sentirais en sécurité ? »

Dans le passé, Thompson aurait fait part de ses préoccupations au Congrès.

Mais les législateurs ne savent pas trop quoi faire à propos de l’IA, et la législation a ralenti pendant que les républicains choisissaient un nouveau président. Les législateurs doivent désormais parvenir à un accord sur le financement du gouvernement au cours de l’exercice 2024.

“Cette voie n’est tout simplement pas disponible maintenant ou dans un avenir proche”, a déclaré Thompson à propos des tentatives de mise à jour des réglementations par le biais du Congrès, “et cela me brise le cœur”.

Schumer a récemment convoqué un forum sur l’IA pour tenter de déterminer ce que le Congrès devrait faire à propos de la technologie dans tous les secteurs. La Chambre dispose également d’un groupe de travail sur l’IA, même si ses résultats sont probablement liés à sa capacité à résoudre les problèmes de leadership et de financement gouvernemental.

représentant Greg Murphy (RN.C.), coprésident du Doctors Caucus, a déclaré qu’il souhaitait laisser les gouvernements des États diriger la réglementation de la technologie.

Le sénateur de Louisiane. Bill Cassidyle républicain de premier plan du comité qui supervise la politique de santé, a déclaré que le Congrès devrait faire plus – mais sans rendre plus difficile l’innovation.

Le plan de Cassidy répond à bon nombre des préoccupations soulevées par les chercheurs, les régulateurs et les dirigeants de l’industrie, mais il n’a pas proposé de projet de loi pour le mettre en œuvre.

Compte tenu de l’incertitude, certains des grands acteurs des technologies de la santé ciblent délibérément des projets d’IA « à faible risque et à haute récompense », comme l’a dit Garrett Adams, du géant des dossiers de santé électroniques, d’Epic. Cela inclut la rédaction de notes, la synthèse d’informations et le rôle de secrétaire plutôt que de copilote pour les médecins.

Mais la mise en œuvre de ces technologies pourrait jeter les bases d’avancées plus agressives. Et un certain nombre d’entreprises vont de l’avant, suggérant même que leurs produits remplaceront inévitablement les médecins.

“Nous voulons à terme faire en sorte que certaines parties de notre technologie deviennent autonomes, afin qu’elles deviennent entièrement automatisées et retirent le médecin ou l’infirmière de la boucle”, a déclaré Ben-Joseph, suggérant un délai de 10 ou 20 ans.

Comptez Tazbaz parmi les sceptiques.

“Je pense que la communauté médicale doit examiner efficacement les responsabilités”, a-t-il déclaré à propos de l’IA utilisée pour diagnostiquer les patients. « Personnellement, est-ce que je me sentirais en sécurité ? Je pense que cela dépend du cas d’utilisation.