Des chercheurs découvrent des défauts de conception et des problèmes de surveillance dans certaines applications de santé et proposent des solutions pour des outils plus efficaces | Rédaction
Les applications basées sur l’IA proposant des diagnostics médicaux en un seul clic sont souvent limitées par des données biaisées et un manque de réglementation, conduisant à des conseils de santé inexacts et dangereux, selon une nouvelle étude.
Des chercheurs de l’Université McGill ont présenté les données sur les symptômes de cas médicaux connus à deux applications représentatives populaires pour voir dans quelle mesure ils ont diagnostiqué les maladies. Même si les applications donnaient parfois des diagnostics corrects, elles ne parvenaient souvent pas à détecter des problèmes graves, selon résultats publié dans le Journal de recherche sur Internet médical. Cela a potentiellement entraîné un retard du traitement.
Les chercheurs ont identifié deux problèmes principaux avec les applications de santé qu’ils ont étudiées : des données biaisées et un manque de réglementation.
Biais et phénomène de la « boîte noire »
Le problème du biais est connu sous le nom de « les ordures entrent, les ordures sortent« problème.
« Ces applications apprennent souvent à partir d’ensembles de données biaisés qui ne reflètent pas fidèlement la diversité des populations », a déclaré Ma’n H. Zawati, auteur principal et professeur agrégé au Département de médecine de McGill.
Parce que les applications s’appuient sur les données des utilisateurs de smartphones, elles ont tendance à exclure les personnes à faible revenu. La race et l’origine ethnique sont également sous-représentées dans les données, ont indiqué les auteurs. Cela crée un cycle dans lequel les évaluations d’une application sont basées sur un groupe plus restreint d’utilisateurs, conduisant à des résultats plus biaisés et à des conseils médicaux potentiellement inexacts.
Alors que les applications incluent souvent des avertissements indiquant qu’elles ne fournissent pas de conseils médicaux, le chercheur affirme que les interprétations des utilisateurs de ces avertissements – s’ils sont lus – ne concordent pas toujours.
Le deuxième problème est le « « boîte noire » nature des systèmes d’IA, où la technologie évolue avec un minimum de surveillance humaine. Zawati a déclaré que le manque de transparence signifie que même les développeurs d’une application peuvent ne pas comprendre pleinement comment ils parviennent à des conclusions.
« Sans réglementation claire, les développeurs ne sont pas tenus responsables, ce qui rend les médecins réticents à recommander ces outils. Pour les utilisateurs, cela signifie qu’un diagnostic erroné est à portée de clic », a déclaré Zawati, qui est également membre associé du Département d’équité de McGill. Éthique et politiques et directeur de la Faculté de droit et de la recherche du Centre de génomique et politiques du Département de génétique humaine de McGill.
Appel à une surveillance de l’IA
Pour surmonter les limites, les développeurs peuvent former des applications sur des ensembles de données plus diversifiés, effectuer des audits réguliers pour détecter les biais, améliorer la transparence pour améliorer la compréhension du fonctionnement des algorithmes et inclure davantage de contrôle humain dans le processus de prise de décision, a-t-il suggéré.
« En donnant la priorité à une conception réfléchie et à une surveillance rigoureuse, les applications de santé basées sur l’IA ont le potentiel de rendre les soins de santé plus accessibles au public et de devenir un outil précieux en milieu clinique », a déclaré Zawati.
Cette recherche a été financée par les Fonds de recherche du Québec.
À propos de l’étude
« Une application quotidienne éloigne-t-elle le médecin ? Applications de vérification des symptômes de l’IA, préjugés bien ancrés et responsabilité professionnelle » de Ma’n H. Zawati et Michael Lang a été publié dans le Journal de recherche sur Internet médical.
