Des modèles d’IA comme ChatGPT pensent que toutes les infirmières sont des femmes et que les médecins seniors sont des hommes, selon une étude

PUBLICITÉ

Selon certains des meilleurs outils d’intelligence artificielle générative (IA) au monde, presque toutes les infirmières sont des femmes, mais elles sont moins susceptibles d’être médecins-chefs, selon une nouvelle étude majeure, mettant en lumière la manière dont les algorithmes perpétuent les stéréotypes de genre en médecine.

Des chercheurs de l’Université Flinders en Australie ont envoyé près de 50 000 questions à ChatGPT d’OpenAI, Gemini de Google et Llama de Meta, leur demandant de fournir des histoires sur des médecins, des chirurgiens et des infirmières.

Les chercheurs ont ensuite fourni aux modèles des informations sur l’ancienneté professionnelle des agents de santé et sur leurs personnalités (par exemple, leur degré d’agréabilité, de névrose, d’extraversion, de conscience et d’ouverture d’esprit) et leur ont demandé d’inventer d’autres histoires.

Les modèles ont identifié 98 pour cent des infirmières comme des femmes, indépendamment de leur personnalité ou de leur ancienneté, selon l’étude, qui a été publiée dans la revue Ouverture du réseau JAMA.

Il est toutefois à noter que les femmes sont également surreprésentées dans les articles sur les chirurgiens et autres médecins. Selon le modèle, les femmes représentent entre 50 et 84 % des médecins et entre 36 et 80 % des chirurgiens dans les articles.

Cela pourrait être le résultat de modifications apportées par des entreprises comme OpenAI à leurs algorithmes après avoir été critiquées pour avoir reproduit des biais sociaux et d’autres contenus offensants dans leurs rendus. Étant donné que ces outils ont été formés à partir de données abondantes provenant d’Internet, ces fonctionnalités sont intégrées.

Les outils d’IA perpétuent-ils les « stéréotypes de genre » ?

« Il y a eu un effort pour corriger [algorithmic biases]et c’est intéressant de voir [gender distributions] « Il se peut également que les images soient surcorrigées », a déclaré le Dr Sarah Saxena, anesthésiste à l’Université libre de Bruxelles (ULB), qui étudie les biais dans les images de médecins générées par l’IA, mais n’a pas participé à la nouvelle étude.

Mais elle a souligné que l’IA générative perpétue toujours les « stéréotypes de genre » en médecine.

Lorsque les chercheurs ont inclus dans leurs questionnaires des descriptions des professionnels de santé, un clivage entre les sexes est apparu. Si le médecin était aimable, ouvert ou consciencieux, les modèles étaient plus susceptibles de le considérer comme une femme.

Et si les médecins occupaient des postes subalternes – par exemple, si l’invite mentionnait qu’ils étaient inexpérimentés – les modèles étaient plus susceptibles de les décrire comme des femmes que si l’invite indiquait qu’ils étaient seniors ou plus expérimentés.

Les modèles étaient également plus susceptibles d’identifier les médecins comme des hommes s’ils étaient décrits comme arrogants, impolis, peu empathiques, incompétents, procrastinateurs, en colère, sans imagination ou peu curieux.

Les résultats indiquent que les outils d’IA générative « semblent perpétuer des stéréotypes de longue date concernant les comportements attendus des genres (par exemple, le comportement féminin perçu comme colérique ou arrogant est considéré comme inapproprié) et l’adéquation des genres à des rôles spécifiques (par exemple, les médecins et chirurgiens seniors sont des hommes) », ont déclaré les auteurs de l’étude.

Ces résultats s’ajoutent à un nombre croissant de recherches sur la manière dont les algorithmes reproduisent les biais sociaux dans le domaine médical.

Dans une expérienceL’équipe de Saxena a demandé à ChatGPT et Midjourney, un outil d’imagerie générative d’IA de premier plan, de créer des images d’anesthésistes. Les femmes étaient représentées comme des anesthésistes pédiatriques ou obstétricaux, tandis que les hommes occupaient des postes cardiaques.

Lorsque les chercheurs ont demandé des images du chef du service d’anesthésie, pratiquement tous les résultats étaient des hommes, a déclaré Saxena à Euronews Health.

PUBLICITÉ

« Il existe toujours ce plafond de verre qui est désormais renforcé par cet outil accessible au public », a déclaré Saxena.

« Il existe un dicton selon lequel « vous ne pouvez pas être ce que vous ne pouvez pas voir », et c’est vraiment important lorsqu’il s’agit d’IA générative ».

Les préjugés ne constituent pas seulement un problème pour les femmes et les autres groupes sous-représentés qui poursuivent des études de médecine.

Étant donné que le secteur de la santé expérimente des modèles d’IA pour réduire la paperasse des médecins et même aider aux soins, les biais algorithmiques pourraient avoir de graves conséquences pour les patients.

PUBLICITÉ

Par exemple, une autre étude Une étude publiée plus tôt cette année a révélé que ChatGPT tend à stéréotyper les diagnostics médicaux des patients en fonction de leur race et de leur sexe, tandis qu’un Analyse 2023 ils ont averti que ces modèles pourraient perpétuer des « idées racistes et démystifiées » dans les soins médicaux.

« Il faut s’attaquer à ce problème avant de pouvoir réellement l’intégrer et l’offrir largement à tout le monde, pour le rendre aussi inclusif que possible », a déclaré Saxena.