Des études montrent que les systèmes d’IA utilisés pour prendre des décisions importantes telles que l’approbation des demandes de prêt et d’hypothèque peuvent perpétuer les préjugés et la discrimination historiques s’ils ne sont pas soigneusement construits et surveillés. (Illustration photo par Seksan Mongkhonkhamsao/Getty Images)
Dans un étude récente En évaluant la manière dont les chatbots font des suggestions de prêt pour les demandes de prêt hypothécaire, des chercheurs de l’Université Lehigh de Pennsylvanie ont découvert quelque chose de frappant : il y avait clairement des préjugés raciaux en jeu.
Avec 6 000 exemples de demandes de prêt basées sur les données de la Home Mortgage Disclosure Act de 2022, les chatbots ont recommandé le refus d’un plus grand nombre de candidats noirs que d’homologues blancs identiques. Ils ont également recommandé que les candidats noirs bénéficient de taux d’intérêt plus élevés et ont qualifié les emprunteurs noirs et hispaniques de « plus risqués ».
Les candidats blancs avaient 8,5 % plus de chances d’être approuvés que les candidats noirs ayant le même profil financier. Et les candidats ayant des notes de crédit « faibles » de 640 ont vu une marge plus large : les candidats blancs ont été approuvés dans 95 % du temps, tandis que les candidats noirs ont été approuvés dans moins de 80 % du temps.
L’expérience visait à simuler la manière dont les institutions financières utilisent les algorithmes d’IA, l’apprentissage automatique et de grands modèles de langage pour accélérer des processus tels que l’octroi de prêts et la souscription de prêts et d’hypothèques. Ces systèmes de « boîte noire », dans lesquels le fonctionnement interne de l’algorithme n’est pas transparent pour les utilisateurs, ont le potentiel de réduire les coûts d’exploitation des sociétés financières et de tout autre secteur qui les emploie, a déclaré Donald Bowen, professeur adjoint de technologie financière à Lehigh et l’un des les auteurs de l’étude.
Mais il existe également un risque important que des données de formation erronées, des erreurs de programmation et des informations historiquement biaisées affectent les résultats, parfois de manière préjudiciable et susceptible de changer la vie.
« Il est possible que ces systèmes en sachent beaucoup sur les personnes avec lesquelles ils interagissent », a déclaré Bowen. « S’il existe un biais inhérent, cela pourrait se propager à de nombreuses interactions différentes entre les clients et une banque. »
Comment l’IA discrimine-t-elle en finance ?
Les outils décisionnels d’IA et les grands modèles linguistiques, comme ceux de l’expérience de l’Université de Lehigh, sont utilisés dans divers secteurs, comme les soins de santé, l’éducation, la finance et même dans le système judiciaire.
La plupart des algorithmes d’apprentissage automatique suivent ce qu’on appelle des modèles de classification, ce qui signifie que vous définissez formellement un problème ou une question, puis vous fournissez à l’algorithme un ensemble d’entrées telles que l’âge, le revenu, l’éducation et les antécédents de crédit du demandeur de prêt, Michael Wellman, un informaticien. professeur à l’Université du Michigan, a expliqué.
L’algorithme crache un résultat – approuvé ou non. Des algorithmes plus complexes peuvent évaluer ces facteurs et fournir des réponses plus nuancées, comme l’approbation d’un prêt avec un taux d’intérêt recommandé.
Les progrès de l’apprentissage automatique ces dernières années ont permis ce que l’on appelle l’apprentissage profond, ou la construction de grands réseaux de neurones capables d’apprendre à partir de grandes quantités de données. Mais si les constructeurs de l’IA ne gardent pas l’objectivité à l’esprit ou ne s’appuient pas sur des ensembles de données qui reflètent un racisme systémique profondément enraciné, les résultats le refléteront.
« S’il s’avère que vous prenez systématiquement plus souvent la décision de refuser du crédit à certains groupes de personnes que de prendre de mauvaises décisions concernant d’autres, ce serait un moment où il y aurait un problème avec l’algorithme », a déclaré Wellman. « Et surtout lorsque ces groupes sont des groupes historiquement défavorisés. »
Bowen a initialement été inspiré pour poursuivre l’étude de l’Université de Lehigh après qu’une mission à plus petite échelle avec ses étudiants ait révélé la discrimination raciale de la part des chatbots.
« Nous voulions comprendre si ces modèles sont biaisés, et s’ils le sont dans des contextes où ils ne sont pas censés l’être », a déclaré Bowen, puisque la souscription est un secteur réglementé qui n’est pas autorisé à prendre en compte la race dans la prise de décision.
Pour l’étude officielle, Bowen et une équipe de recherche ont analysé des milliers de numéros de demandes de prêt sur plusieurs mois via différents grands modèles de langage commerciaux, notamment GPT 3.5 Turbo et GPT 4 d’OpenAI, Claude 3 Sonnet et Opus d’Anthropic et Llama 3-8B et 3- de Meta. 70B.
Dans une expérience, ils ont inclus des informations raciales dans les demandes et ont constaté les écarts dans les approbations de prêts et les taux hypothécaires. Dans d’autres, ils ont demandé aux chatbots de « ne faire preuve d’aucun parti pris dans la prise de ces décisions ». Cette expérience n’a révélé pratiquement aucune différence entre les demandeurs de prêt.
Mais si les données raciales ne sont pas collectées dans les prêts modernes et si les algorithmes utilisés par les banques ont pour instruction de ne pas prendre en compte la race, comment les personnes de couleur finissent-elles par se voir refuser plus souvent ou se voir proposer des taux d’intérêt inférieurs ? Parce qu’une grande partie de nos données modernes sont influencées par des impacts disparates ou par l’influence du racisme systémique, a déclaré Bowen.
Même si la race du candidat n’a pas été attribuée à un ordinateur, la cote de crédit d’un emprunteur, qui peut être influencée par la discrimination sur les marchés du travail et du logement, aura un impact sur sa demande. Il en va de même pour leur code postal ou les cotes de crédit des autres membres de leur foyer, qui auraient tous pu être influencés par la pratique raciste historique du redlining, ou de la restriction des prêts aux habitants des quartiers pauvres et non blancs.
Les algorithmes d’apprentissage automatique ne calculent pas toujours leurs conclusions de la manière que les humains pourraient imaginer, a déclaré Bowen. Les modèles qu’il apprend s’appliquent à une variété de scénarios, de sorte qu’il peut même digérer des rapports sur la discrimination, par exemple en apprenant que les Noirs ont historiquement eu un crédit moins bon. Par conséquent, l’ordinateur peut détecter des signes indiquant qu’un emprunteur est noir et refuser son prêt ou lui proposer un taux d’intérêt plus élevé que celui de son homologue blanc.
Autres possibilités de discrimination
Les technologies de prise de décision sont devenues omniprésentes dans les pratiques de recrutement au cours des dernières années, car les plateformes de candidature et les systèmes internes utilisent l’IA pour filtrer les candidatures et présélectionner les candidats pour les responsables du recrutement. L’année dernière, la ville de New York a commencé à exiger des employeurs qu’ils informer les candidats sur leur utilisation des logiciels de prise de décision par l’IA.
Selon la loi, les outils d’IA devraient être programmés pour n’avoir aucune opinion sur les classes protégées comme le sexe, la race ou l’âge, mais certains utilisateurs affirment avoir de toute façon été discriminés par les algorithmes. En 2021, la Commission américaine pour l’égalité des chances en matière d’emploi a lancé une initiative visant à examiner de plus près la façon dont les technologies nouvelles et existantes modifient la façon dont les décisions en matière d’emploi sont prises. L’année dernière, la commission a réglé son tout premier procès pour discrimination à l’embauche en matière d’IA.
Le procès devant le tribunal fédéral de New York est terminé dans un règlement de 365 000 $ lorsque la société de tutorat iTutorGroup Inc. aurait utilisé un outil de recrutement basé sur l’IA qui rejetait les candidatures féminines de plus de 55 ans et les hommes de plus de 60 ans. Deux cents candidats ont reçu le règlement et iTutor a accepté d’adopter des politiques anti-discrimination et de dispenser une formation pour garantir le respect des les lois sur l’égalité des chances en matière d’emploi, Bloomberg a rapporté à l’époque.
Un autre procès anti-discrimination est en cours devant un tribunal fédéral de Californie contre la société Workday, basée sur l’IA. Le plaignant Derek Mobley affirme qu’il n’a pas été retenu pour plus de 100 emplois liés au logiciel. entreprise parce qu’il est noir, âgé de plus de 40 ans et a des problèmes de santé mentalea rapporté Reuters cet été. La poursuite affirme que Workday utilise des données sur la main-d’œuvre existante d’une entreprise pour former ses logiciels, et que cette pratique ne tient pas compte de la discrimination qui pourrait se refléter lors d’embauches futures.
Les systèmes judiciaires et judiciaires américains ont également commencé à intégrer des algorithmes de prise de décision dans une poignée d’opérations, comme l’analyse de l’évaluation des risques des accusés, les déterminations concernant la libération provisoire, la déjudiciarisation, la détermination de la peine et la probation ou la libération conditionnelle.
Bien que les technologies aient été citées dans accélérer Certaines des procédures judiciaires traditionnellement longues – comme l’examen des documents et l’assistance aux dépôts auprès de la Cour des petites créances – les experts préviennent que les technologies ne sont pas prêtes à être la preuve principale ou unique dans un « résultat consécutif ».
« Nous nous inquiétons davantage de son utilisation dans les cas où les systèmes d’IA sont sujets à des préjugés raciaux et autres omniprésents et systémiques, par exemple, la police prédictive, la reconnaissance faciale et l’évaluation du risque criminel/récidive », co-auteurs d’un article dans Édition 2024 de la Judicature dire.
L’Utah a adopté une loi plus tôt cette année pour lutter contre ce phénomène. HB 366parrainé par la représentante de l’État Karianne Lisonbee, R-Syracuse, aborde l’utilisation d’un algorithme ou d’un outil d’évaluation des risques pour déterminer la mise en liberté provisoire, la déjudiciarisation, la détermination de la peine, la probation et la libération conditionnelle, affirmant que ces technologies ne peuvent pas être utilisées sans intervention humaine. et révision.
Lisonbee a déclaré à States Newsroom que, de par leur conception, les technologies fournissent une quantité limitée d’informations à un juge ou à un décideur.
« Nous pensons qu’il est important que les juges et autres décideurs prennent en compte toutes les informations pertinentes sur un accusé afin de prendre la décision la plus appropriée concernant la peine, la déjudiciarisation ou les conditions de sa libération », a déclaré Lisonbee.
Elle a également fait part de ses inquiétudes concernant les préjugés, affirmant que les législateurs de l’État n’ont pas actuellement pleinement confiance dans « l’objectivité et la fiabilité » de ces outils. Ils ne sont pas non plus sûrs des paramètres de confidentialité des données des outils, qui constituent une priorité pour les résidents de l’Utah. La combinaison de ces problèmes pourrait mettre en péril la confiance des citoyens dans le système de justice pénale, a-t-elle déclaré.
« Lors de l’évaluation de l’utilisation d’algorithmes et d’outils d’évaluation des risques dans le cadre de la justice pénale et dans d’autres contextes, il est important d’inclure de solides protections de l’intégrité des données et de la vie privée, en particulier pour toutes les données personnelles partagées avec des parties externes à des fins de recherche ou de contrôle qualité », a déclaré Lisonbee. .
Prévenir l’IA discriminatoire
Certains législateurs, comme Lisonbee, ont pris note de ces problèmes de partialité et de risque de discrimination. Quatre États disposent actuellement de lois visant à prévenir la « discrimination algorithmique », dans le cadre desquelles un système d’IA peut contribuer à un traitement différent des personnes en fonction de la race, de l’origine ethnique, du sexe, de la religion ou du handicap, entre autres. Cela inclut l’Utah, ainsi que la Californie (BS 36), Colorado (BS 21-169), Illinois (HB 0053).
Bien que cela ne soit pas spécifique à la discrimination, le Congrès a présenté fin 2023 un projet de loi visant à modifier la loi sur la stabilité financière de 2010 afin d’inclure des directives fédérales à l’intention du secteur financier sur l’utilisation de l’IA. Ce projet de loi, le Loi sur la réduction des risques liés à l’intelligence artificielle financière ou la « Loi FAIRR », exigerait que le Conseil de surveillance de la stabilité financière se coordonne avec les agences concernant les menaces posées au système financier par l’intelligence artificielle, et pourrait réglementer la manière dont les institutions financières peuvent s’appuyer sur l’IA.
Bowen de Lehigh a clairement indiqué qu’il estimait qu’il n’y avait pas de retour en arrière sur ces technologies, d’autant plus que les entreprises et les industries réalisent leur potentiel de réduction des coûts.
« Ceux-ci vont être utilisés par les entreprises », a-t-il déclaré. « Alors, comment peuvent-ils faire cela de manière équitable ? »
Bowen espère que son étude pourra aider à informer les institutions financières et autres dans le déploiement d’outils décisionnels d’IA. Pour leur expérience, les chercheurs ont écrit qu’il suffisait d’utiliser une ingénierie rapide pour demander aux chatbots de « prendre des décisions impartiales ». Ils suggèrent aux entreprises qui intègrent de grands modèles de langage dans leurs processus de procéder régulièrement à des audits de biais afin d’affiner leurs outils.
Bowen et d’autres chercheurs sur le sujet soulignent qu’une plus grande implication humaine est nécessaire pour utiliser ces systèmes de manière équitable. Bien que l’IA puisse rendre une décision sur une condamnation judiciaire, un prêt hypothécaire, une demande d’emploi, un diagnostic de santé ou une demande de service client, cela ne signifie pas qu’elle devrait fonctionner sans contrôle.
Wellman, de l’Université du Michigan, a déclaré à States Newsroom qu’il recherchait une réglementation gouvernementale sur ces outils, et a souligné RH 6936un projet de loi en instance au Congrès qui obligerait les agences fédérales à adopter le cadre de gestion des risques liés à l’intelligence artificielle développé par le National Institute of Standards and Technology. Le cadre dénonce un potentiel de biais et est conçu pour améliorer la fiabilité des organisations qui conçoivent, développent, utilisent et évaluent des outils d’IA.
« J’espère que l’appel à des normes… se répandra sur le marché, en fournissant des outils que les entreprises pourraient utiliser pour valider ou certifier au moins leurs modèles », a déclaré Wellman. « Ce qui, bien sûr, ne garantit pas qu’ils soient parfaits à tous points de vue ni qu’ils évitent tous vos points négatifs potentiels. Mais cela peut… fournir une base standard de base pour faire confiance aux modèles.