L’enthousiasme de Mary Louis à l’idée d’emménager dans un appartement dans le Massachusetts au printemps 2021 s’est transformé en consternation lorsque Louis, une femme noire, a reçu un e-mail l’informant qu’un « service tiers » avait refusé sa location.
Ce service tiers comprenait un algorithme conçu pour noter les candidats à la location, qui a fait l’objet d’un recours collectif, avec Louis à la barre, alléguant que l’algorithme pratiquait une discrimination fondée sur la race et le revenu.
Un juge fédéral a approuvé mercredi un règlement dans le cadre du procès, l’un des premiers du genre, la société à l’origine de l’algorithme acceptant de payer plus de 2,2 millions de dollars et de supprimer certaines parties de ses produits de dépistage que le procès accusait d’être discriminatoires.
Le règlement n’inclut aucun aveu de faute de la part de la société SafeRent Solutions, qui a déclaré dans un communiqué que même si elle « continue de croire que les scores SRS sont conformes à toutes les lois applicables, les litiges prennent du temps et coûtent cher ».
Bien que de telles poursuites puissent être relativement nouvelles, l’utilisation d’algorithmes ou de programmes d’intelligence artificielle pour filtrer ou évaluer les Américains ne l’est pas. Depuis des années, l’IA aide furtivement à prendre des décisions importantes pour les résidents américains.
Lorsqu’une personne soumet une demande d’emploi, demande un prêt immobilier ou même recherche certains soins médicaux, il est possible qu’un système ou un algorithme d’IA la note ou l’évalue comme il l’a fait pour Louis. Ces systèmes d’IA, cependant, sont largement non réglementés, même si certains se révèlent discriminatoires.
« Les sociétés de gestion et les propriétaires doivent savoir qu’ils sont désormais prévenus, que ces systèmes qu’ils supposent fiables et bons vont être remis en question », a déclaré Todd Kaplan, l’un des avocats de Louis.
Le procès alléguait que l’algorithme de SafeRent ne prenait pas en compte les avantages des bons de logement, qui, selon eux, constituaient un détail important pour la capacité d’un locataire à payer la facture mensuelle, et qu’il discriminait donc les candidats à faible revenu qui étaient admissibles à l’aide.
La poursuite accusait également l’algorithme de SafeRent de trop s’appuyer sur les informations de crédit. Ils ont fait valoir que cela ne donne pas une image complète de la capacité d’un demandeur à payer son loyer à temps et qu’il pénalise injustement les demandeurs de bons de logement qui sont noirs et hispaniques, en partie parce qu’ils ont des scores de crédit médians inférieurs, attribuables à des inégalités historiques.
Christine Webber, l’une des avocates du plaignant, a déclaré que, simplement parce qu’un algorithme ou une IA n’est pas programmé pour faire de la discrimination, les données qu’un algorithme utilise ou pondère pourraient avoir « le même effet que si vous lui disiez de faire une discrimination intentionnellement ».
Lorsque la demande de Louis a été refusée, elle a tenté de faire appel de la décision, envoyant les références de deux propriétaires démontrant qu’elle avait payé son loyer plus tôt ou à temps pendant 16 ans, même si elle n’avait pas de solides antécédents de crédit.
Louis, qui disposait d’un titre de logement, se précipitait, ayant déjà prévenu son précédent propriétaire de son déménagement, et elle était chargée de s’occuper de sa petite-fille.
La réponse de la société de gestion, qui a utilisé le service de sélection de SafeRent, disait : « Nous n’acceptons pas les appels et ne pouvons pas annuler le résultat de la sélection des locataires. »
Louis se sentait vaincu ; l’algorithme ne la connaissait pas, dit-elle.
« Tout est basé sur des chiffres. Vous n’obtenez pas d’empathie individuelle de leur part », a déclaré Louis. « Il n’y a pas moyen de battre le système. Le système nous battra toujours. »
Bien que les législateurs des États aient proposé des réglementations agressives pour ces types de systèmes d’IA, les propositions ont largement n’a pas réussi à obtenir suffisamment de soutien. Cela signifie que des procès comme celui de Louis commencent à jeter les bases de la responsabilité de l’IA.
Les avocats de la défense de SafeRent ont fait valoir dans une requête en rejet que l’entreprise ne devrait pas être tenue responsable de discrimination parce que SafeRent ne prenait pas la décision finale d’accepter ou de refuser un locataire. Le service sélectionnerait les candidats, les évaluerait et soumettrait un rapport, mais laisserait aux propriétaires ou aux sociétés de gestion le soin d’accepter ou de refuser un locataire.
Les avocats de Louis, ainsi que le ministère américain de la Justice, qui a déposé une déclaration d’intérêt dans l’affaire, ont fait valoir que l’algorithme de SafeRent pouvait être tenu pour responsable car il joue toujours un rôle dans l’accès au logement. Le juge a rejeté la requête de SafeRent en rejet sur ces chefs d’accusation.
Le règlement stipule que SafeRent ne peut pas inclure sa fonction de score dans ses rapports de sélection des locataires dans certains cas, notamment si le demandeur utilise un bon de logement. Cela exige également que si SafeRent développe un autre score de sélection qu’il envisage d’utiliser, il doit être validé par un tiers accepté par les plaignants.
Le fils de Louis lui a trouvé un appartement abordable sur Facebook Marketplace dans lequel elle a emménagé depuis, même s’il coûtait 200 $ de plus et dans un quartier moins recherché.
« Je ne suis pas optimiste quant à la possibilité de faire une pause, mais je dois continuer, c’est tout », a déclaré Louis. «J’ai trop de gens qui comptent sur moi.»
___
Jesse Bedayn est membre du corps de l’Associated Press/Report for America Statehouse News Initiative. Rapport pour l’Amérique est un programme de service national à but non lucratif qui place des journalistes dans les salles de rédaction locales pour couvrir des sujets insuffisamment médiatisés.