Les nouvelles technologies sont-elles le reflet de notre société ? Selon Karine Gentelet, « on ne peut pas séparer la technologie de l’Humain. La technologie est quelque chose créé par des humains, pas dans un vacuum social. »

Ainsi, la lutte contre les discriminations ne déroge pas à cette analogie en matière d’intelligence artificielle.

Selon le Parlement européen, l’intelligence artificielle représente tout outil utilisé par une machine afin de « reproduire des comportements liés aux humains, tels que le raisonnement, la planification et la créativité ». On peut également enrichir cette définition en y ajoutant les comportements dépassant les capacités humaines, puisque les ordinateurs actuels parviennent aujourd’hui à les surpasser dans certaines tâches (bien que la compétence de l’ordinateur s’arrête généralement à l’exécution de cette tâche).

En droit, une discrimination est un traitement défavorable qui doit généralement remplir deux conditions cumulatives : être fondé sur un critère défini par la loi (sexe, âge, handicap…) et relever d’une situation visée par la loi (accès à un emploi, un service, un logement…).

À ce jour, la loi reconnait plus de 25 critères de discrimination. Ainsi, défavoriser une personne en raison de ses origines, son sexe, son âge, son handicap, ses opinions… est interdit à la fois en droit interne et par plusieurs conventions internationales auxquelles adhère la France.

La non-discrimination est certes garantie par la loi mais pas nécessairement sa lutte. La lutte contre les discriminations nécessite parfois la mise en place de règles dérogeant au principe d’égalité mais qui se rapprochent davantage de l’équité. Néanmoins ces exceptions légalement admises permettent la mise en place d’une égalité effective, position qui ne fait malheureusement pas l’unanimité…

On a longtemps pensé que les systèmes utilisant l’intelligence artificielle étaient plutôt objectifs, plus généralement comme toutes les technologies. Or la technologie n’est pas neutre, tout comme l’intelligence artificielle. De tels systèmes peuvent avoir les mêmes biais que ceux qui les ont imaginés, de facto subjectifs.

L’existence de discrimination est d’autant plus complexe en matière d’intelligence artificielle en ce que son fonctionnement reste très opaque pour un grand nombre de ses utilisateurs. L’alphabétisation au numérique, qui tend à s’élargir et doit permettre à chaque utilisateur de comprendre les ressorts de la machine, reste relativement limitée.

Qu’il s’agisse d’un outil dans la lutte contre les discriminations (I) ou d’un risque (II), l’intelligence artificielle nécessite d’être réglementée au regard des normes applicables aujourd’hui (III).

I. L’intelligence artificielle, un instrument potentiel pour éviter les discriminations

Une intelligence artificielle éthique nécessite des algorithmes éthiques. Autrement dit, la base de la décision ne doit pas être fondée sur une discrimination.

Comme le préconise la CNIL, dans ses recommandations fonctionnelles eu égard à l’intelligence artificielle, tous les acteurs-maillons de la “chaîne algorithmique” doivent être sensibilisés à cet enjeu.  De ce fait, favoriser la mixité et la diversité parmi les développeurs est une solution présentée.

En effet, si les biais des algorithmes sont en partie liés aux biais cognitifs de ceux qui les programment, on comprend l’importance que revêt la diversité parmi les développeurs. Or, le secteur de l’informatique et des nouvelles technologies est largement dominé par les hommes. Le rapport Villani rappelle que « les femmes représentent […] à peine 33 % des personnes du secteur numérique (12 % seulement, si l’on écarte les fonctions transversales et supports) ». De nombreuses études montrent que les minorités ethniques sont également sous-représentées. Rendre les systèmes algorithmiques compréhensibles en renforçant les droits existants et en organisant la médiation avec les utilisateurs ou encore travailler le design des systèmes algorithmiques au service de la liberté humaine, pour contrer l’effet « boîtes noires », permettra également de lutter plus efficacement contre les inégalités.

Les intelligences artificielles sont créées par l’homme. Donc, si nous leur transmettons nos biais, nous pouvons également leur apprendre à les éviter. Nous pouvons « désencoder » les discriminations et développer pour inclure, notamment sur le choix de l’algorithme ou des variables prédictives à prendre en compte.

Des chercheurs du MIT ont ainsi pu présenter Diversity in Faces Dataset, un jeu de données regroupant un million de visages humains étiquetés, censé être représentatif de la société et visant à améliorer les technologies de reconnaissance faciale.

Enfin, l’intelligence artificielle peut avoir pour objectif au-delà de l’utilisation de données non biaisées au fondement de son fonctionnement, la lutte contre les discriminations.

Par exemple, les applications Seeing AI de Microsoft ou Lookout de Google aident les personnes aveugles ou malvoyantes à identifier des éléments (individus, objets, textes, etc.) présents dans leur environnement grâce à la reconnaissance automatique d’images.

Malgré tout, l’intelligence artificielle peut représenter un risque dans la lutte contre les discriminations notamment au regard des « biais de l’IA », qui désigne une situation dans laquelle un système de Machine Learning discrimine un groupe de personnes en particulier, reflétant les discriminations de notre société.

II. Des risques dans la lutte contre les discriminations

L’intelligence artificielle, même si elle appartient au domaine technologique et même scientifique, connaît néanmoins des limites et une certaine marge d’erreurs non négligeable.

Un rapport de l’Agence des droits fondamentaux de l’UE (FRA) rappelle que si l’utilisation de systèmes algorithmiques peut avoir des conséquences positives, ils peuvent aussi violer certains droits fondamentaux ou conduire à des prises de décisions discriminatoires.

Par exemple, en 2020, au Pays-Bas, il est apparu que les autorités fiscales néerlandaises avaient utilisé des algorithmes qui avaient par erreur étiqueté quelque 26 000 parents comme ayant commis une fraude dans leurs demandes d’allocations familiales. Or la majorité de ces parents étaient issus de l’immigration.

En France, la CNIL nous informe d’ailleurs sur certaines de ces défaillances, notamment liées à la conception du système.

Plusieurs dangers ont ainsi pu être mis en exergue, ils seront illustrés notamment au travers de l’exemple des applications de rencontre en ligne dont la plus connue est “Tinder”.

• L’algorithme repose sur des hypothèses et certaines peuvent s’avérer trop approximatives.

Sur ce point, on peut par exemple se référer à l’ouvrage de Judith Duportail, qui a publié L’amour sous algorithme en 2019. Elle nous révèle ainsi que chaque utilisateur se voit attribuer une note de désirabilité basée entre autres sur le taux de personnes qui, voyant le profil, veulent entrer en contact avec l’individu qui se cache derrière.

Ainsi, “Tinder se réserve la possibilité de nous évaluer sur notre attractivité, mais pas seulement : sur notre intelligence, en lisant nos messages, et en regardant si on utilise des mots compliqués, sur  notre niveau d’étude et notre niveau de revenu.”                          L’égalité entre les utilisateurs est totalement inexistante sur cette application et c’est d’ailleurs sur cette différence de traitement structurelle que repose le modèle économique de la plateforme.

En effet, Tinder est aujourd’hui l’application la plus rentable de l’Apple Store, grâce aux packs qu’elle propose à ses utilisateurs pour « booster » leur profil.

• De mauvais critères peuvent également être retenus lors de l’entraînement de l’algorithme, celui-ci est évalué sur la réalisation d’une tâche selon certains critères, ou métriques. De facto, les critères et le seuil final choisis auront des conséquences importantes sur la qualité du système final.

• Enfin, l’une des défaillances majeures en matière d’intelligence artificielle réside dans le manque de représentativité.
  Cette anomalie se produit au moment de la procédure d’échantillonnage qui peut également être biaisée. In fine, certains cas réels n’ont pas été pris en compte dans les données d’entraînement. Or, les données d’entraînement biaisées peuvent conduire à des systèmes d’IA biaisés.

L’Agence des droits fondamentaux de l’Union européenne (FRA) propose ainsi de tester les algorithmes pour biais avant application pour éviter la discrimination. Cette proposition s’inscrit dans un projet plus large en la matière ayant pour objectif de réglementer l’intelligence artificielle.

III. Des perspectives de régulation de l’intelligence artificielle

Des perspectives de régulation de l’intelligence artificielle ont été tracées par le Conseil de l’Europe comme par la Commission européenne, portées par des études ayant pu souligner les risques que les systèmes dits d’intelligence artificielle (IA) et de prise de décision automatisée font peser sur les principes d’égalité et de non-discrimination en matière d’emploi, de fourniture de biens ou services publics ou privés, de politiques publiques de sécurité ou encore par exemple de lutte contre la fraude.

Ainsi, l’Artificial Intelligence Act (IA Act), le projet de règlement de la Commission européenne sur l’IA, proposé pour la première fois en avril 2021 a pour ambition d’apporter un cadre juridique uniforme à l’usage et à la commercialisation des intelligences artificielles. Pour protéger les usagers, les IA seront  catégorisées au regard de la gravité des risques qu’elles posent.

Ce projet de réglementation n’aborde toutefois pas directement les risques que pourrait créer l’intelligence artificielle en matière de lutte contre les discriminations, si bien que l’ autorité administrative indépendante appelle à replacer le principe de non-discrimination au cœur du projet de règlement de la commission européenne.

En effet, le 25 juin, a été publié un avis intitulé « Pour une IA européenne protectrice et garante du principe de non-discrimination » réalisé conjointement avec Equinet, le réseau européen des organismes de promotion de l’égalité, dont il est membre.

Parmi les garanties qui doivent être apportées par le Règlement, l’avis a pu établir sept recommandations parmi lesquelles le premier objectif est de faire du principe de non-discrimination une préoccupation centrale dans toute réglementation européenne dédiée à l’IA. Le second consisterait à établir dans tous les pays européens des mécanismes de plainte et de recours accessibles et efficaces pour les personnes concernées en cas de violation des principes d’égalité et de non-discrimination ou d’autres droits fondamentaux lorsqu’une telle violation résulte de l’utilisation de systèmes d’IA.

Au même titre que d’autres nouvelles technologies, l’intelligence artificielle est un nouveau support mais le droit doit s’appliquer conformément à l’ensemble des  normes établies, ce qui se réfère à l’équivalence fonctionnelle.

Il est dès lors primordial, pour construire une égalité réellement effective, de respecter les droits fondamentaux tel que le principe de non-discrimination institué par la Charte des droits fondamentaux de l’Union européenne en son article 21.

Fiona ROZNER

Sources : 

Défenseur des droits, lutte contre les discriminations et promotion de l’égalité

Article sur le site internet de la CNIL : « Intelligence artificielle, de quoi parle-t-on ? », 5 avril 2022

Comment l’IA peut aider à réduire les inégalités, hello future

Article sur le site internet de la CNIL Comment permettre à l’Homme de garder la main ? Rapport sur les enjeux éthiques des algorithmes et de l’intelligence artificielle, 15 décembre 2017

« A la recherche de l’algorithme de Tinder : l’envers du décor de l’application de rencontre la plus populaire au monde », France Culture (Radio), dimanche 24 mars 2019

Le rapport de l’Agence des droits fondamentaux de l’UE sur les biais algorithmiques, observatoire IA

The Artificial Intelligence Act

Charte des droits fondamentaux de l’Union européenne (article 21)