Les inquiétudes du Défenseur des droits sur l'automatisation des discriminations

En 2018, une étude américaine a démontré que certains systèmes de reconnaissance faciale commettaient de nombreuses erreurs dès lors qu'il s’agissait d'identifier des femmes de couleur. Pourquoi ? La base de données sur laquelle "s'entraînait" l'intelligence artificielle montrait une très forte prédominance des profils masculins blancs. Cet exemple fait partie de ceux évoqués par le Défenseur des droits dans une note de 10 pages, publiée à l'issue d'un colloque coorganisé avec la Cnil fin mai, consacré aux risques d'automatisation des discriminations générés par les algorithmes. 

Des algorithmes omniprésents

Des algorithmes, désormais partout, dont l'usage a encore été accéléré par la crise sanitaire, estiment les auteurs de la note. Loin de se réduire aux décisions administratives, ils envahissent tous les domaines de la santé à la sécurité en passant par le marketing et l'embauche. Ils concernent surtout autant le secteur public que le secteur privé. Or, pour la Cnil et le Défenseur des droits, les algorithmes comportent "des risques considérables de discrimination" et sont trop longtemps restés "l'angle mort du débat public". La référence à des recherches pratiquement toutes américaines ne doit du reste rien au hasard : le sujet reste peu étudié en France et est encore trop focalisé sur les problématiques publiques comme Parcoursup.

Des biais possibles à tous les étages

Or, l'étude des algorithmes est d'autant plus essentielle que les biais sont nombreux et parfois invisibles. "Des biais peuvent être intégrés à toutes les étapes de l’élaboration et du déploiement des systèmes : dès l’intention qui préside à l’élaboration de l’algorithme en amont, pendant la réalisation du code informatique, celle du code exécutable, celle de l’exécution, celle du contexte d’exécution et celle de la maintenance." Si l'usage d'une variable discriminatoire (sexe, âge, origine…) sont faciles à repérer, d'autres sont moins évidents comme le recours à des données biaisées. Utiliser des données sur les salaires et les métiers dans des filières très féminisées pourrait ainsi aboutir à en déduire une moindre capacité des femmes à accéder à des responsabilités et, du coup, à reproduire voire accentuer les inégalités préexistantes. La combinaison de critères d'apparence neutres peut également générer des biais, comme l'a montré l'analyse du Défenseur des droits sur Parcoursup. Il avait en effet conclu que "la prise en compte du critère apparemment neutre de l’établissement d’origine par les algorithmes des universités pourrait conduire, indirectement, à discriminer les jeunes d’origine immigrée, compte tenu de la forte ségrégation résidentielle et scolaire notamment observée en Île-de-France".

Les systèmes "intelligents" en ligne de mire

L'automatisation des décisions associée à l'usage d'algorithmes apprenants ou prédictifs - souvent qualifiés d'"intelligents" par leur concepteurs - sont ensuite jugés particulièrement inquiétants. En pleine expansion avec le développement de l'intelligence artificielle, ceux-ci pourraient "systématiser les discriminations en leur donnant une apparence objective", alertent le Défenseur des droits et la Cnil. Un phénomène d'autant plus préjudiciable que ces discriminations sont quasi invisibles pour leurs victimes. Concernant ces logiciels dopés à l'intelligence artificielle (machine learning, deep learning...), la note estime ainsi que "seul un contrôle précis et régulier des résultats de l’algorithme apprenant permettra de s’assurer que l’algorithme ne devient pas discriminatoire au fil des encodages successifs".

Imaginer une réglementation inspirée du RGPD

En tête des recommandations des deux institutions figurent sans surprise la formation et la sensibilisation des informaticiens et des commanditaires de logiciels aux problématiques de discrimination algorithmique. Une recommandation qui nécessite "une mobilisation des pouvoirs publics" invités notamment à développer l'expertise juridique et technique à même de penser les parades aux multiples défis soulevés par les algorithmes. Ils proposent aussi d'orienter la recherche vers des algorithmes intégrants, dès leur conception "des objectifs d’égalité et d’explicabilité, et pas seulement de performance". Une proposition inspirée du concept de "privacy by design" cher au RGPD, tout comme l'étude d'impact sur les effets discriminatoires des algorithmes qui pourrait être exigée en amont des projets. L'information des utilisateurs n'est enfin pas oubliée, celle-ci devant associer des informations générales sur le fonctionnement des algorithmes à des explications individuelles dès lors qu'elles entraînent une décision. Des obligations qui sont déjà en vigueur pour les algorithmes publics mais que le Défenseur des droits et la Cnil souhaiteraient voir étendues aux algorithmes utilisés par le secteur privé. Autant de réflexions qui devraient nourrir les travaux actuels de l'Europe sur l'intelligence artificielle.