La Défenseure des droits alerte sur les risques de l'algorithmisation des services publics

"Il n'y a pas de doute sur le fait que l'IA et les algorithmes sont porteurs de progrès, il n'y a pas de doute non plus qu'ils soient porteurs de risques pour les droits fondamentaux", a déclaré Claire Hédon, Défenseure des droits. Car "les algorithmes ne sont pas neutres : ils reflètent, amplifient, voire automatisent nos biais", alerte-t-elle dans son dernier rapport publié mercredi 13 novembre, à l’heure où l'administration publique s'approprie ces technologies controversées. Et si l'autorité indépendante reçoit encore peu de réclamations d'usagers, elle dit voir se dessiner une problématique "systémique". Calcul d'impôts, affectation scolaire, gestion des aides sociales : l'usage des algorithmes et systèmes d'intelligence artificielle (IA) touche déjà des millions de citoyens. Ces outils de modernisation de l'action publique posent en effet de sérieuses questions juridiques, éthiques et pratiques.

Les administrations les utilisent déjà

D'autant que les algorithmes et les IA se sont infiltrés dans bien des secteurs. Leur objectif : rationaliser les processus, réduire les coûts et standardiser les décisions administratives. Le ministre de la Fonction publique, Guillaume Kasbarian, l'assume : l'IA est "la pierre angulaire de la transformation de la fonction publique", estimant que son développement "permettra des gains colossaux en efficacité" a-t-il déclaré le 9 novembre avant de se fendre d'un tweet polémique à Elon Musk le 13 novembre : "Je me réjouis de partager avec vous les meilleures pratiques pour faire face à l'excès de bureaucratie, réduire les lourdeurs administratives et repenser les organisations publiques au bénéfice de l'efficacité des agents publics".

Dans les faits, en tout cas - et c'est ce que rappelle le rapport - les administrations locales utilisent déjà ces outils pour optimiser les ressources locales, par exemple via des systèmes prédictifs pour la gestion des déchets ou la consommation énergétique, pour l'orientation scolaire notamment par des outils comme Parcoursup ou Affelnet, pour l'octroi des places en crèche… Très récemment un rapport du ministère de l'Intérieur sur l'usage de Briefcam (1) par la police nationale et la gendarmerie a révélé un cas d'usage illégal de la fonction de reconnaissance faciale du logiciel mais a surtout insisté sur la nécessité de clarifier le cadre juridique (notre article du 14 novembre 2024). L'IA est également utilisée par les administrations pour attribuer des prestations sociales, comme le calcul de la prime d'activité ou l'aide au logement. Le Conseil d'Etat a d'ailleurs été saisi mi-octobre par une quinzaine d'associations pour obtenir la suppression d'un algorithme utilisé par la Caisse nationale des allocations familiales (Cnaf) pour mieux détecter les fraudes et les versements indus parmi ses allocataires (notre article du 16 octobre 2024). Preuve que l'usage de ces technologies est controversé. En effet, cette automatisation n'est pas sans conséquences pour les usagers…

Opacité, discriminations et faiblesse de l'intervention humaine

Dans son rapport, la Défenseure des droits met en lumière les limites et les dangers de ces technologies.  L'opacité des décisions : souvent, les usagers ignorent qu'une décision administrative a été influencée, voire prise, par un algorithme. Or, comprendre cette logique est essentiel pour garantir un droit de recours. 
Elle pointe du doigt également les discriminations systémiques : des biais peuvent être introduits dans les décisions automatisées, comme l'a illustré le cas de l’algorithme autrichien AMS, accusé de discriminer les femmes et les personnes handicapées. C'est peut-être aussi le risque quand France Travail teste l'IA avec le profilage algorithmique des usagers et plus particulièrement des personnes sans emploi ou quand la Cnaf attribue un "score de suspicion" visant à détecter les chômeurs les plus susceptibles "d'escroquerie" grâce à l'exploitation de "signaux faibles" (notre article du 24 juillet 2024). Enfin la Défenseure des droits dénonce la faiblesse de l'intervention humaine : selon le rapport, dans certains cas, les agents publics se contentent de valider mécaniquement les propositions d'un algorithme, sans exercer de véritable contrôle critique.

Des garanties juridiques insuffisantes

En France, plusieurs textes réglementaires encadrent l'usage des algorithmes dans les services publics, notamment le règlement général sur la protection des données (RGPD), la loi "Informatique et Libertés" et le code des relations entre le public et l'administration (CRPA). Mais ces garanties se heurtent régulièrement à des limites. A priori, les administrations qui emploient plus de 50 personnes sont tenues de publier en ligne les règles qui définissent leurs principaux traitements algorithmiques. Mais lesquelles le font vraiment ? La Défenseure recommande au gouvernement d'introduire une sanction en cas de non-respect de cette obligation légale et de recenser les services de l’Etat qui s'y conforment ou non. Enfin, c'est peut-être le plus grave : si le droit impose une intervention humaine dans certains cas, cette supervision passe parfois complètement à la trappe. Le rapport cite le cas d'un élève ayant reçu des notes de "0" dans la catégorie "évaluations" - résultat manifestement anormal – sans qu'aucune vérification humaine n'ait été effectuée pour comprendre ou corriger cette anomalie avant que la décision finale ne soit prise. 

Les recommandations de la Défenseure des droits

Pour cadrer ces dérives, le rapport appelle à une transformation en profondeur des pratiques administratives. Parmi les recommandations, le rapport propose de renforcer la transparence : les administrations devraient publier non seulement les règles des algorithmes, mais également leur code source et les données utilisées. L'autorité administrative appelle également à davantage de transparence, en demandant par exemple au gouvernement de consacrer un "droit à l'explication" pour ces décisions. La Défenseure recommande également de garantir une véritable supervision humaine : les agents doivent disposer des compétences nécessaires pour contrôler et, si besoin, contester les résultats générés par les systèmes. Le rapport suggère enfin de sensibiliser les usagers : il est impératif d'informer les citoyens sur leurs droits en matière d’algorithmes, notamment leur droit à une intervention humaine en cas de litige.

(1) Briefcam : système informatique de vidéosurveillance algorithmique utilisant des fonctionnalités telles que le système de reconnaissance faciale