Profilage et discriminations : enquête sur les dérives de l’algorithme des caisses d’allocations familiales

3 Déc 2023 | Culture Numérique News, Revue de Web

À la Caisse nationale des allocations familiales (CNAF), la détection des erreurs de déclaration et des fraudes s’est intensifiée avec l’usage du data mining, un outil qui attribue un « score de risque » à chaque allocataire basé sur divers critères personnels. Ce système est vanté pour ses performances, mais critiqué pour ses possibles dérives discriminatoires, notamment par des associations et le Défenseur des droits.

Origines et fonctionnement du système :

  • Expérimentation et généralisation : Initié en 2004 à Dijon et Bordeaux, généralisé en 2010. L’objectif : cibler les allocataires les plus susceptibles de fraude en se basant sur des tests grandeur nature et analyses statistiques.
  • Critères et scores de risque : Quarante critères sont utilisés pour calculer un score de risque de 0 à 1 pour chaque allocataire, influençant la probabilité de subir un contrôle. Par exemple, être étudiant diminue le score, être apprenti l’augmente.
  • Déploiement et impact : En 2021, environ 70 % des contrôles à domicile étaient déclenchés par le data mining. Les contrôleurs ne connaissent pas les critères spécifiques de l’algorithme.

Problèmes et controverses :

  • Discrimination potentielle : Critères incluant des éléments comme la situation familiale, l’âge, les revenus, et le handicap peuvent être discriminatoires. Associations et experts pointent des pratiques qui pourraient cibler injustement les plus vulnérables.
  • Double discours de la CNAF : Officiellement, l’algorithme cherche des erreurs déclaratives, non des fraudes intentionnelles. En pratique, il est souvent utilisé pour détecter des fraudes, avec des contrôles déclenchant des remboursements de trop-perçus.

Conséquences sur les allocataires :

  • Détresse et maltraitance institutionnelle : De nombreux allocataires se sentent injustement ciblés et peinent à se faire entendre. La complexité des déclarations et le manque de transparence aggravent la situation.
  • Effets pervers de l’algorithme : Des erreurs assimilées à des suspicions de fraude, avec des contrôles se concentrant sur les prestations les plus complexes comme le RSA et l’AAH.

Réactions et perspectives :

  • Critiques internes et externes : Anciens dirigeants de la CNAF et syndicats soulignent les dérives du système. La complexité des conditions d’attribution des prestations accroît le risque d’erreurs pour les plus démunis.
  • Manque d’audits et de transparence : Absence de vérifications régulières de l’algorithme pour éviter les discriminations. Appels à une meilleure explication des droits et accompagnement des allocataires.
  • Réponse gouvernementale : Peu d’implication jusqu’à présent, avec une éventuelle solution dans la « solidarité à la source » pour simplifier les déclarations.

En résumé, bien que le data mining ait amélioré la détection des erreurs et fraudes à la CNAF, il a également introduit des pratiques potentiellement discriminatoires, suscitant critiques et appels à une réévaluation de son utilisation et de ses impacts sur les allocataires les plus vulnérables.

« Avec ce type de système, les plus précaires sont les plus exposés, car ils sont dans des situations plus instables et plus compliquées », analyse le sociologue Vincent Dubois, auteur de plusieurs enquêtes sur les politiques de lutte contre la fraude sociale, notamment au sein des CAF« Le hasard fait bien les choses : la technique produit les mêmes résultats que les injonctions politiques », ironise le chercheur.

Vincent Dubois

Sociologue

C’est vraiment septembre (déjà)

C’est vraiment septembre (déjà)

Cet été 2024 a été particulièrement productif, marqué par la mise en ligne du site ainsi que par plusieurs expérimentations et découvertes autour des architectures techniques des médias sociaux et de l'intelligence artificielle. Après des années passées à m'occuper...

Hello world (again)

Hello world (again)

Suite à la déconvenue de Bornybuzz, sur laquelle je n'ai pas envie de m'étendre ici (je vous laisse regarder la vidéo), l'heure est venue pour moi de préparer un plan B. Depuis 2015, je travaille sur l'éducation aux médias et au numérique, et j'ai développé un...