L’intelligence artificielle ne corrige pas les erreurs humaines : elle les apprend, les reproduit et parfois les amplifie. À l’heure où les organisations l'intègrent dans leur fonctionnement, une question s’impose : comment garder le contrôle sur ce que les algorithmes décident à notre place ? "Le problème de l’IA, c’est qu’elle prend en compte l’historique pour essayer de prévoir l’avenir", résume Jérôme Friteau, DRH et enseignant à Sciences Po. "Et justement, s’il y a eu des biais par le passé, ils vont être reproduits." 

Ce risque est d’autant plus marqué lorsque l’IA est entraînée sur des jeux de données restreints, homogènes ou issus d’un environnement unique. "Moins les données sont importantes et diversifiées, plus elles risquent de refléter un écosystème avec ses biais et les accentuer", prévient Marko Vujasinovic, CEO de Meteojob plateforme de recrutement fondée en 2007. "Quand on essaye de travailler sur des modèles d’IA uniquement à partir des données internes à une entreprise, on prend le risque de reproduire des biais installés." Autrement dit, si les recruteurs d’hier ont majoritairement embauché des diplômés de certaines écoles, l’IA reproduira mécaniquement ces choix passés.

Les femmes défavorisées par l’IA dans le recrutement

Parmi les cas les plus emblématiques de biais algorithmiques, celui de COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) fait souvent figure de précédent. Cet outil, utilisé par la justice américaine pour évaluer le risque de récidive des personnes mises en examen, s’est révélé profondément inégalitaire. En 2016, une enquête de ProPublica a montré que COMPAS classait les prévenus noirs comme "à haut risque" de récidive deux fois plus souvent que les blancs — et ce, même lorsque les faits ultérieurs prouvaient le contraire. Inversement, les personnes blanches étaient plus fréquemment évaluées à faible risque, alors qu’elles récidivaient davantage.

Un autre exemple connu est celui d’Amazon, qui avait développé à partir de 2014 un système d’intelligence artificielle pour trier automatiquement les candidatures à des postes techniques. L’algorithme, formé sur dix années de données internes, avait appris à désavantager systématiquement les profils féminins — notamment en déclassant les CV contenant des termes comme "women’s" ou en valorisant ceux rédigés dans un style jugé masculin. Le projet a été abandonné en 2018. "Ce n’est pas nécessairement de la discrimination volontaire", observe Marko Vujasinovic, CEO de Meteojob. "Techniquement, il y avait une immense majorité d’hommes recrutés dans le passé dans les équipes de logistique, donc l’algorithme a intégré ce modèle."

3 bonnes pratiques pour éviter les biais de l’intelligence artificielle

1 - La diversité et la qualité des données. Le premier levier, et peut-être le plus structurant, concerne les données utilisées pour entraîner les algorithmes. Des données homogènes, déséquilibrées ou non représentatives vont mécaniquement produire des modèles biaisés. Marko Vujasinovic, CEO de Meteojob, alerte à ce sujet : "Plus les données sont importantes et diversifiées, plus elles permettent de refléter un écosystème varié, et donc de limiter les biais." C’est la raison pour laquelle Meteojob a construit son système de matching à partir de millions de parcours professionnels observés à l’échelle du marché de l’emploi. Cela permet d’identifier des passerelles réelles entre métiers, sans se limiter à des trajectoires types qui pourraient exclure certains profils atypiques ou minoritaires.

À l’inverse, des modèles fondés uniquement sur les données internes à une entreprise risquent de généraliser des biais déjà existants. Comme le souligne Marko Vujasinovic : "Ce qui a marché hier chez vous n’est pas nécessairement ce qui doit se reproduire demain."

2 - Des tests d’équité systématiques. Disposer de données diversifiées est une condition nécessaire, mais pas suffisante. Il faut aussi mesurer les effets produits par les modèles en conditions réelles. Jérôme Friteau insiste : "Un RH doit savoir comment ça fonctionne… Il doit réaliser des tests d’équité, comparer les résultats obtenus par groupes — par exemple les hommes et les femmes — et utiliser des métriques de discrimination." Ces tests peuvent inclure des comparaisons de taux de sélection ou de rejet entre groupes sociodémographiques, des analyses de disparités sur les scores attribués par l’algorithme.

3 - Une gouvernance stratégique IA. Enfin, les biais algorithmiques posent une question de gouvernance qui dépasse les équipes data. Qui décide de l’usage d’un algorithme dans un processus de décision sensible ? Chez Meteojob, tous les projets liés à l’intelligence artificielle passent par le comité exécutif. "C’est un sujet stratégique, qui doit concerner les COMEX", explique Marko Vujasinovic. Cette exigence est d’autant plus importante que les décisions prises par un algorithme engagent la responsabilité juridique et sociale de l’entreprise.

Jérôme Friteau plaide, lui, pour un élargissement de la gouvernance à d’autres parties prenantes : "Il serait intéressant, pour l’avenir, d’associer les partenaires sociaux aux réflexions sur ces outils." Objectif : renforcer la légitimité des décisions algorithmiques, et garantir qu’elles restent compréhensibles et contestables.

Une chose est claire : en cas de dérive, une organisation ne peut pas se retrancher derrière la technologie. "Une entreprise ne peut pas se dédouaner en disant ‘c’est la faute de l’IA’", rappelle Jérôme Friteau.