"Un algorithme n'est qu'une suite de chiffres, donc responsable de rien, le problème vient de l'humain, et si nous n'y sommes pas attentifs, nous donnons naissance à des algorithmes discriminatoires", accuse Salwa Toko, la présidente du Conseil national du numérique français, interrogée par l'AFP. Elle voit là un "enjeu de société, d'état de droit". L'OCDE, dans un rapport de juin dernier, pointait également "les risques de transposition des biais du monde analogique vers le monde numérique" et encourageait la création d'un environnement sain d'accès aux données.

L'intelligence artificielle ("IA") est basée sur l'apprentissage automatisé à partir de données insérées par le concepteur, que la machine analyse. Si cette matière première est biaisée, le résultat ne peut qu'en être faussé.

"Une partie de l'IA est encore bête et méchante, sans conscience artificielle", estime auprès de l'AFP Jérôme Béranger, fondateur d'Adel, un label d'experts pluridisciplinaires qui évalue la conception et la mise en
place des algorithmes d'un point de vue éthique.

Reproduction des inégalités

De la conception de l'algorithme et de la constitution de la base de données jusqu'aux décisions finales de la machine, les stéréotypes et biais de l'humain influencent le résultat, souvent vu, à tort, comme une solution
mathématique infaillible.

"Il y a plus d'hommes que de femmes qui travaillent dans les nouvelles technologies, c'est statistiquement la réalité. Maintenant si on crée un algorithme à partir de ces données, sans aucune correction, on va amener un biais dans le programme", qui finira par reproduire les inégalités, explique par exemple à l'AFP Anne-Laure Thieullent, spécialiste en intelligence artificielle chez le géant français des services informatiques Capgemini.

Dans le secteur bancaire par exemple, un algorithme peut étudier des dossiers et proposer des montants de prêts. Mais si dans la base de données qu'on lui a fournie, les femmes empruntent moins que les hommes, l'algorithme
va reproduire cette situation.

Aux Etats-Unis, le site de médias ProPublica a examiné les "notes de risque de récidive" octroyées il y a quelques années à des délinquants par un algorithme dans l'Etat de Floride, recherchant ceux d'entre eux qui ont été à nouveau condamnés ultérieurement pour évaluer l'exactitude de la prédiction. Les Afro-Américains étaient deux fois plus nombreux à avoir été jugés par erreur susceptibles de commettre un nouveau délit.

Quelles solutions ?

"A chaque fois qu'on souhaite appliquer une IA pour résoudre une question, il faut regarder s'il y a des biais humains qui existent déjà et qui pourraient se retranscrire dans le jeu de données", conseille Mme Thieullent. "Cela fait deux ans que l'on pose les constats. Maintenant on est à un stade où il est intéressant de voir ce que les acteurs commencent à mettre en place", souligne Régis Chatellier, chargé d'études au pôle innovation de la Cnil, le gendarme français de la protection des données.

Diverses initiatives tentent en effet de contrer ces biais, avec par exemple des labels d'audit des algorithmes et des bases de données comme Adel, ou encore des outils de correction des bases de données pour rééquilibrer la
représentation des minorités.

En France, un rapport du mathématicien et député Cédric Villani proposait en 2018 la création d'un "corps d'experts publics assermentés". Et la Cnil a envisagé une "plateforme nationale d'audit des algorithmes".

Les principaux remèdes présentés pour éviter la reproduction du statu quo concernent la diversité: intégrer plus de femmes et rééquilibrer la diversité ethnique dans la tech, constituer des équipes pluridisciplinaires au sein des entreprises plutôt que de confier le développement d'une intelligence artificielle uniquement à des ingénieurs.

Chez Capgemini, Anne-Laure Thieullent commence à voir nombre de ses clients passer à "l'action" sur ces thématiques, notamment par peur d'une dégradation de leur image de marque. Le mieux étant d'anticiper les biais éventuels en amont, avant que les couacs et décisions n'influencent le quotidien des utilisateurs. D'autant, souligne Jérôme Béranger, qu'à l'avenir l'intelligence artificielle est appelée à se passer de l'intervention humaine.