Début octobre, le géant Amazon a annoncé qu’il mettait au placard son «robot-recruteur» pour cause de misogynie. Le programme était censé alléger le boulot des RH en opérant un pré-tri dans les CV. Mais l’expérience a prouvé que l’algorithme avait une fâcheuse tendance à écarter les documents qui comportait le mot « femme ».

Si Amazon avait connu Maathics, le sexisme de son intelligence artificielle aurait été détecté plus tôt. Car cette start-up, lancée par des chercheurs toulousains, se propose de vérifier que les IA sont responsables, au sens éthique du terme.

En fonction de la « nourriture » ingérée

Il faut commencer par faire admettre que les puissantes IA ne sont pas aussi parfaites qu’on voudrait l’imaginer. « On pense toujours que les IA sont meilleures que nous, indique Anna Choury, directrice générale et cofondatrice de Maathics. Mais on ne les programme pas vraiment. Elles apprennent à partir de la nourriture, des données qu’on leur fournit. Dans le cas d’Amazon, qui emploie en majorité des hommes, elle a conclu toute seule que les profils féminins n’étaient pas les bons. »

Cette ancienne ingénieure de recherche en Big Data de l’Institut de mathématiques de Toulouse, fan de romans dystopiques, a quantité d’exemples de travers détectés chez les IA. « Aux Etats-Unis, un logiciel a été testé pour prévenir le risque de récidive et aider les juges dans leur décision de remise en liberté. En fait, elle se basait sur l’origine ethnique, explique-t-elle. Quand on ne lui donne pas une diversité suffisante de données à observer, un algorithme peut reproduire un biais social sans faire la distinction entre l’injustice et les tendances à reproduire ».

Un algorithme contrôleur

Donc, et c’est presque rassurant pour nous, humains, l’IA a encore besoin de notre aide. L’ironie, c’est que pour le faire, Maathics a développé son propre algorithme. Confession, âge, sexe, préférences sexuelles… Il a avalé tous les critères que les législations européennes peuvent considérer comme discriminatoires. L’idée est de vérifier si les logiciels utilisés, dans une entreprise par exemple, n’y contreviennent pas malgré eux.

Si c’est malheureusement le cas, Maathics proposera aussi bientôt de corriger les mauvais penchants de l’IA. Mais son vrai but, c’est de créer un label d'« Intelligence artificielle équitable ». Il garantirait l’éthique des algorithmes, histoire de s’assurer qu’un clone de HAL 9.000 ne se cache pas dans notre ordinateur.