Biais de l’IA en recrutement : l’outil qu’Amazon a dû enterrer

Un outil d’IA de recrutement apprend à partir des CV du passé. Si ces CV reflètent des embauches surtout masculines, il apprend à préférer les hommes, même sans qu’on lui donne le genre des candidats. Amazon l’a constaté en interne, a tenté de corriger l’outil, puis a dissous l’équipe, selon l’enquête de Reuters publiée en octobre 2018.

On cite ce cas dans toutes les conférences sur l’IA et les ressources humaines. Presque personne ne le raconte jusqu’au bout, et c’est dommage, parce que c’est la fin de l’histoire qui est instructive. Amazon n’a pas échoué parce qu’il manquait de moyens ou de talents. Il a échoué parce que le problème ne se règle pas avec plus de puissance de calcul.

Je te raconte l’affaire, je t’explique pourquoi la mécanique est presque inévitable, et je te donne ce que je poserais comme questions à tout éditeur qui te vend un tri automatique de candidatures.

L’histoire : ce que Reuters a révélé en octobre 2018

Selon l’enquête de Reuters, relayée notamment par CNBC le 10 octobre 2018, Amazon a commencé à travailler en 2014 sur un outil qui devait automatiser une partie de la sélection. Le principe était simple à expliquer. Les candidats recevaient une note de une à cinq étoiles, comme les produits sur la plateforme.

Pour apprendre, les modèles ont été entraînés avec les CV reçus par l’entreprise sur une période de dix ans. La majorité de ces CV venait d’hommes, un reflet de la domination masculine dans le secteur technologique.

Le résultat, toujours selon cette enquête : le système a appris à pénaliser les CV contenant le mot « women’s », comme dans « capitaine du club d’échecs féminin ». Il déclassait aussi des diplômées de deux établissements réservés aux femmes, dont Reuters ne donne pas les noms.

Amazon a modifié les programmes pour qu’ils deviennent neutres face à ces termes précis. Puis l’entreprise a fini par dissoudre l’équipe, parce que ses dirigeants ne croyaient plus au projet. L’outil a été réduit à une version très allégée, utilisée pour des tâches simples comme le retrait des profils en double. Interrogée, Amazon n’a pas commenté le moteur de recrutement, et a seulement rappelé son attachement à la diversité et à l’égalité au travail.

Retiens ce détail : personne n’avait écrit « préfère les hommes » dans le code. Le biais est sorti tout seul des données.

Pourquoi l’algorithme a appris à écarter les femmes

Un modèle d’apprentissage ne comprend pas ce qu’est un bon candidat. Il cherche ce qui ressemble aux candidats qui ont été embauchés. Si on lui demande « quels CV ressemblent à ceux des personnes retenues ces dix dernières années », il répond honnêtement. Le problème, c’est la question.

Ce mécanisme porte un nom : on apprend le passé et on le rejoue comme un avenir. Les décisions d’embauche passées étaient imparfaites, parfois biaisées, parfois simplement le reflet d’un marché où les candidatures n’étaient pas équilibrées. Le modèle les transforme en règle.

Ensuite vient le piège des variables indirectes. Même si tu supprimes le prénom, le sexe, la photo, d’autres éléments gardent la trace : le nom d’un club, un établissement, une période d’interruption de carrière, un verbe plus ou moins « affirmé ». Dans l’affaire Amazon, le mot « women’s » a suffi. Corriger ce mot-là ne garantit pas que le système n’en trouvera pas d’autres, et c’est un raisonnement que je te livre ici comme tel : une correction ciblée ne prouve jamais l’absence de biais.

Si tu veux revenir aux sources humaines du problème, j’ai déjà détaillé les biais cognitifs en recrutement. L’IA ne les crée pas. Elle les copie, et elle les copie vite, à grande échelle, sans fatigue ni remords.

Ce que ça change pour les outils de tri d’aujourd’hui

Reuters parlait d’un outil maison, en 2018. Aujourd’hui, le tri automatisé est vendu en abonnement. Il se cache dans les ATS, dans les plateformes d’annonces, dans les extensions qui promettent de « classer » des profils LinkedIn. Le site compare déjà des outils d’IA pour le recrutement, et le réflexe à garder en lisant leurs fiches commerciales est simple : elles décrivent des gains de temps, rarement la façon dont le score est calculé.

Deux nuances, pour ne pas dire n’importe quoi. D’abord, les modèles actuels ne sont pas ceux de 2018, et un éditeur sérieux teste ses scores. Ensuite, une IA qui rédige une annonce ou résume un CV n’a pas le même niveau de risque qu’une IA qui décide qui passe à l’étape suivante. Mais le principe de l’affaire Amazon reste valable dès qu’un outil classe des personnes à partir de données passées.

Ce que dit le cadre européen

Le règlement européen sur l’IA a pris position sur ce sujet. Son annexe III, telle que la publie le service d’aide de la Commission européenne, range parmi les systèmes à haut risque ceux destinés au recrutement ou à la sélection de personnes, notamment pour placer des annonces ciblées, analyser et filtrer des candidatures et évaluer des candidats.

Je ne détaille pas ici les obligations qui en découlent ni leur calendrier, qui a connu des ajustements. Pour le fond et pour savoir ce qui s’applique à toi, lis notre page sur l’AI Act et le recrutement. Retiens seulement que le cas Amazon n’est plus une anecdote : c’est le type de situation que le texte vise.

Cinq questions à poser avant d’acheter un outil de tri

Je ne fais pas de liste par habitude. Ici le contenu est vraiment énumératif, et tu peux t’en servir tel quel dans un échange avec un commercial.

1. Avec quelles données le modèle a-t-il été entraîné, et sur quelle période ?
2. Comment le score est-il construit, et peux-tu me montrer pourquoi tel candidat est mieux classé que tel autre ?
3. Avez-vous mesuré les écarts de résultat entre hommes et femmes, et entre tranches d’âge, et peux-tu voir cette mesure ?
4. Un recruteur peut-il corriger ou écarter le classement, et cette décision est-elle tracée ?
5. Que se passe-t-il pour un candidat dont le CV est atypique : reconversion, interruption, parcours à l’étranger ?

Si le commercial ne sait pas répondre à la deuxième question, tu as ta réponse sur le reste.

Ce que je vois passer côté recrutement

Sur le terrain, le tri automatique pose rarement le problème qu’on imagine. Celui que je rencontre le plus, c’est le recruteur qui ne regarde plus que les cinq premiers noms d’une liste classée, sans se demander qui est tout en bas. Le classement devient un filtre invisible.

L’autre phénomène, c’est le candidat qui s’adapte à la machine. Il recopie les mots de l’annonce, supprime ce qui sort du cadre, lisse son parcours. Résultat : on sélectionne de moins en moins les profils singuliers, et on finit par recruter des CV qui se ressemblent. C’est précisément l’effet que racontait l’affaire Amazon, avec cette différence que personne ne s’en rend compte.

Ce sont mes observations, pas des statistiques. Mais je les vois assez souvent pour te conseiller de ne jamais déléguer l’étape de décision à un score. Pour le reste, la question de fond est posée dans notre guide : l’IA peut-elle remplacer un recruteur ? Pas sur les décisions qui engagent une personne.

Ce que ça change pour toi

Si tu es recruteur indépendant, ne présente jamais un classement automatique comme une vérité à ton client. Présente-le comme une aide à la lecture, et garde la sélection dans tes mains. Appuie-toi sur une scorecard de recrutement écrite avant d’ouvrir les CV, et sur un entretien structuré : ce sont des critères que tu choisis, que tu peux expliquer et que tu peux défendre.

Si tu utilises l’IA dans ton quotidien, regarde le guide pour utiliser l’IA en recrutement et cantonne-la aux tâches où une erreur se voit tout de suite : rédaction, reformulation, résumé.

Si tu achètes un outil, pose les cinq questions. Garde la réponse par écrit. Elle te servira le jour où un candidat, un client ou un contrôleur te demandera pourquoi ce profil n’a pas été retenu.

Et si tu fournis des outils de recrutement, sache que la transparence sur le fonctionnement du score devient un argument de vente. Depuis l’affaire Amazon, les acheteurs savent qu’il faut poser ces questions, et ceux qui y répondent clairement ont un avantage.