Wat leert een AI van de kandidaten die jij de afgelopen 10 jaar koos?

Waarom deze case

Vier woorden op een cv: "women's chess club captain". Aanvoerder van de schaakclub voor vrouwen. Voor een recruiter zegt dat iets over leiderschap en doorzetten. Voor een model dat Amazon tussen 2014 en 2017 bouwde, was het een reden om de kandidaat lager te scoren. Probeer eerst zelf.

Dit is de bekendste mislukking van AI in werving, en daarom staat hij in deze bibliotheek. Niet om Amazon na te wijzen. Amazon zag het probleem zelf, probeerde het te repareren en stopte toen dat niet lukte. De case staat hier omdat hij precies laat zien waar de stelling van deze casebibliotheek over gaat: AI werkt alleen op data die klopt. En kloppend is iets anders dan compleet.

Amazon had alles wat een bureau zich wenst. 10 jaar aan eigen sollicitaties, netjes bewaard, met de uitkomst erbij. Juist die volledigheid werd het probleem. Het model leerde van wat er in de data stond, en dat was het verleden.

Amazon heeft zelf nooit iets over de tool gepubliceerd. Wat we weten, komt van Reuters, dat in oktober 2018 sprak met 5 mensen die bij het project betrokken waren, en uit de korte reactie die Amazon daarop gaf. Dat zeggen we er steeds bij.

Wat Amazon bouwde

In 2014 begon een team in Edinburgh aan een programma dat sollicitanten automatisch zou beoordelen. Amazon groeide in die jaren hard. Volgens Reuters was het aantal medewerkers sinds juni 2015 meer dan verdrievoudigd, tot 575.700 in 2018. Wie zo snel aanneemt, wil de stapel cv's sneller doorkijken.

Edinburgh was geen toevallige plek. Amazon opende er in 2004 zijn eerste ontwikkelcentrum buiten de VS, en er werkten engineers aan aanbevelingen en machine learning.

Edinburgh, 2004

Het eerste ontwikkelcentrum van Amazon buiten de VS begon met 35 mensen.

Jeff Bezos kwam op de foto. 10 jaar later begon hier het team dat cv's leerde scoren.

BronAmazon, 15 jaar ontwikkelcentrum in Schotland (29 december 2019)

Het idee was eenvoudig en paste bij het bedrijf. Klanten geven producten op Amazon één tot vijf sterren. Het model zou kandidaten dezelfde score geven. Je stopt er honderd cv's in, en de beste vijf komen eruit.

Hoe het model leerde

Een model leert niet wat een goede kandidaat is. Het leert wat de kandidaten die eerder werden gekozen gemeen hadden. Bij Amazon ging dat zo.

De voorbeelden in deze scène zijn van ons. De woorden en de richting komen uit Reuters. Hoe zwaar elk woord precies woog, is nooit bekendgemaakt.

Dat is de kern van het probleem. Een woord kun je schrappen. Een patroon niet. Als vrouwen in de leerdata zeldzaam zijn, vindt een model honderd kleine aanwijzingen die met vrouw zijn samenhangen: een sport, een vereniging, een school, een manier van schrijven. Elk woord dat je weghaalt, laat de andere staan.

De data klopte, en toch niet

Je zou kunnen zeggen dat de data van Amazon gewoon slecht was. Dat is niet zo. De cv's waren echt, de uitkomsten waren echt, en er ontbrak niets. Het probleem zat in de vraag die je die data stelde.

Amazon wilde weten wie het werk goed zou doen. De data wist alleen wie er werd aangenomen. Dat lijkt op elkaar, maar het is iets anders. Wie er werd aangenomen, zegt evenveel over de mensen die kozen als over de mensen die gekozen werden.

Voor een bureau is dit geen verre Amerikaanse les. Elk bureau dat AI laat leren van "geplaatst, ja of nee", leert het model wat de eigen intercedenten de afgelopen jaren kozen. Met hun goede keuzes, en met hun gewoontes. Robert Half, de vorige case in deze bibliotheek, koos daarom een ander label: niet of iemand geplaatst werd, maar hoe kandidaten het op eerdere opdrachten deden. Dat is data die zegt of de keuze goed was.

Hoe het afliep

In 2015 zag Amazon dat het model technische kandidaten niet sekseneutraal beoordeelde. Het team paste de modellen aan. Daarna kwamen er nieuwe problemen. Door fouten in de onderliggende data stelde het model vaak ongeschikte kandidaten voor, voor allerlei functies. De uitkomsten waren volgens de betrokkenen bijna willekeurig.

Begin 2017 hief Amazon het team op. Recruiters hadden de aanbevelingen wel bekeken, aldus Reuters, maar vertrouwden nooit alleen op de score. Amazon zelf ging nog een stap verder.

Helemaal weg was het werk niet. Een sterk afgeslankte versie ruimde volgens Reuters dubbele kandidaatprofielen op. En er kwam een nieuw team in Edinburgh, dat het opnieuw probeerde, dit keer met diversiteit als uitgangspunt. Wat daarvan terechtkwam, is niet bekend.

Amazon stond in 2018 ook niet alleen. Grote werkgevers automatiseerden hun selectie in hetzelfde tempo.

Is het nu beter?

Het model van Amazon is 10 jaar oud. Taalmodellen van nu zijn veel slimmer. De vraag is of ze ook eerlijker zijn. Onderzoekers van de University of Washington zochten het uit (gepubliceerd op 31 oktober 2024), met 550 echte cv's, ruim 500 echte vacatures in 9 beroepen en 3 taalmodellen.

Ondertussen gaat de vraag naar de rechter. In de Verenigde Staten klaagde een sollicitant, Derek Mobley, softwarebedrijf Workday aan. Hij solliciteerde meer dan 100 keer bij werkgevers die de selectiesoftware van Workday gebruikten, en werd elke keer afgewezen. Een federale rechter liet de zaak op 16 mei 2025 door als groepszaak. Workday zegt dat de zaak nergens op slaat. Of Workday ongelijk heeft, staat nog niet vast. Dat een rechter de vraag serieus neemt, wel.

Wat anders is in Nederland

In Nederland is onderscheid bij werving al tientallen jaren verboden. De Algemene wet gelijke behandeling noemt "arbeidsbemiddeling" daarbij met zoveel woorden. Een bureau dat kandidaten doorstuurt, valt er dus gewoon onder, ook als een model de eerste schifting doet.

De AI-verordening voegt daar iets nieuws aan toe: eisen aan de data zelf. Eén artikel leest als een samenvatting van deze case.

Let op het woord "representatief". De data van Amazon was compleet, maar niet representatief voor de mensen die Amazon wilde aannemen. Onder de nieuwe regels is dat geen technisch detail meer, maar een eis.

Er is één ding dat in Nederland lastiger is dan in de Verenigde Staten. Afkomst is onder de AVG een bijzonder persoonsgegeven. Je mag het niet zomaar vastleggen, dus je kunt je selectie ook niet zomaar uitsplitsen naar afkomst. De AI-verordening maakt een uitzondering voor wie een hoog-risicosysteem bouwt en zulke gegevens nodig heeft om vooringenomenheid op te sporen. Voor de meeste bureaus begint het eenvoudiger: met wat je wel mag tellen, zoals man of vrouw en leeftijd.

Wat dit voor jou betekent

Doe eerst de test. Daarna kun je met de rekenhulp zien of je eigen selectie ergens scheef loopt.

Wat je meeneemt

Vijf lessen uit deze case, en vijf vragen om te zien of ze zijn geland.

Waaraan je merkt of we gelijk hebben

Een stelling die je niet kunt weerleggen, is niets waard. Dit zijn de signalen waaraan je over een paar jaar ziet of we het mis hadden.

Je werkblad

Bronnen

Aan tafel