Stanford varuje, že náborové AI nástroje môžu škálovať rasové odmietanie uchádzačov

Stanford HAI zverejnil analýzu, ktorá posúva debatu o AI v nábore od všeobecnej obavy z automatizácie k merateľnému problému: čo sa stane, keď veľa zamestnávateľov používa podobné alebo rovnaké algoritmické filtre od jedného dodávateľa. Text vychádza z výskumu tímu okolo Rishiho Bommasaniho, Sarah H. Bana, Kathleen A. Creel, Dana Jurafského a Percyho Lianga a opisuje dáta z 3,4 milióna ľudí, 4 miliónov pracovných žiadostí, 1 700 pozícií, 150 zamestnávateľov a 11 sektorov.

Pointa nie je iba v tom, že AI môže robiť chyby pri jednom pracovnom inzeráte. Autori hovoria o „algoritmickej monokultúre“: stave, v ktorom mnoho firiem deleguje prvotný výber uchádzačov na rovnaký alebo veľmi podobný systém. Ak takýto systém systematicky znevýhodňuje určitú skupinu, následok sa neprejaví len u jedného zamestnávateľa. Ten istý človek môže byť odmietnutý opakovane, pretože cez rovnaký filter prechádza vo viacerých firmách naraz.

Stanford v popularizačnom texte zdôrazňuje, že podľa autorov používa AI skríning veľká väčšina amerických zamestnávateľov a mnoho z nich sa spolieha na niekoľko veľkých dodávateľov. Štúdia sa preto pýta, či centralizovaný náborový filter môže vytvárať systémové úzke hrdlo na pracovnom trhu. To je dôležité najmä pri vstupných pozíciách, kde firmy dostávajú viac prihlášok než pred niekoľkými rokmi a uchádzači zároveň používajú nástroje na rýchlejšie posielanie žiadostí.

Jedno z kľúčových zistení sa týka rasových rozdielov. Výskumníci použili americké pravidlo „four-fifths rule“, podľa ktorého je výberový proces podozrivý z nepriaznivého dopadu, ak je určitá skupina odporúčaná menej než na 80 percent miery najviac odporúčanej skupiny. Stanford uvádza, že 26 percent černošských uchádzačov a 15 percent ázijských uchádzačov sa hlásilo na pozície, pri ktorých systém znevýhodňoval ich rasovú skupinu. Ak by boli odporúčaní rovnakou mierou ako najviac zvýhodnená skupina, do ďalšej fázy by podľa textu postúpilo približne o 40-tisíc ich žiadostí viac.

Rovnako podstatný je spôsob merania. Ak sa výsledky jedného dodávateľa zlúčia do jedného priemeru, diskriminačné vzorce sa môžu stratiť. Systém môže napríklad častejšie odporúčať jednu skupinu pre skladové pozície, no menej často pre finančné pozície, a veľký priemer potom vyzerá neutrálne. Keď však výskumníci analyzovali odporúčania po jednotlivých pracovných pozíciách, objavili nepriaznivý dopad, ktorý agregovaný pohľad zakrýva. Pre audit náborovej AI je to praktická lekcia: nestačí vyžiadať si celkovú štatistiku dodávateľa, treba sledovať výsledky v konkrétnych pracovných procesoch.

Druhá veľká časť sa týka systémového odmietania. Výskum naznačuje, že uchádzači, ktorí sa hlásia na viacero pozícií posudzovaných rovnakým algoritmickým dodávateľom, majú vyššiu šancu, že budú odmietnutí všade, než by sa čakalo pri štatisticky nezávislých rozhodnutiach. Stanford uvádza príklad, že desať percent ľudí podávajúcich štyri žiadosti bolo odmietnutých vo všetkých procesoch. Ak rovnaký model opakovane neodporučí rovnaký typ profilu, pracovný trh sa pre niektorých ľudí správa ako jedna veľká brána, nie ako súbor nezávislých príležitostí.

Pre firmy to vytvára právne aj operačné riziko. Náborový systém môže vyzerať efektívne, pretože rýchlo zoradí veľké množstvo prihlášok, no ak je jeho chyba štrukturálna, škáluje sa spolu s objemom kandidátov. Zamestnávatelia by preto nemali nakupovať AI nástroj len ako produktivitu pre HR oddelenie. Potrebujú vedieť, aké dáta systém používa, ako sa meria nepriaznivý dopad, či sa výsledky auditujú po pozíciách a ako sa uchádzač môže odvolať alebo dostať k ľudskému posúdeniu.

Pre regulátorov je štúdia pripomienkou, že vysokorizikové používanie AI v zamestnanosti sa nedá posudzovať iba na úrovni jedného zamestnávateľa. Ak dominantný dodávateľ sprostredkuje rozhodnutia pre veľkú časť trhu, zlyhanie sa šíri naprieč firmami. Európska regulácia AI aj americké pravidlá zamestnaneckej diskriminácie preto budú musieť riešiť nielen transparentnosť konkrétneho modelu, ale aj koncentráciu dodávateľov, prístup výskumníkov k dátam a štandardy pre nezávislé audity.

Štúdia má aj svoje hranice. Opisuje jeden veľký súbor dát od jedného dodávateľa a sama Stanford HAI ju prezentuje ako vzácny pohľad do inak ťažko dostupnej oblasti, nie ako úplnú mapu celého trhu. Práve táto obmedzenosť je však súčasť problému: algoritmický nábor je rozšírený, ale nezávislí výskumníci sa k reálnym dátam dostávajú zriedka. Ak má byť verejná debata založená na dôkazoch, firmy a dodávatelia budú musieť umožniť viac kontrolovateľného výskumu.

Najpraktickejší odkaz pre zamestnávateľov je jednoduchý. AI skríning nemá byť čierna skrinka, ktorej výstup sa automaticky pošle personalistovi ako odporúčanie alebo stopka. Musí byť súčasťou kontrolovaného procesu s meraním po pozíciách, s kontrolou znevýhodnených skupín, s ľudským preskúmaním sporných rozhodnutí a s jasnou zodpovednosťou za následky. Inak sa z nástroja na zvládnutie veľkého počtu prihlášok môže stať infraštruktúra, ktorá ticho znižuje šance rovnakých uchádzačov vo viacerých firmách naraz.