Stanford HAI varuje pred algoritmickou monokultúrou pri nábore zamestnancov

Stanford HAI upozorňuje na štúdiu, ktorá patrí medzi najkonkrétnejšie pohľady do nasadených AI náborových nástrojov. Výskumníci analyzovali 3,4 milióna ľudí, 4 milióny žiadostí o prácu, 1 700 pracovných pozícií a 150 zamestnávateľov v 11 sektoroch. Všetky žiadosti pritom posudzovali algoritmy od jedného externého dodávateľa. Tým sa otvorila otázka, čo sa stane, keď veľká časť trhu používa podobné alebo rovnaké systémy na prvé triedenie kandidátov.

Hlavný pojem štúdie je algoritmická monokultúra. Znamená situáciu, v ktorej veľa organizácií síce formálne rozhoduje samostatne, ale ich rozhodnutia prechádzajú cez rovnaký alebo veľmi podobný model. Ak takýto systém urobí chybu, nejde o izolovaný problém jednej firmy. Rovnaký typ kandidáta môže byť znevýhodnený opakovane naprieč pracovným trhom, pretože naráža na rovnaký filter na viacerých miestach.

Podľa zhrnutia Stanfordu výskumníci našli významné rasové rozdiely v odporúčaniach. Pri použití pravidla štyroch pätín, ktoré sa v americkom pracovnom práve používa na identifikáciu nepriaznivého dopadu, vychádzalo, že 26 percent čiernych uchádzačov a 15 percent ázijských uchádzačov sa hlásilo na pozície, kde systém znevýhodňoval ich rasovú skupinu. Autori odhadujú, že pri rovnakom odporúčacom pomere by do ďalšej fázy postúpilo približne 40-tisíc ďalších žiadostí.

Dôležitý detail je metodika. Agregovaný pohľad na všetky odporúčania môže problém skryť, pretože rozdiely sa v priemere vyhladia. Výskumníci preto skúmali dopad pozíciu po pozícii. Práve takýto rozklad ukazuje, či konkrétna pracovná príležitosť nie je pre niektorú skupinu systematicky menej dostupná. Pre audit AI systémov je to podstatná lekcia: férovosť sa nedá spoľahlivo posúdiť iba jedným veľkým súhrnným číslom.

Štúdia sa netýka generatívnych chatbotov v úzkom zmysle, ale patrí do širšej debaty o AI v rozhodovaní s vysokými dôsledkami. Náborový filter môže ovplyvniť príjem, kariérnu dráhu a prístup k príležitostiam. Ak sa podobné systémy používajú vo veľkom rozsahu a bez nezávislého prístupu k dátam, uchádzač často ani nevie, či ho odmietol človek, firma, alebo model zakúpený od tretej strany.

Pre regulátorov je význam najmä v tom, že zodpovednosť sa rozmazáva medzi dodávateľa, zamestnávateľa a dátové zdroje. Zamestnávateľ môže tvrdiť, že používa komerčný nástroj rovnako ako konkurencia. Dodávateľ môže tvrdiť, že finálne rozhodnutie je na firme. Uchádzač však v praxi čelí jednému výsledku: opakovanému nepostúpeniu. To je presne typ systémového rizika, ktoré bežné hodnotenie jedného nasadenia nemusí zachytiť.

Pre firmy používajúce AI v HR z toho vyplýva viacero praktických opatrení. Nestačí získať všeobecné uistenie od dodávateľa, že model je férový. Treba požadovať audit podľa pracovnej pozície, sledovať odporúčacie pomery pre relevantné skupiny, uchovávať vysvetliteľné záznamy a mať jasný proces ľudskej revízie. Dôležité je aj testovať, či rovnakí kandidáti nie sú odmietaní naprieč rôznymi pozíciami spôsobom, ktorý by naznačoval monokultúrny filter.

Širší odkaz je triezvy: AI môže nábor zrýchliť, ale zároveň môže koncentrovať chyby. Keď veľa zamestnávateľov používa rovnakú automatizovanú vrstvu, trh práce sa môže správať menej pluralitne, než sa navonok zdá. Stanfordská práca preto nie je iba varovaním pred jedným nástrojom, ale argumentom za prístup k dátam, nezávislý výskum a pravidlá, ktoré budú hodnotiť skutočné dôsledky algoritmov v praxi.

Pre európske organizácie je téma relevantná aj bez priamej väzby na americké pracovné právo. Akt o umelej inteligencii zaraďuje niektoré HR použitia medzi vysokorizikové systémy a vyžaduje riadenie rizík, dokumentáciu a dohľad. Stanfordský príklad ukazuje, že problém nemusí byť iba v jednom nepresnom skóre, ale v opakovanom účinku rovnakého filtra naprieč trhom. To je presne typ dopadu, ktorý by mali audity zachytiť pred masovým nasadením.