Stanford varuje pred systémovým vylučovaním uchádzačov pri AI náborových filtroch

Stanford Institute for Human-Centered AI zverejnil analýzu, ktorá posúva debatu o náborových algoritmoch od hypotetických rizík k meraniu na reálnych dátach. Tím okolo Rishiho Bommasaniho, Sarah Bana, Kathleen Creel, Dana Jurafského a Percyho Lianga skúmal 3,4 milióna ľudí, štyri milióny žiadostí, približne 1 700 pracovných ponúk, 156 zamestnávateľov a jedenásť sektorov. Všetky žiadosti prechádzali cez nástroj jedného dodávateľa, ktorý kandidátom prideľoval odporúčanie alebo neodporúčanie pre ďalší krok výberu. Výsledok je dôležitý preto, že nejde o laboratórny benchmark, ale o nasadený systém v prostredí, kde rozhodnutia môžu ovplyvniť začiatok alebo pokračovanie kariéry.

Hlavné zistenie nie je len to, že AI nábor môže byť zaujatý. Autori upozorňujú na mechanizmus, ktorý nazývajú algoritmická monokultúra: veľa zamestnávateľov sa spolieha na rovnakého alebo veľmi podobného dodávateľa a uchádzač tak nemusí naraziť na nezávislé rozhodovanie, ale na opakovanú verziu toho istého filtra. Ak systém zle ohodnotí určitý profil, problém sa môže prenášať z jednej firmy do druhej. Pre uchádzača to znamená, že séria odmietnutí nemusí byť iba výsledkom rozdielnych potrieb jednotlivých tímov, ale aj dôsledkom centrálneho algoritmického úzkeho hrdla.

Štúdia používa americké pravidlo štyroch pätín, ktoré sa v pracovnom práve používa ako indikátor nepriaznivého dopadu. Skupina môže byť problémovo znevýhodnená vtedy, ak je odporúčaná menej než na 80 percent miery najviac odporúčanej skupiny. Podľa Stanfordu sa 25,87 percenta žiadostí čiernych uchádzačov a 14,74 percenta žiadostí ázijských uchádzačov týkalo pozícií, pri ktorých nástroj vykazoval nepriaznivý dopad voči ich rasovej skupine. HAI v sprievodnom texte píše, že ak by boli čierni a ázijskí kandidáti odporúčaní rovnakou mierou ako najviac zvýhodnená skupina, do ďalšej fázy by sa dostalo približne o 40-tisíc ich žiadostí viac.

Dôležitý je aj spôsob merania. Keď sa všetky odporúčania dodávateľa spoja do jedného veľkého priemeru, nepriaznivý dopad sa môže stratiť. Autori preto analyzovali jednotlivé pracovné pozície samostatne. Práve tak sa ukázalo, že zdanlivo neutrálne celkové skóre môže skrývať rozdiely medzi typmi práce. Zjednodušene: ak systém častejšie odporúča jednu skupinu pre skladové pozície a zriedkavejšie pre finančné pozície, celkový priemer môže pôsobiť prijateľne, hoci konkrétne kariérne dráhy zostávajú nerovnomerne dostupné. Pre audit náborovej AI to znamená, že agregované reporty dodávateľa sú slabou poistkou.

Pojem systémové odmietnutie je v tejto práci prakticky najzávažnejší. Výskumníci porovnávali, či sa rovnakí uchádzači opakovane dostávajú do skupiny neodporúčaných častejšie, než by sa dalo čakať pri nezávislých rozhodnutiach. Zistili, že pri spoločnom algoritmickom dodávateľovi sa takáto opakovaná negatívna klasifikácia objavuje výraznejšie. To je iný problém než jednorazová chyba v jednej firme. Ak má trh práce spoločné automatizované brány, niektorí ľudia môžu byť vytláčaní z viacerých príležitostí naraz.

Pre firmy je praktický odkaz pomerne jasný: nestačí kúpiť náborový nástroj a spoliehať sa na uistenie, že model je všeobecne presný. Potrebné sú pozíciovo rozlíšené audity, priebežné sledovanie odporúčacích mier, testovanie dopadu na konkrétne skupiny a mechanizmy, ktoré umožnia ľudskú revíziu sporných rozhodnutí. Rovnako dôležité je poznať, či rovnakého dodávateľa používa veľká časť trhu, pretože trhová koncentrácia môže meniť individuálnu chybu na systémový problém.

Pre regulátorov a verejný sektor je práca pripomienkou, že transparentnosť nestačí definovať len ako možnosť nahliadnuť do modelu. V nábore je kľúčové, aby bolo možné merať dopad na úrovni pozície, zamestnávateľa a dodávateľa. Ak sa pravidlá budú opierať iba o deklarácie alebo priemerné ukazovatele, môžu prehliadnuť presne tie rozdiely, ktoré uchádzači reálne pociťujú. Štúdia preto podporuje prísnejšie požiadavky na nezávislý audit, uchovávanie rozhodovacích dát a vysvetliteľné opravné procesy.

Zároveň nejde o argument, že každý automatizovaný náborový filter je nepoužiteľný. Výskum skôr ukazuje, že vysokostakes použitie AI potrebuje iný štandard dôkazu než bežný produktový test. Model môže znižovať administratívnu záťaž, ale ak ovplyvňuje prístup k práci, musí byť hodnotený podľa toho, komu otvára a komu zatvára dvere. Najväčšou slabinou súčasného trhu nie je iba samotný algoritmus, ale fakt, že rovnaké algoritmické rozhodnutia sa môžu bez dostatočnej kontroly šíriť naprieč mnohými zamestnávateľmi.

Pre uchádzačov je táto téma nepríjemná najmä preto, že väčšina z nich nevie, ktorý nástroj ich žiadosť hodnotil, aké signály použil a či mali možnosť opravy. Stanfordská práca dáva týmto obavám empirický rámec. Ak sa má AI v nábore používať dôveryhodne, nemôže byť len rýchlejším triedičom životopisov. Musí byť systémom, ktorého dopady sú merateľné, napadnuteľné a pravidelne kontrolované na úrovni, kde diskriminácia naozaj vzniká.