Kvantilové mapovanie má obmedziť neférovosť sekvenčných rozhodnutí AI

Prečo pri sekvenčných rozhodnutiach nestačí skryť citlivý údaj

Posilňované učenie nehľadá iba jednu predikciu, ale politiku pre sériu navzájom previazaných rozhodnutí. Dnešný zásah mení stav človeka, jeho budúce možnosti aj údaje, podľa ktorých systém rozhodne nabudúce. Politika s dobrým priemerným výsledkom preto môže počas celej trajektórie systematicky obmedzovať prístup určitej skupiny k užitočnej službe. Nový preprint šiestich výskumníkov z University of Michigan a London School of Economics rieši tento problém predspracovaním tréningových trajektórií. Navrhovaná metóda CFSMDM má odstrániť vplyv citlivej charakteristiky zo stavov a odmien ešte pred učením politiky.

Kontrafaktuálna férovosť, predstavená v samostatnom strojovom učení už v práci Kusnera a spoluautorov z roku 2017, sa pýta, či by algoritmus rozhodol pre toho istého človeka rovnako, keby mal inú hodnotu chránenej vlastnosti. Ostatné osobné okolnosti reprezentované vonkajšími príčinami pritom zostávajú nezmenené. Je to individuálne a kauzálne kritérium, nie iba porovnanie priemerov medzi skupinami. Demografická parita môže napríklad ukázať rovnaký podiel pridelených zásahov, hoci konkrétnym porovnateľným ľuďom systém stále prideľuje rozdielnu starostlivosť.

Samotné odstránenie pohlavia, etnicity či iného citlivého atribútu zo vstupu problém nerieši. Bolesť, príjem, miesto bydliska alebo predchádzajúce využitie služieb môžu citlivú vlastnosť nepriamo kódovať. Historické údaje navyše zachytávajú aj nerovnaký prístup, rozdiely v hlásení ťažkostí a dôsledky starších rozhodnutí. Pri posilňovanom učení sa takéto nepriame signály prenášajú medzi krokmi. Zdanlivo „nevedomá“ politika tak môže reprodukovať nerovnosť bez toho, aby chránený údaj používala priamo.

Čo robí sekvenčné mapovanie kvantilov

CFSMDM najskôr odhaduje, na akom kvantile podmienenej distribúcie sa nachádza pozorovaný stav alebo odmena človeka. Potom hľadá hodnotu na rovnakom kvantile v distribúcii zodpovedajúcej alternatívnej hodnote citlivej vlastnosti. Ak je napríklad pozorovaný výsledok na 70. percentile jednej podmienenej distribúcie, jeho kontrafaktuálny náprotivok sa vezme zo 70. percentilu druhej. Postup sa opakuje sekvenčne, pretože kontrafaktuálny stav v jednom kroku vstupuje do odhadu nasledujúceho kroku. Z viacerých kontrafaktuálnych verzií následne vzniknú transformované stavy a odmeny, na ktorých sa dá učiť politika.

Praktickou výhodou je oddelenie férovostnej vrstvy od samotného algoritmu offline posilňovaného učenia. Autori po transformácii používajú fitted Q iteration, ale základný koncept nie je obmedzený na jeden konkrétny model politiky. Oproti skoršiemu sekvenčnému prístupu CFSDP nová metóda nevyžaduje, aby sa náhodné vplyvy na stavy a odmeny jednoducho pripočítavali. Nahrádza tento aditívny predpoklad slabším predpokladom, že stav a odmena sa s príslušnou nepozorovanou náhodnou zložkou menia striktne monotónne. Bežný aditívny model zostáva špeciálnym prípadom.

Teoretické výsledky ohraničujú dve odlišné straty: mieru kontrafaktuálnej neférovosti v jednotlivých krokoch a rozdiel medzi hodnotou naučenej a optimálnej politiky v nekonečnom horizonte. Nejde však o bezpodmienečnú garanciu. Hranice závisia od regularity prostredia, presnosti odhadu kvantilov, veľkosti vzorky, diskontného faktora a ďalších predpokladov analýzy. Teoretická časť navyše pracuje s konkrétnou realizáciou fitted Q iteration a s oddelenými vzorkami pre učenie predspracovania a politiky. Tvrdenie, že metóda „zaručuje férovosť“ v ľubovoľnom reálnom systéme, by preto bolo nepresné.

Test na simuláciách a zdravotných dátach

Autori v simuláciách porovnávajú CFSMDM so štandardnou politikou využívajúcou všetky premenné, politikou bez citlivého atribútu, náhodným rozhodovaním a viacerými férovostnými metódami vrátane CFSDP. Experimentálne prostredie zámerne obsahuje neaditívny šum, pri ktorom má byť rozšírenie najpodstatnejšie. Hodnotia diskontovanú súhrnnú odmenu aj podiel prípadov, keď politika pre toho istého človeka zvolí v skutočnom a kontrafaktuálnom svete inú akciu. Simulácia podporuje technickú uskutočniteľnosť návrhu, sama však nemôže potvrdiť klinickú bezpečnosť ani spoločenskú primeranosť zvolenej definície férovosti.

Reálna analýza využíva dáta zo štúdie PowerED zameranej na obmedzenie nesprávneho užívania opioidných analgetík. Počas 12-týždňovej intervencie systém každý týždeň vyberal medzi krátkym automatizovaným hlasovým hovorom, dlhším automatizovaným hovorom a živým hovorom s poradcom. Ide o názorný príklad obmedzeného zdroja: ľudská konzultácia môže byť hodnotnejšia, ale spotrebúva čas poradcu. Neférová politika by ju mohla niektorej skupine prideľovať menej často pre priame použitie citlivého atribútu alebo pre nepriame signály, napríklad skupinové rozdiely v nahlasovaní bolesti.

Táto aplikácia je dôležitým doplnením pôvodného stručného súhrnu, ale nie dôkazom pripravenosti na nasadenie. Politiky sa učili a hodnotili offline, pričom hodnota politiky bola odhadovaná fitted Q evaluation, nie novou randomizovanou klinickou skúškou. Aj kontrafaktuálnu metriku výskumníci počítali pomocou ďalšieho odhadnutého modelu, pretože alternatívny životný priebeh toho istého pacienta nemožno priamo pozorovať. Výsledok teda závisí od modelu, ktorým sa meria, a môže byť citlivý na nesprávnu špecifikáciu podmienených kvantilov.

Európsky kontext a hranice použitia

Pre slovenské nemocnice, poisťovne či poskytovateľov digitálneho zdravia je podstatné, že technická korekcia nenahrádza riadenie rizík. Akt EÚ o umelej inteligencii považuje niektoré systémy súvisiace so zdravotníckymi produktmi alebo vážnym zásahom do zdravia a základných práv za vysokorizikové. Pri takýchto systémoch vyžaduje okrem kvalitných dát aj dokumentáciu, záznamy, presnosť, robustnosť, ľudský dohľad a priebežné monitorovanie. Kontrafaktuálne predspracovanie môže podporiť kontrolu diskriminačných výsledkov, nie je však automatickým potvrdením právneho súladu ani náhradou klinického posúdenia.

WHO podobne zdôrazňuje, že AI v zdravotníctve musí mať etiku, ľudské práva a zodpovednosť zabudované do návrhu aj používania. V slovenskom prostredí by bolo pred tréningom potrebné preskúmať reprezentatívnosť dát, dostupnosť citlivých údajov, regionálne rozdiely v starostlivosti a to, či historické trajektórie vôbec zachytávajú alternatívy relevantné pre dnešnú prax. Zber chránených charakteristík môže byť potrebný na audit férovosti, súčasne však prináša požiadavky na zákonný účel, minimalizáciu údajov, bezpečnosť a ochranu súkromia.

Najťažšou otvorenou otázkou zostáva voľba kauzálneho modelu. Nie každý vplyv spojený s pohlavím, vekom či zdravotným postihnutím má byť odstránený: niektoré rozdiely môžu predstavovať skutočnú medicínsku potrebu, iné dôsledok nerovného prístupu. O tom, ktoré kauzálne cesty sú prípustné, nemôže rozhodnúť samotná kvantilová transformácia. Potrebná je spolupráca klinikov, pacientov, štatistikov, právnikov a etikov, testovanie viacerých definícií férovosti a zverejnenie kompromisu medzi rovnosťou a zdravotným úžitkom.

Práca je zatiaľ iba prvou verziou preprintu bez nezávislej replikácie. Ďalšie overenie by malo skúmať citlivosť na chybné kauzálne predpoklady, malé podskupiny, chýbajúce údaje, distribučný posun aj dlhšie časové horizonty. Dôležité bude tiež porovnanie s jednoduchšími zásahmi a prospektívne hodnotenie reálnych následkov pre pacientov. CFSMDM je preto presnejšie chápať ako sľubný modul na výskum a audit férových sekvenčných politík, nie ako hotovú poistku proti diskriminácii.