Nová metrika ECUAS má hodnotiť systémy, ktoré vedia priznať neistotu

Nový preprint na arXive navrhuje rodinu metrík ECUAS_n pre hodnotenie systémov, ktoré nevracajú iba predikciu, ale aj mieru neistoty. Takéto systémy sú dôležité v oblastiach, kde nesprávne rozhodnutie môže byť drahé alebo nebezpečné: medicína, financie, automatizované schvaľovanie, priemyselná kontrola či verejné služby. Autori vychádzajú z jednoduchej otázky: ako férovo hodnotiť model, ktorý má možnosť povedať „neviem“ alebo posunúť rozhodnutie človeku?

Dnešná prax je podľa autorov roztrieštená. Často sa osobitne meria presnosť predikcie a osobitne kvalita neistoty, prípadne sa nastaví pevná cena za odmietnutie rozhodnutia. Iný prístup kreslí krivku medzi pokrytím a rizikom: model môže odpovedať iba na časť prípadov a zvyšok odmietnuť. Problém je, že takéto hodnotenia nemusia zodpovedať reálnym nákladom konkrétnej aplikácie. V jednom prostredí je falošne pozitívny výsledok prijateľnejší než falošne negatívny, inde je najdrahšie zdržanie a ďalšie ručné preverenie.

ECUAS_n sa snaží tieto kompromisy zachytiť principálnejšie. Namiesto toho, aby sa model hodnotil len podľa oddelených vlastností, metrika sa zameriava na celý neistotou rozšírený systém: predikcia, skóre neistoty a rozhodnutie, či výstup prijať alebo odmietnuť. To lepšie zodpovedá praktickému nasadeniu, kde neistota nie je dekorácia pri predikcii, ale mechanizmus, ktorý mení ďalší postup.

Pre AI bezpečnosť a zodpovedné nasadenie je to relevantné aj mimo akademickej debaty. Mnohé organizácie dnes požadujú, aby modely vedeli signalizovať nízku dôveru, eskalovať prípad alebo vyžiadať dodatočný vstup. Bez dobrej metriky však vzniká riziko, že systém síce produkuje pekne kalibrované čísla, ale v skutočných nákladoch rozhodovania neprináša lepší výsledok. ECUAS_n má pomôcť práve pri porovnaní, či neistota vedie k užitočnejšiemu správaniu.

Dôležitý je aj rozdiel medzi kalibráciou a rozhodovacou hodnotou. Model môže byť dobre kalibrovaný v štatistickom zmysle, no stále nemusí správne rozlišovať prípady, pri ktorých sa oplatí odmietnuť predikciu. Naopak model s menej elegantnou kalibráciou môže v konkrétnom nákladovom režime robiť lepšie rozhodnutia o tom, kedy mlčať. Autori preto upozorňujú, že hodnotiť neistotu izolovane nemusí stačiť.

Rodina metrík je zaujímavá aj pre benchmarky. Ak sa bude viac modelov nasadzovať v rolách poradcu, triéra alebo automatizovaného rozhodovacieho systému, samotná accuracy alebo F1 metrika bude čoraz menej výpovedná. Potrebujeme hodnotiť, koľko dobrých rozhodnutí systém spraví, koľko zlých rozhodnutí zastaví a koľko prípadov zbytočne presunie na drahší ľudský proces. Takéto číslo je bližšie prevádzkovým otázkam manažérov aj regulátorov.

Pre vývojárov môže mať práca praktický dopad pri nastavovaní prahov. Ak model vracia skóre neistoty, tím musí rozhodnúť, od akej hodnoty výstup prijme a kedy ho odmietne. Pevný prah bez väzby na náklady je často len odhad. Metrika založená na explicitnom uvažovaní o nákladoch môže viesť k lepšiemu výberu prahov pre rôzne aplikácie, namiesto univerzálneho nastavenia pre všetko.

Samozrejme, preprint ešte nie je dôkazom, že ECUAS_n sa stane štandardom. Bude potrebné vidieť implementácie, porovnania na širších úlohách a diskusiu o tom, ako sa majú voliť nákladové scenáre. No téma je načasovaná správne. Čím viac AI systémov vstupuje do rozhodovacích procesov, tým dôležitejšie je merať nielen to, či majú pravdu, ale aj to, či rozumne zaobchádzajú s vlastnou neistotou.

Ak sa podobný prístup ujme, môže ovplyvniť aj požiadavky na modelové karty a auditné správy. Namiesto všeobecného tvrdenia, že model poskytuje confidence skóre, by dodávateľ musel ukázať, ako toto skóre zlepšuje rozhodovanie pri konkrétnych nákladoch a odmietacích pravidlách. To je prísnejšia, ale užitočnejšia otázka pre každého, kto chce AI použiť v prostredí, kde chyba nie je iba štatistická nepríjemnosť.