Preprint skúma dohľad nad agentom, keď človek aj AI vedia niečo iné

Na arXive pribudol preprint „A Contextual-Bandit Oversight Game with Two-Sided Informational Asymmetry“, ktorý sa venuje runtime dohľadu nad AI agentom v situácii, kde informácie nie sú rozdelené jednostranne. Človek pozná svoju odmenu, hodnoty alebo preferencie, zatiaľ čo AI agent môže lepšie poznať kvalitu akcie, ktorú navrhuje. Autori tento problém modelujú ako kontextovú banditovú tímovú hru s rozhraním, v ktorom sa rozhoduje medzi hraním, pýtaním sa, dôverou a dohľadom.

Dôležitosť témy rastie s tým, ako sa AI systémy presúvajú od odpovedí v chate k autonómnejším úlohám. Robot, softvérový agent alebo plánovací systém môže preskúmať situáciu, ktorú človek nevidí priamo alebo jej nerozumie v plnom technickom detaile. Človek však zároveň vie, čo je pre neho prijateľné, bezpečné alebo žiaduce. Klasický model, v ktorom človek jednoducho schváli alebo zamietne návrh, tak nezachytáva celú zložitosť.

Preprint nadväzuje na Cooperative Inverse Reinforcement Learning a takzvanú Oversight Game, no odstraňuje fyzické prechody stavov cez banditovú štruktúru. To umožňuje sústrediť sa na informačný problém: kto vie čo, kedy sa oplatí pýtať a kedy dohliadať. Hra má zachytiť okamihy, keď agent vie, či je akcia technicky dobrá, ale nevie presne, ako človek váži výsledky. Človek zas vie, čo chce, ale nemusí vedieť posúdiť kvalitu navrhovanej akcie bez ďalšej informácie.

Takýto model je prakticky zaujímavý pre bezpečnosť agentov. Ak budeme od ľudí vyžadovať schválenie každého kroku, systém sa stane pomalým a ľudia začnú rozhodnutia odklikávať mechanicky. Ak naopak necháme agenta konať bez dohľadu, môže zvoliť akciu, ktorá je technicky efektívna, ale nezhoduje sa s ľudskými preferenciami alebo rizikovým profilom. Zmysluplný dohľad musí byť selektívny a citlivý na neistotu oboch strán.

Kontextový bandita je v tomto prípade zjednodušenie, nie slabina. Autori nesľubujú plný model sveta robota alebo podnikového agenta. Skôr izolujú jadro problému: ako navrhnúť interakciu, keď dohľad niečo stojí, otázky niečo stoja a dôvera môže byť užitočná aj riskantná. Takéto formalizácie pomáhajú pomenovať kompromisy, ktoré sa v praxi často riešia intuitívne v dizajne produktu.

Pre vývojárov agentických systémov z toho vyplýva, že tlačidlo „approve“ samo o sebe nestačí. Rozhranie by malo vedieť odlíšiť situácie, keď agent potrebuje preferenčnú informáciu od človeka, od situácií, keď človek potrebuje vysvetlenie kvality akcie od agenta. Iný typ interakcie si vyžaduje navigačný robot, iný agent meníci produkčný kód a iný systém navrhujúci finančné rozhodnutie.

Zaujímavý je aj vzťah k interpretovateľnosti. Ak agent tvrdí, že navrhovaná akcia je kvalitná, človek potrebuje dôvod, ktorému vie dôverovať. Ak človek odmietne akciu kvôli preferencii, agent by mal túto informáciu zapracovať do budúcich návrhov. Dohľad teda nie je len brána pred vykonaním akcie, ale komunikačný kanál, cez ktorý sa zosúlaďujú informácie.

Preprint je stále teoretický a neznamená hotový bezpečnostný mechanizmus pre produkčných agentov. Jeho hodnota je v tom, že robí presnejším jazyk o ľudskom dohľade. Mnohé diskusie o autonómii AI predpokladajú, že človek má vždy lepšie informácie alebo že agent má jednoducho poslúchať. Realita je zložitejšia: každá strana môže mať inú časť pravdy a systém musí vedieť rozhodnúť, kedy tieto časti spojiť.

Ak sa agenti budú používať v softvéri, zdravotníctve, logistike alebo robotike, podobné modely môžu ovplyvniť, ako budú navrhnuté režimy schvaľovania, eskalácie a autonómneho konania. Najväčší praktický dopad nebude v samotnej rovnici, ale v dizajne produktov: menej slepého odklikávania, viac cielenej komunikácie a lepšie rozlíšenie medzi neistotou modelu a neistotou človeka.

Pre produktové tímy je praktický odkaz jednoduchý: pri agentoch treba navrhovať nielen samotný model, ale aj režim spolupráce s človekom. Dobré rozhranie má vedieť povedať, prečo si agent pýta dohľad, čo presne nevie a aký typ odpovede potrebuje. Ak sa toto zanedbá, ľudský dohľad sa zmení na formálnu prekážku a bezpečnostná hodnota rýchlo klesne.