Agenti potrebujú viac než prístupové práva: preprint navrhuje deontické pravidlá behu

Nový preprint Deontic Policies for Runtime Governance of Agentic AI Systems otvára problém, ktorý bude s rastúcim počtom podnikových agentov čoraz naliehavejší: nestačí určiť, ku ktorému nástroju má agent prístup. Ak agent vie spúšťať príkazy, posielať správy iným agentom, manipulovať s dátami alebo inštalovať softvér, organizácia potrebuje pravidlá pre celý priebeh jeho správania. Autori Anupam Joshi, Tim Finin, Karuna Pande Joshi a Lalana Kagal preto navrhujú AgenticRei, systém runtime governance postavený na deontických politikách.

Deontická politika v tomto kontexte znamená pravidlá o tom, čo je povolené, zakázané a čo je povinné urobiť. Práve tretia kategória je pre agentov kľúčová. V bežnom prístupovom systéme možno povedať, že agent smie zavolať API alebo nesmie čítať určitú databázu. V reálnom podnikovom procese však často treba aj pravidlá typu: po určitom kroku musí agent informovať bezpečnostný tím, pri práci s citlivými údajmi musí vytvoriť auditnú stopu, pri konflikte pravidiel má mať prednosť prísnejšia politika alebo sa povinnosť môže za špecifických okolností zrušiť. To sú situácie, ktoré sa nedajú pohodlne vyjadriť jednoduchým zoznamom oprávnení.

Autori porovnávajú tento problém s existujúcimi policy enginmi, ako sú XACML, Rego alebo Cedar. Tie sú dôležité v modernom softvéri, ale podľa preprintu pokrývajú najmä logiku povoliť alebo zakázať. Pre agentické systémy to nestačí, pretože správanie nie je jednorazový prístup k zdroju, ale reťazec krokov s vedľajšími účinkami. Agent môže najprv získať dáta, potom ich spracovať nástrojom, následne poslať výsledok kolegovi alebo inému agentovi a popritom vytvoriť nové artefakty. Governance musí sledovať nielen prvý prístup, ale aj následné povinnosti a pravidlá, ktoré vznikajú počas behu.

AgenticRei preto stavia politiku mimo samotného veľkého jazykového modelu. Pravidlá sú vyjadrené ako deontický jazyk nad rámcom Rei, reprezentovaný v OWL, teda vo Web Ontology Language, a vyhodnocované samostatným logickým enginom. Tento detail je dôležitý. Ak by sa pravidlá spoliehali iba na prompt alebo dobrú vôľu modelu, organizácia by nedostala nezávislú kontrolnú vrstvu. Externý policy engine môže rozhodovať pri volaní nástroja aj pri správe medzi agentmi a zároveň zachovať vysvetliteľnejšiu stopu, prečo bol krok povolený, odmietnutý alebo doplnený o povinnosť.

Preprint opisuje aj prvky, ktoré sú v podnikovom riadení často rozhodujúce, no v jednoduchých prístupových systémoch chýbajú. Patrí sem životný cyklus povinností, teda sledovanie, či povinnosť vznikla, či bola splnená a či ešte platí. Ďalším prvkom sú výnimky alebo dispensácie, keď pravidlo možno za definovaných okolností odpustiť. Dôležité je aj riešenie konfliktov medzi metapolitikami, napríklad keď jedna časť organizácie vyžaduje zdieľanie údajov pre incident response a druhá časť zakazuje ich prenos mimo určitého prostredia. Bez explicitného poradia pravidiel sa agent môže dostať do situácie, ktorú prompt nevyrieši spoľahlivo.

Najpraktickejší dopad tejto práce je v bezpečnosti, ochrane súkromia a compliance. Podnikové agenty budú často pracovať v prostredí, kde sa miešajú obchodné tajomstvá, osobné údaje, regulované dokumenty a interné procesy. Governance preto musí pokrývať nielen ľudských používateľov, ale aj autonómne kroky softvérových entít. Agent, ktorý má právomoc volať nástroje, môže neúmyselne porušiť pravidlo tým, že skombinuje dve povolené operácie do výsledku, ktorý už povolený nie je. Práve tu dáva zmysel uvažovať o pravidlách na úrovni sekvencií, povinností a vzťahov medzi doménovými triedami.

Zaujímavé je aj napojenie na agent-to-agent komunikáciu. Preprint tvrdí, že rovnaká pipeline môže riadiť volania nástrojov aj správy medzi agentmi a prirodzene sa skladať s priemyselnými rámcami, ako je A2AS. To posúva tému od jedného asistenta v aplikácii k sieti agentov, ktorí si odovzdávajú úlohy alebo údaje. V takom prostredí už nestačí vedieť, ktorý agent mal aký token. Organizácia potrebuje pravidlá o tom, aké informácie môžu prejsť medzi rolami, kedy treba notifikovať zodpovednú osobu a ako sa rieši konflikt medzi lokálnou úlohou agenta a širšou bezpečnostnou politikou.

Treba však zdôrazniť, že ide o výskumný návrh, nie o hotový štandard pre produkčné nasadenie. Autori ukazujú, že deontické politiky dokážu zachytiť triedu pravidiel, ktorú súčasné produkčné enginy väčšinou nepokrývajú, no praktická adopcia bude závisieť od nástrojov, výkonu, správy politík a integrácie s existujúcimi IAM a auditnými systémami. OWL a ontologické modelovanie môžu byť presné, ale pre mnohé tímy aj náročné. Výzvou bude vytvoriť rozhranie, v ktorom bezpečnostní a právni odborníci dokážu pravidlá spravovať bez toho, aby sa governance sama stala neudržateľným softvérovým projektom.

Pre trh agentických platforiem je signál jasný: čím viac sa agenti presúvajú z demo prostredia do produkcie, tým menej bude stačiť bezpečnosť založená na promptoch a základných oprávneniach. Potrebná bude oddelená, auditovateľná vrstva, ktorá vie zasiahnuť počas behu, nielen pri štarte relácie. AgenticRei je jedným z výskumných návrhov, ako takú vrstvu formulovať. Aj keby sa konkrétna implementácia nepresadila, téza preprintu je silná: podnikový agent nie je iba používateľ s API kľúčom, ale aktívny účastník procesu, ktorého povinnosti, zákazy, výnimky a následné kroky musia byť explicitne riadené.