Výskumníci navrhujú oddeliť ľudský dohľad od jadra agentických workflow

Kým sa väčšina diskusie o AI agentoch točí okolo schopností modelov, nová práca na arXive presúva pozornosť k tomu, ako sa vôbec má organizovať ľudský dohľad. Autori Edward Cheng a Jeshua Cheng v texte o kontrolovanej autonómii tvrdia, že dnešné implementácie typu human-in-the-loop bývajú príliš často zapečené priamo v logike konkrétnej aplikácie. To je praktické pri prvom prototype, ale slabé pri škálovaní. Každý tím si postaví vlastný spôsob schvaľovania, výnimiek a zásahov človeka, čo zhoršuje konzistentnosť, audit aj opakovateľnosť správania.

Návrh papera je v zásade architektonický: dohľad človeka sa má oddeliť od samotného workflow a má fungovať ako samostatná systémová vrstva. Agent alebo multiagentný systém by tak neviedol interakciu s človekom len cez improvizované modálne okno či ručne dopísané pravidlo v aplikačnom kóde, ale cez explicitné rozhranie a štruktúrovaný model vykonávania. V praxi to znamená, že pravidlá o tom, kedy má človek vstúpiť do procesu, kto je oprávnený zasiahnuť a ako sa zásah zaznamená, už nie sú vedľajším efektom aplikácie, ale prvotriednou súčasťou prevádzkového prostredia.

Autori tento prístup rozkladajú do štyroch dimenzií. Prvou sú podmienky zásahu, teda situácie, v ktorých má systém človeka privolať alebo naň počkať. Druhou je rola človeka, či ide o schvaľovateľa, operátora, doménového experta alebo poslednú inštanciu pri eskalácii. Treťou sú významy interakcie, inými slovami, či človek iba potvrdzuje krok, mení plán, blokuje akciu alebo dodáva nové informácie. Štvrtou dimenziou je komunikačný kanál, cez ktorý sa tento zásah deje. Takéto členenie môže znieť akademicky, ale je dôležité práve preto, že z neho vzniká konzistentný slovník pre systémový návrh a audit.

Pre podnikové nasadenia je tento posun podstatný. Veľa firiem dnes stavia agentov na vybavovanie ticketov, prácu s internou dokumentáciou, analýzu dát, prípravu návrhov zmlúv či automatizáciu podpory. V takom prostredí nestačí len povedať, že pri „rizikových“ akciách zasiahne človek. Potrebné je presne opísať, čo je riziková akcia, aký typ človeka má rozhodnúť, koľko má času, čo sa stane pri nečinnosti a ako sa výsledok zásahu premietne späť do workflow. Práve tu môže oddelená dohľadová vrstva znížiť chaos, ktorý inak vzniká pri každom novom use-case a pri každom tíme.

Zaujímavé je aj to, že paper naznačuje kompatibilitu s novými agentickými komunikačnými protokolmi. Inými slovami, human-in-the-loop nemá byť len aplikačný detail v jednom produkte, ale vec, ktorú možno preniesť na úroveň protokolu alebo orchestrace. To by otvorilo cestu k tomu, aby sa nad rôznymi agentmi, nástrojmi a modelmi dala uplatňovať jednotná politika dohľadu. Pre platformy, ktoré chcú obsluhovať viac interných tímov alebo externých dodávateľov, je to veľmi praktická perspektíva.

Dôležité je aj to, čo práca nesľubuje. Nejde o dôkaz, že oddelenie dohľadu automaticky vyrieši bezpečnosť agentov alebo problém halucinácií. Paper skôr argumentuje, že bez takejto architektúry sa organizáciám bude zle zavádzať progresívna autonómia, teda situácia, keď systém postupne dostáva viac právomocí až po tom, čo prejde cez sériu kontrol, metrík a historických skúseností. Ak má byť autonómia škálovateľná, musí byť škálovateľný aj dohľad.

Tento argument dobre sedí na aktuálny stav trhu. Dodávatelia agentických frameworkov zlepšujú nástrojové volania, pamäť, orchestráciu a observabilitu, no governance vrstva býva často zle zovšeobecnená. Firmy potom stavajú interné schvaľovacie mechanizmy na mieru pre každý proces zvlášť, čo spomaľuje produkciu a komplikuje audit. Paper preto trafia do bodu, keď sa debata presúva z otázky „dokáže agent úlohu spraviť?“ k otázke „dokážeme spoľahlivo určiť, kedy má agent konať sám a kedy sa má zastaviť?“.

Ak sa podobný prístup ujme, jeho hodnota nebude len vo väčšej bezpečnosti, ale aj v lepšej interoperabilite medzi produktmi. Organizácie budú môcť rovnaké pravidlá dohľadu aplikovať naprieč workflow, namiesto toho, aby ich zakaždým znovu programovali. Pre regulované odvetvia, verejnú správu aj väčšie podniky je to zaujímavá predstava: nie preto, že zníži potrebu ľudí, ale preto, že ľudský zásah konečne prestane byť improvizáciou a stane sa navrhnutou súčasťou systému.