Dynamic-SAGE meria pri video agentoch presnosť aj cenu nástrojov naraz

Nový preprint na arXive sa venuje problému, ktorý pri agentických systémoch často zostáva skrytý: ako merať zlepšenie, keď agent nielen odpovedá, ale počas inferencie volá nástroje. Práca A Cost-Aware, Paired Protocol for Auditing Dynamic Tool Synthesis in Agentic Video Question Answering navrhuje audit, ktorý sleduje presnosť aj cenu riešenia. Autori ho demonštrujú na Dynamic-SAGE, systéme pre video question answering, ktorý dokáže syntetizovať a opakovane používať zložené nástroje.

Bežné hodnotenie VideoQA sa často pozerá na finálnu správnosť odpovede. Pri agentovi je to málo. Dva systémy môžu mať podobnú presnosť, ale jeden z nich spotrebuje výrazne viac tokenov, spustí viac nástrojov alebo urobí dlhšiu sériu krokov. Naopak, systém môže znížiť počet volaní nástrojov, no presunúť náklady do dlhšieho textového uvažovania. Samotné skóre správnosti potom zakrýva, či je nový prístup skutočne efektívnejší alebo iba mení typ nákladu.

Autori preto navrhujú párovaný protokol. Na rovnakých vstupoch sa porovnajú dva kompletné systémy a pri každej otázke sa sleduje rozdiel v správnosti aj viditeľných nákladoch. Výsledok sa netlačí do jedného čísla, ale triedi do šiestich skupín podľa toho, či sa zmenila správnosť a či sa zvýšil alebo znížil počet volaní nástrojov. Takéto členenie vie oddeliť prípady, kde nový systém šetrí bez straty kvality, od prípadov, kde zlepšenie presnosti stojí viac práce.

Dynamic-SAGE vychádza z myšlienky, že agentické VideoQA systémy často opakujú podobné procedúry. Ak má agent fixnú knižnicu nástrojov, pri každej otázke skladá postup z primitívnych operácií. Syntéza zložených nástrojov by mohla odstrániť opakovanú prácu: agent si vytvorí užitočnú procedúru, validuje ju a zaregistruje na budúce použitie. To je lákavé najmä pri videu, kde analýza môže zahŕňať vyhľadanie scén, prácu s časom, detekciu objektov a porovnávanie viacerých momentov.

Podľa abstraktu Dynamic-SAGE v porovnaní so základným SAGE zlepšuje presnosť o 7,5 percentuálneho bodu so štatisticky významným výsledkom a znižuje reasoning turns aj viditeľné volania nástrojov približne o 28 percent. To by pri pohľade iba na tieto metriky znelo ako jednoznačné víťazstvo. Audit však zároveň ukazuje, že tokenová spotreba rastie o 34 percent a náklady o 26 percent. Práve tento detail je jadrom práce: efektívnosť agentov sa nedá merať jednou osou.

Pre vývojárov agentických systémov je to užitočné varovanie. Kompozitný nástroj môže znížiť počet explicitných krokov, ale jeho vytvorenie, validácia alebo plánovanie môže stáť viac tokenov. Systém sa teda môže zdať „čistejší“ v logoch nástrojov, no drahší v modelovej časti. Bez párovaného auditu by tím mohol nový prístup nasadiť s presvedčením, že šetrí výpočet, a až neskôr zistiť, že faktúra za modelové volania rastie.

Práca tiež ukazuje, že zlepšenia nie sú rovnomerné. Zisky sú najväčšie pri vizuálnych a otvorených otázkach, neutrálne pri verbálnych a multimodálnych prípadoch. Zvyšné zlyhania sa sústreďujú na ťažké otvorené otázky, kde pipeline robí najviac práce. To je pre benchmarky dôležité: priemerné skóre môže zakryť, že systém pomáha iba v určitom type úloh. Ak má firma nasadzovať video agenta napríklad v bezpečnostnej analýze, médiách alebo priemyselnej kontrole, potrebuje vedieť, pre ktoré otázky je prínos stabilný.

Metodicky je zaujímavé použitie McNemarovho testu a párovaných bootstrap intervalov spoľahlivosti. Autori tým naznačujú, že audit agentov by mal byť štatisticky opatrný, nie iba vizuálne porovnávanie dvoch tabuliek. Pri agentoch s nástrojmi môže byť variabilita vysoká a malé rozdiely v promptoch či prostredí menia trajektóriu. Párovaný protokol znižuje šum tým, že porovnáva systémy na rovnakých otázkach a sleduje konkrétne presuny medzi skupinami výsledkov.

Pre širší trh je význam preprintu v tom, že prispieva k dozrievaniu evaluačnej kultúry agentov. Nestačí pýtať sa, či agent odpovedal správne. Treba sa pýtať, koľko krokov urobil, aké nástroje použil, koľko tokenov minul, či zníženie jedného nákladu nezvýšilo iný a v ktorých typoch úloh sa zlepšenie prejavuje. Dynamic-SAGE je konkrétny príklad z videa, ale princíp platí aj pre textových, dátových alebo podnikových agentov.

Preprint zatiaľ nie je recenzovaný konferenčný výsledok, takže jeho čísla treba brať ako výskumný signál, nie ako definitívne meradlo celej oblasti. Silná je však samotná evaluačná štruktúra. Ak sa agentické systémy majú dostať z demonštrácií do produkcie, budú potrebovať audity, ktoré vedia rozlíšiť presnosť od nákladov a lokálne zisky od globálneho efektu. Táto práca ukazuje, ako by taký audit mohol vyzerať pri systémoch, ktoré si počas riešenia skladajú vlastné nástroje.