AgentOdyssey testuje, či sa agenti vedia učiť počas dlhých textových hier

Preprint AgentOdyssey sa zameriava na otázku, ktorá bude pri agentických systémoch čoraz dôležitejšia: čo znamená, že sa agent učí počas používania, nie iba počas tréningu. Bežné benchmarky často predpokladajú, že model dostane úlohu, vyrieši ju v jednom sedení a potom sa hodnotí výsledok. Autori AgentOdyssey namiesto toho vytvárajú prostredie otvorených textových hier, v ktorých musí agent skúmať svet, získavať nové znalosti, pamätať si epizódy a plánovať cez dlhší horizont.

Tento rozdiel je zásadný. Ak majú agenti pomáhať v reálnych aplikáciách, budú sa stretávať s meniacimi sa pravidlami, internými nástrojmi, neúplnými informáciami a úlohami, ktoré nemožno vyriešiť jednou odpoveďou. Test-time continual learning, teda priebežné učenie počas testovania alebo používania, sa preto stáva samostatnou schopnosťou. Nejde o to, aby model menil svoje váhy pri každom kroku, ale aby vedel pracovať s pamäťou, skúsenosťou a novými pravidlami prostredia.

AgentOdyssey používa procedurálne generované textové hry s bohatými entitami, dynamikou sveta a dlhodobými cieľmi. Textové prostredie má výhodu, že je lacnejšie a lepšie kontrolovateľné než simulácia plného vizuálneho sveta, no stále núti agenta robiť rozhodnutia v sekvencii. Musí skúšať akcie, vyhodnocovať spätnú väzbu, rozlišovať dôležité informácie od šumu a udržať si plán naprieč viacerými krokmi.

Pre výskum agentov je dôležité, že benchmark sa snaží prekročiť statickú predstavu o úlohách. Mnohé dnešné hodnotenia merajú, či model správne odpovie na otázku alebo dokončí jednu trajektóriu. AgentOdyssey však kladie dôraz na schopnosti ako prieskum, akumulácia znalostí, práca s epizodickou pamäťou a adaptácia. To sú práve vlastnosti, ktoré budú rozhodovať pri asistentoch pracujúcich s projektom celé dni alebo týždne.

Praktický dopad je viditeľný aj mimo hier. Textové hry sú zjednodušeným modelom situácií, kde agent používa nástroje, prechádza dokumentáciu, zisťuje stav systému a postupne si buduje mentálny model prostredia. Podobne vyzerá úloha vývojárskeho agenta v neznámom repozitári, dátového agenta v podnikovom sklade alebo interného asistenta, ktorý sa učí štruktúru tímových procesov. Ak benchmark ukáže, že agent zlyháva v prieskume alebo pamäti, bude to relevantné aj pre tieto nasadenia.

Autori tým zároveň upozorňujú na hranice jednoduchého „dlhšieho kontextu“. Veľké kontextové okno pomáha, ale samo osebe nerieši rozhodovanie, čo uložiť, čo zabudnúť, kedy experimentovať a ako preniesť skúsenosť do ďalšej fázy úlohy. Kontinuálne učenie počas používania vyžaduje architektúru pamäti, plánovania a hodnotenia, nie iba väčší vstupný buffer. AgentOdyssey môže poskytnúť prostredie, kde sa tieto dizajny budú dať porovnávať.

Ako pri každom novom benchmarku, aj tu treba byť opatrný pri interpretácii. Textové hry nemusia zachytiť všetky riziká reálnych nástrojov, bezpečnostné obmedzenia ani ekonomiku externých API volaní. Ak sa benchmark stane príliš optimalizovaným cieľom, agenti sa môžu naučiť stratégie vhodné pre hru, nie pre pracovné prostredie. Hodnota preto bude závisieť od rozmanitosti generovaných svetov a od toho, či metriky merajú skutočnú adaptáciu, nie iba memorovanie šablón.

Napriek tomu je príspevok dôležitý, pretože posúva hodnotenie agentov bližšie k tomu, čo od nich používatelia očakávajú. Nestačí, aby agent na začiatku vyzeral inteligentne. Musí sa vedieť zorientovať, opraviť si mylné predpoklady, nadviazať na predchádzajúce skúsenosti a dokončiť úlohu, ktorá sa počas riešenia rozvíja. Pre vývoj agentických platforiem to znamená väčší dôraz na pamäťové vrstvy, verifikáciu krokov a mechanizmy, ktoré bránia strate kontextu.

Pre firmy je hlavný odkaz nepriamy, ale praktický. Pri hodnotení agentov by nemali testovať iba krátke ukážky v štýle „odpovedz na otázku“ alebo „vygeneruj súbor“. Mali by vytvárať dlhšie scenáre, v ktorých sa agent musí učiť prostredie, vracať sa k starším zisteniam a riešiť neúplné informácie. AgentOdyssey ukazuje jeden výskumný smer, ako takéto schopnosti merať systematickejšie.