ASK+ učí malé jazykové modely radiť agentom, keď vidia iba časť prostredia

Preprint ASK in the Dark sa venuje problému, ktorý sa bude v agentických systémoch objavovať čoraz častejšie: čo má agent robiť, keď vidí iba časť sveta a nie je si istý ďalším krokom. Autori skúmajú kombináciu posilňovacieho učenia a malého jazykového modelu, ktorý má agentovi radiť iba v neistých situáciách. Na prvý pohľad je to lákavý kompromis. Silnejší model sa nevolá pri každom kroku, ale len vtedy, keď interná politika priznáva neistotu.

Základný prístup však podľa autorov takmer nefungoval. Pri jednoduchom egocentrickom prompte bol jazykový model skôr pasívnou kontrolou než skutočným poradcom. Overwrite rate, teda miera, s akou model navrhol iný krok než agentova politika, bola v testovaných prostrediach takmer nulová. Práca to interpretuje nie ako dôkaz, že malý jazykový model nemá schopnosť uvažovať, ale ako dôkaz, že bez kontextu nemá o čom rozumne rozhodovať.

Navrhnutá verzia ASK+ preto pridáva trajektóriový kontext: čiastočne odkrytú mapu, navštívené pozície a históriu akcií. Jazykový model už nedostáva izolovaný pohľad z aktuálneho kroku, ale stručnú pamäť toho, čo sa v prostredí stalo. Autori zároveň používajú štruktúrované uvažovanie v prompte, aby model neodpovedal iba impulzívnym návrhom akcie. Výsledkom je, že sa z redundantnej kontroly stáva konzultant, ktorý síce nezasahuje stále, ale niekedy opraví smer politiky.

Výsledky sú zaujímavé práve tým, že nejde o obrovský model. V prostredí DoorKey sa úspešnosť oproti PPO a pôvodnému ASK zvýšila z 89 percent na 93 percent. Vo FourRooms narástla z 53 na 70 percent. V úlohe HigherLower dosiahol systém 73,7 percenta a vyrovnal sa samostatnému jazykovému modelu. Autori uvádzajú aj to, že menší Qwen3.5-2B v testoch dorovnal alebo prekonal väčší Qwen3.5-4B. To posúva pozornosť od samotnej veľkosti modelu k návrhu rozhrania medzi agentom a modelom.

Pre vývoj agentov je dôležitý pojem selektívneho pýtania sa. Ak by systém volal jazykový model pri každom kroku, bol by drahý a pomalý. Ak ho nevolá takmer nikdy, neprinesie pridanú hodnotu. ASK+ používa signál prediktívnej entropie, teda neistoty v rozdelení akcií, aby odhadol, kedy má externá rada zmysel. Práca zároveň tvrdí, že tento signál meria neistotu akcie, nie priamo neistotu stavu, no aj v čiastočne pozorovateľných prostrediach zostáva užitočný.

Praktický dopad presahuje malé herné prostredia. Veľa reálnych agentov pracuje s neúplnými informáciami: robot v sklade nevidí za roh, softvérový agent nepozná celý stav systému, zákaznícky agent nepozná úmysel používateľa. Ak sa má jazykový model používať ako poradná vrstva, musí dostať kompaktnú, ale relevantnú históriu. Bez nej bude iba hádať alebo potvrdzovať už existujúcu politiku.

Pre firmy je práca zaujímavá aj z nákladového hľadiska. Menšie modely môžu byť dostatočné, ak sa im dá správny kontext a ak sa volajú len vo chvíľach, keď politika skutočne váha. To je iný prístup než presúvať celý agentický stack na najväčší dostupný model. Architektúra s lacnejším lokálnym poradcom, selektívnou bránou a dobre navrhnutou pamäťou môže byť praktickejšia v systémoch, ktoré musia robiť veľa krokov.

Treba však zdôrazniť, že výsledky zatiaľ pochádzajú z kontrolovaných benchmarkových prostredí. Úlohy DoorKey alebo FourRooms sú dobré na meranie mechanizmu, ale neobsahujú právne, bezpečnostné ani organizačné riziká reálneho nasadenia. Pri produkčných agentoch by bolo potrebné testovať, či jazykový poradca nevkladá nebezpečné akcie, či jeho odporúčania zostávajú konzistentné a či selektívna brána nezlyháva práve v najrizikovejších situáciách.

Najsilnejší odkaz pre výskum agentov je jednoduchý: jazykový model nemusí byť stále hlavným mozgom systému. Môže fungovať ako lacný, kontextovo informovaný konzultant, ktorý sa zapína iba pri neistote. Ak sa tento vzor potvrdí aj v náročnejších prostrediach, môže pomôcť navrhovať agentov, ktorí sú lacnejší, merateľnejší a menej závislí od slepého zväčšovania modelov.