ABBEL učí agentov priebežne obnovovať presvedčenia namiesto nekonečného kontextu

Dlhodobá práca s jazykovým agentom naráža na praktický problém: história rozhovoru, vykonaných krokov, výsledkov nástrojov a opráv rastie rýchlejšie, než ju možno lacno držať v kontextovom okne. Berkeley Artificial Intelligence Research preto predstavuje rámec ABBEL, ktorý z minulosti nevytvára iba voľnú rekapituláciu. Agent si udržiava explicitný stav presvedčení v prirodzenom jazyku a po novom pozorovaní ho cielene aktualizuje. Ide o pracovnú pamäť, ktorá má zachovať informácie potrebné pre ďalší krok a odložiť zvyšok histórie.

Bežná kompakcia kontextu funguje tak, že model po určitej časti interakcie napíše súhrn a pokračuje už iba z neho. Je to čitateľné a úsporné, no súhrn môže vynechať podmienku, nesprávne prepísať stav úlohy alebo si ponechať nepodstatné detaily. Taká chyba sa v dlhej trajektórii prenáša ďalej, pretože neskoršie súhrny vznikajú zo skorších. Autori upozorňujú, že pri spolupráci na kóde či pri viacstupňovom rozhodovaní nemusí byť problémom samotná veľkosť modelu, ale kvalita informácie, ktorú si agent prenesie cez hranicu kompakcie.

ABBEL oddeľuje aktualizáciu pamäte od samotného rozhodovania. Po akcii a novom pozorovaní model vytvorí nový stav presvedčení; ďalšiu akciu potom volí z tohto stavu, nie z celej histórie. Výskumníci pridávajú takzvané hodnotenie presvedčení, teda pomocný cieľ učenia, ktorý skúma, či sa z komprimovaného stavu dá spätne zrekonštruovať dôležitá časť posledného pozorovania. Odmena tak nesleduje iba úspech konečnej úlohy, ale priamo kvalitu pracovnej pamäte, ktorú si agent vytvára počas postupu.

V kolaboratívnom programovaní na prostredí CollabBench dosiahol variant ABBEL s rekonštrukčným hodnotením úspešnosť 0,36 oproti 0,31 pri sumarizovaní bez tohto hodnotenia; politika s úplným kontextom dosiahla 0,39. Podľa autorov teda metóda obnovila približne polovicu rozdielu voči plnému kontextu. Zároveň trénovala 50 krokov namiesto 100 a jej špičková dĺžka kontextu zostala podstatne nižšia. Výsledok nie je úplná náhrada plnej histórie, ale ukazuje, že dohľad nad obsahom pamäte môže byť účinnejší než iba ďalšie zväčšovanie okna.

Druhý experiment používa slovnú hru Combination Lock, v ktorej agent postupne zužuje množinu možných riešení. Keď hodnotiteľ presvedčení poznal užitočné štatistiky domény, ABBEL sa podľa zverejnených výsledkov priblížil k politike s úplným kontextom alebo ju v efektivite učenia prekonal. V úlohe s viacerými cieľmi výskumníci navyše penalizovali najväčšiu dĺžku stavu presvedčení. Taký tlak znížil pamäťové nároky s menším poklesom výkonu, než aký sa zvyčajne objavuje pri priamom skracovaní reťazca uvažovania.

Praktický význam je najväčší pri agentoch, ktorí pracujú hodiny, vracajú sa k rozpracovanému projektu alebo opakovane používajú nástroje. Namiesto pravidla „zhrň všetko doteraz“ by agentický systém mohol merať, či jeho pracovná pamäť stále obsahuje otvorené záväzky, výsledky testov, obmedzenia používateľa a aktuálny stav prostredia. Pri programovaní by hodnotiteľ mohol kontrolovať napríklad schopnosť odvodiť z pamäte relevantný rozdiel v kóde, stav testov či rozhodnutia o rozhraní. Takýto dohľad môže obmedziť situácie, keď agent po kompakcii zabudne, prečo predchádzajúce riešenie zlyhalo.

Rámec však neprináša bezplatnú a univerzálnu pamäť. Kvalita závisí od hodnotiacej funkcie: jednoduchá rekonštrukcia môže odmeňovať uchovávanie detailov, ktoré sa dobre reprodukujú, no nie sú dôležité pre budúce rozhodnutie. Doménové pravidlá zase vyžadujú, aby vývojár vopred vedel, ktoré informácie sú podstatné. Aktualizácia stavu presvedčení tiež predstavuje dodatočný výpočtový krok a samotné experimenty pokrývajú obmedzené prostredia, nie všetku nepredvídateľnosť produkčných agentov.

Dôležitá je aj interpretovateľnosť. Stav v prirodzenom jazyku možno skontrolovať jednoduchšie než skrytú neurónovú pamäť, takže prevádzkovateľ môže zachytiť nepravdivé predpoklady alebo chýbajúce obmedzenia ešte pred ďalším zásahom agenta. Čitateľnosť však nie je zárukou pravdivosti: presvedčivo napísaná pamäť môže obsahovať chybný údaj. Produkčné nasadenie preto potrebuje väzbu na overiteľný stav, napríklad repozitár, databázu, protokol nástrojov alebo automatické testy, a mechanizmus na opravu presvedčení po konflikte s dôkazom.

Autori sprístupnili výskumný repozitár s kódom a pokynmi na reprodukciu experimentov. Artefakt obsahuje cesty pre učenie s posilňovaním, Combination Lock aj úlohy s viacerými cieľmi, čo umožňuje výsledky podrobnejšie preveriť. Zatiaľ ide o výskumný systém a uvádzané čísla treba čítať ako výsledky konkrétnych prostredí, nie ako všeobecnú garanciu pre každého kódovacieho alebo kancelárskeho agenta.

ABBEL posúva diskusiu o dlhom kontexte od otázky, koľko tokenov model unesie, k otázke, čo si má priebežne pamätať. Ak sa tento prístup potvrdí vo väčších a realistickejších úlohách, môže viesť k agentom, ktorých pamäť bude lacnejšia, kontrolovateľnejšia a menej náchylná na reťazenie chýb zo súhrnov. Najbližšou skúškou bude výkon pri dlhodobom vývoji softvéru, meniacom sa prostredí a prerušovaných reláciách, kde sa kvalita aktualizácie stavu ukáže až po stovkách krokov.