Branching Policy Optimization trénuje agentov vetvením zo stavov sandboxu

Nový preprint Branching Policy Optimization sa zameriava na špecifický rozdiel medzi klasickým RLHF a tréningom jazykových agentov v spustiteľných prostrediach. Pri bežných algoritmoch ako PPO, RLOO alebo GRPO sa pre jeden prompt často vzorkuje viac nezávislých trajektórií od začiatku. Autori tvrdia, že tento dizajn ignoruje dôležitú vlastnosť agentických sandboxov: sú deterministické, dajú sa snímkovať a znovu spustiť z ľubovoľného medzistavu.

Sandbox v tomto kontexte znamená kontrolované prostredie, v ktorom agent vykonáva kroky, používa nástroje a dostáva spätnú väzbu. Môže ísť o webovú úlohu, simulované domáce prostredie alebo vývojársku úlohu nad repozitárom. Ak je takýto stav možné uložiť a rozvetviť, tréning nemusí vždy začínať od nuly. Namiesto viacerých samostatných pokusov možno vziať jeden priebeh, nájsť rozhodovacie miesta s vysokou neistotou a z nich skúsiť alternatívne akcie.

Autori tento prístup nazývajú Branching Policy Optimization, skrátene BPO. Algoritmus najprv vedie chrbticovú trajektóriu, adaptívne vytvára snímky sandboxu v bodoch, kde je rozhodovanie neisté, a z každého takého bodu vetví viacero alternatívnych akcií. Každá vetva sa potom dokončí až do konca úlohy. Výhoda jednotlivých krokov sa nepočíta iba voči priemeru nezávislých trajektórií, ale voči výsledkom súrodeneckých vetiev, ktoré zdieľali rovnakú predchádzajúcu históriu.

Zmysel tejto zmeny je štatistický aj praktický. Ak dve vetvy vychádzajú z rovnakého prefixu, rozdiel medzi nimi lepšie izoluje vplyv konkrétneho rozhodnutia. Menej rozptylu v odhade výhody znamená stabilnejší tréning a potenciálne menej zbytočných rolloutov. Autori uvádzajú, že ich odhad je nestranný a má nižší rozptyl než trajektóriový baseline, pričom zníženie zodpovedá tej časti rozptylu návratnosti, ktorú vysvetľuje spoločný prefix.

Empiricky preprint testuje BPO na úlohách WebShop, ALFWorld a SWE-bench Verified s modelovými chrbticami Qwen2.5-7B a Llama-3.1-8B. Podľa abstraktu dosahuje BPO zlepšenie úspešnosti o 3,6 až 6,1 percentuálneho bodu oproti GRPO a RLOO pri porovnateľnom výpočte. Zároveň má znížiť rozptyl normy gradientu na polovicu a dosiahnuť najlepší baseline s o 38 percent menším počtom policy updates. Pre agentov nad nástrojmi je to zaujímavé, lebo výpočet rolloutov patrí medzi najdrahšie časti tréningu.

Dôležité je, že práca nehovorí iba o ďalšom triku pre benchmarky. Naznačuje posun v tom, ako treba rozmýšľať o reinforcement learningu pre jazykových agentov. Ak agent koná vo svete, ktorý možno presne obnoviť, tréningová topológia môže využívať štruktúru tohto sveta. Pri úlohách nad kódom, webom alebo simuláciami má medziľahlý stav hodnotu: obsahuje súbory, históriu akcií, otvorené stránky, čiastočne splnené podúlohy a chyby, z ktorých sa dá cielene vetviť.

Pre vývoj agentických systémov je to praktická lekcia. Mnohé súčasné tréningové a evaluačné pipeline zaobchádzajú s prostredím ako s čiernou skrinkou, ktorá sa spúšťa od začiatku. Ak sa však infraštruktúra navrhne tak, aby vedela lacno vytvárať snímky a obnovovať stavy, otvára sa priestor na efektívnejšie učenie aj diagnostiku. Rovnaký mechanizmus môže pomôcť zisťovať, ktoré rozhodnutia v priebehu úlohy boli kľúčové a kde agent potrebuje lepšiu politiku.

Sú tu aj otvorené otázky. Nie každé prostredie je dokonale deterministické a nie každý sandbox sa dá lacno snímkovať. Pri reálnych webových službách, externých API alebo dynamických dátach môže byť obnovovanie stavu náročné. BPO preto najviac zapadá do prostredí, ktoré sú navrhnuté ako tréningové alebo hodnotiace sandboxy. To však zahŕňa veľkú časť dnešného výskumu agentov, od simulovaných nákupných úloh až po kódové benchmarky.

Pre slovenské tímy, ktoré sledujú vývoj agentov pre vývoj softvéru alebo podnikové automatizácie, je práca relevantná najmä ako signál infraštruktúrneho smeru. Lepší agent nemusí vzniknúť iba väčším modelom alebo agresívnejšou odmenou. Môže vzniknúť aj tým, že tréning rešpektuje štruktúru prostredia a z každého drahého priebehu vyťaží viac porovnateľných rozhodnutí.

Ak sa podobné prístupy potvrdia, budú mať dopad aj na hodnotenie agentov. Benchmarky ako SWE-bench Verified nie sú iba zoznamom úloh, ale aj prostredím s bohatými medzistavmi. Schopnosť vetviť z týchto stavov môže zmeniť, ako sa agenti učia opravovať chyby, skúšať alternatívne patch stratégie a rozlišovať medzi šťastným úspechom a robustným rozhodovaním. BPO tak patrí medzi práce, ktoré posúvajú agentické RL od všeobecného jazykového trénovania bližšie k systémovému inžinierstvu sandboxov.