ARC-AGI-3 ukázal, že výsledok agenta môže strojnásobiť správne riadenie kontextu

Výsledok jazykového modelu v benchmarku nemusí byť iba vlastnosťou jeho váh. OpenAI pri testovaní GPT-5.6 Sol na ARC-AGI-3 zistilo, že dve nastavenia rozhrania – zachovanie interného uvažovania medzi krokmi a priebežná kompresia dlhého kontextu – zvýšili skóre na verejnej sade z 13,3 na 38,3 percenta. Zároveň klesol počet výstupných tokenov približne šesťnásobne. Experiment preto otvára dôležitú otázku, čo vlastne porovnávajú dnešné agentické benchmarky.

ARC-AGI-3 skúša učenie a uvažovanie v neznámych dvojrozmerných hrách. Agent nedostane návod, musí skúmať pravidlá, sledovať následky svojich akcií a postupne si vytvoriť stratégiu. Skóre RHAE porovnáva efektivitu jeho akcií s ľudskou referenciou. OpenAI uvádza odhad priemerného ľudského výsledku 48 percent, takže zlepšená konfigurácia sa k človeku výrazne priblížila, no stále ho neprekonala. Model navyše počas hry nevidí priebežné skóre a dostáva iba textové vyjadrenie jednotlivých stavov.

Pôvodné testovacie prostredie bolo zámerne všeobecné. Po každej akcii zahodilo súkromné uvažovanie modelu a ponechalo len históriu krokov s krátkymi poznámkami. Model tak pri ďalšom ťahu často znovu odvodzoval to, čo už predtým pochopil. Keď história prekročila limit, staršie udalosti sa odstránili posuvným oknom. Agent postupne strácal nielen svoje plány, ale aj časť dôkazov o tom, ako hra reagovala na predchádzajúce pokusy.

OpenAI vytvorilo alternatívny harness nad Responses API. Odkaz na predchádzajúcu odpoveď zachoval uvažovací stav medzi volaniami a umožnil modelu pokračovať v rozpracovanej stratégii. Keď sa kontext zaplnil, namiesto odstrihnutia najstaršej časti sa použila kompresia, ktorá zhrnula dôležité informácie a uvoľnila priestor. Model potom nemusel pri každom kroku znovu analyzovať celé prostredie a menej tokenov spotreboval na opakované objavovanie rovnakých pravidiel.

Zistenie má bezprostredný dopad na vývoj agentov. Pri dlhých úlohách, ako je ladenie softvéru, výskum alebo práca vo viacerých nástrojoch, môže byť správa stavu rovnako dôležitá ako výber modelu. Jednoduché odrezávanie histórie je lacné, ale môže zničiť príčinnú niť: prečo agent niečo skúsil, čo tým overil a ktorú hypotézu vylúčil. Kvalitná kompresia musí zachovať rozhodujúce pozorovania, záväzky a otvorené otázky, nie iba skrátiť text.

Pre benchmarky je výsledok zároveň varovaním. Všeobecný harness podporuje porovnateľnosť, ale nemusí rešpektovať spôsob, na ktorý bol konkrétny model trénovaný. Naopak, prostredie optimalizované výrobcom môže model zvýhodniť a sťažiť nezávislé porovnanie. Obe možnosti merajú trochu inú vec: prvá odolnosť modelu v neutrálnej infraštruktúre, druhá výkon celého produkčného systému. Korektné hodnotenie by preto malo presne zverejniť nastavenia kontextu, nástroje, limity, prompt aj spôsob účtovania tokenov.

Čísla pochádzajú od výrobcu modelu a treba ich nezávisle reprodukovať. Zmena harnessu môže ovplyvniť nielen schopnosť riešiť úlohy, ale aj množstvo informácií, ktoré model dostane, či spôsob výpočtu nákladov. Výrazné zlepšenie na verejnej sade tiež nemusí automaticky znamenať rovnaký posun na skrytých hrách. Experiment však poskytuje konkrétne logy, metodiku benchmarku a jasne pomenované nastavenia, ktoré môže komunita skúmať.

Dôležitá je aj ekonomika. Šesťnásobne menej výstupných tokenov pri lepšom skóre znamená, že zachovanie stavu nemusí byť iba kvalitnejšie, ale aj lacnejšie. Agent, ktorý zabúda, míňa tokeny na opätovné plánovanie a často opakuje neproduktívne kroky. Pri tisícoch dlhých behov sa rozdiel premieta do latencie, účtu za API aj kapacity infraštruktúry. Návrh pamäte preto patrí medzi produkčné optimalizácie, nie iba medzi funkcie používateľského rozhrania.

Najširší záver je, že model a jeho okolie nemožno pri agentických úlohách jednoducho oddeliť. Výsledok vzniká zo súhry modelu, promptu, nástrojov, pamäte, kompresie a pravidiel hodnotenia. Rebríček bez týchto údajov môže vyvolať falošnú presnosť. Pre firmy vyberajúce model je užitočnejšie testovať celý zamýšľaný pracovný tok a sledovať úspešnosť, cenu aj schopnosť zotaviť sa z chýb než spoliehať sa na jediné agregované číslo.