AgentLens hodnotí kódovacích agentov podľa celej trajektórie, nie iba testov

Nový preprint AgentLens upozorňuje na slabinu mnohých benchmarkov pre kódovacích agentov: výsledok často zredukujú na jediný bit, či úloha prešla testami alebo nie. Autori tvrdia, že používateľská skúsenosť je omnoho širšia. Pri reálnom agentovi záleží aj na tom, ako číta zadanie, ktoré nástroje používa, či priebežne overuje vlastnú prácu, ako sa zotaví z chyby a či používateľovi vysvetľuje rozhodnutia zrozumiteľným spôsobom.

AgentLens preto navrhuje hodnotiť celú trajektóriu riešenia. Trajektória znamená postupnosť krokov, príkazov, úprav, pozorovaní a komunikácie, ktorú agent vykoná pred finálnou odpoveďou. V praxi je to presne tá časť, ktorú vývojár sleduje, keď agentovi zverí zmenu v repozitári. Dva systémy môžu nakoniec dosiahnuť rovnaký testovací výsledok, ale jeden sa k nemu dostane cez čistý plán a opakované overovanie, zatiaľ čo druhý náhodne opravuje súbory, ignoruje inštrukcie alebo skrýva vlastné chyby.

Autori kombinujú formálne overenie tam, kde existuje objektívna kontrola, s recenziami trajektórií písanými jazykovým modelom a porovnaniami vedľa seba. Výstupom nemá byť iba poradie modelov, ale čitateľné vysvetlenie, prečo agent dostal dané skóre. To je dôležité pre produktové tímy, ktoré potrebujú vedieť, či sa nový model zlepšil v plánovaní, nástrojovej disciplíne, komunikácii alebo iba náhodne prešiel väčší počet testov.

Význam práce rastie v čase, keď sa kódovací agenti presúvajú z dem do každodenného vývoja. Firmy už neriešia iba otázku, či model dokáže opraviť bug v izolovanom benchmarku. Potrebujú vedieť, či agent bezpečne pracuje v reálnom repozitári, rešpektuje projektové pravidlá, nepoužíva zakázané príkazy, nevynecháva testy a nezanecháva za sebou zmeny, ktoré síce lokálne prejdú, ale rozbijú širší systém. Klasické benchmarky tieto vlastnosti zachytávajú len čiastočne.

AgentLens je preto bližšie k produkčnému hodnoteniu než k akademickej súťaži. Autori píšu, že benchmark používajú na diagnostiku správania modelov, porovnávanie následných verzií vlastného agenta a zachytávanie produktových regresií v nočnej evaluačnej pipeline. To je prakticky dôležité: ak tím každý deň mení prompting, nástroje alebo základný model, potrebuje rýchlo vidieť, či zmena nezhoršila správanie, ktoré sa neprejaví v jednoduchom pass/fail skóre.

Silnou stránkou takéhoto prístupu je auditovateľnosť. Recenzia trajektórie môže pomenovať konkrétne zlyhania: agent ignoroval časť inštrukcie, spustil test príliš neskoro, nesprávne interpretoval výstup nástroja, opakovane robil rovnakú chybu alebo si v závere pripísal overenie, ktoré v skutočnosti nevykonal. Pre manažéra agentického produktu je takáto spätná väzba hodnotnejšia než samotné číslo, pretože ukazuje, kde treba zmeniť systémový prompt, nástrojové rozhranie alebo bezpečnostné pravidlá.

Zároveň treba byť opatrný pri použití LLM recenzií ako hodnotiacej vrstvy. Jazykové modely vedia vysvetľovať presvedčivo, ale môžu byť nekonzistentné, zaujaté voči štýlu odpovede alebo príliš zhovievavé k známym vzorom správania. AgentLens preto dáva zmysel najmä v kombinácii s formálnymi kontrolami, porovnaniami a pravidelným kalibrovaním hodnotiteľov. Inak hrozí, že metrika bude merať, čo sa hodnotiacemu modelu páči, nie to, čo je bezpečné a užitočné pre používateľa.

Pre vývojárov agentických systémov je najväčší odkaz metodický. Ak agent zlyhá, nestačí sa pýtať, či bol model slabý. Treba rozobrať trajektóriu: mal správne nástroje, dostal jasné inštrukcie, vedel čítať stav prostredia, mal priestor na opravu a vykonal dôkaz o dokončení? Takéto otázky presúvajú evaluáciu z jednorazového leaderboardu do prevádzkového procesu podobného testovaniu softvéru.

Ak sa AgentLens alebo podobné prístupy ujmú, môžu zmeniť spôsob, akým sa kupujú a nasadzujú kódovací agenti. Dodávatelia nebudú môcť ukazovať iba úspešnosť na jednej sade úloh. Budú musieť vysvetľovať, ako agent pracuje počas riešenia, aké chyby robí a ako sa správa pri nejednoznačných alebo čiastočne rozbitých zadaniach. Pre používateľov je to dobrá správa: pri agentoch, ktorí majú meniť produkčný kód, je proces často rovnako dôležitý ako finálny diff.