AI21 varuje: „gold-like“ odpovede môžu skresľovať benchmarky coding agentov

AI21 otvorilo tému, ktorá je pre trh s agentmi dôležitejšia než ďalšie percentá v tabuľke benchmarkov. Firma v aprílovom technickom texte tvrdí, že pri hodnotení coding agentov sa objavuje skreslenie, ktoré sa nedá vysvetliť iba známou kontamináciou dát. LLM sudca, teda model vyberajúci najlepší patch z viacerých paralelných behov, si podľa AI21 môže osvojiť preferenciu pre odpovede, ktoré pôsobia „zlatým“ dojmom: sú krátke, čisté, minimalistické a formálne podobné referenčným riešeniam. Problém je v tom, že takýto esteticky presvedčivý patch nemusí byť patchom, ktorý issue naozaj opraví.

Tento argument prichádza v čase, keď sa benchmarky coding agentov stali marketingovou menou aj interným rozhodovacím nástrojom pre firmy. Ak sa hodnotenie začne lámať na tom, čo vyzerá správne namiesto toho, čo sa dá spoľahlivo spustiť a overiť, praktický význam leaderboardov rýchlo slabne. AI21 opisuje, že podozrenie najprv smerovalo ku kontaminácii na SWE-bench Verified. Keď však firma zopakovala jav aj na novšom datasete SWE-rebench, ktorý má byť voči takémuto presiaknutiu odolnejší, ukázalo sa, že časť problému leží inde: v samotnom správaní hodnotiaceho modelu.

Podstatné je, že AI21 neútočí len na jeden benchmark. Skôr pomenúva širší problém agentickej éry: pri viacbehových workflow nestačí dosiahnuť vysoké pass@k, ak systém nevie spoľahlivo vybrať správny výstup spomedzi viacerých kandidátov. Práve tento výber robí v praxi rozdiel medzi demonštračným úspechom a produkčnou spoľahlivosťou. Reducer alebo LLM judge môže vyzerať ako pomocná súčiastka, no v orchestri agentov rozhoduje o tom, či sa teoretický výkon pretaví do reálne použiteľného výsledku. Ak je sudca naučený odmeňovať formu, benchmark prestáva merať funkčnú korektnosť a začne merať podobnosť so štýlom referenčných odpovedí.

AI21 preto opisuje vlastnú cestu, ako prompt reduktora sprísniť. Namiesto voľnej inštrukcie „vyber najlepší patch“ sa snaží explicitne presunúť pozornosť k funkčnej úspešnosti, nie ku kvalite štýlu alebo čistote zápisu. Praktický odkaz pre vývojárov je jasný: aj keď používajú silný frontier model, nestačí sa spoliehať na to, že slovné zadanie automaticky zladí kritériá posudzovania s tým, čo benchmark naozaj považuje za úspech. Čím komplexnejší je agentický workflow, tým viac sa oplatí auditovať aj pomocné komponenty, nie iba finálny výsledok.

Dôležitý kontext pridáva aj OpenAI, ktoré už skôr vysvetľovalo, prečo SWE-bench Verified prestáva byť spoľahlivým meradlom frontier coding schopností. OpenAI poukázalo na to, že test je naraz príliš úzky aj príliš široký a navyše trpí rastúcim rizikom kontaminácie. AI21 ide o krok ďalej: aj keby bol dataset čistejší, stále ostáva otázka, či samotný mechanizmus výberu neodmeňuje nesprávne vlastnosti. To je pre trh dôležitá korekcia, pretože posledná vlna agentických produktov často komunikuje výsledky cez jediný headline metrík bez vysvetlenia, akým potrubím sa k nim dopracovala.

Pre podnikové nasadenie má táto debata celkom priamy dopad. Firmy nekupujú coding agentov preto, aby získali esteticky pekné diffy, ale preto, aby bezpečne opravovali chyby, dopĺňali testy a skracovali cyklus medzi issue a releasom. Ak interný výber kandidátov zvýhodní „pekný, ale zlý“ patch pred „menej elegantným, ale funkčným“, náklady sa prenesú do QA, incidentov a straty dôvery v automatizáciu. Benchmark, ktorý neodhalí tento typ zlyhania, potom vedie k zlému nákupu aj k zlej architektúre produktu.

Z širšieho pohľadu je text AI21 ďalším signálom, že v agentickej vrstve sa súťaž nebude rozhodovať len na úrovni základného modelu. Rozhodovať bude aj to, ako firmy skladajú paralelné behy, verifikátory, hodnotiace pravidlá a spätné slučky. Pre AI Feed je to zaujímavé najmä preto, že ide o menej nápadný, no strategický posun: ďalšia generácia agentov sa nebude predávať iba cez „vyšší benchmark“, ale cez dôkaz, že benchmark skutočne meria to, čo sľubuje. A to je pre zákazníka oveľa cennejšia vlastnosť než ďalšie marketingové desatiny v tabuľke.