OpenAI varuje, že SWE-Bench Pro má príliš veľa rozbitých úloh

OpenAI otvoril nepríjemnú otázku pre trh s kódovacími agentmi: čo vlastne meria benchmark, ak významná časť jeho úloh neodráža férové zadanie? V novej analýze sa firma zamerala na SWE-Bench Pro, ktorý mal nahradiť slabšie signály pôvodného SWE-bench Verified a lepšie zachytiť dlhšie, realistickejšie softvérové úlohy. Záver je tvrdý. OpenAI odhaduje, že okolo tridsať percent úloh je problematických natoľko, že môžu meniť interpretáciu výsledkov.

SWE-Bench Pro je dôležitý preto, že nehodnotí iba izolované doplnenie funkcie. Úlohy vychádzajú z histórie zmien v reálnych repozitároch a model má implementovať riešenie, ktoré prejde novými testami bez poškodenia existujúcej funkcionality. Podľa OpenAI sa na verejnom rozdelení so 731 úlohami zlepšili frontier modely za osem mesiacov z úspešnosti 23,3 percenta na 80,3 percenta. Práve takýto prudký rast však robí kvalitu merania zásadnou.

Audit kombinoval automatizovanú analýzu dátových bodov, agentické preskúmanie a nezávislú kontrolu skúsenými softvérovými inžiniermi. Pipeline označila 200 úloh, teda 27,4 percenta, ako rozbité alebo podozrivé. Ľudská anotačná kampaň našla ešte viac problémov: 249 úloh, teda 34,1 percenta. Nejde preto o okrajový šum, ale o rozsah, ktorý môže pri porovnávaní modelov rozhodovať o poradí aj o bezpečnostných záveroch.

Problémy sa podľa OpenAI opakujú v niekoľkých formách. Niektoré testy sú príliš prísne a vynucujú konkrétnu implementáciu, ktorú zadanie nepožaduje, hoci alternatívne riešenie je funkčne správne. Iné prompty sú nedostatočne špecifikované a skryté testy od modelu vyžadujú správanie, ktoré sa zo zadania nedá rozumne odvodiť. Ďalšia skupina má nízke pokrytie testov, takže neúplné riešenie prejde, a pri niektorých úlohách prompt model dokonca smeruje k chybnému správaniu.

Dôležitý je aj metodický odkaz. OpenAI nehovorí, že benchmarky nemajú zmysel, ale že v ére agentov nestačí počítať percentá úspešnosti bez auditu samotných úloh. Ak sa skóre používa pri rozhodovaní o nasadení, bezpečnostných rámcoch alebo investíciách do výskumu, chybný benchmark môže vyvolať falošný dojem schopností. Model môže vyzerať lepšie, lebo prešiel slabými testami, alebo horšie, lebo narazil na nefér zadanie.

Pre firmy, ktoré nasadzujú kódovacích agentov, z toho vyplýva praktická opatrnosť. Interné hodnotenie by nemalo slepo preberať verejný leaderboard. Užitočnejšie je doplniť ho vlastnými úlohami, kontrolou testov, revíziou neúspešných behov a analýzou toho, či agent rozumel zadaniu, použil správne nástroje a bezpečne overil zmeny. Najmä pri kritickom softvéri je rozdiel medzi prechodom testov a skutočne udržiavateľným riešením zásadný.

Analýza zároveň ukazuje paradox agentickej éry: tie isté modely, ktoré benchmarky hodnotia, môžu pomôcť odhaľovať chyby v benchmarkových dátach. OpenAI použil agentické preskúmanie ako škálovateľnú kontrolu, ktorú potom doplnili ľudskí experti. Tento hybridný postup môže byť dôležitý pre budúce evaly, pretože ručná kontrola veľkých datasetov je drahá, ale čisto automatický verdikt zasa riskuje nové typy skreslenia.

Najväčší dopad bude mať správa na interpretáciu porovnaní medzi kódovacími modelmi. Ak sú rozdiely medzi systémami menšie než odhadovaný podiel rozbitých úloh, samotné skóre nie je dostatočný dôkaz. Potrebné sú intervaly neistoty, auditovateľné príklady, verejné opravy datasetu a jasné rozlíšenie medzi úlohami, ktoré merajú schopnosť programovať, a úlohami, ktoré merajú schopnosť trafiť sa do chybných testov.

Pre komunitu je to zdravé, hoci nepríjemné pripomenutie. Benchmarky pre agentické programovanie musia byť rovnako starostlivo inžinierované ako softvér, ktorý majú hodnotiť. Ak sa neopraví kvalita zadaní, leaderboardy sa môžu stať marketingovým divadlom namiesto spoľahlivého merania. OpenAI tým posúva diskusiu od otázky, kto má vyššie číslo, k otázke, či je číslo vôbec dôveryhodné.

Téma je aktuálna aj preto, že trh čoraz častejšie používa verejné benchmarky ako skratku pri rozhodovaní o nákupe alebo nasadení agentov. Ak sa však v dátach miešajú nefér testy, nejasné zadania a slabé pokrytie, potom skóre bez vysvetlenia môže maskovať prevádzkové riziko. Seriózne hodnotenie bude musieť kombinovať verejné datasety, interné úlohy, kontrolu kvality a čitateľné rozbory konkrétnych zlyhaní.