AA-AgentPerf mení benchmarky AI hardvéru: testuje agentov, nie krátke prompty

Artificial Analysis spustil AA-AgentPerf ako benchmark, ktorý sa snaží zmerať to, čo dnes zaujíma prevádzkovateľov AI infraštruktúry viac než akademické skóre: koľko reálnej práce zvládne hardvér a inferenčný stack pri agentických workloadoch. Novinka je dôležitá preto, že veľká časť doterajšieho porovnávania AI akcelerátorov vychádzala z krátkych alebo syntetických dopytov. Tie sa síce ľahko reprodukujú, ale len slabo odrážajú správanie moderných coding agentov, dlhých reasoning behov či podnikových workflow s obrovským kontextom.

AA-AgentPerf ide presne proti tomuto zjednodušeniu. Artificial Analysis uvádza, že benchmark používa reálne trajektórie coding agentov, ktoré sa môžu natiahnuť až na 200 krokov a pracovať so sekvenciami dlhšími ako 100-tisíc tokenov. To je zásadná zmena metodiky. V produkcii totiž firmu nezaujíma len čas do prvej odpovede, ale aj to, či sa systém nezačne lámať pri dlhších reláciách, ako sa správa pri viacnásobnej súbežnosti a aký výkon drží po započítaní celej režijnej záťaže.

Druhý dôležitý moment je, že benchmark povoľuje produkčné optimalizácie, ktoré sa v praxi naozaj používajú. Artificial Analysis explicitne spomína KV cache reuse, oddelený prefill a decode aj speculative decoding. To je oproti „laboratórnym“ testom podstatné, pretože práve tieto techniky často rozhodujú o tom, či sa agentické workflow vôbec ekonomicky oplatí. Ak benchmark meria iba sterilnú konfiguráciu bez optimalizácií, poskytuje síce čisté číslo, ale nie použiteľný obraz toho, čo zákazník dostane po nasadení.

Artificial Analysis zároveň tvrdí, že chce reportovať maximálny počet súbežných používateľov pri cieľovej rýchlosti výstupu a prepočítavať výsledky na akcelerátor, kilowatt, hodinový náklad aj rack. To je signál, že benchmark sa nesnaží oslniť jedným grafom, ale posunúť diskusiu k otázke celkovej prevádzky. Pre cloudových providerov, startupy stavajúce inferenčné API aj enterprise tímy je takýto pohľad užitočnejší než izolované údaje o jednom modeli na jednej karte pri ideálnych podmienkach.

Na štarte benchmark podporuje modely gpt-oss-120b a DeepSeek V3.2 a prijíma konfigurácie na priebežné zverejňovanie výsledkov. Aj to je praktické rozhodnutie. Namiesto statického reportu raz za čas vzniká priebežná súťaž medzi hardvérom, stackom a optimalizáciou. V čase, keď sa bojuje nielen medzi modelovými laboratóriami, ale aj medzi poskytovateľmi AI infraštruktúry, je takýto benchmarking takmer samostatným produktom. Ukazuje, že výkonnostná vojna sa presúva z marketingových benchmarkov na meranie reálnej obslužnosti agentov.

Pre trh je dôležité najmä to, že agentické použitie mení metriku úspechu. Krátky prompt a krátka odpoveď dokáže rozumne odmerať takmer každý. No coding agent, ktorý iteruje, číta veľké súbory, mení plán, vracia sa k predchádzajúcim krokom a paralelne obsluhuje viacerých používateľov, vytvára oveľa náročnejší profil záťaže. Ak benchmark nevie zachytiť dlhý kontext a súbežnosť, ľahko zvýhodní systémy, ktoré vyzerajú dobre v slide decku, ale horšie držia produkciu. AA-AgentPerf preto mieri presne na slepé miesto doterajších porovnaní.

Praktický dopad môže byť rýchly. Prevádzkovatelia modelov dostanú lepší argument pri rozhodovaní medzi akcelerátormi, inferenčnými engine-mi a optimalizáciami. Zákazníci zase transparentnejší obraz o tom, či platia za hrubý výkon, alebo za skutočnú schopnosť obslúžiť agentické workflow s predvídateľnou latenciou a cenou. Ak sa AA-AgentPerf ujme, môže sa stať jedným z benchmarkov, ktoré prepisujú infraštruktúrnu časť AI trhu podobne, ako sa inteligentné leaderboardy kedysi stali referenciou pre samotné modely.