AWS otvorilo Agent-EvalKit na systematické testovanie AI agentov

AWS zverejnilo Agent-EvalKit, open-source nástroj s licenciou Apache 2.0, ktorý má pomôcť tímom hodnotiť AI agentov systematickejšie než jednoduchým porovnaním finálnej odpovede s očakávaným výsledkom. Blog AWS upozorňuje na typický problém agentických systémov: odpoveď môže vyzerať užitočne a usporiadane, hoci agent počas behu preskočil overenie, zavolal nesprávny nástroj alebo si domyslel fakty po prázdnom výsledku vyhľadávania. Agent-EvalKit preto sleduje aj cestu, ktorou sa agent k odpovedi dostal.

Novinka je zaujímavá tým, že hodnotenie nenecháva až na samostatnú platformu po nasadení. Agent-EvalKit sa integruje s AI kódovacími asistentmi, ktoré už vývojár používa, vrátane Claude Code, Kiro CLI a Kilo Code. Vývojár opíše, čo chce na agente preveriť, a nástroj má cez sériu príkazov pripraviť plán, vytvoriť testovacie dáta, zachytiť beh, spustiť agenta, vyhodnotiť výsledky a vytvoriť report. AWS v príklade používa cestovného výskumného agenta postaveného na Strands Agents SDK a Amazon Bedrock.

Podstatné je, že agentická kvalita sa nedá zredukovať na jednu metriku. Pri tradičnom softvéri často stačí vedieť, či funkcia vrátila správnu hodnotu. Agent však môže vykonať viacero krokov, vyberať nástroje, interpretovať medzivýsledky a skladať odpoveď z častí, ktoré nemusia byť priamo viditeľné používateľovi. Testovanie preto musí hodnotiť presnosť, vernosť voči zdrojovým dátam, správnosť výberu nástrojov, parametre volaní aj užitočnosť finálneho výstupu. Agent-EvalKit sa snaží tieto vrstvy spojiť do jedného vývojárskeho pracovného toku.

AWS zároveň priznáva, že samotná voľba hodnotiteľa je kompromis. Kódové evaluátory sú rýchle a reprodukovateľné, ale môžu trestať legitímne rozdiely v postupe. Hodnotenie cez veľký jazykový model dokáže zachytiť jemnejšie kvalitatívne rozdiely, no pridáva náklady, latenciu a potrebu starostlivo navrhnutých promptov. Praktická stratégia preto obvykle kombinuje viac typov hodnotenia. Najcennejšie je, keď sa výsledok neuzavrie dashboardom so skóre, ale vedie k odporúčaniam na konkrétne zmeny v kóde, promptoch alebo definícii nástrojov.

Pre vývojárov agentov je dôležité, že Agent-EvalKit pracuje so zdrojovým kódom a konfiguráciou agenta. Asistent číta definície nástrojov, systémové inštrukcie a rámec aplikácie, aby pochopil, čo agent robí a kde môže zlyhať. Z toho sa potom odvodzujú testovacie scenáre a hodnotiace kritériá. Takýto prístup môže byť užitočný najmä pri interných podnikových agentoch, kde je najväčším rizikom nie efektná odpoveď, ale tichá chyba v postupe: nesprávne použité dáta, vynechaná kontrola alebo výstup, ktorý sa tvári istejšie, než dovoľujú zdroje.

Agent-EvalKit sa dá nainštalovať cez uv priamo z repozitára awslabs/Agent-EvalKit a následne inicializovať projekt hodnotenia. AWS opisuje príkazy ako /evalkit.plan, /evalkit.data, /evalkit.trace, /evalkit.run_agent, /evalkit.eval a /evalkit.report. Aj keď sú to vývojárske detaily, ukazujú smer, ktorým sa infraštruktúra pre agentov posúva: hodnotenie sa stáva súčasťou lokálneho vývoja a priebežnej kontroly kvality, nie iba akademickým benchmarkom alebo jednorazovým auditom pred produkciou.

Pre cloudový trh je to aj konkurenčný signál. Poskytovatelia modelov a infraštruktúry už nepredávajú iba modely, ale aj spôsob, ako ich bezpečne a spoľahlivo prevádzkovať. Agentické aplikácie s nástrojmi, pamäťou a externými dátami prinášajú viac miest zlyhania než bežný chatbot. Tímy preto potrebujú pozorovateľnosť, testovacie dáta a opakovateľné hodnotenie rovnako ako pri klasickom softvéri potrebujú testy, logy a CI. Agent-EvalKit zapadá do tejto vrstvy MLOps a agentops nástrojov.

Najväčšou výhodou môže byť zníženie prahu pre menšie tímy. Vlastná evaluačná infraštruktúra pre agentov je drahá: treba navrhnúť scenáre, zachytiť stopy behu, definovať ground truth a prepojiť výsledky s úpravami kódu. Ak open-source nástroj zvládne aspoň časť tejto práce, môže urýchliť zodpovednejšie nasadzovanie agentov mimo veľkých laboratórií. Zároveň však platí, že žiadny toolkit nenahradí doménové testy a bezpečnostnú kontrolu. Agent-EvalKit je skôr rámec, ktorý pomáha pýtať sa lepšie otázky, nie automatická záruka spoľahlivosti agenta.