AWS ukazuje päť vzorov hodnotenia hlbokých agentov cez LangSmith

AWS publikovala technický návod na hodnotenie takzvaných hlbokých agentov pomocou LangSmithu na AWS. Text sa zameriava na problém, ktorý sa v roku 2026 stáva jednou z hlavných prekážok produkčných agentických systémov: nestačí, aby agent v ukážke pôsobil inteligentne, musí byť opakovateľne testovaný, monitorovaný a zlepšovaný počas celého životného cyklu. AWS príklad stavia na text-to-SQL agentovi, Amazon Bedrocku a postupoch, ktoré kombinujú offline evaluačné testy s online sledovaním v prevádzke.

Hlboký agent v tomto kontexte znamená systém, ktorý nerobí iba jednu odpoveď na jeden prompt. Vykonáva viac krokov, používa nástroje, pracuje s medzivýsledkami a chyby z raných rozhodnutí sa môžu preniesť do neskorších krokov. Ak agent zle vyberie tabuľku, nesprávne zavolá nástroj alebo si chybne vysvetlí zámer používateľa, výsledná odpoveď môže byť presvedčivá, ale vecne nesprávna. Práve táto reťazová povaha robí hodnotenie agentov ťažším než klasické meranie kvality jednorazovej odpovede modelu.

AWS preto rámcuje evaluačný proces ako kombináciu piatich vzorov, ktoré majú tímom pomôcť zachytiť rôzne typy zlyhaní. Dôležité je vytvoriť testovacie scenáre pred nasadením, používať dátové sady s očakávanými odpoveďami, sledovať trajektórie nástrojov a dopĺňať online monitorovanie, ktoré zachytí správanie na reálnych požiadavkách. V návode sa objavuje aj pytest, čo je praktický signál pre vývojárske tímy: hodnotenie agentov sa má stať súčasťou bežného testovacieho režimu, nie oddeleným ručným cvičením.

LangSmith v tomto príbehu slúži ako pozorovacia a evaluačná vrstva. Umožňuje ukladať behy, analyzovať kroky, porovnávať verzie a sledovať, či zmeny v promptoch, nástrojoch alebo modeli skutočne zlepšujú výsledok. V spojení s AWS ide najmä o nasadenie v prostredí, kde už firmy používajú Bedrock a potrebujú agentov prevádzkovať s podobnou disciplínou ako iné cloudové aplikácie. To znamená logovanie, prístupové pravidlá, metriky, alerty a jasný proces, ako sa chyba z produkcie dostane späť do vývojového cyklu.

Príklad text-to-SQL agenta je vhodný, pretože databázové dotazy sú oblasťou s vysokou hodnotou aj vysokým rizikom. Správny agent môže zamestnancom sprístupniť analytické otázky bez znalosti SQL. Nesprávny agent však môže vytvoriť chybný dotaz, zle interpretovať schému alebo vrátiť odpoveď, ktorá vyzerá autoritatívne a ovplyvní obchodné rozhodnutie. Hodnotenie preto musí zahŕňať nielen konečnú odpoveď, ale aj to, ako sa agent k odpovedi dostal, ktoré nástroje použil a či rešpektoval bezpečnostné obmedzenia.

Pre podniky je praktickým odkazom to, že produkčný agent potrebuje vlastnú kvalitatívnu infraštruktúru. Tradičné softvérové testy ostávajú dôležité, ale nestačia na modelové rozhodnutia, prirodzený jazyk a nejednoznačné požiadavky. Tímy si musia vytvárať evaluačné dátové sady, verzovať ich, merať regresie a pravidelne prehodnocovať, či testy stále pokrývajú reálne používanie. Ak sa agent učí z produkčných incidentov, hodnotenie sa stáva nepretržitým cyklom, nie jednorazovou bránou pred spustením.

Zaujímavé je aj prepojenie s prácou LangChainu a Anthropic o evaloch agentov. AWS tým nepriamo priznáva, že trh ešte nemá jeden univerzálny štandard. Vzniká skôr súbor praktík, ktoré sa skladajú z testovacích frameworkov, trasovania, modelových hodnotiteľov, ručných kontrol a doménových dát. Firmy by preto nemali hľadať jeden magický benchmark, ale systém, ktorý odráža ich konkrétne riziká a pracovné postupy.

Návod AWS je dôležitý najmä tým, že posúva debatu od nadšenia z agentov k prevádzkovej zodpovednosti. Ak má agent pracovať s databázami, zákazníckymi procesmi alebo internými nástrojmi, musí byť testovaný podobne prísne ako iný kritický softvér. Rozdiel je v tom, že jeho zlyhania sú často pravdepodobnostné a ťažšie reprodukovateľné. Práve preto budú evaluačné vrstvy ako LangSmith, spolu s cloudovým monitoringom a disciplinovanými testami, rozhodovať o tom, ktoré agentické projekty prežijú prechod z prototypu do každodennej prevádzky.