PydanticAI 2.13 pridáva jemnejšie meranie agentov a opravy streamovania

PydanticAI vydalo verziu 2.13.0 a ide o typický, no prakticky dôležitý release pre knižnicu, ktorá sa používa pri stavbe produkčných agentov nad veľkými jazykovými modelmi. Neprináša jeden veľký marketingový míľnik, ale viacero zmien v miestach, kde sa agentické aplikácie lámu v prevádzke: meranie používania, výber modelu, streamovanie odpovedí, spracovanie chýb a integrácia s observabilitou.

Najviditeľnejšou novinkou je doplnenie vlastnosti cache_hit_ratio do objektov RequestUsage a RunUsage. V preklade ide o pomer zásahov do cache, teda údaj, koľko požiadaviek alebo častí behu sa podarilo obslúžiť z vyrovnávacej pamäte namiesto opakovaného výpočtu. Pre vývojárov agentov je to dôležité, pretože náklady na modely sa čoraz častejšie optimalizujú nielen lacnejším modelom, ale aj tým, že sa neopakuje rovnaká práca.

V agentickom systéme však cache nie je jednoduchá tabuľka odpovedí. Agent môže používať nástroje, meniť plán, pracovať s čiastočným kontextom a opakovane volať model v jednom behu. Metrika na úrovni požiadavky aj celého behu preto pomáha rozlíšiť, či optimalizácia skutočne funguje v reálnom workflow. Ak cache hit ratio rastie, ale úspešnosť úloh klesá, tím vie, že šetrí nesprávnym spôsobom. Ak rastie spolu so stabilitou a nižším účtom, ide o merateľný prínos.

Druhou významnou skupinou zmien sú nové capability hooky get_model, resolve_model_id a for_agent. Hook je bod, kde knižnica umožní aplikácii zasiahnuť do správania bez toho, aby musela obchádzať jej interné vrstvy. V tomto prípade ide o lepšie rozlíšenie modelov, ich identifikátorov a kontextu agenta, ktorý ich používa. Praktický dopad je najmä pre tímy, ktoré bežia viac modelov, prepínajú medzi poskytovateľmi alebo potrebujú presnejšie pravidlá pre routing.

Release zároveň pridáva nastavenie include_model_request_parameters pre inštrumentáciu. Cieľom je umožniť vynechať atribút model_request_parameters zo spanov, teda zo stopových záznamov používaných v observabilite. To je malá, ale citlivá prevádzková zmena. Parametre modelového volania môžu obsahovať technické detaily, ktoré nie každý tím chce ukladať do logov alebo telemetrie. Jemnejšie nastavenie pomáha zladiť pozorovateľnosť s bezpečnosťou a internými pravidlami.

PydanticAI 2.13.0 rieši aj správanie pri content filter odpovediach. Nová schopnosť RaiseContentFilterError umožňuje vyvolať chybu pri nevyprázdnených odpovediach filtra obsahu. Pre aplikácie, ktoré musia jasne odlíšiť bežnú modelovú odpoveď od zásahu bezpečnostnej vrstvy, je to dôležité. Namiesto toho, aby sa filtrovaný výstup tváril ako obyčajný výsledok, môže aplikácia spustiť vlastnú vetvu spracovania, audit alebo eskaláciu.

Opravy sa výrazne dotýkajú streamovania. Release opravuje nastavenia streamovania pre MistralModel, uzatváranie otvorených častí správ pri chybe UI streamu a falošnú chybu OpenTelemetry pri prerušení streamovaného behu uprostred segmentu. Streamovanie je v agentských používateľských rozhraniach čoraz bežnejšie, ale zároveň vytvára veľa okrajových stavov: čiastočný text, tool call, premýšľací segment, chyba siete alebo prerušenie používateľom. Stabilnejšie uzatváranie týchto častí znižuje riziko poškodených stavov v UI aj v logoch.

Zaujímavá je aj oprava pre Temporal workflow sandbox, kde sa má správne prepúšťať pydantic_monty. Temporal sa používa na dlhšie bežiace workflow a opakovateľné procesy, čo je pre produkčných agentov prirodzené prostredie. Ak má agent vykonávať kroky, čakať, pokračovať po zlyhaní a zachovať auditovateľný stav, sandboxové obmedzenia workflow systému musia byť kompatibilné s knižnicami, ktoré agent používa. Takéto opravy nebývajú veľké na papieri, ale často rozhodujú o tom, či systém spoľahlivo beží mimo notebooku.

Pre slovenské vývojárske tímy je význam release najmä v tom, že PydanticAI sa posúva od príjemnej vrstvy na volanie modelov k runtime rámcu, ktorý rieši náklady, telemetriu, bezpečnostné chyby a dlhšie procesy. To sú presne oblasti, ktoré sa objavia po prvom úspešnom prototype. Agent, ktorý raz odpovie v deme, je iný problém než agent, ktorý má denne vykonávať úlohy nad internými dátami a pritom dávať merateľné a auditovateľné výsledky.

Release zároveň ukazuje zrelosť celého agentického ekosystému. Najdôležitejšie zmeny už často nie sú v samotnom promptovaní, ale v tom, ako systém meria úspech, pracuje s chybami a umožňuje výmenu modelov bez rozsiahleho prepisovania. PydanticAI 2.13.0 preto stojí za pozornosť najmä tým tímom, ktoré už agentov nasadili alebo sa chystajú prejsť z experimentu do prevádzky.