PydanticAI 2.17 zrýchľuje telemetriu a opravuje spracovanie blokov Model Armor

PydanticAI vydal verziu 2.17.0, ktorá neprináša veľký nový používateľský modul, ale rieši tri detaily dôležité pre produkčných agentov: rastúce náklady telemetrie pri dlhších behoch, nesprávnu interpretáciu blokovaných odpovedí Google Model Armor a pružnejší model údajov o spotrebe. Ide o typ vydania, ktorého prínos sa ukáže až pri dlhších konverzáciách, monitorovaní nákladov a pri incidentoch na hranici medzi modelom a bezpečnostnou vrstvou.

Najvýraznejšia zmena sa týka OpenTelemetry. Inštrumentovaný model doteraz pri každej požiadavke znova serializoval celú dovtedy nazbieranú históriu správ do atribútu gen_ai.input.messages. Pri agentovi s rastúcim počtom krokov tak práca nerástla iba úmerne dĺžke histórie. Opakované spracovanie rovnakých správ vytváralo kvadratický priebeh: čím dlhšie agent bežal, tým väčší podiel času mohol tráviť prípravou telemetrie namiesto užitočnej práce.

Verzia 2.17 zavádza vyrovnávaciu pamäť fragmentov správ viazanú na jeden beh. Už serializované správy sa pri ďalšom volaní použijú znova a systém spracuje najmä nové položky. Autori uvádzajú v syntetickom teste pri 50 krokoch zrýchlenie z 11,8 na 1,8 milisekundy, pri 100 krokoch zo 45,7 na 5,9 milisekundy a pri 200 krokoch zo 179,7 na 22,1 milisekundy. Sú to mikrobenchmarky projektu, nie nezávislé meranie celej aplikácie, no dobre ukazujú odstránenie problematického trendu.

Optimalizácia má vedomú hranicu. PydanticAI nepodporuje svojvoľnú zmenu už existujúcej správy na mieste počas behu, pretože uložený serializovaný fragment by mohol prestať zodpovedať realite. Implementácia sleduje životnosť a zoznam častí správy, odstraňuje položky, ktoré už nie sú v aktuálnej histórii, a na konci behu kontroluje prípadné zastaranie. Ak používateľ históriu zmenil nepodporovaným spôsobom, má dostať varovanie namiesto tichej a nepresnej telemetrie.

Druhá oprava sa týka Google Model Armor. Reálna blokovaná odpoveď používa dôvod ukončenia MODEL_ARMOR, ktorý predchádzajúce mapovanie nepoznalo. Prázdny kandidát preto mohol skončiť ako všeobecná chyba opakovaného pokusu, agent požiadavku zopakoval proti rovnakej blokujúcej šablóne a napokon hlásil prekročenie počtu pokusov. Nová verzia mapuje tento signál na chybu obsahového filtra, takže aplikácia môže rozlíšiť bezpečnostné zamietnutie od poruchy modelu alebo siete.

Poznámky k oprave zároveň odhaľujú dôležitú prevádzkovú nuansu: podľa zaznamenaného správania odpovedná šablóna Model Armor nekontrolovala streamovaný výstup rovnakým spôsobom ako bežnú odpoveď. Tím preto upozorňuje, že aplikácie závislé od blokovania výstupu pri streamovaní potrebujú vlastnú ochrannú vrstvu. Toto nie je všeobecný dôkaz o všetkých konfiguráciách služby, ale konkrétne pozorovanie zachytené v testoch projektu a malo by sa overiť v prostredí každého nasadenia.

Treťou zmenou je podpora ľubovoľných polí v objektoch RequestUsage a RunUsage. Bezprostredným dôvodom je pripravovaná integrácia s balíkom genai-prices, ktorý potrebuje pracovať s novými jednotkami spotreby. Pre prevádzkovateľov to znamená menšiu pravdepodobnosť, že nová metrika poskytovateľa rozbije existujúci výpočet ceny len preto, že ju dátový model ešte nepozná. Nejde však o hotový univerzálny účtovný systém; samotná diskusia k zmene výslovne oddeľuje podporu polí od úplného riešenia ich serializácie.

Praktický dopad je najväčší pri agentoch s desiatkami až stovkami krokov, zapnutým detailným sledovaním a bezpečnostnými filtrami poskytovateľov. Po aktualizácii je vhodné porovnať latenciu a objem telemetrie na reprezentatívnom dlhom behu, skontrolovať vlastné procesory histórie a otestovať blokované odpovede osobitne pre streamovaný aj jednorazový režim. Samotná knižnica síce znižuje režijné náklady serializácie, ale nemení fakt, že každý span môže stále prenášať celú históriu a tým vytvárať veľký objem exportovaných dát.

PydanticAI 2.17.0 je preto skôr údržbové než efektné vydanie. Ukazuje však, že produkčná spoľahlivosť agentov závisí od detailov mimo kvality samotného modelu: od zložitosti observability, presného čítania bezpečnostných signálov a od dátového modelu pre cenu. Tímy by mali aktualizáciu nasadiť cez bežné testovacie prostredie, sledovať varovania o mutácii histórie a nevnímať opravu Model Armor ako náhradu vlastných pravidiel pre bezpečné streamovanie.