AWS skúša obísť limit kontextu cez AgentCore a rekurzívne volania modelov

AWS publikovalo technický postup, ktorý rieši jeden z najpraktickejších limitov dnešných jazykových modelov: čo robiť s dokumentmi, ktoré sú väčšie než kontextové okno modelu. Namiesto čakania na stále dlhšie kontexty ukazuje Amazon Bedrock AgentCore ako prevádzkovú vrstvu, v ktorej model pracuje rekurzívne nad časťami dokumentu, ukladá si priebežné výsledky a skladá z nich odpoveď. Kľúčovou súčasťou je AgentCore Code Interpreter, teda sandboxované prostredie, ktoré môže fungovať ako perzistentná pracovná pamäť.

Myšlienka nie je úplne nová: dlhé dokumenty sa už roky delia na časti, sumarizujú a prehľadávajú cez vektorové indexy. Rozdiel je v tom, že AWS sa snaží tento postup ukázať ako agentický runtime, nie iba ako skript okolo modelu. Agent môže analyzovať sekcie, volať podmodely, ukladať priebežné dáta do súborov alebo tabuliek a neskôr sa k nim vracať. V praxi to pripomína analytika, ktorý si pri čítaní rozsiahleho spisu robí poznámky a postupne ich spája.

AWS tento vzor označuje ako implementáciu rekurzívnych jazykových modelov. Názov môže znieť akademicky, no praktický problém je veľmi konkrétny: veľké zmluvy, technické špecifikácie, dátové exporty alebo regulačné balíky sa často nezmestia do jedného promptu. Ak sa text násilne skráti, model môže vynechať dôležitý detail. Ak sa pošle iba vyhľadaný úsek, odpoveď môže stratiť širší kontext. Rekurzívny postup má umožniť prejsť celý materiál po vrstvách a výsledok zostaviť kontrolovanejšie.

AgentCore Code Interpreter je v tomto návrhu dôležitý preto, že oddeľuje samotný model od pracovného priestoru. Model nemusí držať všetky medzivýsledky v promptoch; môže ich zapisovať do sandboxu a neskôr načítať. To znižuje tlak na kontextové okno a zároveň vytvára stopu, ktorú možno kontrolovať. Pre enterprise nasadenia je takáto stopa často rovnako dôležitá ako finálna odpoveď, pretože umožňuje spätne overiť, z ktorých krokov vznikol záver.

Prístup však neprináša zadarmo pravdu ani úplnosť. Ak agent zle rozdelí dokument, ak medzičasové sumarizácie zahodia podstatný detail alebo ak sa chyba prenesie do ďalšej vrstvy, výsledná odpoveď môže pôsobiť presvedčivo, no byť nepresná. Preto bude pri takýchto systémoch dôležité sledovať nielen kvalitu finálneho výstupu, ale aj kvalitu medzikrokov: čo bolo vynechané, čo bolo zovšeobecnené a kde sa použil odhad namiesto priamej citácie.

Pre vývojárov je zaujímavá aj kombinácia s frameworkom Strands Agents. AWS tým naznačuje, že chce mať otvorenejší model orkestrácie, kde agentické kroky nie sú uzamknuté iba v jednom proprietárnom rozhraní. Strands môže slúžiť na definovanie nástrojov a tokov, zatiaľ čo AgentCore poskytuje prevádzkové komponenty ako sandbox, pamäť, autentifikáciu alebo observabilitu. Táto kombinácia mieri na tímy, ktoré už stavajú agentov, ale potrebujú ich dostať do bezpečnejšej produkčnej formy.

Najbližšie použitie bude pravdepodobne v analýze veľkých interných dokumentov: compliance podklady, právne archívy, technická dokumentácia alebo súbory tiketov. Doteraz sa pri podobných úlohách často kombinoval retrieval, ručné delenie textu a ad hoc Python skripty. AgentCore ponúka možnosť zabaliť tieto kroky do opakovateľného pracovného postupu, ktorý sa dá spúšťať, monitorovať a obmedzovať podľa firemných pravidiel.

Pre trh je to aj pripomienka, že „väčšie kontextové okno“ nie je jediná cesta. Aj keď modely s miliónmi tokenov pomáhajú, dlhý prompt je drahý a nie vždy lepšie kontrolovateľný. Pri mnohých úlohách bude efektívnejšie spojiť menšie volania, explicitnú pracovnú pamäť a overiteľné medzikroky. Takýto návrh viac pripomína dátový pipeline než jednorazový chat.

Ak sa tento vzor uchytí, agentické systémy v podnikoch sa budú menej posudzovať podľa maximálnej dĺžky promptu a viac podľa toho, ako riadia prácu mimo modelu. To znamená sandboxy, súbory, logy, citácie, opakovateľnosť a náklady. AWS svojím príkladom neukazuje hotový univerzálny produkt, ale dôležitý smer: dlhé uvažovanie nad veľkým materiálom sa pravdepodobne nebude odohrávať iba v hlave jedného modelu, ale v kontrolovanom runtime okolo neho.