Od redakcie: Jednoduchší agenti, rýchlejšia inferencia a AI pevnejšie previazaná s podnikovými dátami

Prvý októbrový deň nepriniesol jednu dominantnú modelovú premiéru. Namiesto nej sa objavila skupina technicky prepojených správ, ktoré ukazujú, kam sa posúva praktické nasadzovanie umelej inteligencie: od súťaže o najväčší model k otázkam, ako model zapojiť do spoľahlivého systému, ako efektívne obslúžiť jeho inferenciu a ako ho bezpečne spojiť s podnikovými dátami.

Najvýraznejšiu výskumnú otázku otvorili Apple a EPFL. Ich práca skúma, či silný agent pre autonómne úlohy strojového učenia naozaj potrebuje komplikovanú architektúru s viacerými agentmi, samostatnými vyhľadávacími komponentmi a ďalšími ručne navrhnutými vrstvami. Autori tvrdia, že pri rovnakom časovom rozpočte a rovnakom základnom hraničnom modeli neposkytli skúmané open-source nadstavby výhodu oproti jedinej relácii jednoduchého kódovacieho agenta vybaveného základnými operáciami na čítanie, zápis a spúšťanie príkazov.

Na opačnom konci systému rieši Cerebras fyzické vykonávanie modelu. Firma opisuje heterogénne rozdelenú inferenciu, pri ktorej sa spracovanie vstupného kontextu a generovanie ďalších tokenov nemusia odohrávať na rovnakom type akcelerátora. Cerebras uvádza, že v skorých interných výsledkoch dosiahol päťnásobnú priepustnosť pri rovnakom počte vlastných systémov bez zníženia rýchlosti generovania tokenov. Ide o tvrdenie výrobcu a nie o nezávislý benchmark, ale technický smer je dôležitý: infraštruktúra sa začína optimalizovať podľa rozdielnych vlastností jednotlivých fáz inferencie.

AWS medzitým zverejnilo dva praktické pohľady na podnikovú AI. Prvý opisuje viacagentový rámec pre cloudové migrácie postavený na Amazon Bedrock AgentCore. Druhý ukazuje aplikácie vytvorené pomocou AI, ktoré pracujú so živými, riadenými dátami namiesto statických snímok a uplatňujú oprávnenia konkrétneho používateľa pri každom dopyte. Spoločnou témou nie je samotný chatbot, ale riadené prepojenie modelov, nástrojov, dát a organizačných pravidiel.

Jednoduchší agent môže byť lepšia základná línia

Výskumníci v práci „How Much of a Harness Does a Strong Agent Need for Autonomous ML Engineering?“ skúmali autonómne riešenie úloh strojového učenia. Moderné systémy pre tento typ práce často používajú rozsiahly „harness“: orchestrátor rozdeľuje úlohu, ďalší agent vyhľadáva informácie, iný kontroluje výsledky a pamäťová vrstva uchováva priebežný stav. Takáto architektúra pôsobí intuitívne, no každá vrstva pridáva nové rozhodnutia, oneskorenie, spotrebu tokenov a možné body zlyhania.

Autori uvádzajú, že v ich experimentoch komplikované nadstavby pri rovnakom modeli a časovom rozpočte neprekonali jednoduchého agenta pracujúceho v jednej relácii. Za hlavný zdroj výkonu označujú kvalitu základného modelu, nie množstvo mechanizmov okolo neho. Séria ablačných experimentov ich viedla k záveru, že viaceré ručne vytvorené vrstvy sú na súčasných benchmarkoch strojového učenia nadbytočné a investícia do ich rozširovania môže prinášať slabú návratnosť.

Tento záver treba čítať presne. Práca nedokazuje, že viacagentové systémy sú všeobecne zbytočné. Výsledok platí pre konkrétny typ úloh, skúmané implementácie, zvolený časový rozpočet a aktuálnu generáciu modelov. Verejné benchmarky navyše nemusia zachytiť dlhodobú prevádzku, zmeny požiadaviek, prácu viacerých tímov, auditovateľnosť ani organizačné obmedzenia. Zložitá architektúra môže byť potrebná pre bezpečnostné oddelenie právomocí, nie iba pre vyššie skóre.

Pre slovenské vývojové tímy je však praktická lekcia jasná: pred zavedením ďalšieho orchestrátora alebo podagenta treba zmerať, či prináša preukázateľné zlepšenie. Dobrou základnou líniou je jeden kvalitný model, malý počet jasne definovaných nástrojov, izolované vykonávacie prostredie a spoľahlivý overovač výsledku. Až následne má zmysel pridávať plánovač, pamäť, delegovanie či hlasovanie viacerých agentov. Menej komponentov znamená aj jednoduchšie logovanie, lacnejšie testovanie a menšiu plochu pre bezpečnostné chyby.

Výsledok zároveň posúva pozornosť od marketingového počtu agentov ku kvalite hodnotenia. Ak firma nevie jednoznačne určiť, či bola úloha splnená, zložitejšia orchestrácia jej nepomôže. Pri nasadení je preto dôležité vytvoriť reprezentatívnu sadu úloh, merať úspešnosť koncového stavu a sledovať cenu, čas, počet zásahov človeka aj porušenia pravidiel. Samotný pôsobivý priebeh konverzácie nie je dôkazom spoľahlivosti.

Inferencia sa rozdeľuje podľa charakteru práce

Cerebras vysvetľuje rozdiel medzi fázou „prefill“, v ktorej systém spracuje vstupný kontext, a fázou „decode“, v ktorej postupne generuje nové tokeny. Tieto fázy majú odlišný pomer výpočtov k presunu dát. Prefill dokáže vo väčšej miere využiť masívny paralelný výpočtový výkon, zatiaľ čo decode môže byť výraznejšie obmedzený priepustnosťou pamäte a opakovaným prístupom k váham a KV cache.

Pri agregovanom prístupe vykonáva obe fázy rovnaký hardvér. Rozdelená inferencia ich oddeľuje a umožňuje prideliť každej fáze vhodnejší zdroj. Cerebras ide ešte ďalej a hovorí o heterogénnom rozdelení: prompt môžu spracovať partnerské akcelerátory, kým generovanie odpovede prevezme pool systémov s wafer-scale čipmi. Cieľom je zvýšiť počet súbežne obslúžených požiadaviek bez toho, aby používateľ dostával tokeny pomalšie.

Firma uvádza skoré päťnásobné zvýšenie kapacity pri nezmenenom počte svojich WSE systémov. Číslo nemožno automaticky preniesť na každý model ani pracovnú záťaž. Cerebras na stránke výslovne upozorňuje, že výsledky závisia od konfigurácie, modelu, dátumu a typu testu. Chýbajú aj úplné informácie potrebné na nezávislé porovnanie celkových nákladov, energetickej spotreby, latencie prenosu KV cache a správania pri rôznych dĺžkach kontextu.

Napriek tejto neistote je smer relevantný aj pre menší európsky trh. Cena AI služby sa neurčuje iba cenou samotného čipu. Rozhoduje využitie hardvéru, dávkovanie požiadaviek, dĺžka promptov, veľkosť cache, sieťový prenos a požadovaná odozva. Ak sa rozdielne fázy dajú plánovať samostatne, poskytovateľ môže kombinovať viac druhov akcelerátorov a znížiť závislosť od jedinej platformy. Na druhej strane vzniká zložitejšia sieťová a plánovacia vrstva, ktorú treba monitorovať a zabezpečiť.

Pre prevádzkovateľa slovenskej služby z toho nevyplýva povinnosť okamžite meniť infraštruktúru. Dôležitejšie je merať prefill a decode oddelene, sledovať čas do prvého tokenu aj rýchlosť ďalšej generácie a nehodnotiť systém iba jedným priemerom. Interaktívny asistent, dávkové sumarizovanie dokumentov a agent vykonávajúci stovky krátkych volaní majú odlišné profily. Architektúra vhodná pre jeden z nich môže byť pre druhý zbytočne drahá.

Agenti pri migrácii cloudu: automatizácia s hranicami

AWS Professional Services predstavilo viacagentový rámec postavený na Amazon Bedrock AgentCore, ktorý má podporovať podnikové migrácie do cloudu. Podľa AWS špecializované agenty pokrývajú zisťovanie stavu prostredia, tvorbu infraštruktúry ako kódu, riadenie portfólia aj činnosti po migrácii. Firma tvrdí, že generovanie IaC sa v opísanom procese môže skrátiť z týždňov na minúty.

Ide o prípadovú štúdiu dodávateľa platformy, nie o nezávislé meranie naprieč organizáciami. Úspora preto závisí od kvality vstupnej dokumentácie, štandardizácie existujúcej infraštruktúry, rozsahu manuálneho schvaľovania a od toho, čo sa započítalo do času vývoja. Vytvorenie šablóny za niekoľko minút nie je to isté ako bezpečne dokončená migrácia produkčného systému.

Napriek tomu je cloudová migrácia vhodným príkladom úlohy, pri ktorej agent nemusí iba odpovedať textom. Potrebuje načítať inventár, vytvoriť návrh, pracovať s repozitárom, spustiť kontrolu a odovzdať zmenu na schválenie. Práve tu sa stretáva zistenie Apple s architektúrou AWS. Apple upozorňuje, že viac agentov samo osebe nezaručuje lepší výkon. AWS ukazuje proces, v ktorom môže mať rozdelenie rolí prevádzkový význam. Rozhodujúca otázka preto neznie „jeden alebo viac agentov“, ale „ktoré hranice zodpovedností sú merateľne užitočné“.

Pre podnik je kritické, aby agent nemal neobmedzené oprávnenia. Objavenie existujúcich zdrojov, návrh Terraformu alebo CloudFormation a vykonanie zmeny v produkcii by mali byť samostatné kroky s rozdielnymi právami. Návrh musí prejsť statickou kontrolou, bezpečnostnými politikami, odhadom nákladov a ľudským schválením. Auditný záznam má zachytiť vstupy, použitú verziu modelu, volania nástrojov aj výsledok. Bez týchto vrstiev môže rýchlosť iba urýchliť nesprávnu zmenu.

Slovenské firmy by mali venovať pozornosť aj prenositeľnosti. Ak agent vytvára štandardnú infraštruktúru ako kód a jeho výstupy zostávajú v bežnom verzovacom systéme, organizácia si zachováva väčšiu kontrolu. Ak je však celý rozhodovací proces uzavretý v jednom poskytovateľovi bez reprodukovateľných artefaktov, automatizácia môže zvýšiť technologickú závislosť.

Živé podnikové dáta namiesto skopírovaného kontextu

Druhý text AWS opisuje funkciu Live Data in Apps v službe Amazon Quick. Aplikácie vytvorené pomocou AI môžu podľa neho v čase použitia dopytovať riadené datasety Quick Sight namiesto toho, aby pracovali iba so statickou kópiou vytvorenou počas zostavenia aplikácie. Dopyt sa vykonáva v kontexte osoby, ktorá aplikáciu používa, takže sa majú uplatniť pravidlá zabezpečenia na úrovni riadkov a stĺpcov.

To rieši jeden z hlavných problémov podnikových asistentov. Ak sa dáta skopírujú do promptu, vektorového indexu alebo pomocnej databázy, môžu rýchlo zastarať a pôvodné prístupové pravidlá sa nemusia preniesť. Pri živom dopyte ostáva autoritatívny zdroj dát oddelený a výsledok môže rešpektovať identitu používateľa. Finančný pracovník tak môže dostať iné riadky než obchodník, hoci obaja používajú tú istú aplikáciu.

Ani tento model nie je automatickou zárukou bezpečnosti. Oprávnenia musia byť správne nakonfigurované v zdrojovom datasete a aplikácia nesmie odhaliť chránené informácie nepriamym spôsobom, napríklad cez agregácie, chybové správy alebo následné zhrnutie. Treba riešiť aj zaznamenávanie otázok, osobné údaje, uchovávanie výsledkov a možnosť, že model nesprávne vysvetlí správne načítané číslo.

Pre organizácie pôsobiace na Slovensku a v EÚ je užitočné oddeliť tri vrstvy: prístup k dátam, generovanie odpovede a vykonanie akcie. Identita používateľa má určovať, ktoré dáta možno načítať. Model má dostať iba nevyhnutný rozsah. Ak má odpoveď spustiť zmenu v účtovnom, personálnom alebo zákazníckom systéme, potrebuje ďalšie overenie. Takéto rozdelenie pomáha pri audite, minimalizácii údajov aj pri plnení interných bezpečnostných pravidiel.

Bezpečnosť a regulácia sa presúvajú do architektúry

V overených správach z 1. októbra nebola výrazná nová európska regulačná udalosť, preto by nebolo presné vytvárať dojem zásadnej legislatívnej zmeny. Regulačný význam dňa je skôr nepriamy. Všetky tri témy — agentické nadstavby, rozdelená inferencia a živé podnikové dáta — menia počet komponentov, medzi ktorými sa prenášajú údaje a rozhodnutia.

Pri agentoch je potrebné vedieť, ktorý komponent navrhol a ktorý vykonal akciu. Pri rozdelenej inferencii treba rozumieť tomu, kde sa spracúva prompt, kde sa nachádza cache a cez aké hranice sa prenáša. Pri živých dátach musí systém zachovať oprávnenia používateľa a doložiť pôvod odpovede. Súlad s pravidlami preto nevzniká až doplnením právneho dokumentu na konci projektu; musí byť súčasťou identity, logovania, dátových tokov a testovania od začiatku.

Dôležitým rizikom je aj falošný pocit kontroly. Viac špecializovaných agentov môže vyzerať bezpečnejšie, ale zároveň zväčšuje počet promptov, nástrojov a komunikačných rozhraní. Rozdelenie inferencie môže zlepšiť výkon, ale pridáva prenos citlivého kontextu medzi zariadeniami. Živé dopyty môžu zachovať aktuálnosť a prístupové pravidlá, no model stále môže výsledok skresliť. Každé architektonické zlepšenie preto potrebuje vlastný model hrozieb a overiteľné testy.

Čo si z 1. októbra odniesť

Spoločným menovateľom dňa je disciplína pri návrhu celého systému. Silnejší základný model môže odstrániť potrebu časti ručne vytvoreného agentického aparátu. Špecializovaný hardvér môže zrýchliť inferenciu, ak sa práca rozdelí podľa jej výpočtového charakteru. Podnikový agent môže pracovať s aktuálnymi dátami, ak sa identita a oprávnenia prenesú až k samotnému dopytu.

Pre menší tím je najrozumnejší postup inkrementálny. Najskôr vytvoriť jednoduchú merateľnú základnú líniu. Potom identifikovať skutočné úzke miesto: schopnosť modelu, prístup k dátam, latenciu, cenu, overovanie alebo ľudské schvaľovanie. Až následne pridať komponent, ktorý rieši konkrétny problém. Tento prístup je menej efektný než predstava autonómnej flotily agentov, ale poskytuje lepšiu kontrolu nad nákladmi a rizikami.

Zároveň treba zachovať odstup od uvádzaných čísel. Výsledok Apple je výskumné zistenie viazané na konkrétne benchmarky. Päťnásobná priepustnosť Cerebras pochádza zo skorých výsledkov výrobcu. Úspory pri migrácii a vlastnosti Amazon Quick opisuje AWS na vlastnej platforme. Všetky sú užitočnými signálmi, nie univerzálnymi garanciami.

Prvý október tak nepriniesol jednoduchý príbeh o ďalšom víťazovi modelového rebríčka. Priniesol dôležitejšiu pripomienku: hodnota AI sa čoraz viac rozhoduje mimo samotného modelu — v kvalite evaluácie, rozdelení výpočtov, správe identity, dostupnosti čerstvých dát a v hraniciach medzi návrhom a vykonaním akcie.

— Redakcia AI Feed