IBM zlepšuje spoľahlivosť agentov naučenými pravidlami, bez zmeny váh modelu

IBM Research predstavilo nové výsledky systému ALTK-Evolve, ktorý zlepšuje zákazníckych AI agentov bez dotrénovania ich základného jazykového modelu. Namiesto úprav váh analyzuje predchádzajúce pokusy o vyriešenie úloh a vytvára z nich krátke pracovné pravidlá. Tie následne pridáva do systémového promptu. V experimente zverejnenom 20. októbra tak výskumníci zvýšili nielen priemernú úspešnosť agenta s GPT-4.1, ale najmä podiel úloh, ktoré zvládol správne vo všetkých štyroch opakovaniach.

Výsledok je zaujímavý pre firmy, ktoré už majú funkčného asistenta, ale narážajú na jeho nevyrovnané správanie. Neznamená však, že starší model všeobecne prekonáva novšie systémy. Ide o konkrétne domény benchmarku τ²-bench, konkrétne nastavenie nástrojov a meranie so simulovanými zákazníkmi. Navyše treba oddeliť výsledky na odložených testovacích úlohách od porovnania na celom súbore, ktorý zahŕňa aj úlohy použité pri vytváraní pravidiel.

Pamäť tu znamená pracovné pravidlá, nie nové váhy

Základom experimentu je jednoduchý agent typu ReAct, ktorý strieda uvažovanie a vykonávanie akcií. Pracuje s pravidlami zákazníckej podpory a nástrojmi na operácie, ako sú vyhľadanie objednávky, vrátenie peňazí alebo zmena rezervácie. IBM uvádza, že v tomto nastavení ponechalo pôvodnú konštrukciu agenta, doménové pravidlá aj nástroje benchmarku. Menilo blok naučených odporúčaní pripojený za systémové pravidlá. Rovnaký GPT-4.1 zabezpečoval správanie agenta aj získavanie odporúčaní z jeho tréningových pokusov.

Takto získaná pamäť nie je úplný archív rozhovorov, ktorý by model musel pri každom rozhodnutí znovu prečítať. Je to súbor zovšeobecnených skúseností: najprv overiť totožnosť zákazníka, pred zmenou objednávky zhrnúť zamýšľaný zásah a získať potvrdenie alebo pri refundácii vysvetliť jednotlivé položky. Podstatná je premena konkrétneho zlyhania na pravidlo použiteľné v ďalšom prípade. Samotné uloženie histórie by ešte nezaručovalo, že agent nájde relevantnú skúsenosť a správne ju využije.

Verejný repozitár ALTK-Evolve dopĺňa širší technický obraz. Projekt obsahuje rozhrania na ukladanie priebehov úloh, získavanie odporúčaní, riešenie ich konfliktov a sledovanie pôvodu. To však netreba zamieňať s rozsahom aktuálneho experimentu: publikované zákaznícke testy skúmajú predovšetkým účinok pravidiel vložených do promptu. Nepotvrdzujú automaticky prínos každej funkcie celého pamäťového systému. Praktickou výhodou takéhoto oddelenia je možnosť meniť a kontrolovať pracovné skúsenosti bez zásahu do samotného modelu.

Rozhoduje opakovateľnosť, nie jeden vydarený rozhovor

IBM používa dve metriky. Priemerná úspešnosť vyjadruje, ako často agent úlohu vyriešil naprieč pokusmi. Prísnejšia metrika Pass^4 sa sústreďuje na úlohy zvládnuté pri všetkých štyroch opakovaniach. Rozdiel je pre zákaznícku podporu zásadný: asistent, ktorý raz vráti peniaze správne a inokedy pri rovnakej požiadavke poruší postup, môže mať prijateľný priemer, ale stále predstavuje prevádzkové riziko. Ani úspech vo všetkých štyroch pokusoch pritom nie je zárukou bezchybnosti pri ďalších zákazníkoch.

Na odloženom testovacom súbore pre maloobchod, ktorý obsahoval 40 úloh, dosiahol základný GPT-4.1 priemernú úspešnosť 78,1 percenta a Pass^4 na úrovni 57,5 percenta. S úplným konsolidovaným súborom odporúčaní sa hodnoty zvýšili na 82,5 a 67,5 percenta. Prísnejšia spoľahlivosť teda stúpla o desať percentuálnych bodov, zatiaľ čo priemerná úspešnosť vzrástla menej. Práve tento rozdiel podporuje interpretáciu, že pravidlá pomáhajú stabilizovať správanie, nielen občas nájsť lepšie riešenie.

V leteckej doméne bol obraz odlišný. Na 20 testovacích úlohách dosiahol základ priemernú úspešnosť 57,5 percenta a Pass^4 na úrovni 35 percent. Úplný súbor odporúčaní posunul priemer na 65 percent, ale Pass^4 iba na 40 percent. Menší, prísnejšie vybraný súbor pravidiel dosiahol nižší priemer 60 percent, no lepšie Pass^4, konkrétne 45 percent. Viac uložených skúseností preto nebolo automaticky lepšie pre každý cieľ. Výber nastavenia závisel aj od toho, či prevádzkovateľ uprednostní priemer alebo konzistentnosť.

Prvé miesto v porovnaní potrebuje vysvetlenie

Najvýraznejšie tvrdenie IBM sa týka maloobchodného porovnania s rebríčkom zachyteným k 12. októbru 2026. Agent s GPT-4.1 a naučenými odporúčaniami podľa autorov dosiahol približne 67,5 percenta Pass^4, čím prekonal porovnávané maloobchodné položky. Nie je však presné tento výsledok prezentovať ako nezávisle potvrdené prvenstvo samotného jazykového modelu. Súťaží tu celý systém vrátane dodatočne vytvorených pravidiel, nie neupravený GPT-4.1 proti ostatným modelom za úplne totožných podmienok.

Verejný návrh zaradenia výsledku do repozitára benchmarku poskytuje dôležité podrobnosti. Uvádza 114 úloh zo základného súboru, štyri pokusy na každú úlohu a hodnotu Pass^4 67,54 percenta. Zároveň výslovne priznáva upravený systémový prompt a skutočnosť, že základný evaluačný súbor obsahuje aj tréningové úlohy, z ktorých vznikali odporúčania. Samotný návrh preto očakáva označenie Unverified. Pri kontrole zostával otvorený, bez uvedených recenzií; nejde teda o dôkaz dokončeného nezávislého overenia výsledkov.

To nevyvracia samostatne publikované zlepšenie na odložených testovacích úlohách. Mení to však význam marketingovo príťažlivého porovnania s rebríčkom. Rozumnejšie je hovoriť o sľubnom výsledku konkrétneho agentického systému, ktorý si zaslúži reprodukciu. Pôvodná práca autorov τ²-bench nezávisle vysvetľuje, prečo nestačí hodnotiť iba plynulosť odpovedí: agent musí koordinovať komunikáciu a činnosti v prostredí s overiteľnými výsledkami. Táto metodika dopĺňa kontext, ale sama osebe nepotvrdzuje nové čísla IBM ani ich poradie medzi konkurentmi.

Dlhší prompt má účet, ktorý treba správne čítať

Naučené odporúčania neprichádzajú zadarmo. V maloobchodnej doméne obsahoval menší výber 31 pravidiel a úplný konsolidovaný súbor 292. V leteckej doméne išlo o 14 a 101 pravidiel. IBM ich rozlišovalo podľa toho, v koľkých tréningových úlohách mali oporu. Prísnejší výber ponechával pravidlá podporené aspoň troma úlohami. Výsledky ukazujú, že prah výberu je parameter na overovanie, nie univerzálne nastavenie, ktoré možno bez ďalších testov preniesť do každého odvetvia.

Autori uvádzajú aj náklady experimentálnych rozhovorov. Na celom základnom súbore zvýšil úplný balík pravidiel cenu maloobchodného rozhovoru z 0,084 na 0,139 dolára a leteckého z 0,081 na 0,107 dolára. Dôležitý detail: tieto sumy zahŕňajú agenta aj model simulujúci zákazníka. Nie sú preto priamo cenníkom produkčnej podpory. IBM nárast pripisuje predovšetkým vstupným tokenom; pri porovnávaní úspešne vyriešených zhodných prípadov nespočíval prínos jednoducho v tom, že by agent viedol výrazne dlhšie rozhovory.

Pre firmu je užitočnejšou otázkou cena správne dokončeného prípadu než cena jedného volania modelu. Drahší prompt môže dávať zmysel, ak obmedzí opravy, opakované kontakty a zásahy operátora. Zverejnený experiment však takúto celkovú ekonomickú návratnosť nemeria. Chýba do nej započítať získavanie a kontrolu pravidiel, ich aktualizáciu, prevádzku pamäte aj následky nesprávnych zásahov. Výsledok teda otvára možnosť optimalizácie, nie hotový dôkaz, že pamäťová vrstva zníži konečné náklady každej zákazníckej linky.

Čo by z toho mohol využiť slovenský e-shop

Predstaviteľným slovenským použitím je agent na zmeny objednávok a vybavovanie požiadaviek na vrátenie tovaru. Pracovná pamäť by mohla zachytávať opakujúce sa procesné chyby: nedostatočné overenie zákazníka, preskočené potvrdenie zmeny alebo nejasné vysvetlenie ďalšieho postupu. To je redakčná aplikácia princípu, nie výsledok testu IBM na slovenských zákazníkoch. Zverejnené údaje nepotvrdzujú, že rovnaký prínos vznikne v slovenčine, pri miestnych obchodných podmienkach alebo pri odlišných informačných systémoch.

Podstatné je oddeliť naučenú skúsenosť od záväznej politiky firmy. Odporúčanie získané z minulého rozhovoru nemá samo vytvárať nové oprávnenie na refundáciu ani prepisovať aktuálne podmienky predaja. Užitočné by bolo pravidlá verzovať, zaznamenávať ich pôvod a pred nasadením preverovať konflikty s oficiálnym postupom. Repozitár Evolve dokumentuje evidenciu pôvodu odporúčaní, čo môže takúto kontrolu podporiť. Zodpovednosť za schválenie ich obsahu a za oprávnenia nástrojov však zostáva na prevádzkovateľovi celého systému.

Rovnako treba rozlišovať skúsenosť od osobných údajov. Poučenie, že agent musí pred zmenou objednávky overiť zákazníka, sa dá uložiť bez jeho mena, adresy a obsahu reklamácie. Nekontrolované ukladanie celých rozhovorov by vytváralo iný problém než ten, ktorý má pamäť vyriešiť. Pri praktickom hodnotení by preto dávalo zmysel sledovať nielen úspešnosť úloh, ale aj prenášanie údajov medzi zákazníkmi, nesprávne zovšeobecnenia a správanie po zmene interných pravidiel. Tieto vlastnosti nemožno odvodiť zo samotného skóre Pass^4.

Sľubná metóda ešte nie je hotová produkčná záruka

Najsilnejšou časťou oznámenia je kontrolované porovnanie rovnakého základného agenta s odporúčaniami a bez nich. Ukazuje, že časť chýb môže byť opraviteľná lepším pracovným kontextom namiesto okamžitej výmeny alebo dotrénovania modelu. Najväčšou neistotou zostáva prenos do iných domén a reálnej prevádzky. Testovacie súbory majú iba desiatky úloh, zákazníkov predstavuje ďalší model a pravidlá vznikajú v rámci konkrétneho benchmarkového prostredia. Dlhodobé správanie pri meniacich sa podmienkach tým zatiaľ preukázané nie je.

Pre slovenské vývojárske tímy je preto praktickým záverom merateľný experiment, nie plošné zapnutie samočinnej pamäte. Porovnanie na oddelených prípadoch by malo ukázať, či pravidlá zvyšujú opakovateľnosť bez neprijateľného rastu nákladov a nových procesných chýb. ALTK-Evolve poskytuje otvorenú implementáciu a konkrétnu metodickú stopu, podľa ktorej sa dá takýto prístup skúmať. Nové výsledky IBM posilňujú myšlienku, že spoľahlivosť agenta závisí aj od jeho pracovnej pamäte. Neposkytujú však skratku od dobrého benchmarku k bezpečnému samostatnému rozhodovaniu nad zákazníckymi peniazmi.