Prompt injection súvisí so zámenou rolí: model viac verí štýlu textu než jeho pôvodu

Výskumníci Charles Ye, Jasmine Cui a Dylan Hadfield-Menell opisujú prompt injection ako dôsledok hlbšieho problému: veľké jazykové modely nie vždy spoľahlivo rozlišujú, kto v ich kontexte práve „hovorí“. Práca prijatá na konferenciu ICML 2026 tvrdí, že model sa pri určovaní autority textu neopiera iba o technické značky rolí, ale vo veľkej miere aj o štýl samotného textu. Útočník preto môže napodobniť spôsob, akým vyzerá používateľský pokyn alebo interné uvažovanie modelu, a presvedčiť systém, aby nedôveryhodnému obsahu prisúdil vyššie oprávnenie.

Jazykový model dostáva rozhovor, systémové pokyny, výsledky nástrojov aj svoje predchádzajúce odpovede ako jeden dlhý sled tokenov. Aplikácia síce jednotlivé časti označí rolami, napríklad systém, používateľ, asistent alebo nástroj, no model ich napokon spracúva v spoločnom kontexte. Tieto značky majú fungovať podobne ako typový systém: systémový pokyn má vyššiu autoritu, zatiaľ čo text stiahnutý z webu má byť iba údajom. Prompt injection nastane vtedy, keď model túto hranicu nedodrží a príkaz ukrytý vo webovej stránke začne chápať ako legitímnu požiadavku.

Autori vytvorili lineárne sondy, ktorými sledujú, akej role model interne pripisuje jednotlivé tokeny. Použili obsahovo neutrálne ukážky zabalené do rôznych rolí, aby sonda nemerala iba to, či text vyzerá ako otázka, odpoveď alebo úvaha. Následne porovnávali, čo sa stane po odstránení značiek alebo po vložení celého rozhovoru do inej role. Výsledok je bezpečnostne nepríjemný: text napísaný štýlom interného uvažovania si zachoval znaky tejto role aj vtedy, keď bol technicky označený ako používateľský obsah.

Zistenie naznačuje, že štýl dokáže prekryť skutočný pôvod správy. Ak text znie ako pokyn používateľa, model ho môže takto vnímať aj vo výstupe nástroja. Ešte závažnejšia je technika, ktorú autori nazývajú falšovanie reťazca uvažovania. Útočný text napodobní stručný štýl interných úvah a vloží doň vymyslené odôvodnenie, prečo je riziková požiadavka prípustná. Model potom nemusí argument znova kriticky posudzovať; môže ho prijať ako vlastný už dosiahnutý záver.

Takéto vysvetlenie pomáha pochopiť rozdiel medzi výsledkami statických benchmarkov a adaptívnymi útokmi. Model sa môže naučiť rozpoznávať známe formulácie typu „ignoruj predchádzajúce pokyny“ a na testovacej sade dosahovať veľmi dobré skóre. Skúsený útočník však mení slovník, tón aj štruktúru dovtedy, kým nájde podobu, ktorá napodobní dôveryhodnú rolu. Obrana založená na zapamätaní známych útokov je preto krehká; robustnejší systém by musel správne vnímať pôvod obsahu bez ohľadu na jeho štylistické vlastnosti.

Práca zároveň neznamená, že každý model zlyhá pri každom útoku alebo že ochrany nemajú význam. Ide o mechanistickú hypotézu podopretú experimentmi na vybraných modeloch a rolách. Výskumníci sami rozlišujú medzi meraním interných reprezentácií a úplným dôkazom správania v každom produkčnom systéme. Výsledky však ukazujú opakovateľnú slabinu: rola nie je pre model vždy pevná bezpečnostná hranica, ale vlastnosť, ktorú možno ovplyvniť obsahom.

Pre tvorcov agentov je praktickým dôsledkom potreba viacvrstvovej obrany. Citlivé operácie nemožno chrániť iba vetou v systémovom prompte. Nástroje by mali mať čo najužšie oprávnenia, rizikové akcie majú vyžadovať explicitné potvrdenie a dáta z webu, e-mailu či dokumentov sa nesmú automaticky premieňať na príkazy. Dôležité je aj oddeliť čítanie nedôveryhodného obsahu od vykonávania operácií, obmedziť prístup k tajomstvám a viesť auditnú stopu rozhodnutí agenta.

Výskum tiež spochybňuje predstavu, že označenie obsahu ako výstupu nástroja samo osebe vyrieši problém. Takéto označenie zostáva potrebné, ale model ho môže interpretovať probabilisticky, nie ako neporušiteľné pravidlo. Bezpečnostná architektúra preto musí počítať s tým, že model je nespoľahlivý rozhodovací prvok. Oprávnenie na odoslanie súboru, nákup, zmenu konfigurácie alebo prístup k databáze má presadzovať aplikačná vrstva, nie jazykový úsudok modelu.

Pre hodnotenie bezpečnosti z toho vyplýva potreba adaptívnych testov. Jednorazová sada známych promptov môže merať najmä to, čo už model videl počas tréningu. Užitočnejšie sú útoky, ktoré reagujú na odpoveď systému, menia štýl a skúšajú viac rolí aj kanálov. Autori zverejnili kód a demonštračný notebook, takže ich sondy a útoky možno nezávisle preverovať. To je dôležité aj pre porovnanie otvorených a uzavretých modelov, pri ktorých sa formáty rolí a prístup k aktiváciám líšia.

Najsilnejším záverom nie je tvrdenie, že jazykové modely sa nedajú používať bezpečne, ale že prompt injection nemožno redukovať na niekoľko zakázaných viet. Ide o zlyhanie pri pripisovaní autority textu v spoločnom kontexte. Kým modely nebudú spoľahlivejšie rozlišovať pôvod informácií od ich štýlu, prevádzkovatelia musia predpokladať, že nedôveryhodný obsah môže ovplyvniť rozhodovanie agenta. Bezpečnosť preto musí stáť na obmedzených oprávneniach, kontrolách mimo modelu a overovaní každej operácie s reálnym dopadom.