Apple ukazuje, že bezpečnostné odmietanie vie prelomiť aj jeden neurón

Apple zverejnil výskumnú prácu, ktorá dáva veľmi konkrétnu podobu otázke, či je bezpečnostné ladenie veľkých jazykových modelov rozložené v celej sieti, alebo či ho môžu niesť malé a zraniteľné mechanizmy. Tím Hamid Kazemi, Atoosa Chegini a Maria Safi tvrdí, že v skúmaných modeloch našiel dve odlišné skupiny neurónov: jedny riadia odmietnutie škodlivej požiadavky, druhé reprezentujú samotný škodlivý koncept. Najdôležitejšie je, že zásah do jediného neurónu podľa autorov stačil na zmenu správania bez ďalšieho trénovania a bez špeciálneho promptovania.

Práca preto nie je ďalším katalógom jailbreakov, ale mechanistickou sondou do modelu. Autori opisujú dva smery zlyhania. Keď potlačili vybraný odmietací neurón, modely vedeli vyjadriť obsah, ktorý by pri bežnom bezpečnostnom nastavení odmietli. Keď naopak zosilnili neurón naviazaný na škodlivý koncept, model mohol produkovať nežiaduce informácie aj pri nevinných vstupoch. Experimenty prebehli naprieč siedmimi modelmi z dvoch modelových rodín, vo veľkostiach od 1,7 miliardy po 70 miliárd parametrov.

Pre bezpečnostné tímy je zaujímavé najmä rozlíšenie medzi poznaním a jeho zverejnením. Model môže mať interné reprezentácie nebezpečných postupov, no bezpečnostné ladenie sa často prejaví ako brána, ktorá rozhoduje, či sa tieto reprezentácie dostanú do odpovede. Ak je takáto brána koncentrovaná do malej množiny jednotiek, potom bežné predpoklady o robustnosti nemusia stačiť. Nejde len o to, či model odmieta správne v testovacej sade, ale aj o to, aká krehká je cesta k tomuto odmietnutiu.

Apple tým nepriamo ukazuje aj limity povrchových evaluácií. Benchmark môže namerať nízku mieru škodlivých odpovedí, no nemusí odhaliť, či rovnaké správanie závisí od niekoľkých kauzálne dôležitých neurónov. Ak áno, útočník s prístupom k váham, adaptérovej vrstve alebo jemnému ladeniu nemusí hľadať rozsiahlu obchádzku. Stačí mu nájsť citlivé miesto v mechanizme odmietania. To je dôležité najmä pri open-weight modeloch a pri podnikových variantoch, ktoré sa ďalej dolaďujú na interné dáta.

Výsledok zároveň netreba čítať ako dôkaz, že všetky bezpečnostné mechanizmy v každom modeli stoja na jednom neuróne. Autori skúmajú konkrétne modely a konkrétne triedy škodlivých požiadaviek. Hodnota práce je skôr v metodike: ukazuje, že bezpečnostné vlastnosti sa dajú testovať kauzálne, nie iba štatisticky na výstupe. Pri návrhu evaluačných protokolov to podporuje kombináciu behaviorálnych testov, mechanistickej interpretovateľnosti a stresových zásahov do aktivácií.

Praktický dopad sa týka aj dodávateľov modelov. Ak sa bezpečnostné odmietanie ukáže ako lokálne, samotné doladenie na odmietacie odpovede môže byť nedostatočné. Vývojári budú potrebovať techniky, ktoré rozptýlia bezpečnostné správanie do robustnejších reprezentácií, alebo dodatočné vrstvy kontroly mimo samotného modelu. To môže znamenať nezávislé klasifikátory, monitorovanie interných aktivácií, tvrdšie testy po každom dolaďovaní a opatrnejšie používanie malých adaptérov v citlivých prostrediach.

Zaujímavé je aj opačné riziko: zosilnenie konceptového neurónu môže posunúť model k nebezpečnému obsahu bez toho, aby používateľ priamo žiadal škodlivý návod. V praxi to pripomína problém latentných asociácií, ktoré sa môžu aktivovať pri nečakaných formuláciách alebo po zmene systémového kontextu. Bezpečnosť preto nie je iba otázkou správneho odmietnutia explicitného útoku, ale aj otázkou stability vnútorných reprezentácií pri bežných úlohách.

Pre podniky, ktoré modely ďalej upravujú, z práce vyplýva jednoduché varovanie: po každom zásahu do váh treba overovať nielen presnosť a štýl odpovedí, ale aj to, či sa nezmenili mechanizmy odmietania. Jemné ladenie na doménové dáta, kvantizácia alebo kombinácia viacerých adaptérov môže mať vedľajšie účinky, ktoré sa v bežnom chate neukážu. Apple tak posúva diskusiu o bezpečnosti od otázky „prešiel model testom?“ k otázke „prečo testom prešiel a ako ľahko sa to dá zmeniť?