Preprint varuje, že kvantizácia KV cache môže oslabiť bezpečnostné odmietanie modelov

Nový preprint na arXive upozorňuje na málo viditeľné riziko optimalizácie inferencie veľkých jazykových modelov. Kvantizácia KV cache, teda znižovanie presnosti pamäte kľúčov a hodnôt v transformerovej pozornosti, sa bežne používa na šetrenie pamäte a zvýšenie priepustnosti. Autori však tvrdia, že pri nízkych bitových šírkach môže dôjsť k oslabeniu bezpečnostného správania modelu, hoci perplexita alebo bežná presnosť sa zmenia len mierne.

KV cache je prakticky veľmi dôležitá. Pri generovaní dlhých odpovedí alebo obsluhe mnohých používateľov naraz model opakovane využíva uložené reprezentácie predchádzajúcich tokenov. Táto pamäť rastie s dĺžkou kontextu a počtom paralelných požiadaviek, takže jej kompresia je lákavá pre každého prevádzkovateľa inferencie. Ak sa však hodnotí iba rýchlosť, spotreba pamäte a priemerná kvalita textu, môžu uniknúť zmeny v tom, ako model reaguje na škodlivé alebo zakázané požiadavky.

Štúdia skúma jedenásť inštrukčne doladených modelov od 3,8 do 72 miliárd parametrov a päť benchmarkov s takmer 1 900 promptmi. Podľa abstraktu sa ukazuje, že neexistuje univerzálne bezpečná bitová šírka. Niektoré modely znášajú kompresiu lepšie, iné prechádzajú ostrým zlomom, ktorý nie je viditeľný v štandardných metrikách. Autori uvádzajú príklad, kde Mistral-7B stráca časť odmietnutí pri veľmi malej zmene perplexity.

Mechanistické vysvetlenie je pre prevádzku modelov podstatnejšie než samotné čísla. Autori tvrdia, že bezpečnostné vlastnosti modelu môžu ležať v nízkorozmernom podpriestore aktivácií, ktorý je výrazne citlivejší na kvantizačný šum než celková reprezentácia. Priemerná metrika ako perplexita sa pozerá na široký obraz jazykovej kvality, no bezpečnostné odmietanie môže závisieť od jemných smerov v priestore stavov. Ak ich kvantizácia poškodí, model stále píše plynulo, ale menej spoľahlivo odmieta rizikové pokyny.

Pre inference stacky je to nepríjemná správa. Optimalizačné rozhodnutia sa často robia pod tlakom nákladov a latencie: menšia cache znamená viac používateľov na rovnakom hardvéri alebo dlhší kontext bez výmeny GPU. Ak však kompresia mení bezpečnostný profil modelu, nestačí prejsť bežný regresný test. Každá kombinácia modelu, kvantizačnej metódy, bitovej šírky a nasadzovacieho prostredia by mala mať aj bezpečnostnú regresiu.

Autori navrhujú diagnostiku Per-Channel Reduction, ktorá má pomôcť rozlíšiť rôzne mechanizmy zlyhania. Z praktického pohľadu je dôležité už samotné posolstvo: bezpečnosť nie je statická vlastnosť modelu oddelená od infraštruktúry. Model, ktorý bol doladený a otestovaný v jednej numerickej konfigurácii, nemusí mať identické správanie po agresívnej kvantizácii cache. To platí najmä pri modeloch nasadených v citlivých doménach alebo produktoch s prísnymi pravidlami odmietania.

Štúdia tiež zapadá do širšieho trendu, v ktorom sa hodnotenie LLM presúva pod úroveň jednoduchých leaderboardov. Výkon modelu závisí od runtime rozhodnutí: kvantizácie váh, kvantizácie KV cache, attention kernelov, dĺžky kontextu, šablóny promptu aj bezpečnostných filtrov. Ak sa zmení niektorá vrstva, treba znovu overiť nielen schopnosti, ale aj hranice správania. Lacnejšia inferencia môže byť dobrá, ale nemá byť slepá voči alignmentu.

Pre firmy je praktické odporúčanie jednoduché. Ak zavádzajú nízkobitovú KV cache kvôli nákladom, mali by ju testovať na vlastných bezpečnostných scenároch a porovnať výsledky s referenčnou konfiguráciou. Nestačí merať len priemernú odpoveď alebo presnosť na internom QA datasete. Treba sledovať, či model stále odmieta zakázané požiadavky, či nemení tón pri citlivých témach a či sa zlyhania nekoncentrujú v dlhých kontextoch.

Keďže ide o preprint, závery si vyžiadajú replikáciu a testovanie na ďalších modeloch. Už teraz však práca nastavuje dôležitú latku pre infraštruktúrne optimalizácie. Kvantizácia sa nemá hodnotiť len ako technika na úsporu pamäte, ale ako zásah do celého správania modelu. Ak sa alignment dokáže zrútiť bez výrazného signálu v perplexite, potom sa bezpečnostné testy musia stať súčasťou každej serióznej optimalizácie inferencie.