Riadenie správania LLM má skrytú cenu: účinnosť môže prudko zhoršiť plynulosť

Kontrola modelu nie je iba otázkou úspešnosti

Vývojári jazykových modelov potrebujú ich správanie usmerňovať bez toho, aby pri každej zmene opakovali drahý tréning. Model môže dostať pokyn, aby sa vyhýbal toxickému obsahu, odpovedal určitým štýlom alebo potlačil konkrétny koncept. Nová systematická štúdia prezentovaná na stránke Apple Machine Learning Research však upozorňuje, že hodnotiť iba to, či sa požadované správanie podarilo vyvolať alebo odstrániť, nestačí. Metóda môže byť podľa úzkej metriky úspešná a súčasne produkovať menej prirodzený, opakujúci sa alebo inak degradovaný text.

Autori Iuri Macocco, Pau Rodríguez Lopez, Arno Blaas, Luca Zappella, Marco Baroni a Xavier Suau Cuadros porovnali viacero spôsobov podmieňovania modelov pri dvoch odlišných úlohách: vkladaní požadovaného konceptu a jeho odstraňovaní. Ich hlavný výsledok nie je tvrdením, že jeden univerzálny postup poráža všetky ostatné. Práve naopak: účinnosť zásahu, plynulosť generovania a typ modelu vytvárajú kompromis, ktorý sa pri nasadení musí merať spoločne.

Štúdia podľa zverejneného opisu zistila, že výpočtovo úsporné metódy založené na riadení aktivácií často dosahujú zmenu správania za cenu výrazného poklesu plynulosti. Aktivácie sú vnútorné reprezentácie, ktoré model vytvára počas spracovania textu. Namiesto úpravy všetkých váh možno do týchto reprezentácií počas inferencie pridať smer alebo vektor spojený s určitým konceptom. Takýto zásah je lákavý, pretože môže byť lacnejší a pružnejší než úplné doladenie modelu, no výsledok nemožno posudzovať iba podľa sily požadovaného efektu.

Inštrukčné ladenie mení pravidlá hry

Dôležitým zistením je rozdiel medzi základnými a inštrukčne ladenými modelmi. Autori uvádzajú, že riadenie aktivácií bolo na modeloch upravených na plnenie pokynov podstatne menej účinné než na ich základných verziách. To je prakticky významné, pretože väčšina používateľských asistentov a produkčných rozhraní nestavia na surových základných modeloch, ale na modeloch po inštrukčnom ladení a často aj po ďalšom bezpečnostnom zarovnaní.

Výsledok naznačuje, že skúsenosť získaná na základnom modeli sa nedá automaticky preniesť na jeho chatovú alebo asistentskú verziu. Inštrukčné ladenie môže zmeniť spôsob, akým sa významy a správanie prejavujú vo vnútorných reprezentáciách. Riadiaci vektor, ktorý na základnom modeli spoľahlivo posúva výstup, preto nemusí mať na upravenom modeli rovnaký účinok. Pre tímy vyvíjajúce bezpečnostné vrstvy to znamená, že zásah treba overovať na presnej verzii modelu používanej v produkcii.

Širší výskum ukazuje, prečo boli tieto metódy pôvodne príťažlivé. Práca o Contrastive Activation Addition demonštrovala vytváranie riadiacich vektorov z rozdielov aktivácií medzi pozitívnymi a negatívnymi príkladmi správania. Na modeli Llama 2 Chat dokázala meniť sledované vlastnosti aj nad rámec systémového promptu či doladenia a podľa autorov iba mierne znižovala všeobecné schopnosti. Skoršia práca o representation engineering zasa predstavila prácu s populáciami reprezentácií ako cestu ku kontrole a lepšiemu pochopeniu javov, ako sú úprimnosť, neškodnosť alebo tendencia vyhľadávať moc.

Nová štúdia tento smer nevyvracia. Dopĺňa ho upozornením, že výsledok závisí od hodnotiaceho rámca. Ak experiment sleduje iba skóre cieľového správania, môže prehliadnuť poškodenie bežného jazyka. Rozdielne závery starších a novších experimentov navyše nemusia byť priamym rozporom: môžu vychádzať z iných modelov, dát, intenzity zásahu, cieľových konceptov alebo metrík kvality. Bez zjednoteného protokolu preto nie je bezpečné robiť všeobecné závery z jedného benchmarku.

Prompt, doladenie alebo zásah do aktivácií

Pri vkladaní konceptu sa podľa autorov ukázali ako použiteľné jednoduché promptovanie aj plné supervidované doladenie. Ani jeden z týchto postupov však nebol rovnako dobrý pri odstraňovaní konceptov. Rozdiel medzi vložením a odstránením je podstatný. Model možno relatívne ľahko naviesť, aby častejšie používal určitý štýl alebo tému, no spoľahlivo potlačiť už naučenú reprezentáciu bez vedľajších účinkov je náročnejšie.

Pre prax z toho vyplýva, že výber metódy sa má začínať definovaním cieľa. Ak organizácia potrebuje meniť tón interného asistenta, môže postačovať prompt a kontrola výstupu. Ak chce stabilne zaviesť doménové správanie, môže byť vhodnejšie doladenie. Pri bezpečnostnom odstraňovaní neželaných vlastností však nestačí dokázať, že model menej často vysloví sledovaný koncept. Treba zároveň skúšať obchádzanie ochrany, zachovanie užitočných schopností, plynulosť, faktickosť a správanie na vstupoch, pri ktorých zásah vôbec nemal byť potrebný.

Súvisiaca práca Apple o dynamicky škálovanom riadení aktivácií ponúka jednu možnú reakciu na tento problém. Namiesto rovnakého zásahu pri každom vstupe upravuje jeho silu podľa kontextu a zasahuje výraznejšie iba vtedy, keď rozpozná neželané správanie. Autori tejto práce tvrdia, že takýto prístup zlepšuje kompromis medzi potlačením toxicity a zachovaním užitočnosti, pričom ho možno pripojiť k rôznym metódam riadenia. Ide však o samostatnú štúdiu, nie o dôkaz, že adaptívne škálovanie odstráni všetky obmedzenia identifikované v novom porovnaní.

Zaujímavý je aj poznatok, že lacné textové metriky podľa autorov silno korelovali s drahším hodnotením pomocou LLM sudcu. Ak sa výsledok potvrdí aj na ďalších modeloch a jazykoch, experimenty s riadením by mohli byť dostupnejšie. Automatické metriky môžu rýchlo odhaliť opakovanie, narušenú plynulosť alebo inú degradáciu a obmedziť počet výstupov posielaných silnému hodnotiacemu modelu či ľudským anotátorom. Korelácia však neznamená úplnú zameniteľnosť, najmä pri jemných významových chybách a bezpečnostne citlivých prípadoch.

Čo to znamená pre slovenské nasadenia

Slovenské tímy by mali byť pri preberaní týchto výsledkov obzvlášť opatrné. Metrika overená prevažne na anglických dátach nemusí rovnako dobre zachytiť neprirodzený slovosled, nesprávne skloňovanie, miešanie češtiny či stratu diakritiky. Riadenie aktivácií môže zároveň pôsobiť odlišne medzi jazykmi, pretože reprezentácia rovnakého konceptu nemusí byť v modeli úplne spoločná. Produkčný test by preto mal obsahovať prirodzené slovenské otázky, viac štýlov komunikácie aj preklady významovo rovnakých vstupov.

Praktický evaluačný balík by mal oddeliť najmenej štyri osi: úspešnosť požadovaného zásahu, jazykovú kvalitu, zachovanie všeobecných schopností a bezpečnosť na hraničných prípadoch. Výsledky treba porovnať so základnou verziou modelu bez zásahu a s jednoduchšími alternatívami, napríklad systémovým promptom. Dôležitá je aj krivka medzi intenzitou zásahu a kvalitou, nie iba jedno zvolené nastavenie. Práve na tejto krivke sa môže ukázať, že malé zvýšenie kontroly spôsobuje neprimerane veľkú stratu použiteľnosti.

Z verejného opisu zatiaľ nepoznáme všetky detaily potrebné na posúdenie zovšeobecniteľnosti: úplný zoznam testovaných modelov, jazykové pokrytie, rozsah konceptov ani správanie pri dlhých konverzáciách. Nie je tiež jasné, či rovnaká korelácia lacných metrík s LLM hodnotením vydrží pri kreatívnom texte, kóde alebo menších lokálnych modeloch. Výsledky preto predstavujú silný argument pre širšie meranie, nie definitívny verdikt nad celou triedou metód.

Najdôležitejší odkaz pre nasadenie je jednoduchý: kontrola správania modelu sa nesmie zamieňať s celkovou kvalitou systému. Zásah, ktorý úspešne posunie jednu metriku, môže poškodiť text, ktorý používateľ skutočne číta. Riadenie aktivácií zostáva sľubným nástrojom, najmä tam, kde je plné doladenie príliš drahé alebo nepružné. Nové výsledky však posúvajú dôkazné bremeno vyššie: každé zlepšenie kontroly treba vykázať spolu s cenou, ktorú zaň model platí.