Preprint upozorňuje, že neškodný fine-tuning môže vracať staré správanie modelu

Nový preprint na arXiv s názvom A Gravitational Interpretation of Fine-Tuning Reversion sa venuje problému, ktorý je pre produkčné nasadzovanie jazykových modelov nepríjemný: správanie získané v skorších fázach tréningu sa môže po neskoršom doladení znova objavovať, aj keď samotné nové dáta pôsobia neškodne. Autori Samuele Poppi a Nils Lukas navrhujú tento jav čítať cez tréningovú históriu modelu, nie iba cez poslednú dávku dát.

V praxi sa veľké modely najprv trénujú na obrovských všeobecných korpusoch, potom sa zarovnávajú, bezpečnostne dolaďujú a napokon sa často špecializujú pre konkrétny produkt alebo zákazníka. Bežná intuícia hovorí, že posledný fine-tuning upravuje model v smere nových príkladov. Preprint však upozorňuje, že veľké skoré fázy môžu vytvoriť dominantné behaviorálne „manifoldy“, teda oblasti parametrov a reprezentácií, ku ktorým má model tendenciu sa vracať.

Autori používajú metaforu gravitácie. Skorší masívny tréning podľa nich vytvorí silné správanie ako hlbokú krajinu. Neskoršie zarovnanie alebo špecializácia môže byť plytší posun mimo tejto oblasti. Ďalšie doladenie potom nemusí len pridávať novú schopnosť, ale môže mať komponent smerujúci späť k historicky dominantnému správaniu. Tento komponent nazývajú smerom reverzie.

Dôležité je, že nejde iba o bezpečnostné „zlomy“ po škodlivom doladení. Práca explicitne hovorí o neškodných dátach, ktoré môžu čiastočne oslabiť predchádzajúce zarovnanie, znovu odhaliť predtým potlačené schopnosti alebo preniesť latentné vlastnosti cez zdanlivo nesúvisiacu supervíziu. To je pre firmy zásadné, pretože veľa modelov sa po základnom bezpečnostnom vyhodnotení ďalej dolaďuje na doménových dátach, interných šablónach alebo zákazníckej komunikácii.

Ak sa hypotéza potvrdí, testovanie modelu po doladení sa nemôže obmedziť na novú úlohu. Model môže na benchmarku zákazníckej podpory zlepšiť presnosť, no zároveň sa v inom režime posunúť bližšie k staršiemu, menej žiaducemu správaniu. Potrebné sú preto regresné testy bezpečnosti, schopností a štýlu naprieč celým životným cyklom modelu, nie iba jednorazové hodnotenie pred nasadením.

Pre bezpečnostný výskum je práca zaujímavá aj tým, že dáva spoločný jazyk rôznym pozorovaniam: erózii zarovnania, návratu odúčaných schopností, prenosu latentných čŕt a krehkosti po post-alignment úpravách. Namiesto toho, aby išlo o oddelené anomálie, môžu byť prejavom jedného geometrického mechanizmu. To by mohlo pomôcť navrhovať diagnostiku, ktorá sleduje drift reprezentácií smerom k historickým referenčným bodom.

Treba však zdôrazniť, že ide o preprint a o interpretačný rámec, nie o hotový štandard pre audit modelov. Autori predkladajú experimentálne signály a pojmy, ktoré bude potrebné overiť na širšej škále architektúr, veľkostí modelov a doladzovacích postupov. V produkcii je navyše náročné poznať celú tréningovú históriu modelu, najmä ak firma pracuje s uzavretým API alebo s modelom od dodávateľa.

Praktický odkaz je napriek tomu jasný. Doladenie nie je izolovaná kozmetická úprava modelu, ale zásah do systému s pamäťou tréningovej histórie. Organizácie, ktoré stavajú vlastné asistenty alebo doménové modely, by mali po každej väčšej úprave kontrolovať nielen výkon na cieľovej úlohe, ale aj návrat starších nežiaducich vzorcov. Bez tejto disciplíny sa môže stať, že zdanlivo bezpečná optimalizácia znovu otvorí riziká, ktoré už boli považované za vyriešené.

Téma tiež naznačuje, prečo bude dôležité mať lepšie nástroje na modelovú správu. Nestačí ukladať verzie váh a promptov; treba rozumieť tomu, ako sa správanie mení v čase a ktoré zmeny sú len povrchové. Fine-tuning reversion posúva pozornosť od otázky „čo sme model naučili naposledy“ k otázke „aké hlboké správanie si model stále nesie zo svojej minulosti“.

Pre dodávateľov modelov z toho vyplýva aj produktová požiadavka: zákazníci budú chcieť vedieť, ako sa model správa po ďalšom doladení, nie iba v deň vydania. Dokumentácia k bezpečnosti by preto mala zahŕňať odporúčania pre post-training zmeny, regresné testy a monitorovanie driftu. Bez týchto informácií zostáva zodpovednosť za skrytú reverziu správania na tímoch, ktoré často nevidia do pôvodného tréningu modelu.