Preprint rozoberá, čo adversariálne dolaďovanie mení vo vision transformeroch

Vision transformery sú dnes súčasťou mnohých systémov, ktoré už nie sú iba klasifikátormi obrázkov. Ich vizuálne enkodéry sa používajú vo vision-language modeloch, robotických modeloch aj multimodálnych agentoch. O to dôležitejšia je otázka, čo sa stane, keď obraz nie je ideálny: je rozmazaný, doostrený, zašumený alebo inak posunutý mimo tréningovej distribúcie. Preprint „A Mechanistic Analysis of Adversarial Fine-tuning of Vision Transformers“ sa pozerá práve na túto tému a skúma, ako adversariálne dolaďovanie mení správanie vision transformerov.

Adversariálne dolaďovanie možno zjednodušene opísať ako tréning, pri ktorom model vidí cielene zhoršené alebo narušené vstupy a učí sa na ne reagovať odolnejšie. V počítačovom videní sa tento prístup používa na zvýšenie robustnosti voči poruchám, ktoré by v reálnom svete nemali zásadne meniť význam obrázka. Ak autonómny systém, medicínsky klasifikátor alebo robotický model zlyhá iba preto, že snímka je mierne rozmazaná, nejde o akademický detail, ale o bezpečnostný problém.

Autori z MIT sa nesústredia len na to, či sa presnosť zlepší. Chcú mechanisticky pochopiť, čo sa v modeli mení: ako sa mení pozornosť, vnútorné reprezentácie a vývoj znalostí naprieč vrstvami. To je dôležité, pretože samotné výsledné skóre často zakrýva, či model získal všeobecnejšiu odolnosť alebo sa iba naučil zvládnuť konkrétny druh poruchy. Pri veľkých multimodálnych systémoch by druhý prípad mohol viesť k falošnému pocitu bezpečia.

Podľa abstraktu práca trénuje vision transformer na nízkofrekvenčných a vysokofrekvenčných obrazových poruchách a potom sleduje výkon na porušených aj bežných obrázkoch. Záver je opatrný. Fine-tuning na vstupoch s bežnými poruchami zlepšuje výkon a istotu modelu pri nových príkladoch podobne poškodených dát. Zlepšenie sa však neprenáša automaticky na iné triedy porúch, ktoré model počas dolaďovania nevidel. Inými slovami, model môže byť robustnejší voči rozmazaniu, ale to ešte neznamená, že bude rovnako odolný voči zašumeniu alebo inému typu posunu.

Táto hranica je prakticky veľmi dôležitá. Firmy a výskumné tímy často potrebujú deklarovať, že model je robustný. Ak však robustnosť vznikla úzkym dolaďovaním na niekoľko známych deformácií, mala by sa popisovať presnejšie. V produkcii sa vstupy menia mnohými spôsobmi naraz: lacnejšia kamera, horšie svetlo, kompresia, pohyb, odlesky alebo zmena prostredia. Testovať len jednu kategóriu perturbácií môže byť podobné ako certifikovať auto na jednej dokonalej ceste.

Mechanistická časť výsledkov je rovnako zaujímavá. Autori pozorujú zmeny vo vizuálnej pozornosti a vo vývoji znalostí medzi vrstvami, ale podľa abstraktu adversariálny tréning neviedol k zásadnej prestavbe riedkych reprezentácií, ktoré sa vision transformer naučil. To naznačuje, že dolaďovanie môže upraviť správanie modelu a jeho citlivosť na konkrétne vstupy bez toho, aby úplne zmenilo vnútorný spôsob, akým reprezentuje vizuálne informácie. Pre interpretovateľnosť je to dôležitý signál: robustnejší výstup ešte nemusí znamenať hlbšiu a všeobecnejšiu zmenu reprezentácie.

Dopad presahuje klasické vision modely. Vision transformery sú stavebným prvkom systémov, ktoré spájajú obraz s jazykom alebo akciou. Ak vizuálny enkodér získa robustnosť iba voči úzko definovaným poruchám, downstream model môže stále zlyhať pri situáciách, ktoré používateľ považuje za nepatrné. Pri robotike alebo pri analýze medicínskych snímok potom nestačí pozerať na celkové benchmarkové skóre. Treba vedieť, na aké poruchy bol model testovaný, ktoré zlepšenia generalizujú a kde je stále potrebná ľudská kontrola.

Pre vývojárov je poučenie praktické: adversariálne dolaďovanie je užitočný nástroj, nie univerzálna poistka. Malo by byť doplnené testami na širokom spektre korupcií, out-of-distribution dátach a realistických scenároch z nasadenia. Ak sa model používa ako súčasť väčšieho multimodálneho agenta, hodnotenie by malo sledovať aj to, ako vizuálna chyba ovplyvní jazykové vysvetlenie alebo rozhodnutie agenta. Robustnosť vizuálneho modulu sa nedá úplne oddeliť od správania celého systému.

Preprint zároveň ukazuje, prečo je mechanistická analýza stále dôležitejšia. Pri väčších modeloch nestačí vedieť, že metóda zlepšila jednu tabuľku. Potrebujeme rozumieť, čo sa zmenilo v spracovaní vstupu a či zmena platí mimo testovaného prípadu. Ak má AI vstupovať do rizikových prostredí, od dopravy cez medicínu až po priemyselnú kontrolu, robustnosť musí byť meraná konkrétne a s pomenovanými limitmi. Táto práca neprináša jednoduchý recept, ale dobrú brzdu proti príliš širokým tvrdeniam o odolnosti vision transformerov.