Blokovo riedke reprezentácie majú presnejšie zachytiť vnútorné koncepty AI modelov

Mechanistická interpretovateľnosť sa pokúša rozložiť neurónovú sieť na zrozumiteľnejšie vnútorné prvky. Nová práca výskumníkov z Columbia University skúma, či by takýmito prvkami nemali byť namiesto jednotlivých smerov celé malé podpriestory. Autori podrobnejšie analyzovali nedávno navrhnutý blokovo riedky featurizer, označovaný skratkou BSF, a ukázali, že ani tento prístup automaticky neodstraňuje známe chyby riedkych autoenkóderov. Navrhli však pravidlo Tournament Top-K, ktoré v ich experimentoch výrazne obmedzilo štiepenie jedného konceptu medzi viacero naučených blokov.

Práca bola zverejnená ako prvá verzia preprintu na arXiv a zatiaľ nepredstavuje všeobecne potvrdený recept na vysvetľovanie veľkých produkčných modelov. Jej dôležitosť spočíva skôr v spochybnení zjednodušujúceho predpokladu, že každý zmysluplný koncept vo vnútri siete musí zodpovedať jedinému lineárnemu smeru. Pri obrazových modeloch, ale potenciálne aj pri jazykových a multimodálnych systémoch, môže mať reprezentácia konceptu zakrivenú alebo viacrozmernú geometriu. Ak analytický nástroj túto geometriu ignoruje, môže jeden prirodzený jav umelo rozsekať na množstvo čiastkových prvkov.

Od jednotlivých smerov k blokom

Riedke autoenkódery, známe ako SAE, sa stali jedným z hlavných nástrojov súčasnej interpretovateľnosti. Z hustej zmesi aktivácií sa snažia odvodiť väčší slovník riedko aktivovaných príznakov. Anthropic týmto spôsobom identifikoval v modeli Claude Sonnet milióny vzorcov spájaných s ľudsky rozpoznateľnými témami a Google DeepMind sprístupnil podobné nástroje a naučené reprezentácie v projekte Gemma Scope. Cieľom nie je iba pomenovať zaujímavé neuróny, ale nájsť stabilnejšie jednotky, pomocou ktorých sa dá skúmať, prečo model reaguje určitým spôsobom.

Klasický SAE však zvyčajne za základnú jednotku považuje jeden smer v aktivačnom priestore. To dobre funguje, ak je koncept približne lineárny. Nie všetky štruktúry majú takýto tvar. Farby môžu tvoriť kruh, dni v týždni cyklické usporiadanie a zmeny pohľadu na objekt môžu vytvárať súvislú nízkorozmernú varietu. Lineárny slovník potom zakrivenú štruktúru pokrýva viacerými lokálnymi smermi. Výsledkom je takzvané štiepenie: analytik môže dostať niekoľko príznakov, hoci v dátach sleduje rôzne polohy alebo podoby jedného konceptu.

BSF mení úroveň, na ktorej sa uplatňuje riedkosť. Jeho latentný kód je rozdelený na malé bloky a výber sa uskutočňuje medzi blokmi, nie medzi jednotlivými súradnicami. Vnútri vybraného bloku môže zostať aktívnych viac smerov naraz. Jeden blok tak môže reprezentovať malý podpriestor a zachytiť napríklad celý kruh farieb namiesto toho, aby naň minul množstvo samostatných prvkov. Ide o odlišný induktívny predpoklad: koncept už nie je bodom alebo jediným smerom, ale môže mať niekoľko vnútorných stupňov voľnosti.

Čo ukázali experimenty

Autori testovali BSF najmä na kontrolovaných syntetických dátach zo súboru „Manifold Zoo“. Takéto prostredie umožňuje presne poznať geometriu, ktorú sa má model naučiť, meniť náhodné inicializácie a sledovať odolnosť voči rušivým koreláciám. Porovnania podľa práce potvrdili, že blokový prístup vie vhodné nízkorozmerné štruktúry zachytiť lepšie než klasický SAE. Analýza však zároveň ukázala, že bloky môžu tú istú varietu naďalej „obkladať“ viacerými čiastkovými reprezentáciami. Samotné zoskupenie latentných smerov preto problém štiepenia nevyriešilo.

Navrhnuté pravidlo Tournament Top-K pridáva súťaž medzi blokmi. Namiesto toho, aby sa bloky vyberali iba podľa okamžitej veľkosti svojej aktivácie, mechanizmus upravuje ich skóre vzhľadom na vzájomnú podobnosť. Intuitívne má zabrániť tomu, aby sa niekoľko podobných blokov súčasne špecializovalo na susedné časti jedného konceptu. V experimentoch autorov táto zmena výrazne znížila štiepenie a pritom zachovala schopnosť rekonštruovať vstupné aktivácie. Presná účinnosť však závisí od zvolenej geometrie, rozmeru blokov, počtu aktívnych blokov a ďalších nastavení.

Štúdia skúma aj bloky s rôznym počtom rozmerov. To je prakticky dôležité, pretože nie každý koncept má rovnakú vnútornú zložitosť. Jednoduchý binárny jav môže potrebovať jediný smer, zatiaľ čo poloha objektu, farba alebo perspektíva môžu vyžadovať väčší podpriestor. Pevná veľkosť všetkých blokov preto môže plytvať kapacitou alebo zložitejšie koncepty opäť rozdeliť. Autori ďalej prenášajú blokovú myšlienku do crosscoderov, ktoré porovnávajú reprezentácie medzi vrstvami alebo modelmi, a navrhujú oddelené stĺpce pre spoločné a špecifické vlastnosti.

Prečo na geometrii reprezentácií záleží

Lepšie jednotky interpretácie by mohli pomôcť pri audite modelov, porovnávaní ich verzií aj skúmaní multimodálnych systémov. Ak sa po doladení zmení správanie modelu, crosscoder môže hľadať reprezentácie spoločné obom verziám a tie, ktoré sa objavili iba v jednej. Blokový variant by bol užitočný najmä vtedy, ak zmena nie je zachytená jediným smerom, ale preskupením celej lokálnej geometrie. Podobný postup by mohol pomôcť odlíšiť skutočne nový koncept od viacerých mierne odlišných prejavov toho istého javu.

Pre obrazové modely je motivácia obzvlášť prirodzená. Aktivácie musia súčasne niesť informácie o identite objektu, polohe, mierke, natočení, osvetlení či štýle. Tieto veličiny sa menia spojito a nemožno automaticky očakávať, že sa každá z nich oddelí do jedného smeru. Pri multimodálnych modeloch sa navyše môžu prelínať obrazové, textové a priestorové reprezentácie. Nástroj založený výlučne na izolovaných lineárnych príznakoch by mohol zobraziť zavádzajúco rozdrobený obraz toho, čo sieť v skutočnosti uchováva ako súvislú štruktúru.

Praktická hodnota presnejších reprezentácií by sa neobmedzovala na vizualizáciu. Výskumníci by nimi mohli testovať, či sa rizikové alebo klamlivé správanie viaže na stabilnú vnútornú štruktúru, sledovať jej aktiváciu a experimentálne skúšať zásahy. Medzi nájdením korelovaného príznaku a kauzálnym vysvetlením správania je však veľký rozdiel. Ani dobre pomenovaný blok sám osebe nedokazuje, že model daný koncept používa pri rozhodovaní. Potrebné sú intervenčné testy, meranie špecificity a kontroly, či úprava reprezentácie nemení množstvo nesúvisiacich schopností.

Čo zatiaľ nevieme

Najväčším obmedzením súčasných výsledkov je rozsah experimentov. Podstatná časť dôkazov pochádza zo syntetických variet, pri ktorých je správna štruktúra známa vopred. Autori uvádzajú aj stručné výsledky z reálnych modelov, no tie zatiaľ nestačia na záver, že Tournament Top-K spoľahlivo funguje v hlbokých jazykových či obrazových sieťach s miliardami parametrov. Nie je jasné ani to, ako dobre sa naučené bloky zhodnú medzi rôznymi tréningovými behmi, dátovými sadami, vrstvami a architektúrami.

Otvorenou otázkou zostáva voľba rozmeru jednotlivých blokov. Ak ho určí človek vopred, môže do analýzy vložiť nesprávnu predstavu o geometrii konceptov. Ak ho má systém odvodiť automaticky, potrebuje kritérium, ktoré rozlíši užitočnú viacrozmernú štruktúru od náhodnej variability. Dôležité bude tiež porovnať výpočtové náklady, stabilitu tréningu a interpretovateľnosť s modernejšími variantmi SAE. Nižšia rekonštrukčná chyba sama osebe nestačí, ak výsledné bloky nedokážu nezávisle a konzistentne pomenovať ľudia alebo automatické evaluácie.

Nová práca preto neznamená, že výskumníci už našli správne „atómové jednotky“ myslenia neurónových sietí. Ukazuje však, že hľadanie takýchto jednotiek musí brať vážne geometriu aktivácií. Posun od jednotlivých smerov k podpriestorom môže byť dôležitý najmä pri videní a multimodalite, kde sú spojité transformácie prirodzenou súčasťou dát. Tournament Top-K je konkrétny a testovateľný návrh, ale jeho význam určia až replikácie, rozsiahle experimenty na otvorených modeloch a kauzálne overenie, že čistejšie bloky skutočne vedú k presnejším vysvetleniam správania AI.