Preprint hľadá pamäťové stopy v neurónových sieťach a nazýva ich AI engramy

Nový preprint AI Engram: In Search of Memory Traces in Artificial Intelligence sa pokúša preniesť pojem engramu z neurovedy do analýzy neurónových sietí. Engram v biologickom zmysle označuje stopu pamäti, teda fyzický alebo funkčný základ konkrétnej spomienky. Autori sa pýtajú, či možno podobne identifikovať aj stopu naučenej informácie v umelom modeli, ktorý má milióny alebo miliardy navzájom previazaných parametrov.

Práca formuluje štyri kritériá prevzaté z neurovedy: špecificitu, reaktiváciu, postačujúcnosť a nevyhnutnosť. V preklade do sveta modelov to znamená, že údajná pamäťová stopa by mala byť viazaná na konkrétnu informáciu, mala by sa aktivovať pri jej použití, mala by stačiť na obnovenie určitého správania a jej odstránenie by malo toto správanie oslabiť. Autori tieto požiadavky pretavili do obmedzenej inverznej úlohy nad parametrami modelu.

Najsilnejším tvrdením preprintu je odvodenie uzavretého odhadu, ktorý má izolovať individuálne pamäťové stopy z globálne prepletených váh. Podľa autorov tento biologicky motivovaný postup zodpovedá prirodzenému gradientovému updatu na parametrovej mnohorozmernej ploche. To znie abstraktne, ale praktická ambícia je veľmi konkrétna: nájsť reprezentáciu naučenej znalosti, s ktorou sa dá priamo manipulovať.

Preprint tvrdí, že AI engramy umožňujú chirurgické zásahy do naučených znalostí. Vybrané spomienky sa podľa autorov dajú skladať alebo mazať lineárnou aritmetikou bez opakovanej optimalizácie. Ak by sa podobný prístup ukázal robustný aj v širších modeloch a dátach, bol by relevantný pre bezpečné odstraňovanie nechcených znalostí, opravu modelov po chybných dátach alebo lepšie porozumenie tomu, kde sa v sieti nachádza konkrétna schopnosť.

Autori uvádzajú experimenty od jednoduchších viacvrstvových perceptrónov až po veľké jazykové modely. Podstatná je najmä kauzálna časť: nestačí nájsť koreláciu medzi určitými váhami a výstupom, treba ukázať, že zásah do identifikovanej stopy skutočne zmení správanie modelu očakávaným smerom. Práve kauzalita odlišuje takýto rámec od bežnej vizualizácie alebo analýzy aktivácií, ktorá často povie, čo sa mení, ale nie nevyhnutne prečo.

Pre výskum interpretovateľnosti je tento smer zaujímavý, pretože spája tri svety: geometriu optimalizácie, mechanistickú analýzu modelov a neurovedeckú metaforu pamäte. Doterajšie nástroje často skúmajú neuróny, smery v aktivačnom priestore alebo editačné metódy pre konkrétne fakty. Pojem engramu ponúka iný jazyk: nie jedna váha, nie jeden neurón, ale distribuovaná stopa, ktorá môže byť napriek prepleteniu dostatočne identifikovateľná na zásah.

Treba však byť opatrný. Preprint je čerstvý a tvrdenia o manipulácii pamäte v modeloch si vyžadujú nezávislé overenie. Pri veľkých jazykových modeloch je ťažké odlíšiť odstránenie konkrétnej znalosti od poškodenia širšej schopnosti, ktorá sa prejavuje podobne. Rovnako nie je jasné, ako sa metóda bude správať pri modeloch s komplexným doladením, pri multimodálnych architektúrach alebo pri znalostiach, ktoré sú v tréningových dátach prítomné mnohými spôsobmi.

Ak sa však ukáže, že AI engramy sú použiteľné aj mimo kontrolovaných experimentov, mohli by pomôcť v dvoch praktických oblastiach. Prvou je oprava a aktualizácia modelov bez nákladného retréningu. Druhou je bezpečnosť: presnejšie zásahy do modelu by mohli doplniť dnešné metódy filtrovania, fine-tuningu a systémových pravidiel, ktoré často riešia neželané správanie zvonka, nie priamo v naučenej reprezentácii.

Najväčšia hodnota práce je preto v tom, že pamäť modelu neberie ako čiernu skrinku ani ako jednoduchý zoznam faktov. Skúma ju ako geometrický objekt, v ktorom možno hľadať kauzálne stopy konkrétnych znalostí. Pre interpretovateľnosť AI je to ambiciózny smer: ak chceme modelom dôverovať, nestačí vedieť, čo odpovedajú, ale aj kde a ako si nesú informácie, ktoré tieto odpovede umožňujú.