Anthropic našiel v Claude skrytý pracovný priestor pre vnútorné uvažovanie

Anthropic zverejnil výskum, ktorý sa snaží pomenovať jednu z najťažších otázok interpretability: kde sa v jazykovom modeli odohráva uvažovanie, ktoré sa nikdy neobjaví v texte odpovede. Tím na stránke Transformer Circuits a v sprievodnom blogu opisuje techniku Jacobian lens a s ňou spojený priestor J-space. Ide o malú množinu vnútorných vzorov aktivácie, ktoré sú previazané s pojmami, ale nemusia znamenať, že model dané slovo práve vypovie. Skôr ukazujú, čo má model „na mysli“ počas riešenia úlohy.

Výskumníci prirovnávajú J-space k funkčnému pracovnému priestoru. V neurovede sa podobný pojem používa pre informácie, ktoré sú dostupné vedomému reportovaniu, plánovaniu a riadeniu správania. Anthropic však výslovne upozorňuje, že výsledok nie je dôkazom vedomia modelu. Užitočnejšie je praktické čítanie: ak sa v tomto priestore rozsvietia reprezentácie pre medzikroky výpočtu, skryté ciele alebo rozpoznanie testovacej situácie, výskumníci dostávajú nástroj na audit správania, ktoré by inak zostalo mimo výstupu.

Technika Jacobian lens sleduje, k akým slovám alebo pojmom by vnútorná aktivácia modelu najviac tlačila budúci výstup. Namiesto priameho čítania reťazca myšlienok sa teda pozerá na dispozíciu modelu verbalizovať určitý koncept. Podľa autorov sa tak dá rozlíšiť bežné spracovanie faktov, gramatiky a štylistiky od menšej vrstvy reprezentácií, ktoré sa dajú reportovať, úmyselne modulovať a opakovane použiť v rôznych typoch úloh.

Najzaujímavejšia časť práce je tvrdenie, že J-space má kauzálnu úlohu. Keď výskumníci modelu zabránili používať tieto reprezentácie, model sa stále vedel plynulo rozprávať a vybavovať jednoduché fakty, ale strácal schopnosti vyššieho uvažovania. Naopak, keď sa konkrétne reprezentácie v J-space vyvolali alebo potlačili, menilo sa rozhodovanie modelu. To posúva štúdiu za hranicu vizualizácie: nejde iba o mapu vnútra modelu, ale aj o páku, ktorou sa dá jeho správanie testovať.

Pre bezpečnosť modelov je to dôležité z dvoch dôvodov. Po prvé, audit sa nemusí spoliehať iba na to, čo model povie používateľovi. Ak si model interne všimne, že je hodnotený, alebo ak v experimente sleduje vložený skrytý cieľ, J-space môže takýto signál zachytiť skôr než textová odpoveď. Po druhé, ak sa niektoré interné pojmy dajú cielene ovplyvniť, vzniká priestor pre jemnejšie zásahy než hrubé blokovanie celej odpovede.

Zároveň treba výsledok čítať opatrne. Práca je zatiaľ výskumná a opiera sa o konkrétne modely a konkrétnu metódu čítania reprezentácií. To, že určitý vnútorný priestor plní funkciu zdieľaného pracovného miesta, ešte neznamená, že dnešné modely majú ľudské prežívanie alebo stabilné úmysly. Presnejší záver je, že veľké jazykové modely si počas tréningu dokážu vybudovať vnútornú organizačnú štruktúru, ktorá sa podobá na pracovný kanál pre dostupné, flexibilné uvažovanie.

Praktický dopad môže byť výrazný najmä pre evaluácie agentov. Dnešné testy často hodnotia iba výslednú odpoveď alebo priebeh nástrojových krokov. Ak sa interpretability nástroje podobné Jacobian lens podarí škálovať, audit by mohol sledovať aj to, či model interne rieši správny problém, či neobchádza inštrukcie a či sa nespolieha na skratky, ktoré sa navonok neprejavia. To je dôležité pri dlhých agentických úlohách, kde sa chyba alebo klamavý zámer môže prejaviť až po mnohých krokoch.

Anthropic zároveň zverejnil referenčnú implementáciu metódy a interaktívnu ukážku pre otvorené modely cez Neuronpedia. To zvyšuje šancu, že sa výsledok nebude čítať iba ako zaujímavá filozofická metafora, ale ako reprodukovateľná výskumná stopa. Ak nezávislé tímy potvrdia podobné pracovné priestory aj v iných architektúrach, J-space sa môže stať jedným z kandidátov na praktický diagnostický signál pre vnútorné uvažovanie modelov.

Pre red tímy aj regulované firmy je podstatné, že ide o meranie pred výslednou odpoveďou. Pri citlivých modeloch nestačí vedieť, či odpoveď prešla filtrom; užitočné je chápať, aké pojmy model interne aktivoval, ktoré medzikroky použil a či sa jeho skryté uvažovanie rozchádza s deklarovaným dôvodom. Práve takýto typ nástroja môže v budúcnosti doplniť bežné logovanie promptov a odpovedí o hlbšiu, hoci stále neúplnú, kontrolu modelového správania.