Menej než percento neurónov BERTu nesie väčšinu signálu na odhalenie AI textu

Čo výskumníci našli

Detektory strojovo generovaného textu zvyčajne dostávajú text a vrátia skóre, no nevysvetľujú, ktoré vnútorné reprezentácie rozhodnutie vytvorili. Paweł Blicharz a Miłosz Grunwald preto skúmali zmrazený model BERT-base-uncased: jeho parametre nemenili a nad reprezentáciami trénovali jednoduchšie klasifikačné sondy. Analýza pokryla všetkých 9 216 rozmerov skrytých stavov tokenu CLS, teda 12 vrstiev po 768 rozmerov. Autori tieto rozmery v práci označujú ako neuróny. Cieľom nebolo predstaviť univerzálny komerčný detektor, ale zistiť, či je signál rozlišujúci ľudský a generovaný text rozptýlený rovnomerne, alebo sa dá lokalizovať do malej časti modelu.

Experimenty využili dáta z benchmarku RAID a šesť generátorov zahŕňajúcich základné aj inštrukčne doladené jazykové modely. Metóda riedkeho sondovania L1-to-L2 opakovane vybrala stabilnú množinu menšiu než jedno percento skúmaných neurónov pre každý generátor. Sonda obmedzená iba na túto množinu si podľa autorov zachovala väčšinu presnosti dosiahnutej so všetkými dostupnými príznakmi. Stabilita sa kontrolovala naprieč validačnými rozdeleniami a rôznymi náhodnými inicializáciami. Výsledok preto nie je iba zoznamom jednotiek, ktoré náhodou korelovali s jedným tréningovým behom, hoci jeho platnosť zostáva viazaná na zvolený model, dáta a experimentálne nastavenie.

Dôležitejší než samotná korelácia je test pomocou obojsmerného prenášania aktivácií. Výskumníci medzi ľudskými a strojovými príkladmi vymieňali aktivácie vybraných neurónov a sledovali, či sa zmení rozhodnutie klasifikátora. Zásah do identifikovanej množiny obracal predikcie približne o rád častejšie než zásah do rovnako veľkých náhodných množín. To podporuje tvrdenie, že vybrané jednotky majú pre klasifikáciu kauzálny význam. Neznamená to však, že uchovávajú jediný „podpis AI“. Keď autori tie isté neuróny nahradili priemernými aktiváciami, celková presnosť zostala prevažne zachovaná, čo ukazuje na redundantné uloženie signálu.

Rozdiel medzi základnými a doladenými modelmi

Analýza odhalila aj rozdiel v tom, kde sa stabilné neuróny nachádzajú. Pri generátoroch doladených na plnenie inštrukcií pripadalo 30 až 36 percent vybraných jednotiek na poslednú, dvanástu vrstvu BERTu. Pri oboch základných generátoroch bol tento podiel nižší než 14 percent. Autori tento vzorec interpretujú ako možnú stopu posttréningového dolaďovania: text modelov prispôsobených na dialóg a nasledovanie pokynov môže niesť spoločné štylistické alebo distribučné vlastnosti, ktoré sa výraznejšie prejavia vo vyššej vrstve enkodéra. Ide však o interpretáciu experimentu, nie o dôkaz, že posledná vrstva priamo rozpoznáva konkrétnu tréningovú techniku.

Zaujímavý je test generalizácie, pri ktorom sa vždy vynechala jedna rodina generátorov. Malá pevná podmnožina neurónov dosiahla na dovtedy nevidenej rodine 86 až 94 percent výkonového stropu sondy využívajúcej všetky príznaky. Takýto výsledok naznačuje, že detektor nemusí pre každý nový model od začiatku hľadať úplne inú reprezentáciu. Časť signálu sa prenáša medzi rodinami generátorov. Percentá však vyjadrujú zachovaný podiel výkonu referenčnej sondy, nie absolútnu úspešnosť detekcie ani pravdepodobnosť, že konkrétny označený text skutočne vytvorila AI.

Kontext poskytuje samotný RAID, pôvodne publikovaný na konferencii ACL 2024. Jeho vedecký článok opisoval viac než šesť miliónov generovaných textov z 11 modelov, ôsmich domén, štyroch spôsobov dekódovania a 11 adversariálnych útokov. Aktuálne úložisko projektu uvádza rozšírenú verziu s viac než desiatimi miliónmi dokumentov, 11 žánrami a 12 útokmi; dátová karta na Hugging Face zároveň sprístupňuje viacmiliónové rozdelenia dát. Rozdiel v počtoch teda odráža vývoj benchmarku po publikovaní pôvodnej práce. RAID je náročný práve preto, že kontroluje zmenu domény, generátora, dekódovania aj úpravy navrhnuté na oklamanie detektorov.

Čo to môže zmeniť v praxi

Prvým možným prínosom je efektívnejší výskum detektorov. Ak sa veľká časť užitočného signálu nachádza v malej a stabilnej podmnožine reprezentácií, klasifikačná vrstva môže pracovať s menším počtom príznakov. To môže znížiť pamäťové nároky sondy, zrýchliť experimentovanie a uľahčiť audit toho, na čo sa systém pri rozhodovaní spolieha. Štúdia však neukazuje, že možno odstrániť zvyšok BERTu: aktivácie malej množiny stále vznikajú po prechode celým enkodérom. Ide preto skôr o kompresiu rozhodovacej reprezentácie a nástroj interpretácie než o hotový recept na dramaticky lacnejšiu inferenciu.

Druhým prínosom je možnosť cielenejšie testovať zlyhania. Vývojári môžu sledovať, či vybrané neuróny reagujú na významový obsah, interpunkciu, dĺžku viet, opakovanie alebo štylistické návyky konkrétnych generátorov. Ak detektor stojí najmä na povrchových znakoch, jednoduchá parafráza alebo editácia človekom môže jeho skóre zmeniť bez toho, aby sa zmenilo autorstvo. Pôvodná štúdia RAID už ukázala, že viaceré otvorené aj uzavreté detektory boli citlivé na adversariálne úpravy, nastavenia vzorkovania, penalizáciu opakovania a dovtedy nevidené modely. Mechanistická mapa môže pomôcť odlíšiť robustný signál od krehkej skratky.

Pre školy, médiá a verejné inštitúcie je podstatné, že výsledok neoprávňuje automatické sankcie. Ani kauzálne relevantná vnútorná reprezentácia nedokazuje pôvod jedného dokumentu. Text môže kombinovať ľudské písanie, strojový návrh, preklad, korektúru a opakované preformulovanie. Slovenčina navyše nebola jadrom opísaného experimentu a použitý BERT-base-uncased je anglický model. Pri nasadení na slovenské eseje, články alebo úradné dokumenty by preto bolo potrebné samostatné hodnotenie na prirodzených slovenských dátach, viacerých žánroch a textoch upravených ľuďmi. Skóre detektora má byť nanajvýš signálom na ďalšie preverenie, nie samostatným verdiktom.

Hranice výsledku a otvorené otázky

Práca je v čase zverejnenia dostupná ako prvá verzia preprintu na arXive a autori uvádzajú prijatie na hlavnú konferenciu EMNLP 2026. Verejný abstrakt opisuje hlavné výsledky, no nezávislé replikácie zatiaľ nie sú súčasťou predložených dôkazov. Výber šiestich generátorov je širší než test jedného modelu, stále však nepokrýva celý meniaci sa ekosystém. Nie je jasné, či rovnaká podmnožina ostane stabilná pri novších architektúrach, dlhších textoch, inom pomere ľudských a strojových príkladov alebo pri kombinovaní viacerých jazykov.

Otvorená zostáva aj interpretácia jednotlivých neurónov. Riedka sonda vie určiť, ktoré rozmery sú pre klasifikáciu užitočné, ale sama nepovie, aký jazykový jav každý rozmer kóduje. Navyše úspešné odstránenie jednej skupiny nemusí detektor vyradiť, pretože informácia je redundantná. Ďalším krokom by mali byť kontrolované testy s konkrétnymi zásahmi do štýlu a obsahu, porovnanie s viacjazyčnými enkodérmi a meranie falošných obvinení pri realisticky nízkej prevalencii čisto generovaných textov. Najpevnejším záverom zatiaľ je, že rozhodovací signál možno prekvapivo presne lokalizovať, nie že problém dôveryhodnej detekcie AI textu je vyriešený.