Preprint chce zjednotiť detekciu AI textu, halucinácií aj watermarkov

Nový preprint na arXive navrhuje zjednotený detekčný rámec pre viacero problémov, ktoré sa v praxi často riešia oddelene: rozpoznávanie textu generovaného veľkým jazykovým modelom, odhaľovanie halucinácií, kontrolu watermarkov a zachytávanie adversariálnych príkladov. Autori pracujú s Mahalanobisovou vzdialenosťou nad hlbokými reprezentáciami a tvrdia, že rovnaká štatistická logika môže pokryť viacero typov AI artefaktov. Ak sa takýto prístup potvrdí aj mimo akademických dát, mohol by zjednodušiť nástroje pre audit, moderáciu a bezpečnostné tímy.

Základná intuícia je jednoduchá: namiesto toho, aby systém hľadal iba znaky „podozrivého“ výstupu, snaží sa dobre opísať pozitívnu, dôveryhodnú triedu. Pri detekcii AI textu to môže byť ľudský text, pri halucináciách faktické tvrdenia, pri watermarkoch neoznačený text a pri adversariálnych príkladoch nepoškodené vzorky. Následne sa meria, ako ďaleko je nový príklad od tohto naučeného normálu. Mahalanobisova vzdialenosť je v tomto kontexte užitočná preto, že nezohľadňuje iba obyčajnú vzdialenosť bodov, ale aj kovariančnú štruktúru dát.

Práve kovariančná štruktúra je jadrom práce. Autori upozorňujú, že pozitívne vzorky zvyčajne netvoria jednu jednoduchú homogénnu skupinu. Ľudský text môže pochádzať z viacerých domén, faktické tvrdenia môžu mať rôzne štýly a čisté obrazové alebo textové vzorky môžu obsahovať viacero podtried. Rámec preto používa robustné odhady kovariančnej matice, konkrétne varianty minimum covariance determinant, a rozlišuje situácie, kde heterogenita vzniká po prípadoch alebo po bunkách dátovej štruktúry.

Pre neštatistika je dôležitý najmä praktický dôsledok: detektor nemá byť krehký voči malému počtu kontaminovaných alebo netypických príkladov v tréningovej množine. Robustný odhad sa snaží nenechať rozhodiť outliermi, ktoré by obyčajnú kovariančnú maticu posunuli zlým smerom. To je pri AI forenzike zásadné, pretože dostupné referenčné dáta sú často špinavé, zmiešané a neúplne označené. Ak má nástroj fungovať mimo laboratória, musí počítať s tým, že „čistá“ pozitívna trieda nebude dokonale čistá.

Autori do práce pridávajú aj optimalizačné algoritmy a dôkazy konvergencie pre navrhované odhady. To odlišuje článok od čisto aplikačného benchmarku: nejde iba o tvrdenie, že konkrétna metóda vyšla dobre na jednom súbore dát, ale o pokus postaviť matematicky ucelenejší základ pre viacero detekčných úloh. Pre výskumníkov je zaujímavá aj diskusia o breakdown pointe, teda o hranici, do akej miery môže byť odhad znečistený chybnými dátami, kým stratí použiteľnosť.

Empirické výsledky podľa abstraktu podporujú účinnosť rámca vo viacerých nastaveniach, no pri interpretácii treba byť opatrný. Detekcia AI obsahu patrí medzi oblasti, kde sa metódy rýchlo pretekajú s modelmi, parafrázovacími nástrojmi a úmyselnými obchádzkami. To, čo funguje na dnešných reprezentáciách a dátach, nemusí automaticky fungovať na zajtrajších modeloch alebo v inom jazyku. Pre slovenský a stredoeurópsky kontext je táto výhrada obzvlášť dôležitá, pretože mnohé detekčné metódy bývajú ladené najmä na angličtinu a veľké verejné datasety.

Praktický význam práce preto nie je v sľube „spoľahlivého detektora AI textu“. Taký sľub by bol prehnaný. Zaujímavý je skôr posun od izolovaných klasifikátorov k spoločnému rámcu, ktorý vie uvažovať nad rôznymi typmi normálu a odchýlok. V podnikoch by takáto logika mohla pomôcť pri kombinovanom audite: kontrolovať, či výstup modelu vyzerá fakticky konzistentne, či nesie očakávaný watermark, či sa nepodobá na adversariálne upravený vstup a či sa celkovo nevzďaľuje od overených reprezentácií.

Regulačne je téma tiež relevantná. Firmy a verejné inštitúcie budú čoraz častejšie potrebovať vysvetliť, ako dohliadajú na AI výstupy, najmä v komunikácii so zákazníkmi, pri automatizovanom rozhodovaní alebo pri moderácii obsahu. Jednotný štatistický rámec môže byť pre audit atraktívnejší než súbor nesúrodých heuristík, pretože lepšie opisuje predpoklady aj zlyhania. Zároveň však platí, že detekcia nesmie byť jedinou ochranou. Mala by dopĺňať provenance metadáta, logovanie modelových volaní, používateľské priznanie pôvodu obsahu a procesné kontroly.

Pre vývojárov bezpečnostných nástrojov je preprint užitočný ako pripomienka, že „AI detektor“ nie je jedna úloha. Rovnaký systém môže raz hľadať generovaný text, inokedy faktickú odchýlku a inokedy útok na model. Ak sa podarí tieto úlohy formulovať nad spoločnými reprezentáciami a robustnými odhadmi, nástroje môžu byť menej ad hoc a ľahšie porovnateľné. Najbližším krokom bude nezávislé overenie na väčšom počte jazykov, modalít a skutočných produkčných dát, kde sa ukáže, či teoretická jednota prežije aj praktický chaos.