Nový preprint testuje, ktoré jazykové stopy naozaj odhaľujú AI text

Nový preprint na arXive sa vracia k otázke, ktorá sa v praxi často rieši skratkami: dá sa AI text odhaliť podľa jazykových znakov, ktoré človek vie pochopiť? Autori skúmali 284 interpretovateľných jazykových vlastností na výstupoch z 27 veľkých jazykových modelov a v desiatich textových doménach. Nejde teda o ďalší čiernoskrinkový detektor, ale o systematickú analýzu toho, ktoré merateľné vlastnosti textu sa prenášajú medzi modelmi a kontextmi.

Téma je dôležitá preto, že detektory AI textu sa používajú v školách, vydavateľstvách, pri moderovaní obsahu aj v interných kontrolách. Veľká časť komerčných riešení však používateľovi povie iba skóre pravdepodobnosti bez zrozumiteľného dôvodu. Ak má mať takéto rozhodnutie dôsledky pre študenta, autora alebo zamestnanca, vysvetlenie typu „model si to myslí“ je slabé. Jazykové vlastnosti môžu ponúknuť čitateľnejší spôsob, ako ukázať, prečo text pôsobí strojovo.

Autori sa pozerajú na vlastnosti, ktoré sú interpretovateľné pre človeka alebo lingvistu: napríklad štruktúru viet, rozmanitosť slovníka, syntaktické vzory, čitateľnosť či iné merateľné znaky štýlu. Kľúčová otázka nie je len to, či fungujú na jednom datasete. Dôležité je, či sa signál udrží, keď sa zmení model, doména, typ zadania alebo žáner textu. Práve tu mnohé staršie zistenia zlyhávajú, pretože boli testované úzko.

Podľa abstraktu autori ukazujú, že klasifikátory založené iba na jazykových vlastnostiach môžu byť spoľahlivé, ale ich generalizácia nie je samozrejmá. Inými slovami, existujú znaky, ktoré pomáhajú odlíšiť AI výstupy, no nie je bezpečné predpokladať, že rovnaký recept funguje na každý model a každú doménu. Text z právneho dokumentu, školského eseja a marketingového odseku má odlišnú prirodzenú štruktúru aj pri ľudskom autorovi.

Pre školy a organizácie je praktický dôsledok opatrnosť. Detektor, ktorý dobre funguje na anglických esejach jedného typu, nemusí férovo hodnotiť odborný text, preklad, text nerodeného hovoriaceho alebo výstup z novšieho modelu. Vysvetliteľné jazykové znaky sú užitočné, ale nemali by sa meniť na automatický rozsudok. Lepšie použitie je ako podporný signál, ktorý upozorní na potrebu ďalšej kontroly.

Výskum zároveň naznačuje cestu k lepším nástrojom. Namiesto jedného univerzálneho skóre by detekčné systémy mohli ukazovať, ktoré vlastnosti sa odchyľujú od očakávaného štýlu v danej doméne. To by pomohlo odlíšiť podozrenie založené na opakujúcich sa šablónach od situácie, kde text pôsobí nezvyčajne iba preto, že autor píše v špecifickom odbornom registri. Takýto prístup by bol férovejší aj auditovateľnejší.

Pre vývojárov modelov je zaujímavé, že jazykové stopy sa menia s generáciami LLM. Ako modely lepšie napodobňujú ľudský štýl, jednoduché indikátory typu rovnomerné vety alebo nízka slovná pestrosť slabnú. Zároveň môžu vznikať nové stopy v spôsobe štruktúrovania argumentov, opatrných formuláciách alebo konzistentnosti naprieč odsekmi. Detekcia preto nemôže byť jednorazovo vyriešený problém, ale priebežne aktualizovaná evaluácia.

Najväčšia hodnota preprintu je v tom, že debatu presúva od intuície k systematickému porovnaniu. V prostredí, kde sa obvinenia z použitia AI môžu ľahko opierať o subjektívny dojem, je potrebné vedieť, ktoré signály sú robustné a kde zlyhávajú. Práca neznamená, že AI text sa dá vždy bezpečne odhaliť. Skôr pripomína, že ak detekciu používame, musí byť doménovo overená, vysvetliteľná a spojená s ľudským posúdením.

Prakticky to znamená aj lepšie formulovať politiku používania AI. Organizácie by nemali spoliehať disciplinárne alebo právne rozhodnutia na jeden detekčný výstup, najmä ak nepoznajú tréningové domény nástroja. Robustnejší prístup kombinuje transparentné pravidlá, procesné dôkazy, rozhovor s autorom a technické signály, ktoré sú prispôsobené konkrétnemu typu textu. Preprint tak pridáva vedecký základ k debate, ktorá je zatiaľ často príliš emotívna.