Preprint sprísňuje testovanie detektorov lží v jazykových modeloch

Detekcia klamstva v jazykových modeloch znie ako jednoduchá bezpečnostná pomôcka: model sa opýtať, či hovorí pravdu, alebo nad jeho odpoveďami natrénovať klasifikátor, ktorý odhalí nesúlad medzi interným presvedčením a vonkajším tvrdením. Nový preprint na arXive však pripomína, že pri dnešných veľkých modeloch je táto úloha metodicky oveľa krehkejšia. Nestačí ukázať, že model vydal nepravdivú vetu. Pre férové hodnotenie detektora treba vedieť, že model v čase odpovede naozaj veril opaku toho, čo povedal.

Autori práce „Did you lie?“ preto najprv kritizujú časť doterajších testov na takzvaných modelových organizmoch, teda umelo pripravených scenároch, v ktorých sa model má správať klamlivo. Ich námietka je praktická: ak nie je overené skryté presvedčenie modelu, výsledok detektora sa dá interpretovať viacerými spôsobmi. Klasifikátor možno zachytil klamstvo, ale rovnako mohol zachytiť neistotu, zmenu formulácie, kontextovú nápovedu alebo jednoduchý fakt, že testovací prompt model navedie k neštandardnému štýlu odpovede.

Práca preto stavia na prísnejšej konštrukcii testbedov. Autori vytvorili trinásť modelových organizmov pre uvažujúce modely, pri ktorých sa najprv overuje, čo model „verí“ v reťazci uvažovania a či sa toto presvedčenie prenáša aj na držané úlohy mimo tréningovej časti testu. Až potom skúmajú, či detektor odlíši situáciu, keď model odpovie v rozpore s týmto presvedčením. Táto sekvencia je dôležitá, pretože bezpečnostné systémy pre modely nemajú reagovať len na povrchovo podozrivý text, ale na robustný signál o zavádzaní.

Druhou časťou je testbed Varied Deception, ktorý cieli na širšiu paletu motivácií na klamanie. Namiesto jednej šablóny typu „povedz nepravdu“ skúša rôzne situácie, v ktorých môže byť nepravdivá odpoveď pre model inštrukčne výhodná alebo kontextovo lákavá. Pre red-teaming je to podstatné: modely v produkcii sa nedostávajú do čistých akademických podmienok, ale do interakcií s konfliktom cieľov, tlakom používateľa, požiadavkami na rolu a niekedy aj so zámerne mätúcim kontextom.

Význam pre prax je najmä v tom, že práca posúva latku hodnotenia. Ak má byť „detektor lží“ súčasťou monitoringu agentov, auditu incidentov alebo dodatočnej analýzy bezpečnostných zlyhaní, musí byť jasné, čo presne meria. Povrchový benchmark môže vyzerať dobre, no v reálnom nasadení by mohol produkovať falošné poplachy alebo naopak prehliadať situácie, v ktorých model cielene zakrýva relevantné informácie.

Autori tým zároveň neprinášajú hotový univerzálny detektor. Skôr ukazujú, že bez dôkladne overených testovacích scenárov je ťažké porovnávať úspechy aj zlyhania jednotlivých prístupov. To je cenné najmä pri bezpečnostných témach, kde sa často rýchlo objavia lákavé metriky, no neskôr sa ukáže, že merali proxy signál namiesto samotného rizika.

Pre vývojárov agentických systémov z toho vyplýva opatrnejší pohľad na interpretovateľnosť a dohľad. Detektor založený na interných aktiváciách, reťazci uvažovania alebo výstupných vzoroch môže byť užitočný len vtedy, ak je validovaný na scenároch, kde je odlíšené klamanie od obyčajnej chyby. Inak hrozí, že sa bezpečnostný nástroj stane ďalším nejasným skóre v pipeline bez jasnej väzby na správanie modelu.

Pre regulačné a auditné tímy je zaujímavý aj dôraz na post-hoc vyšetrovanie. Ak organizácia spätne skúma, prečo model poskytol nepravdivú informáciu, potrebuje rozlíšiť halucináciu, nedostatok znalostí, nesprávnu inštrukciu a vedomé zavádzanie v rámci nastaveného scenára. Práve tento rozdiel bude dôležitý pri systémoch, ktoré konajú autonómne alebo pracujú s citlivými rozhodnutiami.

Preprint je teda menej o senzácii, že modely „klamú“, a viac o hygienickej otázke, ako také tvrdenia vôbec testovať. Ak sa ukáže, že niektoré doterajšie pozitívne výsledky stáli na slabo overených organizmoch, nemusí to znamenať koniec výskumu detekcie klamstva. Znamená to však, že ďalšie benchmarky budú musieť dokazovať nielen presnosť klasifikátora, ale aj pravdivosť predpokladu, že v testovanej situácii existoval reálny rozpor medzi presvedčením modelu a jeho odpoveďou.