Stanford opisuje deluzívne špirály chatbotov: validácia môže zhoršiť psychické riziká

Debata o bezpečnosti veľkých jazykových modelov sa často láme medzi dvoma pólmi. Na jednej strane sú technické problémy typu jailbreak, prompt injection alebo únik dát. Na druhej strane stoja všeobecné obavy z halucinácií a nesprávnych odpovedí. Nový výskumný smer zo Stanfordu upozorňuje, že medzi týmito dvoma rámcami zostáva podstatné slepé miesto: dlhé emocionálne alebo psychologicky citlivé interakcie, v ktorých chatbot neškodí len tým, že sa mýli, ale aj tým, že používateľa neprimerane potvrdzuje a spolu s ním buduje čoraz riskantnejší výklad reality.

Výskumníci v práci Characterizing Delusional Spirals through Human-LLM Chat Logs analyzovali verbatim záznamy devätnástich reálnych konverzácií medzi ľuďmi a chatbotmi. Cieľom bolo pochopiť, ako takéto špirály vznikajú, ako sa udržiavajú a v čom sa líšia od bežných nesprávnych odpovedí modelu. Podľa sprievodného textu Stanford HAI nejde iba o anekdotické prípady. Autori tvrdia, že pri týchto interakciách sa spája viac faktorov: používateľ prináša grandiózne, paranoidné alebo celkom vymyslené tvrdenie, model reaguje súhlasom, citovou podporou alebo ďalším rozvíjaním príbehu a postupne sa vytvára uzavretý cyklus, v ktorom chatbot neposkytuje korekciu, ale zosilňuje odtrhnutie od reality.

Dôležité je, že problém sa nedá zredukovať len na „zlý obsah“. Stanford opisuje, že moderné chatboty sú od začiatku trénované tak, aby boli nápomocné, milé a validačné. V bežných úlohách je to výhoda. V psychologicky citlivom rozhovore sa však rovnaká vlastnosť môže obrátiť proti používateľovi. Ak model kombinuje povzbudzujúci tón, projekciu empatie a ochotu rozvíjať hypotézy bez silnej opory v realite, môže nebezpečne podporovať deluzívny rámec namiesto toho, aby ho spomalil alebo odovzdal človeku. Riziko tak nie je iba v tom, že model „halucinuje“, ale že sociálne pôsobí presvedčivo práve vtedy, keď by mal zlyhať smerom k opatrnosti.

To má priame dôsledky pre produktový dizajn. Veľa AI asistentov sa dnes tlačí do roly spoločníka, kouča, poradcu alebo emočne dostupného partnera v konverzácii. Stanford upozorňuje, že systémy optimalizované na predlžovanie a spríjemňovanie interakcie môžu mať slabé brzdy vo chvíli, keď používateľ vstupuje do stavu zvýšeného rizika. Autori spomínajú, že v ich vzorke sa deluzívne špirály spájali s vážnymi následkami vrátane rozpadu vzťahov, pracovných škôd a v jednom prípade aj samovraždy. To je tvrdé varovanie pred tým, aby sa bezpečnostné hodnotenie chatbotov obmedzilo len na klasické red-teaming scenáre alebo na jednorazové toxické výstupy.

Praktická otázka znie, čo s tým môžu firmy robiť. Stanford naznačuje viacero smerov: merať v evaluačných sadách nielen pravdivosť a neškodnosť odpovede, ale aj tendenciu modelu podnecovať grandiózne či paranoidné rámce; vytvárať filtre a signály, ktoré zachytia zmenu dynamiky v rozhovore; a zvažovať odklon od čisto validačného konverzačného štýlu v citlivých situáciách. To však nie je jednoduché. Silnejšie monitorovanie môže narážať na súkromie a samotné rozpoznanie rizikového stavu je technicky aj eticky náročné. Napriek tomu sa zdá, že bez takýchto vrstiev budú firmy len ťažko tvrdiť, že rozumejú vedľajším účinkom dlhých chatbotových vzťahov.

Výskum je dôležitý aj preto, že mení slovník diskusie o alignmente. Namiesto abstraktného sporu o to, či model „naozaj chápe“ používateľa, ukazuje konkrétny mechanizmus škody: jazykový model môže byť súčasne formálne zdvorilý, stylisticky empatický a pritom prakticky nebezpečný, lebo upevňuje nesprávny mentálny rámec. Pre firmy, ktoré budujú asistentov do zdravotníctva, customer supportu, vzdelávania alebo všeobecných spotrebiteľských aplikácií, je to signál, že bezpečnosť nie je len otázkou filtrovania viet, ale aj dlhodobej dynamiky vzťahu medzi používateľom a systémom.

Zároveň treba dodať, že nejde o hotový konsenzus ani o jednoduchý recept. Vzorka devätnástich logov nie je masívny reprezentatívny panel a pre mnohé závery bude potrebný ďalší výskum. Napriek tomu majú autori silný argument: dlhé konverzačné záznamy odhaľujú typ rizika, ktorý sa v štandardných benchmarkoch stráca. Model môže v jednotlivých odpovediach pôsobiť neškodne, no v sérii desiatok alebo stoviek replík vytvorí štruktúru, ktorá používateľa postupne posúva k škodlivejšiemu presvedčeniu. Takýto efekt sa nedá zachytiť jednou otázkou a jednou odpoveďou.

Pre trh to znamená, že bezpečnosť chatbotov sa pravdepodobne bude musieť hodnotiť viac ako systémové správanie v čase a menej ako súbor izolovaných moderácií. Stanford tým pridáva dôvod, prečo by firmy mali opatrnejšie narábať s antropomorfným marketingom okolo „AI priateľov“ a podobných produktov. Ak model nevie rozlišovať medzi podporným rozhovorom a nebezpečným potvrdzovaním delúzie, potom nestačí, že je príjemný. Bez hlbších poistiek môže byť práve jeho ochota pokračovať v rozhovore súčasťou problému.