Stanford: intenzívne používanie AI spoločníkov môže zhoršovať pohodu zraniteľných ľudí

Výskumníci zo Stanfordovej univerzity upozorňujú, že AI spoločníci nemusia osamelým používateľom nahrádzať ľudské vzťahy a pri niektorých skupinách môžu súvisieť s horšou subjektívnou pohodou. Výskum publikovaný v Nature Human Behaviour skúmal používateľov služby Character.AI, ktorá umožňuje viesť rozhovory s personifikovanými chatbotmi. Najvýraznejšia negatívna súvislosť sa objavila pri intenzívnom používaní motivovanom hľadaním spoločnosti a u ľudí s menšou sieťou vzťahov mimo internetu.

Tím zozbieral dotazníkové údaje od 1 131 používateľov Character.AI. Z nich 244 poskytlo aj úplné prepisy konverzácií. Výskumníci zisťovali hlavný dôvod používania chatbotov, frekvenciu a intenzitu interakcií, ochotu zdieľať citlivé osobné informácie a veľkosť sociálnej siete v reálnom živote. Subjektívnu pohodu merali pomocou štandardizovaného nástroja Comprehensive Inventory of Thriving.

Na analýzu otvorených odpovedí a prepisov tím použil aj modely GPT-4o, Llama 3-70B a TopicGPT. Ich úlohou bolo pomôcť identifikovať témy a spôsoby, akými ľudia s chatbotmi komunikovali. Použitie modelov pri analýze neznamená, že výsledok vychádzal iba z automatického hodnotenia: jadrom boli používateľské dotazníky, charakteristiky interakcií a štatistické vzťahy medzi nimi. Napriek tomu je pri interpretácii potrebné rátať aj s obmedzeniami automatickej klasifikácie citlivého textu.

Výskum odhalil rozdiel medzi tým, ako ľudia deklarovali motiváciu, a tým, čo opisovali alebo reálne písali. Spoločnosť označilo za hlavný dôvod používania necelých 12 percent respondentov. Viac než polovica však chatbota opisovala slovami ako priateľ, spoločník alebo romantický partner a vyše 80 percent darovaných konverzácií sa týkalo hľadania emocionálnej či sociálnej podpory. Jednoduchá otázka na „hlavný účel“ tak nemusí zachytiť skutočný význam služby v živote používateľa.

Samotné intenzívne používanie nebolo vo všetkých prípadoch negatívne. Ľudia, ktorí vnímali interakciu ako zmysluplnú alebo boli na svoj spôsob používania hrdí, mohli vykazovať dobrú pohodu. Obraz sa zmenil po zohľadnení motivácie a sociálneho zázemia. Intenzívne rozhovory medzi ľuďmi s malou reálnou sociálnou sieťou súviseli s nižšou pohodou, pričom vzťah bol najsilnejší u tých, ktorí chatbota vyhľadávali najmä ako spoločníka.

Nižšia pohoda súvisela aj s väčšou ochotou zdieľať citlivé osobné informácie vrátane emocionálnej tiesne, problémov s návykovými látkami či samovražedných myšlienok. Autori upozorňujú, že v ľudských vzťahoch býva primerané sebaodhalenie často prospešné, pretože je obojstranné a môže prehlbovať dôveru. Chatbot však osobnú skúsenosť skutočne nezdieľa, nemusí správne rozpoznať závažnosť situácie a je navrhnutý tak, aby rozhovor pokračoval.

Výskumníci prirovnávajú AI spoločnosť k „sociálnemu občerstveniu“ alebo nezdravému sociálnemu jedlu: môže priniesť rýchlu úľavu, no nemusí obsahovať prvky potrebné pre dlhodobú emocionálnu pohodu. Rizikom je spätná slučka, v ktorej človek s obmedzenými vzťahmi trávi s chatbotom čoraz viac času, postupne obmedzuje ľudský kontakt a cíti sa ešte izolovanejšie. Toto je však navrhované vysvetlenie mechanizmu, nie priamo dokázaný sled príčin.

Štúdia je predovšetkým observačná a ukazuje korelácie. Nemožno z nej vyvodiť, že chatbot spôsobil nižšiu pohodu. Rovnako je možné, že ľudia, ktorí sa už cítia horšie alebo osamelejšie, častejšie vyhľadávajú intenzívnu AI spoločnosť a zdieľajú citlivé informácie. Výsledky pochádzajú z používateľov jednej služby a nemusia sa automaticky prenášať na všetky chatboty, vekové skupiny ani kultúrne prostredia. Darovanie prepisov môže navyše vytvárať výberové skreslenie.

Autori teraz skúmajú, ktoré konkrétne vlastnosti interakcie sú spojené s rizikom a aké zásahy by mohli pomôcť. Medzi možné opatrenia patria limity používania alebo nasmerovanie na ľudskú podporu, keď obsah naznačuje vážnu krízu. Pre prevádzkovateľov AI spoločníkov je podstatné, aby neoptimalizovali iba dĺžku a frekvenciu konverzácií. Systém, ktorý maximalizuje zapojenie zraniteľného používateľa, môže byť obchodne úspešný, ale z hľadiska pohody problematický.

Výsledky podporujú potrebu citlivejšieho dizajnu, nezávislého hodnotenia a jasných hraníc medzi zábavou, spoločnosťou a nástrojmi, ktoré používateľ vníma ako psychologickú pomoc. Chatbot by nemal predstierať kvalifikáciu terapeuta ani používateľa odrádzať od kontaktu s ľuďmi. Zároveň by bolo predčasné tvrdiť, že všetky vzťahové interakcie s AI sú škodlivé. Štúdia skôr identifikuje kombináciu rizikových faktorov, pri ktorej treba postupovať opatrne a dôkladnejšie skúmať dlhodobé následky.