OpenAI zablokoval sieť, ktorá používala ChatGPT na podvody a falošné identity

OpenAI oznámil zásah proti sieti účtov spojenej s podvodnou operáciou v Kambodži. Prevádzkovatelia podľa firmy používali ChatGPT na tvorbu falošných osobností, preklady správ, propagačné materiály, falšované dokumenty aj každodennú administratívu. Operácia nekopírovala jediný scenár: miešala romantické, investičné a hazardné podvody s vydávaním sa za orgány činné v trestnom konaní.

Vyšetrovanie sa podľa OpenAI začalo po podnete od WhatsAppu. Firma následne zablokovala súvisiace účty, zdieľala indikátory s priemyselnými partnermi a príslušnými orgánmi a prijala opatrenia proti návratu aktérov. OpenAI neuviedol celkovú finančnú škodu. Z komunikácie podvodníkov však usudzuje, že sieť mohla osloviť stovky cieľov a jednotlivé obete mohli prísť o tisíce dolárov; tieto sumy firma nedokázala nezávisle potvrdiť.

Mechanizmus útoku bol sociálny, nie technicky prelomový. Útočníci vytvárali zoznamovacie profily, fiktívnych investičných expertov a falošné identity policajtov. Pri romantických rozhovoroch si budovali dôveru a neskôr presmerovali obeť na kryptomeny alebo obchodovanie so zlatom. V iných prípadoch sľubovali hazardné bonusy a výhry alebo tvrdili, že cieľ musí zaplatiť pokutu za údajný trestný čin.

Generatívna AI pomáhala túto výrobu obsahu škálovať. Sieť prekladala a pripravovala konverzácie pre WhatsApp a Telegram, skúmala materiál pre zoznamovacie profily a vytvárala príspevky na sociálne siete. OpenAI uvádza aj obrazy falošných pasov, právnych oznámení, potvrdení o nákupe akcií a rozhraní hazardných či kryptomenových platforiem. Model teda nenahradil základný podvodný postup, ale znížil náklady na lokalizáciu, konzistentné persony a vizuálne krytie príbehu.

Správy používali typické prvky psychologického tlaku: prísľuby zaručeného výnosu, tvrdenia o investícii bez rizika, romantický jazyk, požiadavku na utajenie a umelo vytvorenú časovú tieseň. Posledným krokom boli výzvy na vklad, aktivačný poplatok, fiktívnu pokutu alebo platbu na odomknutie odmeny. Obeť mala často poslať snímku prevodu či údaje o účte ako dôkaz zaplatenia.

Prípad má závažnejšiu vrstvu než samotné online podvody. Časť používateľov vytvárala pracovné inzeráty na pozície takzvaných četovacích operátorov v kambodžskom Poipete a sľubovala letenky, ubytovanie, stravu, víza aj pracovné povolenia. Ďalšia komunikácia sa podľa OpenAI týkala dlhov pracovníkov, zrážok zo mzdy, disciplinárnych pokút, imigračného stavu, zadržania a pokusov o útek. Firma zdôrazňuje, že z týchto záznamov nevie určiť situáciu každého jednotlivca.

Takéto náznaky však zapadajú do širšie zdokumentovaného problému podvodných komplexov v juhovýchodnej Ázii. Amnesty International vo svojej správe o Kambodži opisuje rozsiahle zneužívanie vrátane obchodovania s ľuďmi, nútenej práce, mučenia a otrockých podmienok v centrách internetových podvodov. Spojenie je dôležité aj pre moderovanie AI: osoba píšuca podvodnú správu môže byť zároveň súčasťou organizovanej zločineckej štruktúry a obeťou donútenia.

Pre poskytovateľov modelov z toho vyplýva, že detekcia nemôže hľadať iba jednu zakázanú vetu alebo jeden druh podvodu. Rovnaká sieť môže v krátkom čase prepínať medzi romantickou manipuláciou, investičným obsahom, falošnou políciou a internou personálnou administratívou. Dôležitejšie sú vzorce naprieč účtami: opakované persony, preklady vo veľkom, výroba dokladov, rovnaké platobné inštrukcie a koordinované používanie viacerých komunikačných platforiem.

Prípad tiež upozorňuje firmy, že generovaný obsah nemožno posudzovať iba podľa jazykovej kvality. Dobre napísaná správa, konzistentný profil a profesionálne vyzerajúce rozhranie už nie sú silným signálom legitimity. Banky, komunikačné platformy a inzertné služby potrebujú kombinovať pôvod účtu, históriu správania, platobné toky, hlásenia používateľov a technické indikátory. Samotný detektor textu vytvoreného AI by takúto operáciu spoľahlivo neodhalil.

OpenAI zverejnil opis z vlastného vyšetrovania, preto treba odlišovať potvrdené kroky firmy od tvrdení odvodených z komunikácie podozrivých účtov. Zablokovanie účtov a zdieľanie indikátorov sú deklarované zásahy; presný počet obetí, finančná škoda a postavenie jednotlivých pracovníkov zostávajú neisté. Aj s touto výhradou ide o konkrétny príklad, ako sa generatívne nástroje včleňujú do existujúcich zločineckých operácií a prečo obrana vyžaduje spoluprácu naprieč platformami, bankami aj orgánmi činnými v trestnom konaní.