Pohľad nestačí: vierohodnú AI úpravu možno prehliadnuť aj po jej zaregistrovaní

Dve odlišné miesta, na ktorých môže detekcia zlyhať

Nový preprint Chiao-Chieh Denga spresňuje, čo vlastne znamená, keď človek „odhalí“ upravený obrázok. Nestačí, aby sa jeho oči dostali na zmenené miesto. Pozorovateľ ešte musí pochopiť, že daný prvok nezodpovedá pôvodnej scéne alebo vznikol manipuláciou. Práca preto rozdeľuje detekciu na zachytenie pozornosti a následné rozhodnutie o pravosti. Toto rozlíšenie je podstatnejšie než jednoduché skóre úspešnosti, pretože každá fáza môže zlyhať z iného dôvodu a vyžadovať inú formu ochrany používateľa.

Online experiment zahŕňal 59 účastníkov a 60 základných obrázkov. Každý obraz mohol zostať nezmenený alebo dostať jednu zo štyroch úprav, ktoré kombinovali malú či veľkú editovanú plochu so sémanticky vierohodnou či nevierohodnou náhradou. Pohľad sa zaznamenával cez webkamerový systém WebGazer.js a účastníci rozhodovali, či bol obrázok upravený pomocou AI. Upravenú oblasť nevymedzoval hrubý obdĺžnik, ale skutočná maska použitá pri inpaintingu, čo umožnilo presnejšie porovnať polohu pohľadu so zmenenými pixelmi.

Dôležité spresnenie oproti jednoduchému súhrnu sa týka veľkosti zásahu. Pri veľkých úpravách rástol absolútny podiel času, ktorý ľudia strávili pohľadom v upravenej oblasti: pri malých zásahoch dosiahol priemer 0,155 a pri veľkých 0,595. Po prepočte podľa podielu plochy však malé regióny získavali neúmerne veľa pozornosti vzhľadom na svoju veľkosť. Výsledok teda nehovorí, že veľká úprava je vo všetkých významoch vizuálne nápadnejšia. Hovorí, že jej väčšia plocha zvyšuje absolútnu príležitosť, aby do nej pohľad vstúpil.

Čo ukázali štatistiky a čo už nie

Pri úsudku o pravosti dominovala sémantická vierohodnosť. Nepravdepodobný predmet vložený do scény ľudia častejšie označili za manipuláciu, zatiaľ čo prirodzene pôsobiacu náhradu mohli prijať aj po priamom pohľade na upravené miesto. Autor tento druh chyby označuje ako „look-but-fail-to-see“: vizuálna informácia bola dostupná, no neviedla k správnemu rozhodnutiu. Z dvanástich testovaných účinkov po prísnej Bonferroniho korekcii zostali významné tri: vplyv veľkosti na korigovanú mieru pozornosti a vplyv vierohodnosti na presnosť aj tento typ chyby.

Veľkosť mala v nekorigovaných výsledkoch slabší účinok aj na presnosť a chybovosť, no tieto vzťahy už korekciu na viacnásobné porovnávanie neprežili. Rovnako neprežili ani interakcie veľkosti s vierohodnosťou. Najbezpečnejší záver preto nie je, že obe fázy sú absolútne oddelené, ale že v skúmaných dátach na ne pôsobili odlišné dominantné faktory. Samotný autor navyše priznáva, že zmiešané modely obsahovali iba náhodný intercept účastníka a vynechali bohatšiu štruktúru náhodných efektov položiek, čo môže viesť k príliš optimistickým odhadom významnosti.

Základná myšlienka má oporu v staršom nezávislom výskume pozornosti. V známom experimente Traftona Drewa a kolegov 83 percent z 24 rádiológov neoznámilo nápadnú gorilu vloženú do snímok pľúc, hoci väčšina z tých, ktorí ju prehliadli, sa pozrela priamo na jej polohu. Prehľad Jeremyho Wolfa a kolegov z roku 2022 opisuje podobné zlyhania ako bežný dôsledok obmedzenej kapacity vizuálneho systému. Tieto práce nepotvrdzujú konkrétne výsledky nového preprintu o AI editáciách, ale podporujú rozlíšenie medzi nasmerovaním očí a vedomým rozpoznaním významu.

Predikcia pohľadu nie je predikcia viery

Druhá časť práce skúša generovať dráhy pohľadu transformerovým modelom. Pri zoradení doteraz nevidených stimulov podľa miery preskúmania upravenej oblasti autor uvádza Pearsonovu koreláciu 0,77 až 0,82. Súhrnná hodnota však sčasti vznikla tým, že model dobre odlišoval skupiny malých a veľkých zásahov. Korelácie v rámci jednotlivých podmienok boli nižšie, približne 0,44 až 0,63, a intervaly spoľahlivosti boli pre malý počet obrázkov široké. Model teda zachytil užitočný signál, no jeho výkon nemožno čítať ako všeobecnú schopnosť predvídať ľudské správanie.

Pri náročnejšom predpovedaní podielu prípadov, keď sa človek pozrel, ale manipuláciu nerozpoznal, dosiahol úplný model koreláciu 0,55. Variant bez explicitného štítku vierohodnosti dosiahol 0,52, zatiaľ čo jednoduchá lineárna regresia založená na veľkosti a vierohodnosti mala 0,48. Rozdiel je mierny a všetky modely využívali rovnaké pevné rozdelenie účastníkov. Výpočtová časť je preto skôr ukážkou možného smeru než hotovým detektorom alebo dôkazom, že generované dráhy pohľadu spoľahlivo predpovedajú, čomu publikum uverí.

Praktické využitie by mohlo spočívať v testovaní rozhraní. Ak používateľ problémové miesto vôbec nezaregistruje, pomôže priestorové zvýraznenie. Ak sa naň pozrie a prijme ho ako prirodzenú súčasť scény, samotný rámček pravdepodobne nestačí; potrebné môže byť vysvetlenie, údaj o pôvode súboru alebo dostupná história úprav. Platformy by preto mali samostatne merať viditeľnosť upozornenia, pochopenie jeho významu a následnú zmenu úsudku. Preprint však žiadne také rozhranie nenasadil ani nepodrobil používateľskému testovaniu.

Európsky kontext a hranice zistení

Téma je aktuálna aj pre Slovensko, pretože transparentnostné pravidlá európskeho AI Actu začali podľa Európskej komisie platiť v auguste 2026. Poskytovatelia generatívnych systémov majú zabezpečiť identifikovateľnosť syntetického obsahu a pri určitých deepfake materiáloch sa vyžaduje jasné a viditeľné označenie. Štúdia nerozhoduje, ako tieto povinnosti právne splniť. Upozorňuje však na rozdiel medzi technickou prítomnosťou označenia a jeho skutočnou účinnosťou: používateľ môže štítok alebo upravenú oblasť vidieť bez toho, aby správne pochopil dôvod varovania.

Pre slovenské médiá, fact-checkerov a verejné inštitúcie z toho vyplýva potreba testovať upozornenia na miestnom publiku a v slovenčine. Účinok môže meniť veľkosť mobilnej obrazovky, rýchlosť prezerania sociálnej siete, znalosť zobrazenej situácie aj kultúrny kontext. Pri spravodajskej fotografii môže byť užitočnejšie uviesť pôvod, autora a konkrétny rozsah editácie než pripojiť všeobecný štítok „vytvorené pomocou AI“. Zistenia zároveň nepodporujú automatické vynechávanie označení pri malých alebo údajne neškodných zásahoch; taký postup by si vyžadoval samostatné právne aj používateľské posúdenie.

Otvorených neistôt zostáva veľa. Ide o preprint jediného autora, pilotnú vzorku a vzdialené meranie webkamerou, ktoré je menej presné než laboratórny eye tracker. Stimuly vytvorila automatizovaná pipeline s jazykovým modelom, GroundingDINO a FLUX.1 Fill a ich kvalitu kontroloval ďalší model, nie rozsiahle nezávislé hodnotenie ľuďmi. Chýba opakovanie na videu, reálnych príspevkoch, rôznych zariadeniach a reprezentatívnej európskej populácii. Najcennejším výsledkom preto zatiaľ nie je konkrétny predikčný model, ale overiteľná otázka pre ďalší výskum: upozornenie musí nielen pritiahnuť oči, ale viesť aj k správnemu pochopeniu manipulácie.