AHA-Memes prináša jemnejší test rozpoznávania nenávisti v arabských mémoch

Nenávistný obsah v mémoch sa často nedá rozpoznať iba zo slov alebo iba z obrázka. Význam vzniká ich kombináciou, pričom rozhodujú narážky, kultúrne symboly, implicitne označený terč a spôsob útoku. Nová výskumná práca AHA-Memes sa tento problém snaží zachytiť pre arabčinu, ktorá má v doterajších multimodálnych benchmarkoch podstatne slabšie zastúpenie než angličtina. Autori zverejnili dátovú sadu, anotačné pravidlá aj vyhodnocovacie skripty.

Jadro benchmarku tvorí 5-tisíc ručne anotovaných mémov. Namiesto jediného hrubého štítku škodlivý alebo neškodlivý používa jemnejšiu viacnásobnú taxonómiu, ktorá opisuje typ nenávisti a stratégiu útoku. Jeden obsah tak môže niesť viac súčasných označení. To lepšie zodpovedá realite moderovania, kde rovnaký mém môže kombinovať zosmiešnenie, dehumanizáciu, stereotyp a nepriamu výzvu namierenú proti konkrétnej skupine.

Autori pridávajú aj približne 66-tisíc strojovo označených príkladov, ktoré označujú ako silver-labeled. Takéto dáta nevznikajú rovnakou mierou ľudskej kontroly ako hlavná sada, ale môžu pomôcť pri predtrénovaní, experimentovaní alebo skúmaní učenia s hlučnými štítkami. Dôležité je obe časti nezamieňať: väčší počet automaticky označených položiek nezvyšuje automaticky spoľahlivosť benchmarku a výsledky treba vyhodnocovať najmä na kontrolovanej ručnej sade.

Práca porovnáva modely pracujúce iba s textom, iba s obrazom aj neskoré spájanie oboch modalít. Súčasťou hodnotenia sú tiež otvorené a uzavreté jazykovo-obrazové modely, testovanie bez dodatočného tréningu, učenie z niekoľkých príkladov v kontexte a cielené dolaďovanie. Takýto rozsah pomáha oddeliť otázku, či model rozumie jednotlivým signálom, od otázky, či ich dokáže správne poskladať v kultúrne špecifickej situácii.

Arabčina prináša osobitné ťažkosti. Online obsah mieša spisovnú arabčinu s regionálnymi dialektmi, prepisom do latinky, skratkami a textom vloženým priamo do obrazu. Rovnaká fráza môže mať v rôznych krajinách odlišný význam a vtip môže závisieť od lokálnej politiky alebo historickej udalosti. Model natrénovaný prevažne na anglických dátach môže správne prečítať objekty aj slová, no minúť vzťah medzi nimi a neidentifikovať skutočný terč.

Prínos benchmarku preto nespočíva iba vo väčšom počte dát. Jemné štítky umožňujú sledovať, pri ktorých druhoch útoku model zlyháva, a či sa chyba viaže na text, obraz alebo ich spojenie. Prevádzkovateľ platformy môže zistiť, že celkové skóre vyzerá prijateľne, no systém opakovane prehliada konkrétny typ implicitnej nenávisti. Takáto diagnóza je užitočnejšia než jediné priemerné číslo, najmä pri nastavovaní ľudskej kontroly.

Dátová sada má význam aj pre bezpečnosť multimodálnych asistentov. Modely dnes neklasifikujú iba príspevky na sociálnych sieťach; opisujú obrázky, odpovedajú na otázky o obsahu a môžu pomáhať moderátorom. Ak nerozumejú kultúrnym narážkam, hrozia dva protichodné problémy: nebezpečný obsah prepustia alebo legitímny politický a satirický prejav označia za nenávistný. Benchmark môže tieto slabiny zviditeľniť, nie však sám vyriešiť normatívnu hranicu medzi kritikou, humorom a útokom.

Pri interpretácii výsledkov treba zohľadniť pôvod a zloženie dát. Päťtisíc ručne označených mémov je významný základ, no arabsky hovoriaci priestor je jazykovo aj kultúrne rozsiahly. Výkon na jednej zostave nemusí platiť pre každý dialekt, krajinu alebo rýchlo sa meniaci internetový kontext. Citlivé dáta navyše vyžadujú dokumentáciu práce anotátorov, pravidlá prístupu a ochranu ľudí, ktorí sú počas označovania vystavení znepokojivému obsahu. Samotní autori upozorňujú, že práca obsahuje rušivé príklady.

Pre vývojárov bude najrozumnejšie používať AHA-Memes ako jednu vrstvu hodnotenia. Nestačí vybrať model s najvyšším súhrnným skóre. Dôležité je rozobrať výsledky podľa typu útoku, modality, dialektu a miery istoty, potom otestovať model na aktuálnych interných dátach. V produkcii by mal neisté a rizikové prípady preberať človek a rozhodnutia by mali byť odvolateľné, najmä keď moderovanie ovplyvňuje viditeľnosť používateľa alebo prístup k službe.

Zverejnenie dát, anotačných pokynov a skriptov zvyšuje reprodukovateľnosť a umožní porovnať ďalšie modely za rovnakých podmienok. Otvorený benchmark zároveň vytvára priestor na audit toho, či sa pokrok týka skutočného porozumenia alebo iba prispôsobenia konkrétnej sade. AHA-Memes tak vypĺňa dôležitú medzeru v arabskom multimodálnom výskume, ale jeho najväčšia hodnota bude závisieť od transparentného používania, rozširovania o ďalšie komunity a opatrného prenášania laboratórnych výsledkov do moderovania.