AXLE skúša zapojiť životnú skúsenosť anotátorov skôr, než začnú označovať dáta

Anotátor nie je neutrálne meracie zariadenie

Výskumníci z University of Toronto predstavili postup AXLE, ktorý sa pokúša zmeniť spôsob prípravy dát pre subjektívne úlohy spracovania prirodzeného jazyka. Namiesto toho, aby sa životná skúsenosť anotátora zaznamenala iba v demografickom dotazníku, systém ju pred samotným označovaním aktivuje krátkym rozhovorom. Experiment na 104 ľuďoch naznačuje, že takáto príprava ovplyvňuje nielen odôvodnenia, ale aj výsledné štítky. Účastníci po nej častejšie vnímali súvis medzi hodnoteným textom a vlastnou identitou, priraďovali o niečo vyššiu mieru ujmy a zároveň sa medzi sebou viac rozchádzali. Práca je zatiaľ nerecenzovaný preprint, preto jej závery nemožno považovať za potvrdený univerzálny recept na tvorbu datasetov.

V bežnom anotačnom procese dostane pracovník definíciu kategórie, niekoľko príkladov a sériu textov, ktoré má zaradiť. Kvalita sa často posudzuje podľa zhody medzi viacerými ľuďmi. Pri faktických úlohách môže byť vysoká zhoda rozumným cieľom, no pri nenávistnom prejave, toxicite, irónii alebo politickej argumentácii nemusí existovať jediný štítok nezávislý od perspektívy čitateľa. Predchádzajúci výskum publikovaný v ACL Anthology ukázal, že personalizované modely môžu pri detekcii nenávistného prejavu prekonať všeobecný model založený na jednej agregovanej „pravde“. Ďalšia práca o argumentácii rozdelila nezhodu na chyby, neostrosť a skutočnú významovú nejednoznačnosť. AXLE posúva túto debatu o krok späť: skúma, čo perspektívnu rozmanitosť vytvára ešte pred uložením štítka.

Autori tvrdia, že samotná informácia o demografii nemusí hovoriť, ktorú časť skúsenosti človek pri konkrétnom rozhodnutí naozaj použil. Príslušnosť ku skupine je pomerne statický údaj, zatiaľ čo pozornosť, spomienky a spôsob čítania textu sa menia podľa situácie. Rozhranie navyše môže anotátora tlačiť k rýchlemu uplatňovaniu pravidiel a k potláčaniu osobného kontextu ako údajného zdroja zaujatosti. AXLE preto pristupuje k pozicionalite skôr ako k aktivovateľnému stavu než k nemennej vlastnosti. To je podstatný rozdiel: cieľom nie je predpovedať názor človeka podľa jeho identity, ale vytvoriť priestor, aby pomenoval skúsenosti relevantné pre nasledujúcu úlohu.

Ako experiment fungoval

Účastníci najprv čítali krátky modelový scenár súvisiaci s migráciou, náboženstvom alebo rodovou identitou a sexualitou. V experimentálnej vetve nasledoval najviac päťkolový rozhovor vedený jazykovým modelom. Otázky sa dotýkali siedmich osí skúsenosti vrátane sociálneho a geografického prostredia, jazyka, ekonomického postavenia, etnicity, rodu, zdravotného znevýhodnenia a blízkosti k dotknutým ľuďom. Z odpovedí systém vytvoril najmenej 120-slovný príbeh v prvej osobe, ktorý si účastník mohol počas anotácie znovu otvoriť. Kontrolná skupina absolvovala rovnaké označovanie bez tejto prípravnej časti.

Každý človek posudzoval desať syntetických príspevkov na päťbodovej škále ujmy, označil zasiahnutú skupinu, napísal odôvodnenie a uviedol, nakoľko bola pri rozhodovaní relevantná jeho identita alebo skúsenosť. Korpus obsahoval 30 zámerne ťažkých výrokov bez otvorených nadávok či priamych výziev na násilie. Texty mali povrchovo obhájiteľné znenie, ale zároveň používali rámce známe z vylučujúceho diskurzu. Nešlo teda o reprezentatívnu vzorku internetového obsahu. Autori sami upozorňujú, že výsledný účinok môže predstavovať hornú hranicu toho, čo by sa dalo očakávať v bežnom, tematicky pestrejšom datasete.

V experimentálnej skupine dosiahla priemerná deklarovaná súvislosť hodnotenia s identitou 3,35 bodu oproti 2,94 v kontrolnej skupine. Priemerné hodnotenie ujmy vzrástlo z 2,78 na 3,12. Obe porovnania boli štatisticky významné aj na úrovni účastníkov, no efekt bol skôr mierny. Zaujímavejšie je, že priemerná entropia rozdelenia štítkov stúpla z 1,88 na 2,05 bitu a súhrnná Krippendorffova alfa klesla z 0,111 na 0,066. Príprava teda neviedla ľudí k jednému „správnemu“ názoru. Naopak, vytiahla viac rozdielnych čítaní rovnakého textu.

Kvalitatívna analýza 240 odôvodnení ukázala aj zmenu v type argumentácie. Na vlastnú skúsenosť, skupinovú príslušnosť alebo znalosť diskurzívneho vzorca sa odvolávalo 50,8 percenta odôvodnení po intervencii, oproti 20,8 percenta v kontrolnej vetve. Čisto doslovné čítanie kleslo zo 40,8 na 12,5 percenta. Najväčší nárast používania skúsenostného kontextu pritom nastal u ľudí, ktorí neboli vopred vybraní podľa priamej skúsenosti s danou témou. Často využili inú os, než akú testoval náborový dotazník, napríklad regionálny alebo triedny pôvod namiesto rodu.

Prečo môže byť nižšia zhoda užitočná

V klasickej dátovej pipeline by nižšia zhoda vyzerala ako pokles kvality. Pri subjektívnej úlohe však väčšinové hlasovanie môže odstrániť práve informáciu, ktorú by sa model mal naučiť: že rovnaký výrok má pre rôzne skupiny odlišný význam a riziko. Namiesto jedného tvrdého štítka možno uchovať celé rozdelenie odpovedí, identifikovať systematické perspektívy alebo trénovať model, ktorý dokáže neistotu priznať. Staršie práce o perspektívnom NLP a personalizovanej detekcii nenávistného prejavu podporujú myšlienku, že nezhoda nie je automaticky šum. AXLE prináša konkrétny spôsob, ako túto rozmanitosť skúsiť zachytiť ešte pred agregáciou.

Praktický dopad by sa netýkal iba tréningových dát. Systémy moderovania obsahu, hodnotenia bezpečnosti modelov alebo analýzy spätnej väzby často pracujú s kategóriami, ktorých hranice závisia od kultúry a skúsenosti. Ak dodávateľ datasetu odmeňuje iba zhodu s väčšinou, môže systematicky potláčať menšinové interpretácie. Alternatívou by bolo sledovať kvalitu odôvodnenia, tematické pokrytie a stabilitu úsudku, nie iba percento zhody. Textové profily vytvorené anotátormi by mohli poslúžiť aj modelom, ktoré pracujú s viacerými perspektívami, museli by však byť chránené ako citlivé údaje a nesmeli by sa zmeniť na nástroj profilovania pracovníkov.

Pre slovenské prostredie je tento problém relevantný pri moderovaní obsahu o Rómoch, migrácii, maďarskej menšine, náboženstve, rodovej identite alebo regionálnych rozdieloch. Dataset prenesený z angličtiny nemusí zachytiť miestne narážky, historické asociácie ani spôsob, akým sa diskriminačné tvrdenie maskuje ako neutrálna poznámka. AXLE neznamená, že ku každej téme treba priraďovať ľudí podľa etnicity či inej chránenej vlastnosti. Skôr ukazuje, že kvalitná anotácia potrebuje viac než preložený manuál: rozmanitý nábor, bezpečný priestor na vysvetlenie úsudku a uchovanie nezhody tam, kde má vecný význam.

Čo zatiaľ výsledky nedokazujú

Štúdia má viacero dôležitých obmedzení. Zahŕňala iba 104 účastníkov zo Spojených štátov a Kanady, pričom menšie tematické skupiny mali niekedy len šesť ľudí na experimentálnu bunku. Položky boli syntetické a zámerne vybrané tak, aby vyvolávali rozdielne čítania. Absolútna zhoda bola preto veľmi nízka už z konštrukcie korpusu. Zistenia nemožno bez ďalších experimentov preniesť na veľké produkčné datasety, iné jazyky, faktické úlohy ani na profesionálnych anotátorov pracujúcich pod časovým tlakom.

Nie je tiež vylúčené, že časť účinku spôsobilo samotné upozornenie na identitu. Účastníci mohli odhadnúť očakávanie výskumníkov a hodnotiť texty prísnejšie. Vyššia entropia a rozdielne smery posunov hovoria proti jednoduchému vysvetleniu, že systém všetkých naučil označovať viac ujmy, ale túto alternatívu úplne neodstraňujú. Päť z dvanástich skúmaných mikronaratívov obsahovalo aspoň jeden nepodložený posun a približne 44 percent odôvodnení v experimentálnej vetve nevykazovalo zistiteľnú väzbu na vytvorený príbeh. Samotné použitie jazykového modelu teda prináša riziko skreslenia aj falošného pripísania výpovede účastníkovi.

Prípravná fáza navyše predĺžila medián celého sedenia z 43,8 na 51,4 minúty. Autori odhadujú, že fixný čas by sa pri väčšom počte položiek mohol rozložiť, no tento bod experiment priamo nepotvrdil. Potrebné budú replikácie s väčšou a kultúrne pestrejšou vzorkou, reálnym obsahom, ľudsky vedeným porovnaním a následným testom, či rozmanitejšie štítky skutočne zlepšia správanie vytrénovaných modelov. Najsilnejším výsledkom práce preto nie je tvrdenie, že AXLE už vyriešil subjektívnu anotáciu. Je ním dôkaz, že návrh rozhrania môže meniť, aké ľudské poznanie sa do datasetu vôbec dostane.