Zhoda verdiktov nestačí: modely a ľudia sa rozchádzajú v morálnych dôvodoch

Čo benchmark meria navyše

Bežná evaluácia etického správania jazykového modelu sa často končí otázkou, či jeho odpoveď zodpovedá referenčnému štítku. Práca výskumníkov z Univerzity v Ľubľane ukazuje, prečo je takýto výsledok iba prvou vrstvou kontroly. Model aj človek môžu označiť konanie za nesprávne, ale jeden zdôrazní spôsobenú ujmu a druhý porušený sľub, nedostatok rešpektu alebo nespravodlivosť. Rovnaký verdikt teda nemusí znamenať rovnaké pochopenie situácie ani stabilnú reakciu po malej zmene kontextu.

Autori vytvorili kurátorovaný súbor 500 anglických položiek odvodených od benchmarku ETHICS, po 100 z oblastí bežnej morálky, deontológie, spravodlivosti, utilitarizmu a etiky cností. Každú položku hodnotili traja ľudia vybraní zo skupiny piatich anotátorov. Rovnaké úlohy dostali tri označené „frontier“ modely a štyri otvorené modely z rodín Gemma a slovinsky orientovaných GaMS. Ľudská väčšina slúžila ako praktická referencia na porovnanie, nie ako univerzálna morálna pravda.

Dôležitou novinkou oproti jednoduchému porovnaniu štítkov je druhá anotačná vrstva. Pri bežnej morálke mohli hodnotitelia vyberať princípy ako ujma, pravdivosť, dodržanie sľubu, spravodlivosť, dobročinnosť, sloboda či rešpekt. Pri deontologických úlohách posudzovali aj to, či je výhovorka nemožná, irelevantná, morálne správna alebo nesprávna. Pri spravodlivosti rozlišovali zásluhu, jej absenciu a nestrannosť. Štruktúrované porovnanie dôvodov sa preto týka iba prvých troch oblastí; utilitarizmus a etika cností mali voľné textové vysvetlenia.

Vysoké skóre, odlišný profil

Na úrovni konečných odpovedí vyzerajú výsledky presvedčivo. Tri najvýkonnejšie uzavreté modely dosiahli zhodu s ľudskou väčšinou od 0,883 do 0,889 a Cohenovo kappa od 0,849 do 0,857. Najlepší otvorený model dosiahol zhodu 0,859. Ani agregované číslo však nebolo rovnomerné: Gemma 12B mala v utilitarizme len 0,505 a viaceré otvorené modely klesli v oblasti spravodlivosti na 0,730. Samotná veľkosť modelu navyše nepomáhala rovnako v každej rodine a morálnej doméne.

Rozdiel sa výraznejšie ukázal pri dôvodoch. Pri viacnásobnom výbere princípov v bežnej morálke bol priemerný Jaccardov prekryv medzi ľuďmi a modelmi 0,350, zatiaľ čo medzi frontier modelmi navzájom dosiahol 0,687. V deontológii klesol ľudsko-modelový prekryv princípov na 0,235. Modely tak môžu byť konzistentnejšie medzi sebou než s ľuďmi, hoci ich finálne odpovede sa s ľudskou väčšinou často zhodujú. Nejde automaticky o chybu, pretože jeden prípad môže mať viac legitímnych morálnych interpretácií, ale rozdiel je dôležitým diagnostickým signálom.

Najvýraznejší posun nastal pri výhovorkách a povinnostiach. Ľudia označili dôvod za irelevantný v 37,9 % príslušných anotácií, kým modely najčastejšie hodnotili širšiu situáciu ako morálne nesprávnu: pri frontier modeloch tvorila táto kategória 57,0 % a pri otvorených 55,8 %. V ilustračnom príklade všetci odmietli tvrdenie, že ukradnuté auto ospravedlňuje nezaplatenie mýta. Ľudia však prevažne pomenovali irelevantnosť výhovorky, zatiaľ čo modely reagovali na morálnu závažnosť krádeže. Verdikt sedel, predmet zdôvodnenia nie.

Podobná zmena váh sa objavila pri konkrétnych princípoch. V bežnej morálke dominovala ujma u ľudí aj modelov, no frontier modely častejšie zdôrazňovali rešpekt a ľudia častejšie pravdivosť a dodržanie sľubu. V deontológii bola u ľudí najčastejším princípom vernosť sľubu s podielom 26,9 %, modely ju však zastupovali slabšie a presúvali pozornosť k ujme, rešpektu a spravodlivosti. Pri otázkach zásluh ľudia najčastejšie vyberali „zaslúžené“ s podielom 52 %, zatiaľ čo frontier modely mierne uprednostnili opačnú kategóriu.

Dôsledky pre nasadenie na Slovensku a v EÚ

Pre organizáciu, ktorá používa LLM ako podporu rozhodovania, z toho vyplýva praktická požiadavka: testovať nielen priemernú úspešnosť, ale aj dôvody, citlivosť na preformulovanie a správanie v jednotlivých podskupinách prípadov. Pri moderovaní, nábore, vzdelávaní, prideľovaní služieb alebo príprave právnych podkladov môže model dosiahnuť prijateľné skóre, no systematicky prehliadať sľuby, implicitné záväzky či primeranú reciprocitu. Takýto posun sa môže naplno prejaviť až v hraničnom prípade, ktorý v benchmarku nebol.

Európsky kontext túto potrebu zosilňuje, hoci skúmaný benchmark sám osebe nie je testom súladu s Aktom o umelej inteligencii. Európska komisia pri vysokorizikových systémoch uvádza požiadavky na riadenie rizík, kvalitné dáta, logovanie, dokumentáciu, informácie pre nasadzovateľa, ľudský dohľad, robustnosť a presnosť. Rationale-aware evaluácia môže byť jedným z interných podkladov pre takéto kontroly, nenahrádza však právne posúdenie ani povinnú dokumentáciu. Pre slovenské firmy a verejné inštitúcie je podstatné najmä zaznamenávať, podľa akých pravidiel sa systém posudzoval a kde jeho odpoveď musí potvrdiť človek.

Lokálnym obmedzením je jazyk a kultúrny rámec. Všetky testované položky boli po anglicky a ľudskí anotátori mali podľa autorov prevažne stredoeurópske sociokultúrne zázemie. To je bližšie slovenskému prostrediu než anonymná globálna vzorka, stále však nejde o reprezentatívny obraz Slovenska ani Európy. Test pre domáce nasadenie by mal obsahovať slovenské formulácie, právne a pracovné situácie, regionálne jazykové nuansy a viac skupín anotátorov. Preklad pôvodných scenárov bez novej anotácie by mohol meniť implicitné záväzky aj vnímanú závažnosť konania.

Čo z vysvetlení nemožno vyvodiť

Najdôležitejšia hranica interpretácie spočíva v tom, že vygenerované odôvodnenie nie je priamym záznamom vnútorného výpočtu modelu. Staršia práca o nevierohodnosti reťazcov uvažovania ukázala, že model môže vytvoriť presvedčivú racionalizáciu odpovede bez priznania vplyvu skresľujúceho prvku v zadaní. Nový benchmark preto správne hovorí o vyjadrených morálnych dôvodoch, nie o dokázanom internom mechanizme. Analýza vysvetlení zvyšuje kontrolovateľnosť výstupu, ale sama nepotvrdzuje, prečo model odpoveď skutočne vytvoril.

Opatrnosť si vyžaduje aj rozsah štúdie. Súbor bol zámerne kurátorovaný, každý príklad hodnotili iba traja ľudia z malej skupiny a štruktúrované dôvody sa kvantitatívne analyzovali len v troch z piatich oblastí. Výsledky závisia od jedného protokolu, konkrétnych verzií modelov a zvolenej taxonómie. Práca bola podľa záznamu prijatá a prezentovaná na AI Transparency Conference 2026, dostupný text je však prvá verzia preprintu. Otvorenými krokmi zostávajú zverejnenie plne kontrolovateľných materiálov a skriptov, nezávislá replikácia, viacjazyčné testy a overenie, či rozdielne dôvody naozaj predpovedajú zlyhanie v nových situáciách.

Záver preto nie je, že model s iným zdôvodnením je automaticky nebezpečný alebo morálne chybný. Ľudia sa v etických otázkach legitímne rozchádzajú a väčšinový štítok môže potlačiť menšinové pohľady. Presnejší odkaz znie, že zhoda verdiktov meria iba pozorovateľný výsledok. Dôveryhodnejšia evaluácia má kombinovať štítky, profily vyjadrených dôvodov, kontrafaktuálne a jazykové varianty, doménové testy a ľudský dohľad. Až takýto súbor dôkazov môže ukázať, či dobré benchmarkové skóre vydrží aj mimo kontrolovaného testu.