Apple: LLM ani ľudskí anotátori zatiaľ spoľahlivo nehodnotia kvalitu prekladov

Automatický hodnotiteľ nie je univerzálnym rozhodcom

Veľké jazykové modely sa čoraz častejšie používajú nielen na samotný preklad, ale aj na posudzovanie jeho kvality. Nová práca výskumníkov Apple však upozorňuje, že nahradiť ľudských anotátorov modelom nie je jednoduchá výmena drahej práce za lacnejšie API volanie. Autori porovnali ľudí a LLM pri dvoch rozšírených spôsoboch hodnotenia strojového prekladu: Multidimensional Quality Metrics, teda MQM, a Error Span Annotation, skrátene ESA. Testovanie zahŕňalo vlastnú dlhokontextovú množinu so 70 jazykovými pármi aj verejné dáta WMT23 a WMT25. Výsledok nie je jednoznačným víťazstvom jednej strany. Modely dosiahli pri niektorých úlohách vyššiu zhodu s referenčnými anotáciami, než akú mali ľudskí hodnotitelia medzi sebou, no výkon oboch skupín sa výrazne menil podľa jazyka, domény a typu požadovaného označenia.

Takýto záver je dôležitý, pretože automatické hodnotenie už ovplyvňuje výber modelov, ladenie prekladových systémov aj rozhodovanie o tom, či môže výstup pokračovať do produkcie. Jedno agregované skóre môže pôsobiť presne, hoci zakrýva rozdiely medzi závažnou zmenou významu, drobnou štylistickou neobratnosťou a použitím nesprávneho regionálneho variantu jazyka. Ak je samotný hodnotiteľ nestabilný, vývojový tím môže optimalizovať systém smerom k chybnému cieľu. Štúdia preto nespochybňuje potrebu automatických metrík, ale predstavu, že všeobecný LLM možno bez ďalšieho overenia použiť ako spoľahlivého arbitra pre ľubovoľnú kombináciu jazykov a textových domén.

MQM a ESA kladú odlišné nároky

MQM rozkladá kvalitu prekladu na kategórie chýb a ich závažnosť. Hodnotiteľ musí rozpoznať napríklad nepresnosť, vynechanie, gramatický problém alebo nevhodnú terminológiu a následne chybu zaradiť do príslušnej triedy. Je to informačne bohatší postup než jednoduchá známka, ale zároveň vyžaduje dôsledné používanie podrobnej taxonómie. Apple uvádza, že ľudskí anotátori mali problémy najmä s jemne členenými MQM značkami a s jazykovými pármi, pre ktoré je menej zdrojov. Nezhoda preto nemusí automaticky znamenať nedbalosť. Môže odrážať nejednoznačné hranice medzi kategóriami, rozdielne chápanie inštrukcií alebo nedostatok jazykovej a kultúrnej expertízy.

ESA sa sústreďuje na označenie konkrétneho úseku textu, v ktorom sa chyba nachádza. Nestačí teda určiť, že preklad je slabší; anotátor musí správne lokalizovať problematické slová alebo frázu. Podľa výskumníkov mali LLM ťažkosti práve s označovaním rozsahu chyby, s drobnými nedostatkami a s prípadmi, keď preklad použil nesprávny jazykový variant. Model môže správne vycítiť, že veta nie je ideálna, no napriek tomu označiť príliš široký úsek, nesprávne miesto alebo prehliadnuť regionálny rozdiel. To obmedzuje využitie takéhoto hodnotenia pri tvorbe tréningových dát, kde sa nepresná lokalizácia chyby môže preniesť do ďalšieho učenia modelu.

Širší kontext poskytujú aj výsledky hodnotenia metrík vo WMT23. Organizátori tam porovnávali automatické metriky podľa korelácie s expertnými ľudskými hodnoteniami na systémovej aj segmentovej úrovni. Neurónové metriky dosahovali lepšiu zhodu než tradičné neneurónové prístupy, no analýza zároveň ukázala, že výsledok môže skresliť kvalita referenčného prekladu. Hodnotiaci reťazec teda obsahuje viac možných zdrojov chyby: posudzovaný preklad, automatickú metriku, referenciu, anotátora aj samotnú metodiku. Nová práca Apple túto diskusiu rozširuje o otázku, či možno LLM považovať za náhradu človeka pri detailnej anotácii. Odpoveď zatiaľ znie: iba v presne vymedzených podmienkach a po lokálnej validácii.

Praktický dopad pre prekladové tímy

Pre firmy je najbezpečnejším záverom kombinovaný hodnotiaci proces. LLM môže lacno spracovať veľký objem textu, vyhľadať podozrivé prípady a pripraviť predbežné kategórie chýb. Človek potom nemusí kontrolovať všetko rovnako podrobne, ale môže sa sústrediť na vzorky s nízkou istotou, rizikové domény a jazyky, pri ktorých model vykazuje slabšiu stabilitu. Apple priamo naznačuje potenciál spolupracujúcich ľudsko-modelových postupov. Nejde však o potvrdenie konkrétneho hotového produkčného riešenia. Štúdia skôr ukazuje, prečo má byť rozdelenie práce navrhnuté podľa nameraných slabín oboch strán než podľa všeobecného predpokladu, že väčší model automaticky znamená lepšieho hodnotiteľa.

Pri nasadení by mal tím merať viac než priemernú koreláciu alebo jedno výsledné skóre. Potrebné je sledovať zhodu oddelene podľa jazykového páru, domény, kategórie chyby a jej závažnosti. Osobitnú testovaciu vrstvu si zaslúžia právne, zdravotnícke a technické texty, kde môže terminologicky malá odchýlka meniť význam alebo vytvoriť prevádzkové riziko. Užitočné je tiež opakovane anotovať časť vzorky viacerými ľuďmi a modelmi. Bez merania zhody medzi hodnotiteľmi totiž nemožno rozlíšiť, či sa zhoršil prekladový systém, zmenil sa hodnotiaci model alebo je nejednoznačný samotný návod.

Pre slovenčinu je podstatná najmä otázka pokrytia. Zverejnené zhrnutie potvrdzuje testovanie 70 jazykových párov, ale neposkytuje na stránke Apple podrobný rozpis výsledkov pre každý jazyk ani samostatné čísla pre slovenčinu. Výsledky preto nemožno automaticky preniesť na kombinácie slovenčiny s angličtinou, češtinou, nemčinou či ukrajinčinou. Menší jazyk môže byť citlivejší na nedostatok kvalitných anotátorov, slabšie zastúpenie regionálnych a odborných variantov v tréningových dátach aj na to, že model nesprávne vyhodnotí prirodzenú domácu formuláciu ako chybu. Slovenské tímy potrebujú vlastnú reprezentatívnu validačnú vzorku, nie iba skóre prevzaté z veľkého viacjazyčného benchmarku.

Čo výsledky ešte nedokazujú

Z dostupného zhrnutia nemožno určiť, či sa zistenia rovnako vzťahujú na všetky súčasné modely, cenové triedy a konfigurácie promptov. Nie je tiež isté, ako rýchlo sa výkon zmení s novými generáciami LLM alebo s modelmi cielene doladenými na hodnotenie prekladov. Uvádzaná vyššia zhoda modelu pri niektorých úlohách navyše neznamená, že model prekladu lepšie rozumie vo všeobecnosti. Záleží na tom, voči akej referencii sa zhoda počíta, ako sú vyriešené sporné prípady a či hodnotiaci protokol neuprednostňuje určitý štýl odpovede. Korelácia s anotáciami je užitočný signál, nie absolútny dôkaz správnosti.

Rovnako dôležité je nečítať nezhodu ľudí iba ako argument na ich nahradenie. Predchádzajúci rozsiahly výskum ľudského hodnotenia strojového prekladu ukázal význam expertízy, kontextu a presného označovania chýb. Ak ľudia dostanú nejasné pravidlá alebo izolované vety bez širšieho kontextu, kvalita referenčných anotácií klesá. LLM potom môže vyzerať konzistentnejšie jednoducho preto, že opakuje rovnaký rozhodovací vzorec, nie preto, že je jeho verdikt vždy správny. Konzistentná chyba zostáva chybou a pri automatizovanom hodnotení sa môže navyše škálovať na milióny viet.

Praktickým posolstvom práce preto nie je zákaz LLM hodnotiteľov, ale potreba kalibrácie. Organizácie by mali vopred definovať, ktoré chyby môže model posudzovať samostatne, pri akom prahu sa zapojí človek a ako sa bude priebežne kontrolovať posun správania. Uchovávanie oddelených výsledkov pre jednotlivé jazyky a typy chýb je hodnotnejšie než jedno marketingovo príťažlivé skóre. Kým nebudú dostupné podrobnejšie replikácie naprieč modelmi a jazykmi, LLM je vhodné chápať ako pomocného anotátora a nástroj na triedenie práce, nie ako univerzálnu autoritu nad kvalitou prekladu.