AfriSUD pridáva syntaktické treebanky pre deväť afrických jazykov

Vývoj jazykových technológií stále trpí nerovnomerným pokrytím jazykov. Veľké modely sa často hodnotia na angličtine a menšom počte dobre zdokumentovaných jazykov, zatiaľ čo mnohé africké jazyky zostávajú v benchmarkoch, anotovaných korpusoch aj vývojárskych nástrojoch výrazne podreprezentované. Preprint AfriSUD sa snaží túto medzeru zmenšiť tým, že prináša kolekciu syntakticky anotovaných treebankov pre deväť afrických jazykov.

Treebank je jazykový zdroj, v ktorom sú vety doplnené o gramatické a syntaktické vzťahy medzi slovami. Pre systémy spracovania prirodzeného jazyka je to základná infraštruktúra: umožňuje trénovať a hodnotiť modely na určovanie slovných druhov, syntaktickú analýzu alebo porozumenie vetnej štruktúre. AfriSUD používa rámec Surface-Syntactic Universal Dependencies, skrátene SUD, ktorý sa sústreďuje na povrchovo-syntaktické vzťahy a umožňuje porovnateľné anotácie naprieč jazykmi.

Autori zdôrazňujú, že nejde iba o mechanické rozšírenie tabuľky o ďalšie jazyky. Africké jazyky prinášajú typologické vlastnosti, ktoré sú pre modely náročné: aglutináciu, bohatú morfológiu, tónové systémy, odlišné slovosledy a jazykové rodiny, ktoré sa v globálnych NLP dátach objavujú zriedkavo. Ak benchmarky tieto vlastnosti nezachytávajú, model môže vyzerať univerzálnejší, než v skutočnosti je.

Dôležitý je aj komunitný charakter práce. Podľa abstraktu sú dáta overované rodenými hovoriacimi a vznikajú s dôrazom na kvalitu anotácií. To je pri nízkozdrojových jazykoch kľúčové, pretože automatický preklad alebo anotácia bez jazykovej expertízy môže vytvoriť zdroj, ktorý síce vyzerá použiteľne, ale v skutočnosti reprodukuje chyby dominantných jazykových modelov. Kvalitné lokálne overenie je preto rovnako dôležité ako samotný počet viet.

Pre výskumníkov má AfriSUD význam ako hodnotiaca sada. Autori skúšajú viacero modelov na úlohách ako určovanie slovných druhov a syntaktické parsovanie. Takéto výsledky môžu ukázať, kde sú dnešné viacjazyčné modely skutočne robustné a kde sa spoliehajú na podobnosť s jazykmi, na ktorých boli masívne trénované. To je dôležité aj pri hodnotení tvrdení o „globálnych“ jazykových modeloch.

Pre prax je dopad širší než akademické skóre. Jazykové modely a NLP nástroje sa čoraz viac používajú v školstve, verejnej správe, zdravotníckej komunikácii, lokálnom vyhľadávaní či moderovaní obsahu. Ak nástroje nerozumejú syntaktickej štruktúre konkrétneho jazyka, chyby sa môžu prejaviť pri preklade, sumarizácii, extrakcii informácií aj pri vyhľadávaní. Pre používateľov menších jazykov to znamená horšiu kvalitu služieb a menšiu digitálnu dostupnosť.

AfriSUD zároveň pripomína, že jazyková inklúzia nie je len otázkou pridania ďalšieho tokenizéra alebo prekladu používateľského rozhrania. Vyžaduje dáta, anotátorov, metodiku a benchmarky, ktoré rešpektujú konkrétnu lingvistickú realitu. Pre firmy vyvíjajúce modely je takýto zdroj užitočný aj ako test proti skrytému zlyhaniu: model môže pôsobiť viacjazyčne v marketingu, no syntakticky zlyhávať v jazykoch, ktoré sa v tréningovej zmesi vyskytovali málo.

Limity práce sú prirodzené. Deväť jazykov nevyrieši podreprezentovanie celého kontinentu a syntaktické treebanky samy o sebe nepokrývajú všetky úlohy, ktoré používatelia potrebujú. Sú však základným stavebným kameňom. Bez podobných zdrojov sa ťažko budujú spoľahlivé merania a bez meraní sa ťažko rozlišuje skutočný pokrok od všeobecného dojmu, že veľký model „nejako“ zvláda ďalší jazyk.

Pre AI ekosystém je AfriSUD signálom, že ďalšia fáza viacjazyčnosti musí byť menej centralizovaná. Namiesto toho, aby sa kvalita jazykových technológií odvodzovala len od rozsahu komerčných tréningových dát, budú dôležité komunitne vedené zdroje a otvorené hodnotenia. Práve tie môžu ukázať, kde modely potrebujú nové tréningové dáta, lepšiu morfológiu, jemnejšie hodnotenie alebo spoluprácu s lokálnymi jazykovými komunitami.