Nový prehľad mapuje NLP zdroje pre hausštinu a fongbe

Výskum okolo veľkých jazykových modelov sa často sústreďuje na angličtinu, čínštinu alebo niekoľko európskych jazykov. Nový preprint na arXive však pripomína, že skutočná použiteľnosť umelej inteligencie závisí aj od toho, či existujú základné dátové zdroje pre jazyky mimo hlavného komerčného prúdu. Autori Mahounan Pericles Adjovi, Victor Olufemi, Roald Eiselen a Prasenjit Mitra zhrnuli dostupné textové a rečové zdroje pre hausštinu a fongbe a pomenovali medzery, ktoré dnes brzdia vývoj praktických NLP systémov.

Hausština a fongbe sú pritom veľmi odlišné prípady. Hausština patrí medzi afroázijské jazyky a podľa autorov má približne 80 až 100 miliónov hovoriacich, najmä v Nigérii a širšom regióne západnej Afriky. Fongbe je jazyk z nigersko-konžskej rodiny, používaný najmä v Benine, s podstatne menšou komunitou približne dvoch miliónov hovoriacich. Porovnanie týchto dvoch jazykov preto dobre ukazuje, že počet používateľov sám osebe nezaručuje vyspelý ekosystém dát, nástrojov a hodnotiacich úloh.

Prehľad sa nezastavuje pri jednoduchom zozname korpusov. Autori systematicky prechádzali akademické repozitáre, dátové platformy a webové zdroje a pri každej položke sledovali veľkosť, doménu, formát, licenčné podmienky a dostupnosť. Do mapovania zahrnuli paralelné korpusy, jednojazyčné textové zbierky, rečové datasety, predtrénované modely aj benchmarky na hodnotenie úloh. Pre vývojárov je dôležité práve toto praktické čítanie: nestačí vedieť, že nejaký dataset existuje, ak nie je jasné, či je legálne použiteľný, či pokrýva relevantnú doménu alebo či sa dá opakovateľne stiahnuť.

Výsledok je nerovnomerný obraz. Hausština má podľa autorov širšiu rozmanitosť textových zdrojov, najmä v spravodajstve, encyklopedickom obsahu a vzdelávacích doménach. To je dobrý základ pre klasické úlohy spracovania prirodzeného jazyka, ako je klasifikácia textu, pomenované entity, preklad alebo vyhľadávanie. Zároveň však prehľad upozorňuje, že dostupnosť rečových dát pre hausštinu nezodpovedá veľkosti používateľskej základne. Pre hlasových asistentov, prepis hovorenej reči alebo systémy pre verejné služby je to zásadné obmedzenie.

Fongbe je v inom bode vývoja. Textových zdrojov je menej a doménová pestrosť je slabšia, no jazyk sa v posledných rokoch objavuje v akademických iniciatívach zameraných na zber rečových dát. To naznačuje, že pri menších jazykoch nemusí byť najväčší posun vždy v masívnom webovom scrape, ale v cielene vytvorených, dobre zdokumentovaných korpusoch. Ak sú takéto datasety otvorené a majú jasnú licenciu, môžu byť cennejším základom než väčšie, no právne alebo technicky nejasné zbierky.

Zaujímavým spoločným bodom je prítomnosť oboch jazykov v benchmarkoch Masakhane, najmä pri pomenovaných entitách a určovaní slovných druhov. Masakhane je dlhodobá africká komunita a výskumná sieť zameraná na strojový preklad a NLP pre africké jazyky. Pre článok je to dôležitý signál: hodnotenie modelov pre menej zastúpené jazyky nevzniká len v laboratóriách veľkých firiem, ale často v komunitných a akademických sieťach, ktoré poznajú lokálne jazykové a dátové podmienky lepšie než globálne benchmarky.

Praktický dopad takéhoto prehľadu je väčší, než by sa mohlo zdať. Ak má firma, univerzita alebo verejná inštitúcia vyvíjať chatbot, prekladač, nástroj na monitorovanie médií alebo hlasovú službu pre hausštinu či fongbe, potrebuje vedieť, z čoho môže vychádzať. Prehľad pomáha oddeliť oblasti, kde už existuje minimálny základ na experimentovanie, od oblastí, kde by nasadenie bolo zatiaľ skôr improvizáciou. Zároveň môže slúžiť ako nákupný zoznam pre granty: nie všeobecne „viac dát“, ale konkrétne doménovo rozmanitejšie texty pre fongbe a samostatné rečové korpusy pre hausštinu.

Článok tiež nepriamo upozorňuje na riziko, ktoré sprevádza súčasnú vlnu viacjazyčných veľkých modelov. Model môže v marketingových tabuľkách deklarovať podporu desiatok alebo stoviek jazykov, no bez verejne overiteľných dátových zdrojov a benchmarkov je ťažké povedať, čo táto podpora znamená v praxi. Pri jazykoch s menším digitálnym zastúpením môžu byť chyby modelu menej viditeľné pre globálnu komunitu, ale pre lokálnych používateľov majú rovnaké alebo väčšie dôsledky než chyby v angličtine.

Pre slovenského čitateľa je téma zaujímavá aj ako širší obraz európskych a regionálnych jazykov. Slovenský ekosystém má viac dát než mnohé nízkozdrojové jazyky, no rovnaké otázky sa opakujú: kto dataset vytvoril, za akých podmienok sa smie používať, či pokrýva reč aj text, a či máme benchmarky, ktoré merajú reálne úlohy namiesto pohodlných laboratórnych príkladov. Prehľad hausštiny a fongbe tak nie je iba úzkou jazykovednou poznámkou, ale pripomienkou, že inkluzívna AI začína pri auditovateľnej infraštruktúre dát.