Falcon-Emirati-7B učí jazykový model emirátsky dialekt aj miestny kultúrny kontext

Jazykový model pre arabčinu, ktorou sa skutočne hovorí

Technology Innovation Institute (TII) predstavil Falcon-Emirati-7B, jazykový model špecializovaný na emirátsky dialekt arabčiny. Nejde iba o doplnenie miestnej slovnej zásoby do všeobecného arabského modelu. Vývojári sa pokúsili zachytiť aj spôsob vyjadrovania, ustálené frázy, humor, príslovia, poéziu a spoločenské pravidlá, ktorých význam sa pri doslovnom preklade často stráca. Model vychádza zo sedemmiliardovej verzie Falcon-H1-Arabic a podľa autorov má lepšie rozumieť každodennej komunikácii obyvateľov Spojených arabských emirátov než systémy trénované prevažne na modernej spisovnej arabčine.

Rozdiel medzi spisovnou a hovorenou arabčinou je pre jazykové modely zásadný. Moderná spisovná arabčina dominuje spravodajstvu, úradným dokumentom, školským textom a veľkej časti digitalizovaných zdrojov. Bežné rozhovory však prebiehajú v regionálnych dialektoch, ktoré majú vlastnú výslovnosť, gramatiku, slovník aj kultúrne skratky. Jeden výraz môže byť formálne preložený správne, no odpoveď napriek tomu pôsobí neprirodzene alebo minie zamýšľaný význam. Tento problém je výrazný pri menej zastúpených dialektoch, pretože ich používatelia vytvárajú omnoho menej verejne dostupného písaného obsahu než používatelia veľkých svetových jazykov.

Základom nového modelu je Falcon-H1-Arabic, rodina modelov kombinujúca mechanizmus pozornosti Transformerov so stavovými modelmi typu Mamba. Obe vetvy pracujú v jednotlivých blokoch paralelne a ich výstupy sa následne spájajú. Cieľom hybridnej architektúry je zachovať presné spracovanie vzdialených súvislostí a zároveň znížiť výpočtové nároky pri dlhých sekvenciách. Arabská rodina zahŕňa modely s 3, 7 a 34 miliardami parametrov a podporuje kontextové okná do 128-tisíc až 256-tisíc tokenov. TII zvolil pre dialektovú adaptáciu variant 7B ako kompromis medzi kvalitou, nákladmi na trénovanie a praktickým nasadením.

Tri vrstvy dát namiesto jednoduchého prekladu

Tím vytvoril samostatný dátový postup založený na troch typoch materiálu. Prvú vrstvu tvorí autentický obsah z emirátskych webov a diskusných fór, ktorý má zachytiť prirodzené frázy a prepínanie medzi dialektom a spisovnou arabčinou. Druhá vrstva obsahuje texty v modernej spisovnej arabčine o kultúre, histórii, zvykoch, hodnotách a spoločenských normách Emirátov. Tie model neučia samotný dialekt, ale poskytujú mu kontext potrebný na interpretáciu miestnych tém. Tretiu vrstvu predstavujú syntetické dialógové dáta vytvorené podľa slovníkov a explicitných pravidiel emirátskej gramatiky a štýlu.

Takáto kombinácia reaguje na typický problém jazykovej lokalizácie: autentických dát je málo, no samotné syntetické dáta môžu ľahko skĺznuť ku generickej „zálivovej“ arabčine. Vývojári preto syntetické príklady obmedzovali glosármi a pravidlami namiesto toho, aby generátoru dovolili voľne napodobňovať dialekt. Dôležitou otázkou zostáva, akú časť tréningového súboru tvorili jednotlivé zdroje, ako sa odstraňovali duplicity a nekvalitný obsah a do akej miery boli dáta kontrolované rodenými hovoriacimi. Verejný opis vysvetľuje stratégiu, ale neposkytuje úplnú dokumentáciu dátového súboru potrebnú na nezávislú reprodukciu tréningu.

Adaptácia navyše neprebiehala jediným krokom. Tím skúšal rôzne pomery dát a kombinácie pokračujúceho predtrénovania, dolaďovania podľa inštrukcií a optimalizácie preferencií. To je podstatné, pretože príliš agresívne dolaďovanie na úzky dialekt môže oslabiť všeobecné schopnosti základného modelu alebo zhoršiť spisovnú arabčinu. Príliš opatrná adaptácia zasa vytvorí systém, ktorý pozná niekoľko lokálnych výrazov, ale v dlhšom rozhovore sa vráti ku generickému jazyku. Falcon-Emirati-7B je preto zaujímavý aj ako experiment s rovnováhou medzi lokálnou špecializáciou a zachovaním širších jazykových schopností.

Benchmark zachytáva jazyk aj spoločenské nuansy

Na hodnotenie použili autori okrem manuálnej kontroly rodenými hovoriacimi aj benchmark Alyah. Verejne dostupný testovací súbor obsahuje 1 173 otázok s výberom odpovede, rozdelených do siedmich kategórií. Nekontroluje iba slovnú zásobu. Zahŕňa obrazné významy, etiketu a hodnoty, spoločenskú a náboženskú citlivosť či historické a kultúrne znalosti. Príklady preverujú význam miestnych výrazov, pomenovania vetrov alebo primerané správanie v tradičnom spoločenskom prostredí. Takéto úlohy lepšie ukazujú rozdiel medzi mechanickým prekladom a porozumením situácii.

Benchmark však vytvorila tá istá organizácia, ktorá vyvinula aj model. Ide o užitočný a verejne kontrolovateľný materiál, nie však o úplne nezávislé potvrdenie kvality. Samotná dokumentácia upozorňuje, že Alyah nepokrýva všetky regionálne, generačné a spoločenské varianty emirátskej reči a že synteticky vytvorené nesprávne odpovede môžu obsahovať jemné skreslenia. Súbor je určený na evaluáciu, nie na trénovanie. Pri porovnávaní modelov bude preto dôležité overiť, či sa testovacie otázky alebo ich blízke varianty nedostali do tréningových dát.

Manuálne hodnotenie je pri dialekte nevyhnutné, pretože automatická presnosť pri otázkach s výberom odpovede nedokáže spoľahlivo posúdiť prirodzenosť rozhovoru, tón ani vhodnosť odpovede pre konkrétnu situáciu. Zároveň však prináša subjektivitu: hodnotitelia z rôznych emirátov, vekových skupín alebo sociálnych prostredí nemusia rovnakú formuláciu vnímať rovnako. Na presvedčivé potvrdenie výsledkov budú potrebné slepé porovnania s ďalšími arabskými modelmi, presne opísaná skupina hodnotiteľov a testy na úlohách, ktoré nevytvorili autori Falconu.

Praktický význam presahuje jeden dialekt

Lokálne prispôsobený model môže byť užitočný v zákazníckej podpore, hlasových asistentoch, digitálnych verejných službách, vzdelávaní, médiách aj pri spracovaní kultúrnych archívov. Sedem miliárd parametrov zároveň otvára realistickejšiu cestu k lokálnemu alebo privátnemu nasadeniu než modely s desiatkami či stovkami miliárd parametrov. Pre organizácie pracujúce s citlivými rozhovormi môže byť možnosť prevádzkovať menší model vo vlastnom prostredí rovnako dôležitá ako samotná kvalita dialektu. Verejné materiály však zatiaľ nepostačujú na presné porovnanie pamäťových nárokov, rýchlosti a nákladov s konkurenčnými arabskými modelmi.

Projekt zároveň ukazuje, že jazyková lokalizácia nie je iba preklad používateľského rozhrania alebo pridanie národných dokumentov do systému RAG. Ak má asistent pôsobiť prirodzene, musí rozlišovať formálny jazyk, každodennú reč, regionálne varianty a kultúrne očakávania. Rovnaká zásada platí aj pre menšie európske jazyky vrátane slovenčiny: vysoké skóre v anglickom benchmarku nič nehovorí o zvládnutí nárečí, zdvorilostných foriem, miestnych inštitúcií či významov ukrytých v idiomoch. Falcon-Emirati-7B ponúka konkrétny postup, ako takéto medzery riešiť kombináciou autentických dát, kultúrneho kontextu a kontrolovanej syntézy.

Čo zatiaľ nevieme

TII zverejnil podrobný redakčný opis modelu a otvorený benchmark, no na nezávislé posúdenie zostáva viacero otázok. Nie je jasné, ako sa model správa mimo pripravených testovacích kategórií, pri miešaní emirátskeho dialektu s angličtinou, pri dlhých rozhovoroch alebo pri témach s bezpečnostným a spoločenským rizikom. Potrebné sú aj merania faktickosti, odolnosti proti škodlivým inštrukciám, stereotypov a možného zamieňania jednotlivých zálivových dialektov. Tvrdenia o kultúrnej presnosti preto treba zatiaľ chápať ako výsledky prezentované autormi, nie ako uzavretý nezávislý konsenzus.

Novinka je napriek tomu dôležitým signálom pre vývoj viacjazyčnej AI. Namiesto ďalšieho univerzálneho modelu sa TII sústredil na jazykovú komunitu, ktorej každodenná reč je vo verejných tréningových korpusoch nedostatočne zastúpená. Ak následné nezávislé testy potvrdia prínos bez výraznej straty všeobecných schopností, podobná cesta môže byť efektívnejšia než neustále zväčšovanie modelov. Rozhodujúce však bude, či vývojári sprístupnia dostatok technických údajov, licenčných podmienok a reprodukovateľných evaluácií, aby sa Falcon-Emirati-7B dal posudzovať podľa výsledkov, nielen podľa presvedčivého opisu.