ServiceNow testuje, ako hlasoví agenti zvládajú prepínanie jazykov

ServiceNow AI zverejnil benchmark pre rozpoznávanie reči v situáciách, kde hovoriaci prirodzene prepínajú medzi dvoma jazykmi. Nejde o akademickú kuriozitu. V kontaktných centrách, interných helpdeskoch alebo zákazníckej podpore je bežné, že človek začne vetu v jednom jazyku a dokončí ju v druhom, prípadne použije cudzie technické výrazy uprostred domáceho jazyka. Ak hlasový agent prepíše takýto vstup nepresne, chyba sa prenesie do celej ďalšej pipeline: od porozumenia zámeru až po odpoveď alebo eskaláciu na človeka.

Autori článku vysvetľujú, že sa zamerali na automatické rozpoznávanie reči, pretože je prvým úzkym hrdlom hlasového agenta. Aj veľmi dobrý jazykový model v ďalšom kroku pracuje len s tým, čo dostane ako text. Ak sa v prepise stratia mená produktov, čísla tiketov, doménové termíny alebo jazyková zmena, agent môže pôsobiť plynulo, no vecne riešiť nesprávny problém. Benchmark preto nemeria iba všeobecnú kvalitu prepisu, ale osobitne sleduje, akú dodatočnú cenu prináša kódové prepínanie oproti jednojazyčnej reči.

Dôležité je aj to, že ServiceNow rámcuje problém ako enterprise úlohu, nie ako spotrebiteľskú ukážku hlasového asistenta. V podnikových scenároch býva slovník úzky a citlivý: názvy interných systémov, incidentov, oddelení, skratiek alebo produktových radov nemusia byť v bežných tréningových dátach zastúpené. Dvojjazyčný používateľ pritom často prepína práve pri týchto výrazoch, pretože technický alebo pracovný termín pozná v angličtine, ale zvyšok požiadavky formuluje lokálnym jazykom.

Benchmark podľa zverejneného textu sleduje viacero typov chýb. Bežná miera chybovosti slov vie povedať, koľko sa prepísalo nesprávne, ale menej dobre vysvetľuje, či model zlyhal práve pri prepnutí jazyka alebo pri entitách, ktoré sú pre vyriešenie prípadu najdôležitejšie. Preto autori pridávajú aj jemnejšie metriky pre segmenty s prepínaním a pre entity. Pre prevádzkovateľov hlasových agentov je to praktické: výsledok nemá byť jediné číslo do leaderboardu, ale diagnostika, kde treba doplniť dáta, prispôsobiť model alebo zmeniť fallback na človeka.

Pre firmy, ktoré chcú nasadiť voice AI v Európe alebo Ázii, je odkaz jasný. Nestačí otestovať asistenta na čistej angličtine alebo čistej slovenčine a predpokladať, že dvojjazyčná realita dopadne podobne. Mnohé regióny fungujú v hybridnom jazyku práce: lokálna komunikácia sa mieša s anglickými názvami služieb, kódmi, obchodnými názvami a vetami prevzatými z dokumentácie. Hlasový agent, ktorý túto vrstvu nezvláda, môže byť horší než textový formulár, pretože používateľ dostane pocit prirodzeného rozhovoru, no systém v pozadí stráca kľúčové fakty.

Zaujímavé je aj širšie načasovanie. V posledných mesiacoch sa veľa hovorí o agentoch, ktorí dokážu konať v aplikáciách, čítať obrazovku alebo samostatne zakladať úlohy. Hlasové rozhranie však zostáva jedným z najrýchlejších spôsobov, ako dostať do systému bohatý kontext. Ak má byť agent používaný pri poistnej udalosti, IT incidente alebo podpore terénneho pracovníka, kvalita prepisu je bezpečnostná aj produktová vlastnosť. Slabý ASR model môže vytvoriť falošnú istotu a urýchliť nesprávne rozhodnutie.

ServiceNow týmto benchmarkom zároveň pripomína, že hodnotenie frontier modelov sa musí posúvať bližšie k skutočným pracovným podmienkam. Laboratórne datasety s čistými nahrávkami a jedným jazykom sú užitočné, ale neodpovedajú na otázku, či systém zvládne zákazníka, ktorý opisuje problém v zmiešanom jazyku, v hluku a s odbornými názvami. Pre dodávateľov agentických platforiem to znamená tlak na zverejňovanie detailnejších testov, nielen všeobecných tvrdení o presnosti.

Pre slovenský trh má téma priamy dopad. Veľa tímov používa anglickú terminológiu aj v slovenskej vete a zákaznícka komunikácia sa často prelína s češtinou, angličtinou alebo jazykom konkrétneho softvéru. Pri hodnotení hlasového agenta by preto firmy mali pripraviť vlastnú sadu reálnych fráz, typických skratiek a názvov, nie iba prevziať globálne skóre výrobcu. Benchmark od ServiceNow môže poslúžiť ako šablóna, ako takéto testovanie rozbiť na konkrétne chyby.

Najväčšou hodnotou zverejnenia nie je samotné poradie modelov, ale upozornenie na slepé miesto v nasadzovaní voice AI. Hlasový agent môže znieť presvedčivo, no ak nerozumie jazykovej zmesi, v ktorej zákazníci skutočne hovoria, nebude spoľahlivým pracovným nástrojom. Nasadenie by preto malo zahŕňať meranie chýb pri prepínaní jazykov, citlivé fallbacky a priebežné zlepšovanie dát podľa reálnych hovorov, nie iba jednorazový pilot s ukážkovými vetami.