Špičkové modely prepisu reči môžu poznať odpoveď skôr, než ju počujú

Výsledky verejných benchmarkov naznačujú, že automatické rozpoznávanie reči sa pri čistej angličtine približuje k ľudskej úrovni. Nová práca výskumníkov z Hume AI však upozorňuje, že časť tohto pokroku môže byť viazaná na konkrétne testovacie súbory. Niektoré z najlepšie hodnotených otvorených modelov totiž dokázali reprodukovať referenčný prepis aj v situácii, keď zvuk obsahoval inú vetu, rozhodujúce číslo bolo odstránené alebo nahrávka pripúšťala viac pravopisných podôb. Model v takom prípade neprepisuje iba to, čo počuje. Správa sa aj podľa toho, aký benchmark zrejme rozpoznal.

Autori otestovali 11 rozšírených modelov automatického rozpoznávania reči, medzi nimi systémy od Cohere, Nvidie, IBM, Microsoftu, Qwenu, Mistralu, Moonshot AI a OpenAI. Práca sa sústreďuje na verejné datasety VoxPopuli a LibriSpeech, ktoré sa dlhodobo používajú na porovnávanie kvality prepisu. Zistenie neznamená, že všetky skúmané modely zlyhávajú rovnako alebo že ich výsledky nemajú hodnotu. Ukazuje však, že nízka miera chybovosti slov, známa ako WER, nemusí automaticky znamenať rovnako spoľahlivý výkon na novom zvuku z iného prostredia.

Tri testy namiesto jedného čísla

Výskumníci navrhli tri rodiny behaviorálnych testov. Prvá hľadá prípady, v ktorých referenčný text benchmarku nesúhlasí so skutočnou nahrávkou. Namiesto otázky, či model trafí uloženú „správnu odpoveď“, sa sleduje, či verne zachytí počuteľný obsah. Druhý test zámerne umlčí čísla a zisťuje, či ich systém napriek tomu doplní presne podľa referenčného prepisu. Tretí pracuje s pravopisne nejednoznačnými výrazmi a skúma, či model volí podobu spojenú s konkrétnym datasetom. Spolu tak oddeľujú schopnosť počúvať od schopnosti spoznať test a predvídať jeho očakávaný výstup.

Najvýraznejší príklad pochádza z anglickej časti VoxPopuli, vytvorenej z rokovaní Európskeho parlamentu. V jednej nahrávke je počuteľná fráza „Thank you, Mr. President“, no pôvodný referenčný text úvodné poďakovanie vynecháva. Šesť z 11 modelov zopakovalo chybnú referenciu a frázu odstránilo, hoci bola vo zvuku prítomná. Pri syntetickom prehratí rovnakej vety hlasom novšieho parlamentného rečníka sa väčšina systémov vrátila k zvukovo vernej odpovedi. Pri generickom syntetickom hlase doplnilo počuteľné poďakovanie všetkých 11 modelov.

Podľa autorov ich postup označil možné chyby referencie v 40 percentách analyzovaných klipov VoxPopuli, ktoré zasahovali približne tri percentá všetkých referenčných slov. Modely vykazujúce správanie optimalizované na benchmark reprodukovali chybné referenčné prepisy v 18 až 30 percentách takýchto prípadov. Dôležitá je aj opačná súvislosť: systémy s najnižším WER patrili zároveň medzi tie, ktoré najčastejšie uprednostnili očakávaný text pred obsahom nahrávky. Dobré poradie v tabuľke preto nemusí byť iba výsledkom lepšieho akustického rozpoznávania.

Keď model doplní umlčané číslo

Ešte priamejší dôkaz priniesol test s odstránenými číslami. Autori vystrihli alebo umlčali príslušnú časť zvuku, takže správny prepis nemal obsahovať konkrétnu hodnotu. Niektoré modely napriek tomu obnovili presné číslo uložené v benchmarku. Na LibriSpeech dosahovala pri vybraných najvýkonnejších systémoch obnova maskovaných čísel približne 30 až 40 percent príkladov. Účinok zoslabol pri čerstvo zozbieraných nahrávkach, čo naznačuje, že modely nevyužívali len všeobecné jazykové dopĺňanie, ale aj akustické znaky spojené so známym datasetom.

Práca ide ďalej než konštatovanie možnej kontaminácie tréningových dát. Mechanistické experimenty podľa autorov ukázali, že správanie sa dá v niektorých prípadoch meniť nízkorozmerovým lineárnym zásahom do aktivácií modelu alebo jednoduchým pripojením iného zvuku na koniec segmentu. To podporuje hypotézu, že systém zachytáva úzke akustické signály, podľa ktorých prepne na politiku prispôsobenú benchmarku. Nejde teda nevyhnutne o doslovné zapamätanie celej nahrávky; model môže rozpoznať charakteristiku zdroja a následne viac dôverovať naučenému referenčnému vzoru než aktuálnemu audiu.

Nezávislý kontext poskytuje Artificial Analysis, ktorý už vo februári zverejnil ručne opravené prepisy VoxPopuli a Earnings22. Organizácia uviedla, že chyby v pôvodných anotáciách nespravodlivo penalizovali systémy, ktoré zvuk prepísali správne. Do vlastného benchmarku AA-WER v2.0 preto pridala neveľejnú testovaciu množinu zameranú na komunikáciu s hlasovými agentmi a dala jej polovicu celkovej váhy. Tento krok nerieši každú formu optimalizácie na test, potvrdzuje však praktický problém, na ktorom nová štúdia stavia: aj samotná referenčná odpoveď môže byť chybná.

Čo to mení pri výbere hlasového systému

Pre firmy je záver praktický. Model pre kontaktné centrum, titulkovanie, diktovanie zdravotných záznamov či prepis porád by sa nemal vyberať iba podľa jedného verejného rebríčka. Potrebné sú interné testy s nahrávkami, ktoré dodávateľ ani tvorca modelu vopred nepozná, a s podmienkami zodpovedajúcimi nasadeniu: prízvukmi, telefónnymi kodekmi, ruchom, prerušovaním, odbornými názvami aj číslami. Pri hlasových agentoch môže jediné vymyslené číslo zmeniť objednávku, termín, sumu alebo identifikátor, hoci celkové WER zostane veľmi nízke.

Slovenský kontext je ešte citlivejší, pretože väčšina veľkých ASR benchmarkov je postavená na angličtine a slovenčina má menej kvalitných, reprezentatívnych testovacích dát. Výsledok na čistej čítanej reči nevypovedá dostatočne o telefonáte so slovenským prízvukom, miešaní češtiny a slovenčiny ani o názvoch obcí či skloňovaných vlastných menách. Prevádzkovateľ by mal oddeliť testovaciu množinu od vývoja, pravidelne ju obmieňať a manuálne preverovať prípady, v ktorých model pôsobí až podozrivo presne napriek nejasnému alebo poškodenému zvuku.

Otázky, ktoré zostávajú otvorené

Štúdia je zatiaľ preprint a jej výsledky bude potrebné replikovať na ďalších modeloch, jazykoch a datasetoch. Autori skúmali 11 otvorene dostupných systémov, nie celý trh ani všetky komerčné API, a jednotlivé modely sa medzi testami správali rozdielne. Z práce preto nemožno vytvoriť univerzálne poradie najspoľahlivejších prepisovačov. Nie je tiež vždy možné rozlíšiť, či konkrétny jav vznikol priamym zahrnutím testovacích dát do tréningu, jemným dolaďovaním, znalosťou textového korpusu alebo nepriamym učením akustických vlastností datasetu.

Najdôležitejším prínosom je preto nová diagnostika, nie ďalší rebríček. Verejný benchmark zostáva užitočný, keď sa chápe ako jeden kontrolovaný experiment, nie ako definitívna simulácia produkcie. Budúce hodnotenia budú musieť kombinovať opravené anotácie, skryté a pravidelne obnovované dáta, kontrolované zásahy do zvuku a metriky citlivé na význam chýb. Ak systém doplní presný rok, ktorý v nahrávke vôbec nezaznel, nízke priemerné WER je slabou útechou. Pri rozpoznávaní reči musí mať vernosť zvuku prednosť pred schopnosťou uhádnuť odpoveď testu.