Hugging Face spustil otvorený rebríček TTS modelov s meraním rýchlosti aj klonovania hlasu

Spoločný test pre rýchlo rastúcu ponuku hlasových modelov

Hugging Face predstavil Open TTS Leaderboard, otvorený rebríček modelov na prevod textu na reč. Reaguje ním na rozdiel medzi rýchlosťou, akou pribúdajú nové hlasové modely, a kapacitou dostupných evaluačných systémov. Podľa údajov platformy bolo ku koncu septembra 2026 na Hugging Face Hube viac než 8 000 modelov označených pre syntézu reči. Ich porovnávanie však zostávalo rozdrobené medzi autorské ukážky, nejednotné datasety, posluchové testy a arény založené na hlasovaní používateľov. Nový rebríček preto zavádza spoločný automatizovaný postup, ktorý má vyhodnotiť jeden model v priebehu hodín namiesto týždňov potrebných na získanie dostatočného počtu ľudských hlasov.

Rebríček neskladá všetky vlastnosti hlasového modelu do jedného neurčitého skóre. Samostatne sleduje zrozumiteľnosť, výpočtovú rýchlosť a pri modeloch s klonovaním hlasu aj podobnosť vytvoreného hlasu s referenčnou nahrávkou. Zrozumiteľnosť sa odhaduje cez chybovosť slov alebo znakov po opätovnom prepise syntetizovanej nahrávky modelom Qwen3 ASR. Rýchlosť zahŕňa výkon dávkového spracovania aj čas do prvého prehrateľného zvuku. Podobnosť hovoriaceho sa počíta z reprezentácií modelu WavLM. Výsledkom nie je iba poradie, ale aj Pareto grafy ukazujúce kompromisy medzi presnosťou, veľkosťou a rýchlosťou modelu.

Testy využívajú spoločné texty z evaluačných súborov Seed TTS Eval a CV3 Eval. Základné poradie pre angličtinu vychádza z makropriemeru chybovosti na anglických častiach oboch súborov. Pri jazykoch zapisovaných prevažne znakmi, napríklad pri čínštine, japončine a kórejčine, sa namiesto chybovosti slov používa chybovosť znakov. Takýto postup umožňuje porovnávať viac jazykov, ale neznamená, že výsledné čísla sú medzi všetkými jazykmi dokonale zameniteľné. Rozdiely v písme, segmentácii slov, fonetike aj kvalite evaluačných dát naďalej ovplyvňujú náročnosť úlohy.

Výsledky treba čítať ako viacrozmerný profil

V snímke rebríčka opísanej pri jeho uvedení dosiahli nízku priemernú chybovosť anglického prepisu modely Kokoro-82M, Supertonic-3 a Fish Audio S2 Pro. Pri viacjazyčnom hodnotení upozornili autori na modely OmniVoice, S2 Pro a Fun-CosyVoice3. Nejde však o univerzálne vyhlásenie, ktorý systém vytvára najlepší hlas. Poradie sa mení podľa zvoleného jazyka, podpory klonovania, hardvéru a metriky. Model s veľmi čitateľnou výslovnosťou môže znieť menej prirodzene, zatiaľ čo expresívnejší hlas môže dosiahnuť horší automatický prepis.

Samostatná časť pre klonovanie hlasu pridáva podobnosť medzi referenčnou a vygenerovanou nahrávkou. Táto metrika pomáha odlíšiť modely, ktoré iba vytvárajú zrozumiteľnú reč, od systémov schopných zachovať identitu hovoriaceho. Ani vysoká kosínusová podobnosť reprezentácií však nepotvrdzuje, že model správne preniesol intonáciu, emóciu, tempo alebo regionálny prízvuk. Je to technický zástupný ukazovateľ, nie posluchový dôkaz vernosti. Pri niektorých modeloch sa navyše po dodaní referenčného hlasu zlepšila aj chybovosť prepisu, čo naznačuje, že podmienky klonovania môžu meniť viac než samotnú farbu hlasu.

Pre hlasových asistentov je dôležitá záložka venovaná streamovaniu. Open TTS Leaderboard meria čas do prvého zvukového výstupu pri dávke veľkosti jeden na rovnakých 50 anglických promptoch. Prvé tri spustenia vyradí ako zahrievacie a zo zvyšku uvádza medián. Pri natívne streamujúcich modeloch ide o čas do prvého zvukového bloku; pri ostatných o čas potrebný na vytvorenie celej nahrávky, pretože skôr ju nemožno prehrávať. Hlavné merania používajú GPU Nvidia H200, pričom pri menšej množine modelov pribúdajú aj výsledky na procesore.

Takéto rozdelenie je praktickejšie než jediný údaj o počte vygenerovaných sekúnd za sekundu. Pri dávkovom dabingu alebo tvorbe audiokníh môže byť rozhodujúca celková priepustnosť. Konverzačný agent, zákaznícka linka či hlasové rozhranie naopak potrebuje predovšetkým krátku odozvu na začiatku vety. Slovenský vývojár preto nemá vyberať model iba podľa celkového poradia. Musí si určiť, či je prioritou latencia, cena prevádzky, slovenčina, klonovanie konkrétneho hlasu, expresivita alebo nasadenie bez odosielania zvuku externému poskytovateľovi.

Prečo automatické metriky nestačia

Autori rebríčka otvorene upozorňujú, že automatické hodnotenie nenahrádza ľudskú preferenciu. Chybovosť automatického prepisu približne meria, či poslucháč porozumie slovám, ale nehodnotí prirodzenosť, emocionálnu presvedčivosť ani príjemnosť hlasu. Výsledok navyše závisí od použitého rozpoznávača reči. Ak má Qwen3 ASR slabšie pokrytie určitého jazyka, prízvuku alebo štýlu, môže časť jeho chyby nespravodlivo prejsť na hodnotený TTS model. Podobne ani reprezentácie WavLM nemusia zachytiť všetky vlastnosti, podľa ktorých ľudia posudzujú identitu hlasu.

Hugging Face preto doplnil sekciu Listen, v ktorej možno prehrávať konkrétne výstupy, porovnávať modely a odovzdať vlastnú preferenciu. Spája tým opakovateľné automatické testy s posluchovým posúdením. Ide o dôležitú poistku aj proti optimalizácii na jedinú metriku: model môže dosiahnuť nízku chybovosť tým, že rozpráva pomaly, monotónne alebo neprirodzene zreteľne. V reálnej aplikácii by taký hlas mohol pôsobiť horšie než systém s mierne vyššou chybovosťou, ale prirodzenejšou melódiou reči.

Otvorenosť výsledkov môže znížiť bariéru pre menšie tímy, ktoré si nemôžu samy prevádzkovať desiatky kandidátnych modelov na porovnateľnom hardvéri. Rebríček môže poslúžiť ako prvý filter pred vlastným testovaním. Zároveň by nemal byť náhradou za evaluačnú sadu konkrétneho produktu. Hlasová banka používaná v slovenskom call centre potrebuje slovenské mená, čísla, skratky, dátumy, cudzie názvy a odbornú terminológiu. Výsledok na anglických promptoch alebo makropriemer viacerých jazykov o takom nasadení poskytuje len nepriamu informáciu.

Praktický význam a otvorené otázky

Pre open-source ekosystém je podstatné, že testovanie sa nesústredí iba na modely dostupné cez komerčné API. V hlasovacích arénach je pridanie API služby relatívne jednoduché, zatiaľ čo otvorený model musí niekto stiahnuť, nakonfigurovať a prevádzkovať. Hugging Face uvádza, že v jednom z porovnávaných komerčných rebríčkov bolo pri spustení iba 16 otvorených modelov z celkových 92. Automatizovaná pipeline môže túto nerovnováhu zmenšiť, ak zostane reprodukovateľná a bude prijímať nové modely dostatočne rýchlo.

Zatiaľ nie je jasné, ako stabilné bude poradie pri aktualizáciách inferenčných knižníc, ovládačov, kvantizácie alebo implementácie jednotlivých modelov. Niektoré systémy majú viac hlasov a režimov kvality, pričom predvolená konfigurácia nemusí byť optimálna. Výsledky na H200 tiež nemožno bez ďalšieho preniesť na bežnú spotrebiteľskú grafickú kartu, procesor či mobilné zariadenie. Rebríček preto treba chápať ako transparentnú, časovo ohraničenú snímku za definovaných podmienok, nie ako nemennú vlastnosť modelu.

Ďalším otvoreným bodom je bezpečnosť klonovania hlasu. Technická podobnosť s predlohou je užitočná pre dabing, lokalizáciu a asistívne technológie, ale rovnaká schopnosť môže uľahčiť podvody alebo vydávanie sa za inú osobu. Samotný leaderboard neposudzuje súhlas hovoriaceho, detekciu syntetického audia ani ochrany proti zneužitiu. Organizácie preto musia k výkonovým metrikám pridať pravidlá pôvodu nahrávok, oprávnení, označovania výstupov a uchovávania biometricky citlivých údajov.

Open TTS Leaderboard prináša užitočnú spoločnú základňu, najmä preto, že ukazuje viac kompromisov naraz a sprístupňuje aj samotné zvukové ukážky. Jeho najväčšou hodnotou nemusí byť víťaz na prvom mieste, ale možnosť rýchlo vyradiť nevhodné modely a následne otestovať užší výber na vlastných dátach. Pre slovenčinu bude rozhodujúce, či sa rozšíri pokrytie kvalitných slovenských promptov a ľudského hodnotenia. Dovtedy poskytuje dobrý technický orientačný bod, nie hotové rozhodnutie o produkčnom nasadení.