Hugging Face otvoril 207 WebGPU jadier pre lokálnu AI v prehliadači

Hugging Face predstavil knižnicu @huggingface/kernels a počiatočnú kolekciu 207 výpočtových jadier určených pre WebGPU. Jednotlivé operácie sú publikované na Hugging Face Hube ako samostatné, verzované balíky s opisom rozhrania, testovacími prípadmi, benchmarkmi a šablónami shaderov v jazyku WGSL. Projekt je dostupný pod licenciou Apache 2.0 a jeho cieľom je vytvoriť opakovane použiteľnú nízkoúrovňovú vrstvu pre rýchlejšiu lokálnu inferenciu AI modelov priamo vo webovom prehliadači.

Nejde o nový model ani kompletný inferenčný engine. Jadrá predstavujú základné GPU operácie, z ktorých runtime skladá výpočet neurónovej siete: násobenie matíc, normalizácie, konvolúcie, mechanizmy pozornosti, kvantizačné operácie alebo zmeny usporiadania dát. Hugging Face k nim pridáva JavaScriptový loader, ktorý dokáže získať požadované jadro z Hubu, pripraviť ho pre zariadenie používateľa a spustiť ho prostredníctvom WebGPU. Firma zároveň uviedla nástroj Fleet na testovanie správnosti a výkonu jadier na reálnych kombináciách prehliadačov, grafických procesorov a ovládačov.

Od shadera k verzovanému softvérovému komponentu

Najpodstatnejšou novinkou nie je iba počet jadier, ale spôsob ich distribúcie. Každé jadro má vlastný repozitár a kartu opisujúcu význam operácie, vstupy, výstupy, podporované dátové typy a dostupné varianty. Súčasťou balíka sú manifest kontraktu, údaje o pôvode a kontrolných súčtoch, prípady na overovanie správnosti, benchmarkové scenáre a parametrizované WGSL šablóny. Vývojár preto nemusí pracovať s anonymným súborom shaderového kódu bez jasnej verzie či testovacieho kontextu.

Takéto balenie môže uľahčiť oddelený vývoj runtime a jeho najnižšej výpočtovej vrstvy. Vyššia knižnica môže požadovať konkrétnu operáciu a verziu kontraktu, zatiaľ čo implementácia jadra sa môže ďalej optimalizovať. To je dôležité najmä pri WebGPU, kde rovnaký matematický výsledok nemá automaticky rovnaký výkon na rôznych zariadeniach. Rýchlosť ovplyvňuje veľkosť pracovných skupín, spôsob prístupu do pamäte, vektorizácia, dátový typ, tvar tensorov aj možnosti konkrétneho adaptéra.

V zverejnenej kolekcii sa nachádzajú napríklad operácie Softmax, Transpose, Sub, Where či Xor. Hugging Face uvádza, že všetkých 207 jadier je publikovaných v osobitnej organizácii na Hube. Ide o počiatočnú vrstvu širšieho úsilia tímu WebAI, nie o vyhlásenie, že už pokrýva každý model alebo všetky výpočtové grafy. Hodnota kolekcie sa ukáže až pri integrácii do runtime, ktoré dokážu jednotlivé operácie skladať, vyberať vhodné varianty a riešiť prenosy dát bez zbytočnej réžie.

Prečo je WebGPU zaujímavé pre lokálnu AI

WebGPU poskytuje webovým aplikáciám rozhranie na výpočty a vykresľovanie pomocou GPU. Podľa dokumentácie MDN ide o nástupcu WebGL s lepším napojením na moderné grafické API, podporou všeobecných výpočtov a prístupom k pokročilejším možnostiam súčasných akcelerátorov. Špecifikácia W3C ho navrhuje tak, aby sa efektívne mapovalo na moderné natívne GPU rozhrania. V auguste 2026 je však dokument stále vedený ako návrh kandidátskeho odporúčania, takže vývoj štandardu aj implementácií pokračuje.

Pre AI aplikácie je zásadné, že inferencia môže prebiehať na zariadení používateľa bez odosielania každého vstupu na vzdialený server. To môže znížiť sieťovú latenciu, umožniť časť funkcií bez stabilného pripojenia a obmedziť množstvo údajov prenášaných ku cloudovému poskytovateľovi. Lokálne spustenie však samo osebe nie je zárukou súkromia. Aplikácia môže naďalej zbierať telemetriu, komunikovať so servermi alebo načítavať modely a jadrá zo siete; rozhodujúca je celá architektúra, povolenia a transparentnosť konkrétnej služby.

Dôležitý je aj distribučný model. Webová aplikácia nepotrebuje od používateľa inštaláciu samostatného natívneho programu pre každý experiment. Po načítaní kompatibilných modelových artefaktov a výpočtových komponentov môže využiť GPU cez rozhranie prehliadača. To otvára priestor pre lokálne prepisovanie zvuku, vyhľadávanie v dokumentoch, menšie jazykové modely, klasifikáciu alebo spracovanie obrazu. Veľké modely však naďalej obmedzuje dostupná pamäť, výkon zariadenia, veľkosť sťahovaných súborov a spotreba energie.

Praktický dopad pre vývojárov a firmy

Pre vývojárov môže byť kolekcia užitočná ako hotová vrstva optimalizovaných operácií aj ako súbor referenčných implementácií. Každé jadro prináša testy a benchmarkové prípady, takže zmenu možno posudzovať nielen podľa toho, či sa shader skompiluje, ale aj podľa numerickej správnosti a výkonu. Loader je zatiaľ distribuovaný ako náhľadový balík pre npm, čo naznačuje skorú fázu produktu. Pri produkčnom nasadení bude potrebné uzamknúť verzie, overovať integritu načítaných artefaktov a testovať podporované kombinácie zariadení.

Fleet sa snaží riešiť problém, ktorý laboratórne meranie nedokáže úplne pokryť: rozmanitosť spotrebiteľského hardvéru. Používateľ môže v prehliadači spustiť testy na svojom GPU a so súhlasom prispieť výsledkami o správnosti a výkone. Takto získané dáta môžu odhaliť jadrá, ktoré na jednom adaptéri fungujú dobre, ale na inom dávajú nesprávny výsledok alebo sú neprimerane pomalé. Komunitný zber meraní je sľubný, no bude potrebovať dôsledné filtrovanie, reprodukovateľnosť a dostatočné zastúpenie menej bežných zariadení.

Pre slovenské tímy je zaujímavá najmä možnosť presunúť menšie pracovné záťaže z cloudu ku koncovému zariadeniu. Pri aplikáciách s veľkým počtom používateľov môže časť lokálnej inferencie znížiť náklady na akcelerátory a prenos dát. Zároveň môže pomôcť pri riešeniach pracujúcich s citlivým textom alebo obrazom. Ekonomický prínos však nemožno odvodiť iba z rýchlosti jedného jadra: započítať treba vývoj alternatívnej cesty pre nekompatibilné prehliadače, podporu zariadení, sťahovanie modelov aj diagnostiku chýb na klientovi.

Čo zatiaľ nevieme

Hugging Face zatiaľ nepredložil jeden univerzálny výsledok, podľa ktorého by bola celá kolekcia rýchlejšia na každom podporovanom zariadení. Pri GPU jadrách by také tvrdenie ani nebolo veľmi užitočné bez presného modelu, tvarov tensorov, prehliadača, operačného systému a grafického adaptéra. Fleet má postupne vytvoriť širší obraz, no prvé výsledky bude potrebné hodnotiť podľa konkrétnych pracovných záťaží. Výkon celej inferencie navyše môže brzdiť operácia, ktorá v kolekcii ešte nemá vhodný variant, alebo presuny dát medzi CPU a GPU.

Otvorenou otázkou zostáva aj kompatibilita. MDN označuje WebGPU ako technológiu s obmedzenou dostupnosťou, pretože nefunguje v niektorých široko používaných prehliadačoch, a vyžaduje zabezpečený kontext HTTPS. Rozdiely môžu existovať aj medzi ovládačmi a dostupnými funkciami GPU. Produkčná aplikácia preto potrebuje detekciu schopností, kontrolované zlyhanie a záložnú cestu, napríklad cez CPU, WebAssembly alebo serverovú inferenciu.

Nová knižnica napriek týmto obmedzeniam vytvára praktický stavebný blok pre otvorenejší ekosystém lokálnej AI na webe. Namiesto toho, aby si každý runtime udržiaval neprehľadnú zbierku shaderov, môžu byť operácie publikované, testované, porovnávané a verzované podobne ako iné softvérové závislosti. Ak sa podarí rozšíriť pokrytie modelov a premeniť merania z Fleetu na spoľahlivý výber variantov, prehliadačová inferencia sa môže posunúť od pôsobivých ukážok k predvídateľnejšej produkčnej technológii.