llama.cpp pridal prvý ET backend pre otvorený RISC-V akcelerátor

Projekt llama.cpp vydal tag b9951, ktorého hlavnou zmenou je prvý ggml-et backend. Ide o podporu pre ET-SOC-1, nízkopríkonový RISC-V akcelerátor pôvodne spojený s Esperanto Technologies a neskôr otvorený komunitou okolo AINekko a AIFoundry. V praxi to znamená, že jeden z najdôležitejších open-source inference stackov začína prijímať backend pre menej bežný, čiastočne otvorený hardvér mimo hlavných GPU platforiem.

Samotné release notes sú technické: pribudli kernely pre matmul, ROPE, RMS norm, GLU, softmax, get rows, set rows, kontiguitu tenzorov, podporu kvantizácií a experimentálne zlučovanie operácií. Z pohľadu používateľa však dôležitejšie je, že backend sa stavia ako súčasť ggml a obsahuje cestu na spúšťanie menších modelov vrátane príkladu s Qwen3-0.6B. Nie je to univerzálna náhrada GPU; ide skôr o prvú upstreamovanú vrstvu, na ktorej sa dá ďalej merať, opravovať a rozširovať.

Pull request vysvetľuje širší kontext. ET-SOC-1 je starší nízkopríkonový procesor a autori netvrdia, že absolútnym výkonom porazí moderné grafické karty alebo serverové akcelerátory. Tvrdia však, že v určitých podmienkach dáva zaujímavý výkon na watt a že má hodnotu ako otvorenejší experimentálny cieľ. Pre ekosystém llama.cpp je to presne typ zmeny, ktorá nemusí okamžite ovplyvniť väčšinu používateľov, ale rozširuje hranice toho, kde môže lokálna inferencia bežať.

Dôležité je aj to, čo táto zmena hovorí o ggml. Knižnica sa postupne mení z CPU/GPU runtime na vrstvu, ktorá vie absorbovať rôzne špecializované backendy s vlastnými kernelmi, pamäťovým modelom a obmedzeniami. ET backend pridáva ďalší príklad: ak komunita dokáže doplniť dostatok operácií a testov, aj netradičný čip môže dostať šancu bežať rovnaký modelový formát a rovnaké vyššie nástroje ako bežnejšie platformy.

Pre vývojárov edge zariadení je signál praktický. Menšie modely sa čoraz častejšie nasadzujú v zariadeniach, kde je cena, spotreba a dostupnosť dôležitejšia než maximálny throughput. Otvorený alebo aspoň viac auditovateľný hardvérový cieľ môže byť atraktívny v školstve, výskume, embedded prototypoch a pri dlhodobých produktoch, ktoré nechcú byť úplne závislé od uzavretých ovládačov. Backend v llama.cpp nie je hotový produkt, ale znižuje bariéru pre experimenty.

Treba však zachovať realistické očakávania. Release notes ukazujú veľa práce na opravách kernelov, obmedzeniach pri offloade, testovaní konkrétnych modelov a ladení numeriky. Takéto backendy často prechádzajú dlhým obdobím, keď fungujú iba pre vybrané architektúry, veľkosti kontextu alebo kvantizácie. Používatelia by ho mali vnímať ako vývojársky míľnik, nie ako stabilný návod na produkčné nasadenie.

Zaujímavý je aj bezpečnostný a suverenitný rozmer. Ak sa otvorené modely majú spúšťať lokálne v citlivých prostrediach, nestačí mať otvorené váhy. Dôležité sú aj runtime, kompilácia, ovládače a hardvér. Upstreamovanie ET backendu do llama.cpp ukazuje, že open-source komunita sa snaží prepájať modely, inference runtime a alternatívne čipy do jedného testovateľného reťazca.

Najbližšie bude rozhodovať údržba. Pull request spomína ochotu zabezpečiť maintainerov a prípadne CI prístup k hardvéru. Bez pravidelných testov sa podobné backendy ľahko rozbijú pri zmenách v ggml. Ak sa však podarí udržať podporu aktuálnu, b9951 môže byť pre ET-SOC-1 tým, čím boli skoré CUDA, Metal alebo Vulkan backendy pre iné platformy: nenápadný začiatok cesty k širšiemu nasadeniu lokálnych modelov.

Pre širší trh je zmena pripomienkou, že inference infraštruktúra sa nebude skladať iba z veľkých dátových centier. Lokálne modely dnes bežia na notebookoch, telefónoch, priemyselných bránach aj experimentálnych kartách. Každý nový backend v llama.cpp rozširuje testovaciu plochu a núti runtime premýšľať o prenositeľnosti operácií, pamäťových limitoch a kvantizáciách. To je menej nápadné než vydanie nového modelu, ale pre dlhodobú dostupnosť AI výpočtu rovnako dôležité.

Z technického hľadiska bude dôležité sledovať, ktoré modelové rodiny prejdú z demo režimu do stabilnej podpory. Release spomína menšie modely, Gemma/Qwen ladenie, rôzne varianty matmul a obmedzenia pri niektorých normách či pozornostných operáciách. Ak komunita pridá dokumentáciu, benchmarky a jednoduché build profily, ET backend sa môže stať užitočným testovacím prípadom pre otvorený hardvér aj mimo úzkej skupiny autorov.