Cloudflare zmenšuje pamäťové nároky modelov Kimi a GLM

Cloudflare zverejnilo technický pohľad na prevádzku veľkých modelov z rodín Kimi a GLM v službe Workers AI. Firma sa sústreďuje na jeden z hlavných problémov produkčnej inferencie: obmedzenú pamäť akcelerátorov. Nestačí do nej uložiť iba váhy modelu. Pri dlhších vstupoch a viacerých súbežných požiadavkách rastie aj KV cache, ktorá uchováva medzivýsledky pozornosti a môže výrazne znížiť počet relácií obslúžených jedným GPU.

Cloudflare kombinuje kompresiu váh s kvantizáciou KV cache. Pri kvantizácii sa hodnoty reprezentujú menším počtom bitov, čím klesá spotreba pamäte a objem dát prenášaných medzi pamäťou a výpočtovými jednotkami. To môže zvýšiť priepustnosť a znížiť cenu jedného vygenerovaného tokenu. Výmenou za to vzniká aproximačná chyba, ktorá môže poškodiť presnosť modelu, najmä pri citlivých úlohách alebo veľmi dlhom kontexte.

Kompresia váh rieši statickú časť problému. Veľké modely, obzvlášť architektúry so zmesou expertov, môžu mať vysoký celkový počet parametrov aj vtedy, keď sa pri jednom tokene aktivuje iba ich časť. Váhy musia byť dostupné dostatočne rýchlo a ich rozloženie medzi akcelerátory ovplyvňuje latenciu. Nižšia presnosť reprezentácie umožňuje na rovnaký hardvér umiestniť väčší model alebo viac jeho replík, no vyžaduje kalibráciu a overenie, že úspora nezničila schopnosti, pre ktoré bol model vybraný.

KV cache je dynamickejšia. Rastie s dĺžkou konverzácie, počtom vrstiev a súbežnosťou. V agentických úlohách môže byť problém výraznejší, pretože agent opakovane posiela dlhú históriu, výstupy nástrojov a obsah súborov. Kvantizácia cache preto môže priniesť väčšiu úsporu práve pri dlhých pracovných reláciách. Zároveň ide o oblasť, kde sa malá numerická odchýlka môže kumulovať počas generovania, a preto ju nemožno hodnotiť len podľa veľkosti ušetrenej pamäte.

Cloudflare do procesu pridáva kontroly integrity. Ich úlohou je zachytiť poškodené alebo nesprávne skonvertované artefakty a obmedziť riziko, že optimalizovaný model síce beží, ale produkuje degradované výsledky. Pri distribúcii veľkých váh cez viac strojov je dôležité overovať konzistenciu súborov, formát tensorov aj kompatibilitu s inferenčným jadrom. Kontrola technickej integrity však sama osebe nepotvrdzuje zachovanie kvality odpovedí; na to sú potrebné evaluačné sady a testy konkrétneho použitia.

Praktický prínos týchto techník sa neobmedzuje na nižší účet za GPU. Menšia pamäťová stopa môže umožniť väčšie dávky požiadaviek, viac súbežných používateľov a menší počet presunov dát. Ak je inferencia limitovaná priepustnosťou pamäte, kompresia môže niekedy zrýchliť model aj bez zvýšenia surového výpočtového výkonu. Výsledok však závisí od konkrétnej architektúry, dĺžky sekvencie, hardvéru a zvoleného režimu kvantizácie.

Pre zákazníka cloudovej služby sú tieto detaily často skryté za názvom modelu a cenou tokenov. Technický opis Cloudflare pripomína, že dve nasadenia rovnakých váh nemusia poskytovať rovnakú latenciu, priepustnosť ani dokonca úplne rovnaké výstupy. Rozdiel môže vytvoriť presnosť váh, formát KV cache, dávkovanie, spôsob rozdelenia modelu a inferenčné jadrá. Pri výbere poskytovateľa preto nestačí sledovať iba verejný benchmark pôvodného modelu.

Kvantizácia navyše nemusí ovplyvniť všetky schopnosti rovnomerne. Bežná konverzácia môže zostať prakticky nezmenená, zatiaľ čo matematika, práca s neobvyklými jazykmi, presné kopírovanie údajov alebo úlohy s dlhým kontextom zaznamenajú väčší pokles. Prevádzkovateľ by mal merať nielen priemerné skóre, ale aj chvost distribúcie a typy kritických zlyhaní. Pri agentoch je vhodné sledovať aj úspešnosť celého workflow, pretože drobná chyba v jednom kroku môže znehodnotiť viacnásobné volania nástrojov.

Oznámenie je zároveň tvrdením dodávateľa o jeho vlastnej infraštruktúre. Bez úplných nezávislých meraní nemožno z neho odvodiť, že konkrétna konfigurácia Cloudflare je rýchlejšia alebo kvalitnejšia než alternatívy. Dôležité budú údaje o presných formátoch kvantizácie, použitom hardvéri, veľkosti dávok, dĺžke kontextu a kvalite pred a po optimalizácii. Jedno číslo o úspore pamäte by bez týchto podmienok nebolo prenosné na iné nasadenie.

Techniky opísané Cloudflare ukazujú, že súťaž o dostupnú AI inferenciu sa vedie aj pod úrovňou modelového API. Výrobcovia modelov zväčšujú kapacitu a kontext, zatiaľ čo prevádzkovatelia hľadajú spôsoby, ako tieto systémy vložiť do reálnych pamäťových limitov. Kvantizácia váh a cache tak nie je iba optimalizačným detailom. Stáva sa podmienkou, aby sa veľké open-weight modely dali ponúkať vo väčšom meradle, s prijateľnou odozvou a cenou.