SGLang 0.5.13 mení špekulatívne dekódovanie na predvolenú cestu

SGLang vydal verziu 0.5.13 a tentoraz nejde iba o údržbový release s dlhým zoznamom opráv. Projekt, ktorý sa používa ako vysoko výkonný inference server pre veľké jazykové aj multimodálne modely, v poznámkach k vydaniu označuje Spec V2 za novú predvolenú cestu pre špekulatívne dekódovanie. Pre bežného používateľa to znie technicky, ale pre prevádzkovateľov modelových API ide o zmenu v jednej z oblastí, kde sa dnes láme cena a latencia generatívnej AI. Špekulatívne dekódovanie sa snaží uhádnuť viac tokenov dopredu pomocou lacnejšieho návrhu a následne ich overiť väčším modelom. Ak je implementácia stabilná, server odpovie rýchlejšie bez toho, aby musel meniť samotný veľký model.

Vydanie 0.5.13 podľa oficiálneho GitHub releasu posúva tree drafting s hodnotou topk vyššou ako jedna do produkčného stavu naprieč backendmi Triton, FA3, MLA a aiter. Podporované majú byť aj konfigurácie s page_size väčším ako jedna a Mamba alebo hybridno-lineárne modely. Staršia cesta Spec V1 je označená za zastaranú a techniky EAGLE aj MTP sa presúvajú na zjednoteného pracovníka V2. Prakticky to znamená, že SGLang sa pokúša zmenšiť fragmentáciu v jednej z najcitlivejších častí inference stacku: namiesto viacerých špeciálnych režimov chce mať jednotnejšiu infraštruktúru pre rýchlejšie generovanie.

Dôležitý je aj posun v scheduleri. Release spomína zjednotené asynchrónne odovzdávanie hodnôt cez FutureMap a presun prenosu vstupov pri prefille na forward stream. Tieto detaily sú nízkoúrovňové, no v praxi mieria na rovnaký problém: pri vysokej súbežnosti nestačí optimalizovať iba jadro modelu, pretože réžia okolo plánovania dávok, presúvania vstupov a spúšťania krokov vie zjesť časť zisku z rýchlejších kernelov. Ak sa per-step overhead zníži, server môže lepšie držať latenciu aj v situácii, keď naraz obsluhuje veľa požiadaviek s odlišnou dĺžkou kontextu.

SGLang zároveň rozširuje zoznam modelov, ktoré vie obslúžiť bez toho, aby používateľ musel čakať na vlastné integračné skripty. V autoregresívnej vetve pribúda napríklad Nemotron 3 Ultra, Step-3.7-Flash a Command A+. V difúznej vetve sú uvedené Cosmos3, LingBot-World, SANA-WM, Ernie-Image, FLUX.2-Klein vo veľkostiach 4B a 9B a Ideogram 4. To ukazuje širší trend: inference servery už nechcú byť iba HTTP obálkou nad textovým LLM. Stávajú sa univerzálnejšou vrstvou pre text, obrazové generovanie, world modely a modely s odlišnými architektúrami.

Pre firmy je takýto release zaujímavý najmä preto, že rieši prevádzkové riziko pri rýchlom nástupe nových modelov. Ak sa objaví model, ktorý je pre konkrétnu úlohu lacnejší alebo presnejší, nestačí mať jeho váhy. Treba ho dostať do produkčného servera, napojiť na monitoring, limity, cache, batching a existujúce API. Keď SGLang pridá podporu modelu priamo v releasoch a dokumentácii, skracuje cestu od experimentu k reálnej službe. Pri Nemotron 3 Ultra či Cosmos3 je to navyše príklad podpory pre modely, ktoré majú iné nároky ako klasický chatovací transformer.

Release však netreba čítať ako prísľub, že každé nasadenie sa automaticky zrýchli. Špekulatívne dekódovanie je citlivé na typ modelu, promptu, dĺžku výstupu aj pomer medzi návrhovým a cieľovým modelom. V niektorých úlohách vie výrazne pomôcť, inde sa zisk stratí na overovaní alebo na komunikácii medzi komponentmi. Význam verzie 0.5.13 je skôr v tom, že SGLang označuje novšiu implementáciu za dostatočne stabilnú a univerzálnu na to, aby bola predvolenou cestou. To je iný signál ako experimentálny prepínač ukrytý v dokumentácii.

Z pohľadu open-source ekosystému je zaujímavé aj tempo, ktorým sa inference stacky presúvajú od modelovej podpory k orchestrace výkonu. vLLM, TensorRT-LLM, SGLang a ďalšie projekty sú dnes rovnako dôležité ako samotné modelové váhy, pretože rozhodujú o tom, koľko požiadaviek sa zmestí na GPU a akú latenciu uvidí používateľ. SGLang sa v tomto vydaní profiluje ako vrstva, ktorá chce zvládnuť heterogénnejší mix modelov a zároveň ďalej tlačiť na výkon pri špekulatívnom generovaní.

Pre vývojárske tímy z toho vyplýva praktický záver: ak už SGLang používajú, verzia 0.5.13 stojí za test v stagingu najmä pri workload-och, kde dominuje dlhšie generovanie a vysoká súbežnosť. Testovať treba nielen priemernú latenciu, ale aj p95 a p99, spotrebu pamäte, správanie pri dlhom kontexte a stabilitu pri zmiešaných typoch modelov. Ak tím špekulatívne dekódovanie zatiaľ nepoužíva, tento release je dobrý dôvod pre malý benchmark s vlastnými promptmi a vlastnou štruktúrou návštevnosti.

Najväčší dopad môže mať vydanie pre infraštruktúrne tímy, ktoré nechcú byť viazané na jeden model ani jeden typ generovania. Podpora nových autoregresívnych a difúznych modelov spolu so zjednoteným Spec V2 naznačuje, že SGLang chce byť stabilnou produkčnou vrstvou pre čoraz pestrejší modelový park. To nie je okázalý produktový launch, ale v praxi môže rozhodovať o tom, či sa nový model dostane do služby za dni alebo za týždne.