SGLang 0.5.11 prechádza na CUDA 13 a mení defaulty pre rýchlejšiu inferenciu

Projekt SGLang vydal verziu 0.5.11 a na prvý pohľad ide o release, ktorý je dôležitejší pre infra tímy než pre široký používateľský trh. Práve preto sa oplatí sledovať ho detailnejšie. V open-source vrstve okolo serving stackov sa dnes rozhoduje o tom, aké rýchle, lacné a flexibilné budú nasadenia modelov od rôznych výrobcov. Kto používa SGLang na obsluhu veľkých jazykových či multimodálnych modelov, ten v praxi nekupuje len framework, ale celý súbor rozhodnutí o jadre, kerneloch, cache, paralelizácii a podpore nových modelov. Release 0.5.11 je významný tým, že nesľubuje jednu izolovanú novinku, ale skladá viacero zmien, ktoré spolu zlepšujú pripravenosť na novšiu GPU infraštruktúru aj náročnejšie produkčné topológie.

Najviditeľnejší infra posun je prechod na CUDA 13 a PyTorch 2.11 ako nové predvolené verzie naprieč samotným SGLangom, sgl-kernel balíkom aj dockerovými obrazmi. Takýto krok býva v release notes ľahké prehliadnuť, no v produkcii znamená zmenu build matrixu, kompatibility aj očakávaného výkonu na novších akcelerátoroch. Tímy, ktoré chcú využívať modernejšie kernely, optimalizácie v toolchaine a novšiu generáciu GPU stacku, dostávajú jasný signál, že SGLang posúva svoj baseline dopredu. Zároveň to však zvyšuje tlak na prevádzkové testovanie, pretože zmena defaultov v infra vrstvách sa môže prejaviť v deploy skriptoch, docker image pipeline aj v závislostiach naviazaných na konkrétne verzie CUDA.

Ešte praktickejšou zmenou je zapnutie Speculative Decoding V2 ako defaultu. Release notes tvrdia, že nová verzia so scheduling overlapom skrýva časť CPU overheadu a znižuje náklady na jednotlivé kroky generovania pri vetvách EAGLE, MTP a DFLASH. V preklade: SGLang sa snaží zrýchliť serving nie cez jednoduché „benchmark theater“, ale cez lepšiu organizáciu práce medzi CPU a GPU počas generovania návrhov a ich akceptácie. Pre operátorov inference clusterov je to dôležité najmä pri vysokom zaťažení a dlhších výstupoch, kde sa drobné režijné náklady v každom kroku vedia násobiť do citeľnej latencie aj ceny.

Release zároveň pridáva decode-side radix cache pre PD disaggregation, teda pre režimy, kde je prefill a decode rozdelený medzi odlišné časti pipeline. SGLang explicitne píše, že týmto krokom chce získať späť zásahy prefix cache a zlepšiť TTFT pri dlhých spoločných prefixoch aj v disaggregated nasadeniach. To je veľmi konkrétny signál o tom, kam sa serving prax posúva. Klasické monolitické deploymenty už nestačia každému a čoraz viac tímov skúša oddelenie prefill a decode fázy, aby lepšie využili hardvér. Keď však pri takomto rozdelení spadne efekt prefix cache, ekonomika sa rýchlo zhorší. Verzia 0.5.11 sa preto snaží odstrániť jeden z najcitlivejších praktických problémov disaggregated serving architektúry.

Silnou stránkou release je aj šírka day-0 podpory pre nové modely. Medzi novými alebo rozšírenými receptami sa objavujú Gemma 4, GLM-5.1, Qwen3.6, MiMo-V2.5, Ling-2.6-Flash, Mistral Medium 3.5, Kimi-K2.6 a ďalšie autoregresívne, difúzne či speech modely. Nie je to len kozmetický zoznam mien. V open inference stacku je rýchla podpora nových modelov konkurenčnou výhodou, pretože používateľom skracuje čas medzi verejným vydaním modelu a jeho reálnym nasadením v produkcii. SGLang tým potvrdzuje, že nechce byť iba framework pre zopár populárnych open-weight modelov, ale univerzálnejšia obslužná vrstva pre širší ekosystém textových, obrazových aj audio workloadov.

Zaujímavé sú aj ďalšie technické doplnky. Release rozširuje DFLASH speculative decoding, a to vrátane podpory na AMD ROCm, pridáva komunitné FA3 kernely popri FA4, rozširuje LoRA podporu na veľké MLA-based MoE modely ako DeepSeek-V3 či Kimi-K2 a vylepšuje context parallel režimy vrátane kombinácie all-reduce a RMSNorm fusion. Každá z týchto položiek cieli na inú vrstvu prevádzkového stacku, no spolu vytvárajú obraz projektu, ktorý sa nesnaží len „držať krok“, ale systematicky prehlbuje výkonové cesty pre rôzne triedy hardvéru a modelových architektúr. To je presne to, čo od open-source inference projektu očakávajú pokročilejší používatelia.

Pre firmy, ktoré SGLang používajú alebo zvažujú, z toho vyplývajú dve praktické otázky. Prvou je, či sa im oplatí rýchlo migrovať na novší baseline kvôli výkonu a podpore modelov. Druhou je, aké dôsledky budú mať nové defaulty na stabilitu existujúcich deploymentov. Release tohto typu typicky neprináša len nové možnosti, ale aj potrebu retestovať docker image, CUDA závislosti, latency profil, memory footprint a kompatibilitu s internými tuning vrstvami. Hodnota verzie 0.5.11 preto nebude v tom, že si ju niekto prečíta na GitHube, ale v tom, ako rýchlo ju infra tímy dokážu premeniť na reálne zrýchlenie vo vlastných clusteroch.

V širšom kontexte je tento release ďalším dôkazom, že open inference stack sa profesionalizuje. Súboj medzi vLLM, SGLangom, llama.cpp a ďalšími projektmi sa už nevedie len cez počet hviezdičiek či jednoduché throughput grafy. Čoraz viac ide o schopnosť rýchlo absorbovať nové modely, ponúknuť stabilné výkonnostné defaulty a zvládať komplikovanejšie topológie nasadenia od prefix cache cez speculative decoding až po oddelený prefill a decode. SGLang 0.5.11 je presne takýto release: menej mediálne nápadný než nový frontier model, ale veľmi dôležitý pre všetkých, ktorí z modelov chcú dostať viac výkonu bez toho, aby sa im rozpadla ekonomika produkčného serving-u.