Tag
Všetky publikované články, v ktorých sa téma SGLang objavuje ako dôležitý kontext. Aktuálne 4 textov v archíve.
Cloudflare pri modeloch Kimi K2.6 a GLM 5.2 zmenšilo KV cache aj váhy, čím zvýšilo priepustnosť a uvoľnilo pamäť GPU. Výsledky sú sľubné, no pochádzajú z meraní samotného prevádzkovateľa.
Nové vydanie inference stacku SGLang pridáva podporu ďalších autoregresívnych aj difúznych modelov a posúva Spec V2 do produkčnej roly. Pre tímy, ktoré obsluhujú veľké modely vo vlastnej infraštruktúre, je dôležitá najmä nižšia réžia schedulera a jednotnejšia cesta pre EAGLE, MTP a tree drafting.
Nová verzia open-source inferenčného stacku SGLang rozširuje podporu pre DeepSeek-V4, zjednocuje docker image pre Nvidia GPU a pridáva optimalizácie pre Blackwell, Hopper aj dlhé kontexty.
Open-source serving framework SGLang vydal verziu 0.5.11, ktorá kombinuje prechod na CUDA 13 a Torch 2.11 s agresívnejšími infra optimalizáciami pre speculative decoding, prefix cache aj disaggregated deploymenty.