Tag
Všetky publikované články, v ktorých sa téma SGLang objavuje ako dôležitý kontext. Aktuálne 3 textov v archíve.
Nové vydanie inference stacku SGLang pridáva podporu ďalších autoregresívnych aj difúznych modelov a posúva Spec V2 do produkčnej roly. Pre tímy, ktoré obsluhujú veľké modely vo vlastnej infraštruktúre, je dôležitá najmä nižšia réžia schedulera a jednotnejšia cesta pre EAGLE, MTP a tree drafting.
Nová verzia open-source inferenčného stacku SGLang rozširuje podporu pre DeepSeek-V4, zjednocuje docker image pre Nvidia GPU a pridáva optimalizácie pre Blackwell, Hopper aj dlhé kontexty.
Open-source serving framework SGLang vydal verziu 0.5.11, ktorá kombinuje prechod na CUDA 13 a Torch 2.11 s agresívnejšími infra optimalizáciami pre speculative decoding, prefix cache aj disaggregated deploymenty.