Produkty
Autor: Redakcia AI Feed
SGLang 0.5.11 prechádza na CUDA 13 a mení defaulty pre rýchlejšiu inferenciu
Open-source serving framework SGLang vydal verziu 0.5.11, ktorá kombinuje prechod na CUDA 13 a Torch 2.11 s agresívnejšími infra optimalizáciami pre speculative decoding, prefix cache aj disaggregated deploymenty.