#LLM serving

Všetky publikované články, v ktorých sa téma LLM serving objavuje ako dôležitý kontext. Aktuálne 1 textov v archíve.

Produkty6. mája 2026

SGLang 0.5.11 prechádza na CUDA 13 a mení defaulty pre rýchlejšiu inferenciu

Open-source serving framework SGLang vydal verziu 0.5.11, ktorá kombinuje prechod na CUDA 13 a Torch 2.11 s agresívnejšími infra optimalizáciami pre speculative decoding, prefix cache aj disaggregated deploymenty.

LLM serving | AI téma na AI Feed