Tag
Všetky publikované články, v ktorých sa téma inference objavuje ako dôležitý kontext. Aktuálne 4 textov v archíve.
Nové vydanie inference stacku SGLang pridáva podporu ďalších autoregresívnych aj difúznych modelov a posúva Spec V2 do produkčnej roly. Pre tímy, ktoré obsluhujú veľké modely vo vlastnej infraštruktúre, je dôležitá najmä nižšia réžia schedulera a jednotnejšia cesta pre EAGLE, MTP a tree drafting.
AllenAI zverejnilo EMO, mixture-of-experts model navrhnutý tak, aby sa jeho experti prirodzene usporiadali do využiteľných skupín. Cieľom nie je len vyšší výkon, ale aj to, aby bolo možné spúšťať menší výsek expertov bez dramatického prepadu kvality.
Open-source serving framework SGLang vydal verziu 0.5.11, ktorá kombinuje prechod na CUDA 13 a Torch 2.11 s agresívnejšími infra optimalizáciami pre speculative decoding, prefix cache aj disaggregated deploymenty.
Projekt llama.cpp vydal zmenu, ktorá pri serverovom štarte overuje argument --tools voči známym názvom nástrojov. Namiesto tichého ignorovania preklepov alebo neplatných položiek teraz server skončí s chybou a vypíše dostupné možnosti, čo znižuje riziko nenápadných produkčných chýb.