aifeed.skAI Feed

Tag

#špekulatívne dekódovanie

Všetky publikované články, v ktorých sa téma špekulatívne dekódovanie objavuje ako dôležitý kontext. Aktuálne 2 textov v archíve.

ARBITRAGE zrýchľuje matematické uvažovanie LLM až dvojnásobne, zatiaľ však iba v testoch
Výskum5 min čítania5 zdrojov

ARBITRAGE zrýchľuje matematické uvažovanie LLM až dvojnásobne, zatiaľ však iba v testoch

Výskumníci z UC Berkeley, Apple, ICSI a LBNL navrhli router, ktorý pri každom kroku odhaduje, či sa oplatí zapojiť výkonnejší jazykový model. Na matematických benchmarkoch hlásia až približne dvojnásobné zníženie latencie pri porovnateľnej presnosti, no výsledky pochádzajú z preprintu, vybraných otvorených modelov a kontrolovaného hardvéru.

SGLang 0.5.13 mení špekulatívne dekódovanie na predvolenú cestu
Produkty4 min čítania3 zdroje

SGLang 0.5.13 mení špekulatívne dekódovanie na predvolenú cestu

Nové vydanie inference stacku SGLang pridáva podporu ďalších autoregresívnych aj difúznych modelov a posúva Spec V2 do produkčnej roly. Pre tímy, ktoré obsluhujú veľké modely vo vlastnej infraštruktúre, je dôležitá najmä nižšia réžia schedulera a jednotnejšia cesta pre EAGLE, MTP a tree drafting.