Tag
Všetky publikované články, v ktorých sa téma LLM inferencia objavuje ako dôležitý kontext. Aktuálne 5 textov v archíve.
Predbežné vydanie TensorRT-LLM 1.3.0rc25 nastavuje KV Cache Manager V2 ako predvolenú voľbu pre široké spektrum modelov. NVIDIA súčasne upozorňuje na početné riziká pri distribuovanej prevádzke.
Referenčná architektúra spája GPU cache, operačnú pamäť a zdieľaný NVMe pool Curvine. V teste zrýchlila čas do prvého tokenu až 2,7-násobne, výsledok však závisí od prekrývania promptov a siete.
Analýza Apple a univerzitných partnerov ukazuje, že paralelné generovanie tokenov samo osebe nezaručuje rýchlejšiu ani lacnejšiu inferenciu. Difúzne jazykové modely narážajú pri dlhom kontexte na opakované výpočty a pri dávkovom spracovaní zatiaľ lepšie škálujú autoregresívne modely; rozhodujúce bude zníženie počtu vzorkovacích krokov.
Výskumníci z UC Berkeley, Apple, ICSI a LBNL navrhli router, ktorý pri každom kroku odhaduje, či sa oplatí zapojiť výkonnejší jazykový model. Na matematických benchmarkoch hlásia až približne dvojnásobné zníženie latencie pri porovnateľnej presnosti, no výsledky pochádzajú z preprintu, vybraných otvorených modelov a kontrolovaného hardvéru.
Nový technický rozbor od Hugging Face ukazuje, že pri kontinuálnom dávkovaní LLM býva úzke hrdlo často mimo samotného modelu: ak sa príprava batchov na CPU oddelí od výpočtu na GPU, latencia a využitie akcelerátora sa môžu citeľne zlepšiť bez nových kernelov aj bez pretrénovania modelu.