Tag
Všetky publikované články, v ktorých sa téma Transformers objavuje ako dôležitý kontext. Aktuálne 2 textov v archíve.
Nový backend má znížiť potrebu písať samostatné vLLM implementácie pre každý model. Pre autorov modelov aj prevádzkovateľov inferencie je to praktická zmena v tom, kde sa robí optimalizácia.
Nový technický rozbor od Hugging Face ukazuje, že pri kontinuálnom dávkovaní LLM býva úzke hrdlo často mimo samotného modelu: ak sa príprava batchov na CPU oddelí od výpočtu na GPU, latencia a využitie akcelerátora sa môžu citeľne zlepšiť bez nových kernelov aj bez pretrénovania modelu.