Tag

#kompresia modelov

Všetky publikované články, v ktorých sa téma kompresia modelov objavuje ako dôležitý kontext. Aktuálne 2 textov v archíve.

Výskum21. septembra 20265 min čítania4 zdroje

Výber blokov na odstránenie z LLM rieši nová metóda ako fyzikálny optimalizačný problém

Výskumníci z Multiverse Computing previedli výber transformerových blokov na obmedzenú binárnu optimalizáciu. Pri 50-percentnom skrátení Llama 3.3 70B uvádzajú takmer 23-bodový náskok v MMLU oproti iným metódam odstraňovania blokov.

Výskum5. augusta 20264 min čítania5 zdrojov

ARCHead komprimuje výstupnú hlavu LLM bez uchovania hustej BF16 vrstvy

ARCHead zmenšil výstupnú hlavu Qwen3-8B-Base na 25,6 % pôvodného úložiska pri malom náraste perplexity. Výsledky zahŕňajú viac modelov, no zatiaľ ich nezopakoval nezávislý tím.