ARCHead komprimuje výstupnú hlavu LLM bez uchovania hustej BF16 vrstvy
ARCHead zmenšil výstupnú hlavu Qwen3-8B-Base na 25,6 % pôvodného úložiska pri malom náraste perplexity. Výsledky zahŕňajú viac modelov, no zatiaľ ich nezopakoval nezávislý tím.
Tag
#LM-head
Všetky publikované články, v ktorých sa téma LM-head objavuje ako dôležitý kontext. Aktuálne 1 textov v archíve.