ARCHead komprimuje výstupnú hlavu LLM bez uchovania hustej BF16 vrstvy

Prehliadaný gigabajt vo výstupnej vrstve

Kvantizácia veľkých jazykových modelov sa zvyčajne sústreďuje na lineárne vrstvy transformerových blokov, pretože práve tam leží väčšina parametrov. Výskumná práca ARCHead upozorňuje na časť, ktorá môže po štvorbitovej kompresii zvyšku modelu zostať nápadne veľká: výstupnú projekciu, označovanú ako LM-head. Tá premieňa posledný skrytý stav modelu na skóre pre každý token v slovníku. Praktické implementácie môžu túto maticu ponechať vo formáte BF16 alebo FP16, hoci ostatné váhy už zmenšili. Nejde teda o tvrdenie, že sa tak správajú všetky kvantizačné nástroje, ale o konkrétnu medzeru v niektorých zostavách.

Pri Qwen3-8B-Base má výstupná matica podľa autorov rozmery 151 936 krát 4 096 a v BF16 zaberá približne 1,18 GB. Oficiálna karta modelu Qwen nezávisle potvrdzuje, že ide o základný model s 8,2 miliardy parametrov uložený v BF16; presnú veľkosť hlavy však vo svojej dokumentácii nevyhodnocuje. Veľký slovník vysvetľuje, prečo môže byť posledná projekcia významná aj po kompresii blokov. Pri modeloch s menším slovníkom, zdieľanými vstupnými a výstupnými embeddingmi alebo backendom, ktorý už hlavu účinne kvantizuje, bude prínos ARCHead menší alebo nulový.

Ako ARCHead opravuje chybu po kvantizácii

Jednoduché uloženie celej výstupnej matice v INT4 podľa autorov nestačí. Chyba na konci siete sa prenáša priamo do logitov slovníka a už za ňou nenasleduje normalizácia, reziduálne spojenie ani ďalšia naučená transformácia. ARCHead preto skladá aproximáciu z kvantizovaného nízkohodnostného jadra, skupinovo baleného štvorbitového rezídua a malej nízkohodnostnej korekcie. Korekcia sa neučí iba podľa numerickej vzdialenosti váh. Zohľadňuje kovariančnú metriku odvodenú z reálnych aktivácií vstupujúcich do LM-head, takže väčšiu kapacitu prideľuje smerom, ktoré majú pri pozorovaných dátach väčší vplyv na logity.

Pre pevne zvolené kvantizované jadro autori dokazujú optimálnosť ne­kvantizovanej korekcie daného rádu v ich aktivačnej metrike. Toto tvrdenie má úzky rozsah: neznamená globálnu optimálnosť celého kompresného postupu a neplatí bez ďalšieho na korekčné faktory po ich prevode do INT8. Dôležitou implementačnou vlastnosťou je, že zabalený modul nemá vo svojom stavovom slovníku pôvodnú hustú BF16 maticu. Autori započítali reálne PyTorch buffery, škály a metadáta, nie iba teoretický počet bitov. Hustá hlava je potrebná počas konverzie, po vytvorení komprimovanej reprezentácie sa však zahodí.

Na Qwen3-8B-Base zaberala výsledná hlava 304 MB, teda 25,6 % veľkosti BF16 variantu, čo zodpovedá kompresii približne 3,91-násobne. Relatívna perplexita dosiahla 1,007, zatiaľ čo jednoduchá skupinová INT4 kvantizácia s podobným úložným rozpočtom dosiahla 1,151. V porovnaní logitov sa zhodoval najpravdepodobnejší token s hustou hlavou na 93,05 % pozícií; pri porovnávaných nízkobitových alternatívach to bolo približne 76 %. Všetky tieto čísla pochádzajú z experimentov autorov ARCHead, nie z nezávislej reprodukcie.

Širšie testy spresňujú pôvodný obraz

Práca nehodnotí iba jeden model. Pri Gemma-4-E4B a VibeThinker-3B autori namerali relatívnu perplexitu 1,010 a 1,027; zabalené hlavy naďalej zaberali približne 26 až 27 % BF16 úložiska. Veľkosť reprezentácie overili na piatich architektúrach vrátane Mistral-7B-v0.3 a LFM2.5-8B-A1B, kde vyšla kompresia od 3,71- do 3,90-násobku. Rozdiely medzi modelmi sú podstatné: na Gemme bola obyčajná INT4 hlava už pomerne presná, takže výhoda ARCHead bola oveľa užšia než na Qwen. Metódu preto nemožno automaticky považovať za najlepší kompromis pre každú architektúru.

Doplnené porovnanie s GPTQ-štýlovou kvantizáciou samotnej hlavy používalo rovnaké kalibračné aktivácie, podobnú veľkosť výstupu a tri náhodné semená. ARCHead mal pri rozpočtoch od 2 048 do 16 384 kalibračných tokenov nižšiu priemernú relatívnu perplexitu aj chybu logitov a jeho zostavenie bolo v danej implementácii 2,36- až 2,58-násobne rýchlejšie. Výsledok nemožno rozšíriť na všetky vrstvy ani implementácie GPTQ. Ukazuje iba to, že globálna oprava rezídua bola v tomto kontrolovanom teste výstupnej hlavy účinnejšia než zvolená GPTQ referencia.

Autori skontrolovali aj kombináciu s AWQ a bitsandbytes NF4. Obe nimi skúmané zostavy ponechali na Qwen3-8B-Base BF16 hlavu, ktorú ARCHead nahradil pri dodatočnom náraste krížovej entropie o 0,006 až 0,007. Verejná dokumentácia AWQ nezávisle potvrdzuje, že táto metóda používa nízkobitovú kvantizáciu váh a optimalizované kernely, zatiaľ čo dokumentácia bitsandbytes opisuje podporu štvorbitovej kvantizácie v ekosystéme PyTorch. Ani jeden z týchto doplňujúcich zdrojov však nezávisle nepotvrdzuje konkrétne výsledky ARCHead alebo správanie každej verzie backendu.

Praktický význam a hranice dôkazov

Pre slovenské a európske tímy môže byť relevantná najmä úspora trvalej pamäte pri lokálnom nasadení modelu. Takmer 900 MB uvoľnených iba na hlave Qwen môže rozhodnúť, či sa konkrétna konfigurácia zmestí na dostupný akcelerátor, alebo ponechať viac priestoru pre KV cache a dlhší kontext. Lokálne spracovanie môže zároveň zjednodušiť kontrolu nad tokom citlivých dát. Samotná kompresia však nezaručuje súlad s GDPR, bezpečnosť systému ani vhodnosť modelu na spracovanie osobných údajov; tieto otázky závisia od celého nasadenia, právneho základu a prevádzkových kontrol.

Úspora uložených parametrov sa navyše nesmie zamieňať s rovnakou úsporou špičkovej VRAM počas generovania. Do prevádzkovej špičky vstupujú logity, aktivácie, pracovné buffery, správanie alokátora a KV cache. Autori namerali zmenu priepustnosti menšiu než dve percentá, ale testovali najmä jednu kartu NVIDIA RTX Pro 6000 a predbežný Triton kernel. Výsledok preto nehovorí, ako sa riešenie zachová na spotrebiteľských GPU, akcelerátoroch AMD, procesoroch alebo v bežných serveroch ako vLLM a llama.cpp bez osobitnej integrácie.

Najväčšou neistotou zostáva nezávislá reprodukcia. ARCHead je preprint odoslaný do ACL Rolling Review, nie ukončená recenzovaná štúdia. Kód je verejný, čo umožňuje skontrolovať balenie aj zopakovať experimenty, ale samotné zverejnenie repozitára nie je nezávislým potvrdením. Hodnotenie kvality sa opiera najmä o WikiText-103, vernosť logitov a tri downstream úlohy použité iba ako orientačná kontrola. Pred produkčným nasadením bude potrebné overiť slovenčinu, dlhé kontexty, zriedkavé tokeny, bezpečnostné správanie, reálnu špičku pamäte a kvalitu na úlohách konkrétnej organizácie.