Výber blokov na odstránenie z LLM rieši nová metóda ako fyzikálny optimalizačný problém
Výskumníci z Multiverse Computing previedli výber transformerových blokov na obmedzenú binárnu optimalizáciu. Pri 50-percentnom skrátení Llama 3.3 70B uvádzajú takmer 23-bodový náskok v MMLU oproti iným metódam odstraňovania blokov.