AI2 ukazuje EMO: sparse model vie bežať len s malou časťou expertov a nestratiť výkon

Allen Institute for AI predstavil projekt EMO, teda nový mixture-of-experts model, ktorý sa nesnaží iba o klasický recept „veľa expertov, aktivuj zopár z nich na token“. Hlavná ambícia je iná: prinútiť expertov, aby sa počas predtréningu usporiadali do zmysluplných modulov, ktoré sa dajú neskôr vyberať podľa typu úlohy. V čase, keď sa sparse architektúry často predávajú hlavne ako cesta k vyššiemu výkonu pri nižších výpočtových nákladoch, je to osviežujúci posun k otázke použiteľnosti a kompozície.

Autori vychádzajú z praktického problému dnešných MoE modelov. Na papieri vyzerajú úsporne, pretože pre každý vstup aktivujú len časť expertov. V praxi sa však často stáva, že pri obmedzení na menší podvýber expertov výkon prudko padá. Dôvodom je, že experti sa spontánne špecializujú skôr na nízkoúrovňové vzory, napríklad interpunkciu alebo lexikálne signály, než na vyššie sémantické domény, ako je kód, matematika či biomedicína. To výrazne obmedzuje možnosť nasadiť len „relevantný kúsok“ modelu tam, kde by plný model bol zbytočne drahý.

EMO sa snaží tento problém vyriešiť už počas pretréningu. Namiesto ručne definovaných domén stavia na jednoduchšej myšlienke: tokeny z rovnakého dokumentu majú tendenciu patriť do podobného tematického priestoru, preto by mali zdieľať spoločný fond expertov. Takéto obmedzenie má podporiť vznik koherentných skupín expertov bez toho, aby výskumníci modelu vopred vnucovali, čo je „matematika“, čo je „kód“ a čo „biológia“. Je to dôležité, pretože ručne definované domény bývajú drahé, sporné a z dlhodobého hľadiska aj príliš rigidné.

Podľa AI2 bol EMO trénovaný ako 1B-active, 14B-total parameter model so 128 expertmi nad biliónom tokenov. Kľúčové tvrdenie znie, že pre konkrétnu úlohu vie systém použiť len malú časť expertov a pritom si udržať výkon blízky plnej verzii. V paperi sa uvádza, že ponechanie 25 percent expertov znamená len približne jednopercentný absolútny pokles, pri 12,5 percenta expertov zhruba trojpercentný pokles. Oproti štandardným MoE modelom rovnakého typu je to veľký rozdiel, pretože tie sa pri podobnom orezaní výrazne lámu.

Ak sa tieto výsledky potvrdia aj mimo vlastného benchmarkového sveta autorov, EMO otvára zaujímavý priestor pre nasadenie. Podnik alebo výskumný tím by mohol mať jeden väčší sparse model, ale v konkrétnych workflow aktivovať len podmnožinu expertov podľa domény alebo pamäťového rozpočtu. To môže zlepšiť pomer medzi kvalitou a nárokmi na infraštruktúru. Dôležité je, že nejde len o lacnejšiu inferenciu. Ide aj o možnosť izolovať, vylepšovať a kombinovať schopnosti bez toho, aby bolo treba vždy nasadiť celý monolit.

EMO preto dobre zapadá do širšieho trendu, v ktorom sa AI systémy postupne odkláňajú od predstavy jedného všeobecného modelu ako jedinej jednotky nasadenia. V agentickej aj enterprise vrstve rastie záujem o kompozíciu: vybrať menší schopnostný blok pre konkrétny problém, prípadne ho spojiť s iným. Ak sa modularita podarí presunúť z marketingového slovníka do reálnej architektúry, môže to mať dôsledky nielen na náklady, ale aj na governanciu, ladenie a aktualizácie modelov.

Treba dodať, že EMO zatiaľ nie je príbehom o okamžitom produkčnom víťazstve. Stále ide o výskumný model a jeho praktická hodnota bude závisieť od toho, ako sa bude správať na širšej sade úloh, pri odlišných dátach a pri reálnych memory budget obmedzeniach. No už samotný paper presne triafa problém, ktorý doteraz pri MoE architektúrach nebýval dostatočne pomenovaný: nestačí, že model vie aktivovať málo expertov na token. Dôležité je, či sa tí experti dajú zmysluplne vyberať ako schopnostné moduly.

Pre open-source a open-weight komunitu je EMO zaujímavý aj preto, že prináša konkrétnu alternatívu k súčasnému preteku vo veľkosti. Namiesto otázky „koľko parametrov ešte pridáme“ kladie otázku „ako tie parametre lepšie zorganizujeme, aby sa dali nasadiť selektívne“. Ak sa tento smer uchytí, môže posunúť diskusiu o sparse modeloch od čírej efektivity k architektúre, ktorá je bližšia tomu, čo budú skutočne potrebovať aplikácie: nie vždy celý model, ale spoľahlivo vybranú časť jeho schopností.