Nová práca vysvetľuje, prečo riedke vlastnosti môžu meniť škálovacie zákony modelov

Škálovacie zákony patria medzi najvplyvnejšie nápady posledných rokov v strojovom učení. V jednoduchej forme hovoria, ako sa chyba modelu mení s veľkosťou dát, počtom parametrov alebo výpočtovým rozpočtom. Nový preprint Asymmetric Scaling Laws from Sparse Features upozorňuje, že táto intuícia môže byť neúplná, ak dáta nie sú husté a mnohé dôležité vlastnosti sa v tréningu objavujú veľmi zriedka alebo vôbec.

Autori John Sous a Michael Winer navrhujú teoretický model neurónových škálovacích zákonov pod riedkymi aktiváciami. Kľúčová myšlienka je, že testovaciu stratu môžu ovládať „vzácne súradnice“ – vlastnosti alebo kombinácie vstupov, ktoré sa v trénovacej množine nikdy neukážu. Model sa tak môže naučiť bežné prípady veľmi dobre, ale narazí na úzke hrdlo pri situáciách, ktoré sú štatisticky zriedkavé a pritom dôležité pre celkovú generalizáciu.

To je odlišné od bežnej predstavy hustého modelu, v ktorom každý nový tréningový príklad prináša aspoň trochu informácie o väčšine smerov v dátach. Pri riedkych vlastnostiach môže byť veľká časť priestoru nepozorovaná, hoci má v testovacom rozdelení nenulovú váhu. V takom prípade nestačí iba hladká krivka „viac dát znamená menšia chyba“. Rýchlosť zlepšovania závisí od toho, kedy sa vzácne vlastnosti začnú v tréningu vôbec objavovať.

Práca odvodzuje asymptotickú populačnú stratu v podparametrizovanom aj nadparametrizovanom režime. Zaujímavým výsledkom je dvojitý zostup v okolí interpolačného prahu, teda bodu, kde počet parametrov práve stačí na presné prispôsobenie trénovacím dátam. Takýto jav je známy aj z iných oblastí strojového učenia, ale tu je napojený na riedkosť vlastností a na rozdiel medzi tým, čo model videl počas tréningu, a tým, čo ho čaká v testovacom rozdelení.

Autori hovoria o asymetrických škálovacích zákonoch preto, že krivka straty sa riadi dvoma odlišnými exponentmi. Jeden opisuje správanie v nadparametrizovanom režime, druhý v podparametrizovanom. Inými slovami, zlepšovanie modelu pred prahom a po prahu nemusí byť len plynulým pokračovaním tej istej závislosti. Môže ísť o dva režimy s odlišnou dynamikou, ktoré sa stretávajú okolo kritickej oblasti.

Pre praktické modelovanie je tento pohľad dôležitý najmä pri dátach s dlhým chvostom. Jazykové modely, odporúčacie systémy, biologické dáta aj bezpečnostné detektory často pracujú s udalosťami, ktoré sa vyskytujú zriedkavo, no majú vysoký význam. Ak škálovací zákon priemeruje všetko do jednej hladkej krivky, môže podceniť, že zlepšenie na bežných prípadoch ešte neznamená spoľahlivé zvládnutie okrajových situácií.

Pre veľké jazykové modely to otvára opatrnú, ale zaujímavú interpretáciu. Mnohé schopnosti sa môžu objavovať neskoro nie preto, že by model náhle „pochopil“ novú abstrakciu, ale preto, že pri väčšom rozsahu konečne videl dostatočný počet vzácnych kombinácií. Naopak, niektoré chyby môžu pretrvávať aj pri veľkom modeli, ak sú viazané na vlastnosti, ktoré tréningové dáta reprezentujú príliš slabo. Teoretický model samozrejme nie je priamym auditom dnešných LLM, ale dáva jazyk pre diskusiu o riedkosti a generalizácii.

Z pohľadu benchmarkov ide o pripomienku, že priemerné skóre nemusí zachytiť celé riziko. Ak test obsahuje málo príkladov zo zriedkavých oblastí, môže potvrdiť peknú škálovaciu krivku, ale minúť režim, ktorý v reálnom nasadení spôsobí chyby. Preto sú dôležité aj cielené evaly na dlhý chvost, doménové rezy a prípady, ktoré sa v dátach ťažko hľadajú. Teória riedkych vlastností dáva týmto praktickým požiadavkám formálnejší rámec.

Pre infraštruktúru tréningu a výber dát má práca tiež jasný odkaz. Ak chyba pochádza z nepozorovaných vzácnych súradníc, samotné zväčšovanie modelu nemusí byť najefektívnejšou odpoveďou. Rovnako dôležité môže byť aktívne dopĺňanie dát, lepšie pokrytie okrajových režimov alebo syntetické generovanie príkladov, ktoré narušia riedke slepé miesta. To sa dobre spája s trendom dátovo orientovaného vývoja modelov, kde sa kvalita a pokrytie dát riešia rovnako vážne ako architektúra.

Preprint je teoretický a netreba ho čítať ako okamžitý návod na trénovanie frontier modelov. Jeho hodnota je skôr v tom, že presnejšie pomenúva mechanizmus, ktorý praktici intuitívne poznajú: model sa môže zlepšovať veľmi rýchlo na bežných prípadoch, no zostávať krehký tam, kde dáta rednú. Ak sa tento mechanizmus potvrdí aj v širších empirických štúdiách, môže ovplyvniť spôsob, akým sa plánujú dátové zmesi, evaly a očakávania od ďalšieho škálovania.