Nová miera komplexity modelu sleduje podobnosť gradientov naprieč vstupmi

Komplexita modelu je pojem, ktorý sa v strojovom učení používa neustále, ale často s rôznym významom. Môže znamenať počet parametrov, hĺbku siete, schopnosť prispôsobiť sa dátam alebo riziko preučenia. Nový preprint A Rigorous, Tractable Measure of Model Complexity navrhuje inú cestu: merať komplexitu cez podobnosť gradientov modelu naprieč vstupmi. Autori tvrdia, že takáto miera je matematicky presná a zároveň prakticky vypočítateľná.

Myšlienka je intuitívnejšia, než znie. Gradienty hovoria, ako sa výstup modelu mení vzhľadom na jeho parametre alebo reprezentáciu. Ak sú gradienty pre rôzne vstupy veľmi podobné, model reaguje jednotnejšie. Ak sú odlišné, model má bohatšiu a členitejšiu schopnosť prispôsobenia. Z toho sa dá odvodiť obraz komplexity, ktorý nie je len počítaním parametrov. Dva modely s rovnakým počtom parametrov sa totiž môžu správať veľmi rozdielne.

Autori zdôrazňujú, že existujúce miery komplexity sú často buď heuristické, alebo výpočtovo náročné. To je problém pre interpretáciu, generalizáciu aj výber modelu. V praxi by sme chceli vedieť, kedy je model zbytočne komplikovaný, kedy má kapacitu potrebnú pre úlohu a kedy sa jeho zložitosť prejaví v horšej stabilite. Ak je miera príliš drahá, ostane akademickou kuriozitou. Ak je príliš hrubá, nepovie nič užitočné.

Zaujímavé je, že navrhovaný prístup má byť definovaný nielen pre parametrické modely, ale aj pre kernelové neparametrické modely. To rozširuje jeho teoretický záber. V ére hlbokých sietí sa pozornosť často sústredí na obrovské neurónové architektúry, no silná miera komplexity by mala vedieť vysvetliť aj klasickejšie metódy. Pre výskum generalizácie je práve takéto premostenie dôležité, pretože umožňuje porovnávať modely v spoločnom jazyku.

Pre praktikov môže byť táto téma na prvý pohľad abstraktná. Nepovedie zajtra k novému chatbotu ani k lacnejšej inferencii. Má však význam pre rozhodnutia, ktoré sa opakujú v každom ML projekte: aký veľký model zvoliť, ako interpretovať jeho správanie a ako odhadnúť, či sa naučil robustný vzťah alebo len šum v dátach. Lepšie meranie komplexity môže zlepšiť model selection aj diagnostiku preučenia.

Pri moderných veľkých modeloch je otázka komplexity ešte ostrejšia. Počet parametrov prestal byť dostatočným vysvetlením. Model s rovnakou veľkosťou môže po doladení získať veľmi odlišné správanie, a menší model môže v úzkej doméne generalizovať lepšie než väčší. Miera založená na reakcii modelu na vstupy môže poskytnúť jemnejší pohľad než samotná veľkosť architektúry alebo loss na validačnej množine.

Samozrejme, preprint treba brať ako výskumný návrh, nie ako hotový priemyselný štandard. Bude potrebné ukázať, ako sa miera správa na veľkých neurónových sieťach, pri rôznych typoch dát a pri bežných tréningových postupoch. Dôležité bude aj to, či výpočtová dostupnosť ostane zachovaná pri modeloch, ktoré majú miliardy parametrov, alebo či bude potrebné pracovať s aproximáciami.

Hodnota práce je v tom, že vracia do diskusie o AI jednu základnú otázku: čo vlastne znamená, že model je zložitý. Bez lepších odpovedí sa budeme spoliehať na hrubé ukazovatele, ktoré často mätú. Ak sa gradientová miera ukáže ako robustná, môže pomôcť prepojiť teóriu generalizácie s každodenným výberom a auditom modelov. A to je typ výskumu, ktorý nemusí byť hlučný, ale môže dlhodobo ovplyvniť, ako modely hodnotíme.

Ak by sa metóda osvedčila, mohla by byť užitočná aj pri doladení modelov. Tímy často riešia, či fine-tuning model iba jemne prispôsobil doméne, alebo z neho spravil príliš špecializovaný systém s krehkým správaním mimo tréningovej distribúcie. Miera založená na gradientoch by mohla poskytnúť ďalší signál popri validačnej chybe a ľudských evaluačných sadách.

Pre oblasť interpretovateľnosti je zaujímavé aj to, že gradienty už dnes používame pri vysvetľovaní správania modelov. Ak sa z nich dá odvodiť stabilná globálnejšia miera komplexity, vzniká prepojenie medzi lokálnym vysvetlením konkrétneho rozhodnutia a celkovou kapacitou modelu. Práve takéto mosty medzi teóriou a diagnostikou dnes v ML praxi často chýbajú.