Nový dôkaz spresňuje, prečo malé dvojvrstvové siete potrebujú robustnosť za cenu šírky

Na arXive pribudol teoretický preprint A law of robustness for two-layer neural networks with arbitrary weights od Yitzchaka Shmala. Práca nadväzuje na hypotézu Bubecka, Liho a Nagaraja o tom, že ak dvojvrstvová neurónová sieť s obmedzeným počtom neurónov presne prispôsobí dáta so šumom, musí za to zaplatiť vyššou citlivosťou funkcie. Formálne ide o dolnú hranicu Lipschitzovej konštanty, teda miery, ako prudko sa môže výstup funkcie meniť pri malej zmene vstupu.

Pre praktického čitateľa je dôležité, že článok nerieši nový benchmark ani nový model, ale matematický mechanizmus generalizácie. Ak sa model naučí aj náhodný šum v trénovacích štítkoch, môže sa stať krehkejším: malé zmeny vstupu vedú k veľkým zmenám výstupu. Šírka siete potom funguje ako jeden zo spôsobov, ako tento tlak zmierniť. Čím menej má dvojvrstvová sieť neurónov vzhľadom na počet bodov, tým väčšiu robustnostnú cenu môže niesť pri interpolácii šumu.

Autor uvádza, že dokazuje očakávaný zákon až na jeden logaritmický faktor pre spojité po častiach lineárne aktivácie, vrátane ReLU sietí. Dôležité je, že výsledok povoľuje ľubovoľne veľké váhy, biasy aj afinné preskočenie. Predchádzajúce univerzálne dôkazy často pracovali s obmedzeniami na parametre; táto práca sa snaží ukázať, že v dvojvrstvovom prípade nie je rozhodujúca iba veľkosť zápisu parametrov, ale geometria realizovanej funkcie.

Kľúčový technický posun je presun z pokrývania parametrického priestoru na pokrývanie priestoru funkcií. Pri neobmedzených váhach sa parametre nedajú jednoducho uzavrieť do kompaktnej oblasti, na ktorej by fungoval štandardný argument. Autor namiesto toho analyzuje realizované po častiach lineárne funkcie a počet ich zlomových nadrovín, teda miest, kde sa mení lineárna forma funkcie. Tento pohľad lepšie zachytáva, čo sieť v skutočnosti počíta.

Pre interpretáciu je zaujímavá verzia výsledku založená na počte realizovaných zlomov. Ak funkcia používa málo odlišných zlomových nadrovín, platí podobná dolná hranica bez ohľadu na to, koľko redundantných skrytých jednotiek ju parametrizuje. Inými slovami, nestačí formálne pridať neuróny, ak nepridávajú novú funkčnú štruktúru. To je teoretická pripomienka, že kapacita siete nie je vždy totožná s hrubým počtom parametrov.

Práca je relevantná aj pre širšiu diskusiu o overparameterizácii. Moderné modely často fungujú práve preto, že sú výrazne širšie a väčšie než minimálna architektúra potrebná na zapamätanie trénovacích dát. Teoretické výsledky tohto typu pomáhajú vysvetliť, prečo väčšia šírka nemusí byť iba plytvanie, ale môže meniť kompromis medzi prispôsobením dát a hladkosťou výslednej funkcie. Samozrejme, dvojvrstvové siete sú ďaleko od dnešných transformerov, no matematické princípy z jednoduchších tried často dávajú jazyk na pochopenie zložitejších javov.

Výsledok sa opiera o pravdepodobnostný model dát na sfére alebo z normálneho rozdelenia a o predpoklad nenulovej hladiny šumu. Preto ho nemožno mechanicky preniesť na každé reálne trénovanie. Jeho sila je v tom, že formálne izoluje jeden mechanizmus: ak sa snažíme ísť pod hladinu šumu a pritom máme obmedzenú funkčnú zložitosť, robustnosť nemôže zostať zadarmo.

Pre vývojárov a výskumníkov to nie je návod na zmenu hyperparametrov zajtra ráno. Je to skôr teoretická kotva pre otázky, ktoré sa v praxi objavujú stále: prečo niektoré menšie modely pri tvrdom dolaďovaní rýchlo strácajú stabilitu, prečo môže byť regularizácia dôležitejšia než samotné dosiahnutie nulovej trénovacej chyby a prečo je škálovanie modelov spojené nielen s presnosťou, ale aj s geometriou naučenej funkcie.

Preprint tak zapadá do rastúceho úsilia prepojiť empirické škálovanie s dôkazmi o robustnosti a generalizácii. V čase, keď priemysel často meria modely najmä cez praktické benchmarky, takéto práce pripomínajú, že pod povrchom existujú tvrdé matematické obmedzenia. Nie každé z nich priamo rozhoduje o produkte, no spolu vytvárajú mapu toho, čo môžeme od neurónových sietí očakávať a aké kompromisy sa nedajú obísť iba lepším inžinierstvom.