Preprint vysvetľuje, prečo NTK zaostáva pri kompozičnom učení

Nový preprint na arXive sa vracia k otázke, ktorá sprevádza teóriu hlbokého učenia už niekoľko rokov: prečo plne trénované neurónové siete často zvládajú kompozičné úlohy lepšie než ich neural tangent kernel limit. NTK aproximácia bola užitočná, pretože umožnila analyzovať veľmi široké siete ako kernelové regresné modely. Empirická prax však opakovane ukazuje, že skutočné siete sa pri štruktúrovaných úlohách správajú bohatšie.

Autori práce formulujú tento rozdiel cez dichotómiu v priestore funkcií. Jedna miera, Fourierova zložitosť, kontroluje správanie NTK kernelovej regresie. Druhá, architektonická zložitosť, kontroluje učenie v ReLU sieťach s obmedzenou variačnou normou váh. Zjednodušene povedané, niektoré cieľové funkcie môžu vyzerať komplikovane pre kernelový pohľad, ale relatívne prirodzene pre sieť, ktorá skladá jednoduchšie transformácie cez vrstvy.

To je dôležité pre pochopenie kompozície. Mnohé reálne úlohy nie sú náhodné mapovania vstupu na výstup. Jazyk, vizuálne scény, plánovanie aj matematické problémy majú hierarchickú štruktúru: jednoduchšie prvky sa skladajú do vyšších vzorov. Ak teoretický model učenia túto skladbu nevidí, môže podceniť schopnosť siete alebo nadhodnotiť potrebný počet dát. Práve preto NTK limit často nedokáže vysvetliť, prečo trénované siete v praxi generalizujú lepšie.

Preprint pracuje na jednotkovej kružnici a analyzuje rýchlosti učenia pre triedu ReLU sietí s hĺbkou, šírkou a normovým obmedzením. Podstatné je, že autori sa nesnažia iba pridať ďalší izolovaný príklad. Chcú kvantifikovať, kedy a o koľko môže byť architektonický pohľad výhodnejší. V abstrakte hovoria o exponenciálnej suboptimálnosti NTK pri kompozičnom učení, čo je silné tvrdenie s potenciálnym dopadom na spôsob, akým interpretujeme teoretické limity veľmi širokých sietí.

Ak sa táto línia potvrdí, má praktický význam aj mimo matematiky. Pri návrhu modelov často rozhodujeme, či zväčšovať šírku, hĺbku, meniť architektúru alebo spoliehať sa na viac dát. Kernelový pohľad môže naznačiť, že úloha je veľmi ťažká, hoci správna architektúra ju reprezentuje úspornejšie. To podporuje intuíciu, že architektúra nie je len implementačný detail, ale nesie induktívne predpoklady o štruktúre sveta.

Práca tiež zapadá do širšej debaty o tom, čo presne sa učí počas tréningu. NTK opisuje režim, v ktorom sa parametre od inicializácie veľmi nepohnú a model sa správa takmer lineárne v parametroch. Moderné siete však často fungujú v inom režime, kde učenie mení reprezentácie. Práve učenie reprezentácií môže byť zdrojom výhody pri kompozičných úlohách. Teoretické oddelenie týchto režimov pomáha pomenovať, prečo samotná veľkosť siete nestačí ako vysvetlenie.

Pre vývoj veľkých modelov to neznamená okamžitý recept na lepší transformer. Výsledky sú formulované v konkrétnom matematickom prostredí a treba ich opatrne prenášať na jazykové modely s pozornosťou, normalizáciou a škálovaným tréningom. Napriek tomu je hodnota v tom, že poskytujú presnejší slovník: môžeme sa pýtať, či úloha vyžaduje vysokú Fourierovu zložitosť, alebo či má nízku architektonickú zložitosť, ktorú vhodná sieť využije.

V oblasti hodnotenia AI to má ďalší dôsledok. Ak benchmark obsahuje kompozičné vzory, výkon nemusí byť len otázkou memorovania alebo interpolácie medzi príkladmi. Môže odrážať, či architektúra a tréning dokážu objaviť skladateľnú štruktúru. To je relevantné pri úlohách, kde model musí kombinovať pravidlá, symboly alebo kroky, nie iba rozpoznať povrchový vzor.

Najbližšia otázka je, ako sa teoretické závery prepoja s empirickými experimentmi na širších architektúrach. Preprint je cenný najmä ako mapa hranice medzi kernelovým a reprezentáciami riadeným učením. Ak ukazuje reálnu exponenciálnu medzeru, potom vysvetľuje, prečo niektoré jednoduchšie teoretické aproximácie nestačia na pochopenie dnešných modelov. Pre komunitu je to pripomienka, že hlboké učenie nie je len veľká lineárna metóda v maske neurónovej siete; hĺbka a kompozícia môžu byť samotným zdrojom efektivity.