Preprint skúša Weibullovo rozdelenie ako diagnostiku váh transformerov

Nový preprint na arXive sa pozerá na transformery z menej viditeľnej, ale prakticky dôležitej strany: ako sa počas tréningu menia rozdelenia veľkostí váh v jednotlivých maticiach. Namiesto toho, aby autori sledovali iba agregované metriky ako loss, normy alebo globálne štatistiky, navrhujú diagnostický rámec založený na dvojparametrovom Weibullovom rozdelení. To je rodina rozdelení známa z teórie extrémnych hodnôt a spoľahlivosti, no tu slúži ako meradlo tvaru distribúcie elementových magnitúd váh.

Základná myšlienka je jednoduchá, hoci technicky zaujímavá. Pri inicializácii s nezávislými Gaussovými váhami majú absolútne hodnoty váh približne polovičné normálne rozdelenie. Autori ho používajú ako kotvu: tvarový parameter Weibullovho rozdelenia, označovaný k, má pri ich protokole odhad okolo 1,20. Odchýlky od tejto kotvy potom môžu slúžiť ako signál, ako tréning mení jednotlivé matice, vrstvy a komponenty modelu.

Dôležité je, že analýza nepracuje iba s jedným číslom pre celý model. Autori fitujú rozdelenie pre každú váhovú maticu nezávisle, v každej vrstve a na rôznych checkpointoch tréningu. Takýto pohľad môže odhaliť, že dve časti modelu sa správajú veľmi odlišne, aj keď priemer cez celý model vyzerá stabilne. Pre veľké modely je to podstatné, pretože porucha, saturácia alebo nečakaný posun v jednej skupine vrstiev sa môže v globálnej metrike stratiť.

Prečo by to malo zaujímať mimo teoretickej analýzy? Tréning veľkých transformerov je drahý a citlivý na hyperparametre, dátové zmesi, optimalizátor aj architektúru. Ak diagnostika váh včas ukáže, že niektoré komponenty menia rozdelenie neštandardne, môže poslúžiť ako doplnkový signál pri ladení tréningu alebo pri porovnávaní checkpointov. Nehovorí priamo, či model bude lepšie odpovedať používateľovi, ale môže ukázať, kde sa vnútri deje niečo štrukturálne iné.

Práca je zaujímavá aj pre interpretáciu a audit modelov. Keď sa porovnávajú modely po rôznych fázach tréningu, po jemnom dolaďovaní alebo po zásahoch ako kvantizácia a kompresia, agregované výkonové metriky často nestačia. Distribučná diagnostika môže byť lacnejší spôsob, ako odhaliť zmeny v jednotlivých komponentoch a rozhodnúť, kde treba urobiť detailnejšiu analýzu.

Treba však zdôrazniť, že Weibullov rámec nie je magickým vysvetlením inteligencie modelu. Je to štatistický nástroj na popis rozdelenia váh. Jeho hodnota závisí od toho, či odhalené vzory stabilne korelujú s tréningovými javmi, zlyhaniami alebo architektonickými rozdielmi. Pre produkčné tímy by preto išlo skôr o ďalšiu diagnostickú vrstvu než o samostatné rozhodovacie kritérium.

Autori podľa abstraktu aplikujú postup na viacero modelov a sledujú per-komponentové, per-vrstvové a per-krokové signály, ktoré bežné súhrnné štatistiky nedokážu rozlíšiť. Práve táto granularita je prísľubom práce. Ak sa ukáže, že určité typy vrstiev alebo blokov majú počas tréningu konzistentné podpisy, môže to pomôcť pri návrhu architektúr alebo pri vyhodnocovaní, či zmena tréningového receptu spôsobila lokálny efekt.

Pre MLOps a výskumné infra tímy je podobný prístup pripomienkou, že monitoring modelov sa nemá končiť pri výslednom skóre. Pri veľkých tréningoch môže byť užitočné ukladať a porovnávať aj štatistiky váh, aktivácií alebo gradientov. Nie preto, aby nahradili evaly, ale aby pomohli vysvetliť, prečo sa evaly menia a kde v modeli sa zmena pravdepodobne sústreďuje.

Preprint tak zapadá do širšieho trendu „modelovej observability“. Ako sa modely stávajú väčšími a drahšími, rastie potreba nástrojov, ktoré vedia odhaliť vnútorné posuny skôr, než sa prejavia ako drahý neúspešný tréning alebo nejasné zhoršenie benchmarku. Weibullovo rozdelenie je v tomto prípade konkrétny návrh meradla: jednoduchý dosť na opakované použitie naprieč checkpointmi, ale bohatší než jeden globálny priemer.