Alpha-RTL trénuje LLM pri riešení konkrétneho hardvérového návrhu

Veľké jazykové modely sa už používajú aj pri návrhu digitálneho hardvéru, najmä pri generovaní RTL opisov. Doterajšia otázka však nebola iba to, či model vie vytvoriť funkčne správny návrh, ale či vie zlepšovať aj fyzické vlastnosti výsledku: plochu, oneskorenie a spotrebu. Nový preprint Alpha-RTL: Test-Time Training for RTL Hardware Optimization skúma prístup, pri ktorom sa model neprispôsobuje iba vopred počas tréningu, ale priamo počas riešenia konkrétnej hardvérovej úlohy.

Autori hovoria o rámci TTT-RTL, teda o test-time training pre RTL návrhy. Rozdiel oproti bežnému vyhľadávaniu so zmrazenou politikou je zásadný. Zmrazený agent môže skúšať rôzne kandidátske implementácie a vybrať najlepšiu, ale samotná politika sa nemení. TTT-RTL naopak používa spätnú väzbu z EDA pipeline, teda z nástrojov na syntaktickú kontrolu, simuláciu a syntézu, aby politiku aktualizoval pre daný návrhový problém.

Pipeline podľa abstraktu vzorkuje kandidátske implementácie, overuje ich cez syntax a simuláciu, hodnotí validné návrhy pomocou PPA produktu odvodeného zo syntézy a opakovane využíva vysokoodmenené varianty cez zásobník stavov indexovaný metódou PUCT. Model sa potom aktualizuje entropickým policy-gradient cieľom. Zjednodušene povedané, nejde iba o generovanie ďalších odpovedí z toho istého modelu. Systém sa učí z toho, ktoré návrhy pre konkrétnu úlohu naozaj prešli nástrojmi a mali lepšie fyzické parametre.

Zaujímavým detailom je adaptívny KL-budget controller. Pri úlohách s riedkou alebo plató odmenou môže byť učenie nestabilné: model buď príliš málo mení správanie, alebo sa odtrhne od referenčnej politiky. Autori preto upravujú entropickú obmedzujúcu zložku podľa referenčného KL, efektívnej veľkosti vzorky a signálov saturácie odmeny. Pre nešpecialistu je pointa jednoduchá: systém potrebuje brzdu aj plyn, aby sa pri optimalizácii hardvéru nezrútil do náhodných alebo príliš konzervatívnych krokov.

Výsledky v abstrakte sú výrazné. Na RTLLM v2.0 pod technológiou Nangate 45 nm má TTT-RTL znížiť geometrický priemer PPA produktu o 65,1 percenta oproti referencii a prekonať najsilnejší publikovaný baseline so zmrazenou politikou, ktorý dosiahol 26,1 percenta. Na priemyselnej jednotke leading-zero anticipation pre FPU XuanTie C910 pod Sky130 dosahuje 59,4 percentné zníženie ADP. Takéto čísla treba brať ako výsledky pre konkrétne nastavenia, ale ukazujú potenciál spätnej väzby z reálnych EDA nástrojov.

Prečo je to dôležité mimo úzkej oblasti RTL? Hardvérový návrh je príklad úlohy, kde jazykový model nemôže byť hodnotený iba esteticky alebo podľa približnej správnosti. Návrh buď prejde syntaktickou kontrolou, simuluje sa správne a má merateľné fyzické parametre, alebo zlyhá. Takéto prostredia sú pre agentov tvrdé, ale zároveň veľmi užitočné: poskytujú spustiteľnú spätnú väzbu, ktorá môže viesť učenie presnejšie než ľudské preferencie pri všeobecnej konverzácii.

Praktický dopad by mohol byť najprv v špecializovaných návrhových úlohách, kde je drahé ručne skúšať veľa variantov a kde existuje automatizovaná EDA infraštruktúra. Vývojár hardvéru by nemusel čakať, že LLM okamžite nahradí celý návrhový tím. Skôr by mohol používať systém ako optimalizačného spolupracovníka, ktorý navrhne množstvo variantov, nechá ich prejsť nástrojmi a adaptívne sa zameria na sľubné časti návrhového priestoru.

Alpha-RTL zároveň zapadá do širšieho trendu test-time adaptácie. Modely sa už neposudzujú iba podľa toho, čo vedia po tréningu, ale aj podľa schopnosti využiť výpočtový čas pri riešení konkrétnej úlohy. V matematike, programovaní aj hardvéri sa objavuje rovnaká otázka: oplatí sa investovať viac výpočtu počas inferencie alebo dokonca počas krátkeho priebežného učenia? Tento preprint naznačuje, že pri RTL optimalizácii môže byť odpoveď áno, ak je spätná väzba dosť presná a dobre zakomponovaná do tréningovej slučky.