Apple a Rice University tlmia problematické tokeny v difúznych transformeroch

Keď jeden token priťahuje priveľa pozornosti

Výskumníci z Apple a Rice University skúmali nenápadný problém difúznych transformátorov používaných pri generovaní obrázkov: malú skupinu tokenov s neobvykle vysokou normou. Takéto tokeny môžu pri výpočte pozornosti nadobudnúť neprimeraný vplyv, hoci nesú málo informácií o konkrétnej časti obrazu. Práca Taming Outlier Tokens in Diffusion Transformers rozširuje staršie pozorovania z modelov na rozpoznávanie obrazu do generatívnych systémov. Podľa autorov sa odľahlé tokeny objavujú v obrazovom enkodéri aj v samotnom difúznom transformátore, takže nejde iba o izolovanú chybu jedného komponentu.

Token v tomto kontexte predstavuje vektor opisujúci určitý obrazový segment alebo pomocnú informáciu spracúvanú modelom. Vysoká norma znamená, že veľkosť tohto vektora výrazne prevyšuje bežné hodnoty. To ešte samo osebe nedokazuje chybu, no autori pozorovali, že odľahlé tokeny priťahovali veľkú časť pozornosti a súčasne strácali lokálnu sémantiku. V pipeline založenej na reprezentančnom autoenkodéri a difúznom transformátore môže byť poškodená priestorová informácia prenesená do ďalších vrstiev a ovplyvniť postupné odšumovanie výsledného obrazu.

Nezávislým východiskom je staršia práca Vision Transformers Need Registers od výskumníkov spojených s Meta AI a Inria. Tá identifikovala vysokonormové tokeny najmä v málo informatívnom pozadí obrazov a ukázala, že model ich môže využívať ako interný pracovný priestor. Dodatočné registrové tokeny vytvorili oddelené miesto pre takéto výpočty a vyčistili mapy príznakov aj pozornosti. Nová štúdia od Apple a Rice University túto myšlienku neberie ako hotový dôkaz pre generovanie, ale testuje ju v odlišnom prostredí, kde je zachovanie lokálnej štruktúry dôležité počas viacerých krokov denoizácie.

Dvojstupňový zásah namiesto jednoduchého maskovania

Autori najprv overovali, či by nestačilo extrémne tokeny ignorovať. Pri RAE-DiT-XL s enkodérom SigLIP2-B odfiltrovali z tréningovej straty približne 0,1 % tokenov s najvyššou normou. FID, pri ktorom je nižšia hodnota lepšia, sa však zhoršil z 5,89 na 6,06. Experiment podporuje interpretáciu, že vysoká hodnota je skôr príznakom narušenej lokálnej reprezentácie než jedinou príčinou problému. Mechanické odstránenie tréningového signálu totiž neobnoví informáciu o obrazovom segmente a môže ju ešte oslabiť.

Navrhnuté riešenie Dual-Stage Registers preto pracuje s oboma časťami pipeline. V obrazovom enkodéri používa už natrénované registre, ak ich model obsahuje. Pri enkodéroch bez nich pridáva pomocný token počas inferencie a v prípade SigLIP2 ho aplikuje rekurzívne. V difúznom denoizéri autori pridali trénované registrové tokeny; opísaná konfigurácia ich používa 36. Výstupy registrov sa pred ďalším spracovaním zahodia, zatiaľ čo obrazové tokeny pokračujú pipeline. Registre tak majú poskytnúť modelu pracovný priestor pre globálne alebo nešpecifické informácie bez toho, aby ich ukladal do tokenov konkrétnych častí obrazu.

Dvojstupňové riešenie je dôležité preto, že zdroje odchýlok sa správajú rozdielne. V enkodéri SigLIP2-B sa najsilnejší vzor objavil v neskorších vrstvách, najmä v predposlednej. V generátore sa odľahlé tokeny koncentrovali skôr v stredných vrstvách a ich závažnosť klesala s rastúcou úrovňou difúzneho šumu. Oprava iba enkodéra by preto nezachytila tokeny vznikajúce počas denoizácie; zásah iba do generátora by zase ponechal poškodenú vstupnú reprezentáciu.

Čo ukázali experimenty

Najvýraznejšie číslo pochádza z ImageNet-256 pri RAE-DiT-XL so SigLIP2-B. Kombinácia testovacích registrov v enkodéri a registrov v difúznom modeli znížila FID z 5,89 na 4,58. Samotné difúzne registre dosiahli 5,33 a samotný zásah do enkodéra 4,63, čo naznačuje, že veľká časť zlepšenia v tejto konfigurácii súvisela s enkodérom. Pri DINOv2-B sa FID po použití enkodéra s natrénovanými registrami znížil zo 4,16 na 3,95. Pridanie difúznych registrov k inej porovnávanej konfigurácii DINOv2-B znížilo FID zo 4,11 na 3,92.

Autori testovali registre aj mimo jedinej RAE konfigurácie. Pri VAE-SiT-XL kleslo FID zo 16,05 na 14,47 a pri pixelovom modeli JIT-H z 30,34 na 23,14. Vo veľkom experimente generovania obrázkov z textu uvádzajú nárast GenEval z 0,426 na 0,466. Tieto výsledky sú širšie než pôvodný stručný súhrn článku: ukazujú konkrétne veľkosti zmien, viac architektúr aj rozdiel medzi zásahom do enkodéra a denoizéra. Neznamenajú však, že sa každý ukazovateľ zlepšil v každom variante. Niektoré tabuľky vykazujú zmiešané zmeny v presnosti, pokrytí alebo Inception Score, preto treba hodnotiť celý profil výsledkov, nie iba najlepšie FID.

Pre vývojárov je podstatné, že práca nesľubuje zlepšenie jednoduchým zväčšením modelu či dátového súboru. Navrhuje diagnostikovať, kde sa v sieti hromadí nešpecifická informácia, sledovať normy tokenov a mapy pozornosti a oddeliť správanie enkodéra od denoizéra. Praktická implementácia však nie je úplne bezplatná: trénované registre v generátore menia architektúru a vyžadujú tréning, zatiaľ čo testovacie registre síce možno pridať k existujúcemu enkodéru, ale ich účinok treba overiť pre konkrétny checkpoint a pipeline.

Význam pre európske tímy a otvorené otázky

Pre slovenské a európske tímy, ktoré integrujú generovanie obrázkov do dizajnu, marketingu, médií alebo priemyselnej vizualizácie, je výskum relevantný najmä ako návod na technickú kontrolu kvality. Viditeľný artefakt nemusí pochádzať iba zo slabého promptu alebo nevhodných tréningových dát; príčinou môže byť aj vnútorný tok reprezentácií. Pri obstarávaní alebo prevádzke modelu by preto dávalo zmysel merať kvalitu na vlastných jazykoch, motívoch a obrazových štýloch. Zlepšenie na ImageNete alebo anglických benchmarkoch automaticky nepotvrdzuje prínos pri slovenských zadaniach, lokálnych kultúrnych prvkoch či špecializovaných firemných dátach.

Otvorenou otázkou zostáva reprodukovateľnosť. Preprint bol na arXiv odoslaný 6. mája 2026 a je označený ako práca v recenznom konaní; nejde teda o nezávisle potvrdený štandard. Verejné podklady overujú metodiku a uvádzané výsledky autorov, no samy neposkytujú externú replikáciu experimentov. Ďalšie testy by mali oddeliť prínos registrov od konkrétnych tréningových receptov, porovnať pamäťové a výpočtové náklady a preveriť viac dátových súborov, rozlíšení a modelov. DSR je preto presnejšie chápať ako sľubný architektonický zásah a diagnostickú hypotézu, nie ako univerzálnu opravu všetkých obrazových artefaktov.