IBM skúša nahradiť časti transformerov sieťami z reťazových zlomkov

IBM Research opisuje CoFrGeNets ako pokus nespoliehať sa pri jazykových modeloch iba na ďalšie ladenie transformerov. Namiesto toho výskumníci navrhujú architektúru odvodenú od reťazových zlomkov, teda matematického zápisu, v ktorom sa hodnota vyjadruje ako postupnosť vnorených delení. V neurónovej sieti má takýto tvar vytvoriť kompaktnejšiu funkčnú triedu: model by mal vedieť zachytiť zložité vzťahy s menším počtom parametrov, pretože jednotlivé výpočtové kroky sa skladajú iným spôsobom než v bežných transformerových blokoch.

Podstatné je, že CoFrGeNet nie je iba nový typ vrstvy pre malé akademické úlohy. Práca, ktorú IBM spája s konferenciou ICML 2026, skúša nahradiť dve najťažšie časti transformerového bloku: viac-hlavovú pozornosť a feed-forward siete. Autori uvádzajú, že komponenty navrhli ako zásuvnú náhradu, ktorá si nevyžaduje úplné prepísanie tréningového ani inferenčného postupu. To je dôležitý praktický detail, pretože väčšina priemyselných pipeline je dnes postavená okolo transformerových modelov, dátových tokov, optimalizátorov a infraštruktúry, ktoré sa nedajú ľahko zahodiť.

Výskumný článok na arXive hovorí o experimentoch na dvoch rozdielnych rodinách modelov: GPT-2 XL s približne 1,5 miliardami parametrov a Llama 3 s približne 3,2 miliardami parametrov. Pri GPT-2 XL tím trénoval na dátach OpenWebText a GneissWeb, pri Llama 3 použil zmes docling dát. IBM tvrdí, že varianty s komponentmi CoFrGeNet dosiahli na úlohách klasifikácie, otázok a odpovedí, uvažovania a porozumenia textu konkurencieschopné, v niektorých prípadoch lepšie výsledky, pričom potrebovali približne polovicu až dve tretiny parametrov pôvodných modelov a kratší čas predtréningu.

Treba to čítať ako výskumný signál, nie ako hotový návod na okamžitú výmenu architektúry v produkčných LLM. Porovnania na miliardových modeloch sú zaujímavé, ale stále ďaleko od veľkosti najväčších komerčných systémov a od širokého spektra reálnych pracovných záťaží. Dôležitá je skôr otázka, či sa dá dominantný transformerový recept rozbiť na menšie, hardvérovo efektívnejšie časti bez toho, aby sa stratila kompatibilita s dnešným spôsobom tréningu a nasadzovania modelov. Práve túto otázku CoFrGeNets otvárajú.

Reťazový zlomok sa dá zjednodušene predstaviť ako výpočet, kde sa ďalší člen nevkladá iba priamo do súčtu alebo násobenia, ale do menovateľa ďalšieho výrazu. Pri prenose do neurónových sietí vzniká vrstvová štruktúra, v ktorej sa reprezentácia skladá cez recipročné vzťahy. Autori tvrdia, že takýto tvar vie vyjadriť bohaté nelineárne funkcie kompaktne. Pre jazykové modely je to lákavé najmä preto, že dnešná cena modelov rastie s počtom parametrov, veľkosťou kontextu, pamäťovými presunmi a energetickými nárokmi.

IBM zároveň zdôrazňuje, že tento smer nadväzuje na staršiu prácu CoFrNets, ktorá používala reťazové zlomky pri interpreto­vateľných modeloch pre klasifikáciu. Novšia práca posúva rovnaký matematický nápad do generovania textu, čo je výrazne náročnejšie prostredie. Model už nemá iba priradiť vstup k triede, ale opakovane produkovať ďalší token a udržiavať jazykovú koherenciu. Aj preto je dôležité, že autori riešili vlastné gradientové formulácie pre presnejšiu a efektívnejšiu optimalizáciu nových komponentov, nie iba naivnú implementáciu v bežnom PyTorchi.

Praktický dopad, ak sa podobný prístup potvrdí, by mohol byť najväčší pri stredne veľkých modeloch a pri firmách, ktoré potrebujú dobrý pomer výkonu, latencie a ceny. Menej parametrov neznamená automaticky lacnejšiu inferenciu, pretože rozhoduje aj tvar výpočtu, dostupné kernely a správanie na GPU alebo akcelerátoroch. IBM preto opatrne naznačuje, že skutočný potenciál by sa mohol ukázať až pri implementáciách prispôsobených hardvéru. Inými slovami, architektúra je len prvý krok; bez kvalitných kernelov a systémovej optimalizácie môže zostať výhoda na papieri.

Pre vývojárov modelov je zaujímavé najmä to, že CoFrGeNet sa nesnaží nahradiť celý ekosystém jedným skokom. Ak je komponent skutočne použiteľný ako náhrada za pozornosť alebo feed-forward blok, dá sa testovať postupne: najprv v menších experimentoch, potom v doménových modeloch a až neskôr v širších jazykových systémoch. To znižuje bariéru skúšania oproti úplne novej architektúre, ktorá by vyžadovala nový tréningový stack, nové nástroje na ladenie a nový spôsob inferencie.

Z pohľadu trhu ide aj o ďalší dôkaz, že úspora v AI sa nebude riešiť iba kvantizáciou, prerezávaním váh alebo rýchlejšími inferenčnými servermi. Tieto techniky optimalizujú existujúce modely, kým CoFrGeNets útočia na samotný tvar výpočtu. Ak sa ukáže, že podobné kompaktné architektúry vedia udržať kvalitu pri menších modeloch, mohli by doplniť dnešnú vlnu sparse kernelov, destilácie a špecializovaných akcelerátorov. Pre podniky by to znamenalo viac možností medzi veľkým univerzálnym modelom a malým doménovým modelom.

Najväčšie otvorené otázky zostávajú rovnaké ako pri každej alternatíve k transformerom: škálovanie, stabilita tréningu, kompatibilita s dlhým kontextom, multimodalita a správanie pri bezpečnostne citlivých úlohách. IBM ukazuje sľubnú cestu, ale širšia komunita bude potrebovať reprodukcie, otvorené implementácie a testy na modernejších benchmarkoch. Aj keby CoFrGeNets nenahradili transformery plošne, môžu pomôcť rozšíriť návrhový priestor jazykových modelov a pripomenúť, že architektúra dnešných LLM ešte nie je uzavretá kapitola.