Apple zmapoval, kedy difúzne jazykové modely strácajú výhodu paralelného generovania

Paralelné tokeny ešte neznamenajú rýchlejšiu službu

Difúzne jazykové modely sľubujú odstrániť jedno zo základných obmedzení dnešných veľkých jazykových modelov: generovanie textu token po tokene. Výskumníci z Apple, UC Berkeley, Seoul National University a ďalších pracovísk však upozorňujú, že schopnosť meniť viac pozícií súčasne nemožno automaticky zamieňať za nižšiu latenciu alebo vyššiu priepustnosť. Ich práca kombinuje teoretickú analýzu s empirickým profilovaním a skúma, ako sa difúzne a autoregresívne modely správajú pri rôznych dĺžkach sekvencie a pri dávkovom spracovaní. Oproti pôvodnému stručnému súhrnu je podstatné najmä vysvetlenie, prečo sa deklarovaný paralelizmus v produkčnom systéme nemusí premeniť na úsporu času či výpočtov.

Autoregresívny model vytvorí nový token až po predchádzajúcom a pri dekódovaní opakovane využíva uložené kľúče a hodnoty pozornosti. Táto sériová závislosť obmedzuje paralelnú prácu vnútri jednej odpovede, no okolo nej už vznikol vyspelý ekosystém optimalizácií: KV cache, kontinuálne dávkovanie, špecializované kernely a plánovanie požiadaviek. Difúzny jazykový model začína zamaskovanou alebo narušenou sekvenciou a v niekoľkých krokoch ju spresňuje. V jednom kroku môže predikovať veľa pozícií naraz, čím zvyšuje aritmetickú intenzitu a lepšie zamestnáva akcelerátor. Za každý takýto krok však platí ďalším prechodom neurónovou sieťou.

Práve počet vzorkovacích krokov je podľa autorov rozhodujúcim parametrom. Ak model potrebuje na kvalitnú odpoveď veľa iterácií, opakované výpočty môžu prevážiť nad prínosom paralelného spracovania pozícií. Tvrdenie teda nie je, že difúzne modely nemôžu byť rýchle, ale že ich rýchlosť závisí od súčinu viacerých veličín: počtu krokov, rozsahu prepočítavanej sekvencie, veľkosti modelu, využitia hardvéru a požadovanej kvality. Samotný údaj o počte tokenov za sekundu bez opisu konfigurácie preto nestačí na férové porovnanie.

Dlhý kontext mení výpočtovú bilanciu

Najvýraznejšie obmedzenie sa prejavuje pri rastúcom kontexte. Celosekvenčný difúzny model môže v každej iterácii znovu spracovať veľkú časť vstupu a rozpracovaného výstupu. S dlhšou sekvenciou tak narastá množstvo opakovanej práce a paralelizmus, ktorý je výhodný pri kratšom texte, prestáva efektívne škálovať. Autoregresívne dekódovanie je síce sekvenčné, no KV cache mu umožňuje nepremieľať pri každom novom tokene celý minulý kontext rovnakým spôsobom. Výsledok závisí aj od pamäťovej priepustnosti a implementácie, ale štúdia ukazuje, že architektonický prísľub difúzie nemožno posudzovať oddelene od práce s cache a dĺžkou sekvencie.

Autori preto analyzujú blokové dekódovanie. Namiesto súčasného spresňovania celého výstupu model pracuje s menšími blokmi, ktoré postupne dopĺňa. Takýto návrh obmedzuje rozsah výpočtu v jednom kroku a oddeľuje aritmetickú intenzitu od celkovej dĺžky sekvencie. Pri dlhom kontexte sa tým správanie difúzneho modelu približuje výhodám autoregresívneho postupu. Nie je to však bezplatné riešenie: postup medzi blokmi znovu zavádza určitú sériovosť a konkrétny výsledok závisí od veľkosti bloku, stratégie odmaskovania a počtu iterácií.

Dôležitý je aj rozdiel medzi odozvou pre jedného používateľa a celkovou kapacitou služby. Difúzny model môže využiť paralelizmus vnútri jednej sekvencie, čo je potenciálne zaujímavé pre interaktívnu požiadavku s malou dávkou. Autoregresívny server však dokáže paralelizovať výpočty naprieč mnohými súbežnými sekvenciami. Apple uvádza, že pri dávkovanej inferencii z toho autoregresívne modely získavajú väčší prírastok priepustnosti. Pre prevádzkovateľa služby je preto podstatné nielen to, ako rýchlo vznikne jedna ukážková odpoveď, ale aj koľko požiadaviek vybaví rovnaký hardvér za hodinu.

Čo z toho vyplýva pre nasadenie

Praktickým dôsledkom je potreba benchmarkovať celý pracovný profil, nie iba model v izolácii. Tím, ktorý zvažuje difúzny jazykový model, by mal merať čas do prvej použiteľnej odpovede, čas dokončenia, priepustnosť pri rôznom počte používateľov, pamäťovú stopu a spotrebu energie. Test musí používať realistické dĺžky promptov a výstupov a porovnateľnú kvalitu odpovedí. Ak jeden model dosiahne vyššiu rýchlosť iba pri väčšom poklese presnosti alebo pri inom počte vzorkovacích krokov, nejde o rovnocenné porovnanie.

Difúzny prístup napriek týmto obmedzeniam ponúka vlastnosti, ktoré sa nedajú zredukovať na rýchlosť. Keďže vie pracovať s kontextom na oboch stranách upravovaného miesta, prirodzene podporuje dopĺňanie textu, lokálne editovanie a iteratívne prepisovanie. Nezávislá práca o modeli LLaDA ukázala, že osemmiliardový difúzny model môže byť v časti jazykových, matematických a programátorských úloh konkurencieschopný s porovnateľnými autoregresívnymi základmi. Tieto výsledky dokazujú životaschopnosť smeru, nie však automatickú produkčnú prevahu: kvalita benchmarkov a efektívnosť inferencie sú dve odlišné otázky.

Pre slovenské firmy a verejné organizácie je rozdiel praktický najmä pri menších infraštruktúrnych rozpočtoch. Interný asistent s niekoľkými súbežnými používateľmi, nástroj na dopĺňanie dokumentov a verejná služba s veľkou špičkovou návštevnosťou majú rozdielne optimá. Dodávateľský údaj o paralelnom generovaní by preto nemal nahradiť pilotné meranie na cieľovom hardvéri. Do nákladov patria aj cena akcelerátora, obsadenie pamäte, elektrina, chladenie a schopnosť obslúžiť špičky, nielen nominálna latencia jednej požiadavky.

Európsky kontext význam efektívnej inferencie ešte zosilňuje. Európska komisia buduje sieť AI Factories a uvádza aj slovenskú anténu SKAIAT, ktorá má prepájať používateľov s európskou výpočtovou infraštruktúrou. Pri rozširovaní prístupu k akcelerátorom bude dôležité, koľko užitočných požiadaviek dokáže infraštruktúra spracovať na jednotku času a energie. Výsledky Apple preto nie sú iba akademickým sporom o dekódovanie: ovplyvňujú plánovanie kapacity, ekonomiku európskych AI služieb aj rozhodovanie, ktoré modelové rodiny sa oplatí optimalizovať.

Otvorené otázky namiesto konečného verdiktu

Štúdiu treba čítať ako charakterizáciu kompromisov, nie ako definitívny rebríček všetkých jazykových modelov. Výsledky sa môžu meniť s novými samplermi, kvantizáciou, kompilátormi, pozornosťou s nižšou zložitosťou alebo hardvérom navrhnutým pre iný pomer výpočtov a pamäťových prenosov. Nie je tiež isté, či rovnaký počet krokov zachová kvalitu pri všetkých úlohách a dĺžkach výstupu. Verejne dostupný opis práce navyše neposkytuje univerzálnu produkčnú konfiguráciu, ktorú by bolo možné bez úprav preniesť na každý server.

Najdôležitejšou otvorenou výskumnou otázkou zostáva, či možno výrazne znížiť počet spresňovacích krokov bez straty kvality. Ďalšou je, ako skombinovať globálnu úpravu sekvencie s blokovým dekódovaním a efektívnou cache. Do hry vstupujú aj hybridné systémy, ktoré vytvoria hrubú štruktúru jedným spôsobom a lokálne ju upravia druhým. Ak sa tieto problémy podarí vyriešiť, difúzne modely môžu získať výhodu v editovaní, kóde alebo aplikáciách citlivých na odozvu. Zatiaľ však zostávajú autoregresívne modely vďaka optimalizovanému softvéru a výhodnému dávkovaniu mimoriadne silným produkčným štandardom.