Ai2 nahradilo priority rozpočtami GPU času, klaster má lepšie slúžiť výskumu

Výskumný inštitút Ai2 zmenil spôsob, akým rozdeľuje výpočtový čas vo svojich GPU klastroch. Namiesto tradičného zoznamu úloh s ručne nastavenými prioritami zaviedol hierarchické rozpočty GPU času, mechanizmus fair-share a časovo obmedzenú ochranu spustených úloh. Nejde o nový typ akcelerátora ani o zrýchlenie tréningového algoritmu. Novinkou je prevádzkový model, ktorý sa snaží prideľovať drahý hardvér projektom podľa ich očakávaného vedeckého prínosu a zároveň nenechávať voľnú kapacitu nevyužitú.

Ai2 uvádza, že spravuje tisíce akcelerátorov NVIDIA H100, B200 a B300 v klastroch s veľkosťou od 88 do 1 024 GPU. Infraštruktúru používa približne 150 interných výskumníkov na tréning jazykových a multimodálnych modelov, robotické simulácie aj následné dolaďovanie vedeckých agentov. Požiadavky podľa inštitútu v ktoromkoľvek okamihu dosahujú dvojnásobok až trojnásobok dostupnej kapacity. Plánovač preto nerozhoduje iba o technickom poradí úloh, ale nepriamo aj o tom, ktoré experimenty dostanú šancu pokračovať.

Prečo samotná priorita prestala fungovať

Pôvodný systém umožňoval tímom označovať úlohy vysokou prioritou a časť behov chrániť pred prerušením. Takýto model funguje len dovtedy, kým vysoká priorita zostáva výnimočná. V Ai2 podľa zverejneného opisu postupne nastala inflácia priorít: všetky naplánované úlohy používali úroveň HIGH, takže nižšie triedy prakticky nedostávali čas. Objavilo sa aj „obsadzovanie“ GPU pomocou nečinných procesov, ktoré mali výskumníkom zabezpečiť okamžite dostupné prostredie na ladenie.

Dôsledkom nebola iba horšia spravodlivosť. Ak sa na stroji chránenom pred prerušením objavila porucha alebo plánovaná údržba, prevádzkový tím musel s vlastníkom úlohy manuálne dohodnúť jej zastavenie. Statické pridelenie celých GPU jednotlivým skupinám problém tiež nevyriešilo: dopyt výskumných tímov prichádza v nárazoch, takže vyhradené akcelerátory mohli zostať prázdne práve v čase, keď na ne čakal iný projekt. Ai2 tento stav prirovnáva k tragédii spoločných zdrojov, kde racionálne správanie jednotlivcov znižuje výslednú efektívnosť celej organizácie.

Rozpočet určuje nárok, nie pevný rozvrh

Nový systém prideľuje tímom podiel z GPU času, nie konkrétne stroje alebo nemenné termíny. Rozpočty sú usporiadané hierarchicky podľa štruktúry výskumných programov. Vedenie môže prideliť kapacitu programu, jeho manažér ju rozdeliť medzi projekty a vedúci projektu medzi konkrétnych výskumníkov. Rozhodovanie o vedeckých prioritách sa tak oddeľuje od každodenného skladania rozvrhu. Plánovač dostane váhy vyjadrujúce strategické rozhodnutie a podľa skutočného čerpania určuje, ktorá čakajúca úloha má momentálne väčší nárok.

Ai2 sleduje využitie v posuvnom časovom okne, ktoré má predvolene sedem dní. Projekt, ktorý vyčerpal menej než pridelený podiel, sa posunie pred projekt, ktorý už svoj rozpočet prekročil. Nevyužitý čas pritom nezostane prázdny. Úloha môže bežať aj nad rámec chráneného rozpočtu, ale vtedy je od začiatku prerušiteľná. Organizácia tým kombinuje garantovaný dlhodobejší podiel s možnosťou krátkodobo „požičať“ voľné GPU tímom, ktoré ich práve dokážu použiť.

Princíp nadväzuje na zavedené fair-share plánovanie v systémoch pre vysokovýkonné výpočty. Dokumentácia Slurmu opisuje algoritmus Fair Tree, ktorý porovnáva pridelené podiely so skutočným využitím v hierarchii účtov. Kubernetes Kueue podobne pracuje s kvótami, požičiavaním kapacity medzi skupinami a preempciou. Implementácia Ai2 je zaujímavá najmä tým, že vstupné váhy priamo spája s internými rozpočtami výskumných programov a pridáva explicitnú dohodu o minimálnom čase behu.

Úloha dostane záruku, klaster právo na preempciu

Každá platená úloha deklaruje minimálne trvanie potrebné na zmysluplný pokrok. Počas tohto intervalu je chránená pred prerušením. Po jeho uplynutí ju plánovač môže zastaviť a zaradiť späť do radu, ak treba vyrovnať podiely alebo uvoľniť chybný uzol. Ai2 nastavilo maximálnu chránenú dobu na osem hodín. Úloha môže označiť aj to, či sa dá obnoviť z kontrolného bodu; bez spoľahlivého checkpointingu by totiž častá preempcia namiesto úspory vytvárala stratené výpočty.

Inštitút uvádza, že automatické ukončovanie ochranných intervalov znížilo počet opráv vyžadujúcich zásah človeka o 74 percent. Jeden z interných používateľov nový mechanizmus opísal tak, akoby jeho tím získal približne o 30 percent viac výpočtovej kapacity, pretože po slabšom období môže neskôr dočasne prekročiť vlastný podiel. Obe čísla pochádzajú z prevádzkového opisu Ai2, nie z nezávislého auditu. Prvé meria podiel servisných zásahov, druhé je skúsenosť konkrétneho používateľa, preto ich nemožno automaticky premeniť na všeobecný prísľub zvýšenia výkonu každého klastra.

Pred nasadením Ai2 prehrávalo historické úlohy v simulátore a skúšalo rôzne dĺžky sledovaného okna aj limity chráneného behu. Tento krok je dôležitý, pretože plánovanie je hra s nulovým súčtom: kratšie čakanie jedného tímu spravidla znamená dlhšie čakanie iného. Simulácia môže odhaliť očakávané zmeny poradia, nenahrádza však skúšobnú prevádzku. Používatelia môžu po zmene pravidiel upraviť správanie a nájsť nové spôsoby, ako systém optimalizovať vo svoj prospech.

Čo si z toho môžu vziať menšie tímy

Podobný model má význam aj mimo laboratória s tisíckami GPU. Slovenské univerzity, spoločné výpočtové centrá alebo firmy s niekoľkými tímami často riešia rovnaký konflikt v menšom meradle: statické kvóty nechávajú hardvér nečinný, zatiaľ čo neobmedzené priority zvýhodnia najhlasnejšieho používateľa. Praktickou lekciou je oddeliť rozhodnutie o podiele kapacity od konkrétneho poradia úloh, merať čerpanie za dlhšie obdobie a voľný výkon sprístupniť ako prerušiteľnú kapacitu.

Nevyhnutným predpokladom je však technická pripravenosť pracovných úloh. Tréning musí pravidelne ukladať kontrolné body, obnovenie musí byť otestované a používatelia potrebujú vidieť, prečo bola ich úloha odložená alebo prerušená. Ai2 po nasadení doplnilo vizualizácie prideleného a skutočne spotrebovaného času. Bez takejto transparentnosti sa matematicky férový plánovač môže používateľom javiť ako svojvoľný a prevádzkový tím bude len namiesto sporov o prioritu vysvetľovať spory o výpočet podielu.

Otvorené zostáva umiestňovanie veľkých behov

Ai2 priznáva, že nový režim nepomohol každému typu práce. Interaktívne vývojové relácie po strate ochrany prichádzali o nestály stav a ich obnova bola nepraktická. Inštitút preto pripravuje samostatný CPU klaster na prípravu dát a obnoviteľné pracovné relácie. Sleduje tiež fragmentáciu kapacity: viacero menších chránených úloh môže obsadiť klaster tak, že sa veľký distribuovaný tréning dlho nezmestí, hoci súčet dostupných GPU by mu teoreticky postačoval.

Zverejnený opis neobsahuje úplné porovnanie čakacích časov pred a po zmene, finančnú úsporu ani výsledky pre rôzne veľkosti úloh. Nevieme preto, či rovnaké nastavenie siedmich dní a ôsmich hodín obstojí v inom laboratóriu. Hodnota príspevku spočíva skôr v pomenovaní problému: pri nedostatku GPU nestačí maximalizovať obsadenosť. Organizácia potrebuje transparentne určiť, komu má výpočtový čas priniesť najväčší úžitok, a plánovač musí toto rozhodnutie presadiť bez plytvania voľnou kapacitou.