Apple skúša premeniť nevyužité Macy na distribuovaný cloud pre AI inferenciu

GPU kapacita ukrytá na pracovných stoloch

Apple predstavil výskumný systém Minions, ktorý z nevyužitých zariadení s Apple Silicon vytvára distribuovaný výpočtový fond pre inferenciu modelov strojového učenia. Namiesto obstarania ďalších akcelerátorov v dátovom centre má organizácia zapojiť Macy, ktoré už vlastní a ktorých GPU zostávajú počas bežnej kancelárskej prevádzky veľkú časť času nevyužité. Systém podľa výskumníkov prijíma inferenčné úlohy, prideľuje ich dostupným zariadeniam a počíta aj so zlyhaniami či priebežnými zmenami kapacity. Nejde teda iba o jednoduché spustenie modelu na jednom Macu, ale o pokus vytvoriť pružnú virtuálnu GPU infraštruktúru z heterogénnej flotily koncových zariadení.

Práca reaguje na praktický problém, ktorý poznajú aj menšie európske tímy: centrálne GPU sú drahé, pri špičke sa na ne čaká a ich obstarávanie sa často plánuje na roky dopredu. V tej istej organizácii pritom môžu byť desiatky alebo stovky Macov s integrovanými GPU, ktoré sa využívajú iba pri náročnejšej lokálnej práci. Minions navrhuje túto rozptýlenú kapacitu sprístupniť ako spoločný zdroj. Apple tvrdí, že platforma poskytuje flexibilné vykonávanie úloh, odolnosť voči výpadkom a efektívnejšie využitie hardvéru. Zverejnený súhrn však neuvádza konkrétne zrýchlenie, cenu za požiadavku ani energetickú bilanciu, preto tieto prínosy zatiaľ nemožno kvantitatívne porovnať s cloudom.

Technickým základom takéhoto prístupu je samotná architektúra Apple Silicon. CPU a GPU používajú zjednotenú pamäť, takže výpočty nemusia pri každom prechode medzi procesormi kopírovať celé dátové bloky cez oddelenú pamäťovú zbernicu. Otvorený framework MLX, ktorý vyvíja výskumný tím Apple, tento model priamo využíva a podporuje operácie na CPU aj GPU. Jeho dokumentácia obsahuje aj distribuovanú komunikáciu, dátový paralelizmus a tenzorový paralelizmus. To ešte neznamená, že Minions je iba nadstavbou MLX; publikované podklady takú implementačnú väzbu nepotvrdzujú. MLX však ukazuje, že Apple už má softvérovú vrstvu prispôsobenú lokálnym a distribuovaným výpočtom na vlastných čipoch.

Iný druh klastra

Flotila pracovných počítačov sa správa inak než klasický serverový klaster. Notebook môže používateľ odpojiť, uspať alebo náhle zaťažiť kompiláciou či videom. Jednotlivé zariadenia môžu mať rozdielnu kapacitu pamäte, generáciu čipu, priepustnosť siete aj teplotné limity. Plánovač preto nemôže predpokladať stabilný počet identických pracovníkov. Musí vedieť rozdeliť úlohy podľa aktuálnej dostupnosti, opakovať nedokončenú prácu a zabrániť tomu, aby inferencia citeľne spomaľovala primárnu činnosť používateľa. Práve dynamickosť a odolnosť voči zlyhaniam sú preto dôležitejšie vlastnosti Minions než samotný súčet teoretického výkonu všetkých GPU.

Najjednoduchším využitím by boli nezávislé dávkové úlohy. Veľká kolekcia dokumentov môže byť rozdelená medzi zariadenia, ktoré lokálne vytvoria embeddingy, klasifikácie, preklady alebo návrhy anotácií. Pri takýchto úlohách jednotlivé počítače nemusia počas každého kroku intenzívne komunikovať. Náročnejšie by bolo rozdeliť jeden veľký model alebo jednu požiadavku medzi viacero Macov. Vtedy vstupuje do hry latencia siete a objem prenášaných aktivácií. Dokumentácia MLX síce potvrdzuje podporu distribuovanej komunikácie a paralelných výpočtových vzorov, ale z verejného opisu Minions nie je zrejmé, ktoré režimy platforma používa ani ako sa ich výkon mení pri bežnej podnikovej sieti.

Pre organizácie môže byť zaujímavý aj dátový aspekt. Ak sa úloha vykoná na spravovanom zariadení vo vlastnej sieti, citlivé vstupy nemusia automaticky odchádzať k externému poskytovateľovi inferencie. Takáto topológia však sama osebe nezaručuje bezpečnosť. Distribuovanie dát na väčší počet koncových zariadení rozširuje plochu, ktorú treba chrániť, monitorovať a auditovať. Prevádzkovateľ by potreboval overovanie identity uzlov, šifrovanie prenosu, izoláciu úloh, kontrolu lokálnych vyrovnávacích pamätí a pravidlá pre mazanie dát. Apple vo zverejnenom súhrne tieto mechanizmy nerozpisuje, preto by bolo predčasné označiť Minions za hotové riešenie pre regulované prostredia.

Kde môže dávať ekonomický zmysel

Minions nemusí konkurovať najvýkonnejším dátovým centrám, aby bol užitočný. Zmysel môže mať tam, kde organizácia už vlastní dostatočne veľkú flotilu Apple Silicon a potrebuje nepravidelnú inferenciu bez prísnych požiadaviek na odozvu. Typickým príkladom sú nočné dávky, interné experimenty, testovanie viacerých verzií modelu, generovanie syntetických dát alebo spracovanie obsahu mimo pracovných hodín. Kapitálové náklady už boli vynaložené pri nákupe počítačov; dodatočné náklady potom tvoria najmä elektrina, sieť, správa a opotrebovanie zariadení. Skutočnú úsporu však možno určiť až po započítaní práce administrátorov a nižšej predvídateľnosti dostupnej kapacity.

Pre slovenské firmy a univerzity je tento smer relevantný najmä ako doplnok, nie okamžitá náhrada cloudu. Tím s učebňou Macov, vývojovým laboratóriom alebo väčším kreatívnym oddelením by mohol využiť existujúce zariadenia na úlohy, ktoré dnes čakajú vo fronte alebo sa platia podľa počtu tokenov. Malé pracovisko s niekoľkými notebookmi však pravdepodobne nezíska dostatočnú kapacitu na to, aby ospravedlnilo zložitosť koordinácie. Rozhodujúca nebude iba rýchlosť jedného čipu, ale aj počet zariadení, ich denný režim, kvalita siete a schopnosť centrálne presadzovať bezpečnostnú politiku.

Prístup zároveň mení spôsob, akým sa počíta využitie infraštruktúry. Pri centrálnom klastri sa sleduje obsadenosť rezervovaných GPU. Pri oportunistickej flotile treba merať, koľko výkonu možno odobrať bez narušenia práce používateľov, aká časť úloh sa musí opakovať a či spotreba energie nepresunie náklady na iné oddelenie. Potrebné sú aj pravidlá priority: pracovný počítač musí zostať prednostne nástrojom svojho používateľa. Bez jasného plánovania môže systém vykazovať vysoké teoretické využitie, ale súčasne zhoršovať odozvu zariadení alebo dokončovať dávky v nepredvídateľnom čase.

Čo publikácia zatiaľ nedokazuje

Najväčšou otvorenou otázkou sú merania. Verejná stránka práce neuvádza počet zapojených Macov, použité modely, priepustnosť, latenciu, spotrebu energie, sieťovú réžiu ani porovnanie s ekvivalentným serverom. Nevieme ani to, ako sa systém správa pri dlhodobom zaťažení notebookov, ako rieši rozdielne verzie operačného systému alebo aké nástroje poskytuje správcom. Tvrdenie, že nevyužité Macy možno zmeniť na praktickú inferenčnú platformu, je preto výsledkom autorov, nie nezávisle reprodukovaným záverom. Na produkčné posúdenie budú potrebné úplná publikácia, metodika a ideálne dostupná implementácia.

Minions napriek tomu ukazuje posun v diskusii o AI infraštruktúre. Kapacita nemusí byť sústredená výhradne v nových rackoch s drahými akcelerátormi; časť inferencie sa môže presunúť na už zakúpené zariadenia bližšie k dátam. Úspech takéhoto modelu bude závisieť menej od marketingového súčtu GPU jadier a viac od plánovania, bezpečnosti, pozorovateľnosti a odolnosti voči nestabilným uzlom. Ak Apple zverejní dostatočné technické podklady a nástroje, Minions môže byť zaujímavou cestou pre dávkové a interné úlohy. Dovtedy ide o sľubný výskumný prototyp, ktorého ekonomické aj prevádzkové hranice zostávajú nejasné.