K-Search prenáša optimalizácie CUDA na Apple Silicon a zrýchľuje lokálnu AI

Výkon umelej inteligencie neurčuje iba veľkosť modelu alebo počet tranzistorov. Rozhodujú aj výpočtové jadrá – malé nízkoúrovňové programy, ktoré realizujú attention, maticové operácie či skenovanie stavového priestoru priamo na akcelerátore. Tím z UC Berkeley a IBM Research teraz rozšíril systém K-Search tak, aby dokázal preniesť desaťročia skúseností z ekosystému CUDA do frameworku MLX pre Apple Silicon. Nejde o mechanický prepis inštrukcií, ale o prevod optimalizačných princípov na inú architektúru.

CUDA má za sebou roky ručného ladenia a tisíce hodín práce špecialistov. Mladšie platformy túto zásobu know-how nemajú, hoci môžu mať vhodný hardvér aj rastúcu komunitu. MLX využíva jednotnú pamäť čipov Apple a umožňuje spúšťať stredne veľké modely lokálne bez presúvania dát do cloudu. V jeho knižnici však podľa autorov stále chýba časť vysoko optimalizovaných operácií, ktoré sú v prostredí NVIDIA bežné, napríklad pokročilé varianty attention, skenovacie jadrá pre stavové modely alebo zlúčené smerovanie expertov.

K-Search pracuje ako evolučné hľadanie. Dostane jednoduché východiskové jadro, opis hardvéru a pravidlá platné pre danú platformu. Jazykový model navrhuje jednotlivé optimalizačné zásahy, generuje kandidátny kód a systém ho skompiluje a zmeria na skutočnom zariadení. Výsledky sa vracajú do ďalšieho kola. Neúspešné vetvy sa opustia, sľubné sa rozvíjajú a postupne vzniká strom rozhodnutí, ktorý zachytáva hypotézy o priepustnosti pamäte, tlaku na registre, synchronizácii a využití výpočtových jednotiek.

Nová vrstva CUDA-to-MLX používa existujúce CUDA jadrá ako vedomostnú bázu. Optimalizáciu však neprenáša príkaz po príkaze, pretože Metal a Apple GPU majú iné primitíva, šírku SIMD skupín aj pamäťové kompromisy. Systém namiesto toho identifikuje zámer zásahu – napríklad odstrániť bariéru, udržať redukciu v registroch alebo zmeniť rozloženie dlaždíc – a hľadá architektonicky prirodzený ekvivalent v MLX. Takýto preklad je dôležitý aj pre budúce akcelerátory, pri ktorých nebude možné čakať roky na vybudovanie samostatnej komunity expertov.

Autori uvádzajú dva výrazné výsledky. Pri attention sa najlepšie nájdené riešenie dostalo približne na 97 percent výkonu natívneho jadra MLX. Pri jadre pre modely Mamba dosiahlo pri úvodnom spracovaní vstupu až približne dvadsaťnásobné zrýchlenie oproti komunitnej implementácii v mlx-lm. Ide o merania na konkrétnych jadrách a konfiguráciách, nie o prísľub dvadsaťnásobného zrýchlenia každého modelu. Výsledok však ukazuje, aké veľké rezervy môžu zostať pod úrovňou modelového kódu.

Pre používateľov Macov je praktický význam jasný: lepšie jadrá môžu znížiť latenciu, spotrebu energie aj čas potrebný na spracovanie dlhého kontextu. Pri lokálnych asistentoch, kódovacích nástrojoch alebo práci s citlivými dátami môže optimalizácia rozhodnúť, či je model použiteľný interaktívne. Jednotná pamäť Apple Silicon navyše umožňuje pracovať s modelmi, ktoré by sa nezmestili do samostatnej pamäte bežnej spotrebiteľskej grafickej karty, no výhoda kapacity sama osebe nestačí, ak kritické operácie bežia neefektívne.

Pre vývojárov kompilátorov a inference platforiem je zaujímavý najmä spôsob práce so znalosťami. Generovanie kódu bez spätnej väzby môže vytvoriť syntakticky správne, ale pomalé alebo neplatné riešenia. K-Search kombinuje modelové uvažovanie s kompiláciou a fyzickým benchmarkom, takže každá hypotéza musí obstáť v meraní. Špecifikácia platformy zároveň obmedzuje halucinované primitíva. Tento uzavretý cyklus je presvedčivejším použitím agentickej AI než jednorazový preklad zdrojového kódu.

Výsledky treba čítať s primeranou opatrnosťou. Blog prezentuje vybrané jadrá a porovnania; úplný obraz si vyžiada širšie testy na rozličných generáciách čipov M, veľkostiach tensorov a modelových architektúrach. Dôležitá bude aj reprodukovateľnosť nákladov na hľadanie, pretože dlhý evolučný proces môže spotrebovať veľa výpočtového času. Výkon jedného jadra sa navyše nemusí priamo premietnuť do rovnakého zrýchlenia celej aplikácie.

Napriek tomu práca naznačuje širší posun: expertíza viazaná na dominantný hardvérový ekosystém sa môže stať prenositeľnou vstupnou surovinou. Ak sa podobný postup osvedčí aj pri ďalších akcelerátoroch, nové platformy by mohli skrátiť cestu od funkčnej podpory k skutočne konkurencieschopnému výkonu. Pre trh lokálnej AI je to významné, pretože znižuje závislosť od jednej softvérovo-hardvérovej vetvy a dáva väčší zmysel nasadzovaniu modelov priamo na osobných zariadeniach.