AWS nasadzuje Kimi K3 na jednej inštancii s ôsmimi GPU Blackwell Ultra

Otvorené váhy, infraštruktúra podnikovej triedy

Moonshot AI sprístupnilo váhy modelu Kimi K3 a AWS následne zverejnilo dva konkrétne postupy jeho prevádzky: cez SageMaker HyperPod s orchestráciou Amazon EKS alebo na samostatnom klastri EKS. Dôležité spresnenie oproti pôvodnému súhrnu je, že osem GPU NVIDIA B300 nie je univerzálne deklarované minimum pre každý možný spôsob spustenia modelu. Je to hardvérová konfigurácia použitá a vyžadovaná v receptoch AWS: jedna inštancia ml.p6-b300.48xlarge alebo jej variant pre EC2 poskytuje osem akcelerátorov Blackwell Ultra. Titulok preto treba čítať ako opis overeného nasadenia na AWS, nie ako tvrdenie, že model nemožno obsluhovať inak.

Rozsah modelu vysvetľuje, prečo je aj kvantizovaná konfigurácia náročná. Oficiálna modelová karta uvádza 2,8 bilióna celkových parametrov, 896 expertov a výber 16 expertov pre každý token. Pri jednom doprednom prechode sa aktivuje približne 104 miliárd parametrov. Architektúra Mixture-of-Experts tak znižuje množstvo výpočtov oproti hustému modelu rovnakej celkovej veľkosti, no všetky expertné váhy musia byť dostupné pre smerovanie tokenov. Riedka aktivácia preto neodstraňuje pamäťové, sieťové a prevádzkové nároky spojené s modelom tejto triedy.

Čo presne obsahujú recepty AWS

Konfigurácia pre SageMaker HyperPod vytvára InferenceEndpointConfig, sťahuje model moonshotai/Kimi-K3 z Hugging Face a žiada osem GPU. vLLM rozkladá inferenciu medzi všetkých osem akcelerátorov pomocou tensorovej paralelizácie. Manifest zapína prefixovú cache, automatický výber nástrojov a parsery určené pre Kimi K3; výsledkom je endpoint kompatibilný s rozhraním OpenAI Chat Completions. HyperPod Inference Operator preberá plánovanie kontajnera, kontrolu jeho stavu a pripravenosť endpointu, ale zákazník ešte predtým potrebuje EKS klaster, sieťové a IAM nastavenia aj rezervovanú GPU kapacitu.

Alternatívny recept v repozitári AI on EKS ponecháva tímu väčšiu kontrolu nad Kubernetes vrstvou. Aj ten počíta s jednou inštanciou p6-b300 a ôsmimi B300. Dokumentácia odporúča EC2 Capacity Blocks, pretože dostupnosť špičkových GPU nemožno zamieňať s bežnou kapacitou na požiadanie. Váhy sa najprv kopírujú z Hugging Face do S3; kopírovacia úloha má vyhradených 600 GiB úložiska a následné nasadenie ich načítava distribuovane. AWS upozorňuje, že pripravenie služby môže zahŕňať provisioning uzla, streaming váh, kompiláciu grafu aj zahrievanie CUDA jadier.

Aktuálne podklady zároveň ukazujú posun v softvérovej podpore. Blog AWS pri vydaní pracoval so špeciálnym obrazom vllm/vllm-openai:kimi-k3 a uvádzal, že potrebné zmeny sa majú dostať do hlavného kontajnera vLLM neskôr. Modelová karta na Hugging Face už ponúka všeobecný príkaz vllm serve a medzi podporovanými enginmi uvádza aj SGLang a TokenSpeed. To zjednodušuje experimentovanie, ale nie je to záruka rovnakej stability, výkonu či hardvérovej kompatibility každej verzie. Produkčné tímy by mali pripnúť verziu enginu a kontajnera a po aktualizácii zopakovať testy.

Sloboda samostatného hostovania má prevádzkovú cenu

Pre podnik nie je hlavnou výhodou iba prístup k váham. Samostatné hostovanie umožňuje držať modelové artefakty a spracúvané vstupy vo vlastnom cloudovom účte, nastaviť privátne siete, vlastné identity, šifrovanie a pravidlá uchovávania prevádzkových údajov. To môže byť dôležité pri zdrojovom kóde, interných dokumentoch alebo agentoch pracujúcich s podnikovými systémami. Verejné váhy však automaticky nezaručujú dátovú suverenitu: tú vytvára až celá architektúra vrátane úložiska, logov, telemetrie, prístupov administrátorov a služieb, ktoré agent volá.

Prevádzkovateľ zároveň preberá úlohy, ktoré pri spravovanom API rieši poskytovateľ. Musí sledovať bezpečnostné opravy kontajnerov, zraniteľnosti závislostí, dostupnosť uzlov, zlyhania GPU, kvóty, škálovanie a kvalitu po každej zmene. Pri modeli s miliónovým kontextovým oknom nemožno plánovať kapacitu iba podľa počtu požiadaviek. Rozhoduje dĺžka vstupov a výstupov, počet súbežných relácií, veľkosť KV cache, dávkovanie, používanie obrazov a nástrojov aj požadovaná latencia. Deklarovaná maximálna dĺžka kontextu preto nie je prísľubom, že každá produkčná konfigurácia ju hospodárne obslúži.

Ekonomické porovnanie potrebuje meranie na konkrétnej záťaži. Jedna inštancia s ôsmimi špičkovými GPU môže dávať zmysel pri trvalom využití, požiadavke na izoláciu alebo veľkom objeme agentických úloh. Pri prerušovanej prevádzke však rezervovaná kapacita môže zostať nevyužitá a spravované API môže byť lacnejšie. Do výpočtu patria nielen GPU hodiny, ale aj S3, prenos dát, Kubernetes, observabilita, zálohy, čas platformového tímu a kapacita potrebná na obnovu po zlyhaní. AWS neposkytlo v návode univerzálny údaj o cene za token ani porovnávací benchmark celkových nákladov.

Dôsledky pre slovenské a európske organizácie

Pre slovenské firmy môže byť takáto konfigurácia zaujímavá najmä v regulovaných odvetviach a pri práci s citlivým duševným vlastníctvom. Možnosť vybrať región, vlastný účet a sieťové hranice uľahčuje technickú kontrolu nad tokom údajov. Sama osebe však nepreukazuje súlad s GDPR, pravidlami kybernetickej bezpečnosti ani internými požiadavkami. Organizácia musí posúdiť právny základ spracúvania, minimalizáciu údajov, retenčné lehoty, prenosy mimo Európskeho hospodárskeho priestoru, licenciu modelu a zodpovednosť za výstupy či akcie agenta.

Praktický pilot by preto nemal začínať objednaním maximálnej kapacity, ale reprezentatívnou sadou úloh. Tím potrebuje merať priepustnosť, latenciu prvého tokenu, stabilitu pri dlhom kontexte, spotrebu pamäte a správanie pri výpadku jedného uzla. Osobitne treba preveriť slovenský a český jazyk, podnikové terminológie, prácu s dokumentmi a spoľahlivosť volania nástrojov. Výsledky benchmarkov v modelovej karte pochádzajú prevažne od výrobcu alebo z ním zostavených porovnaní; nie sú náhradou za nezávislé testovanie na dátach konkrétnej organizácie.

Otvorenou otázkou zostáva aj dostupnosť hardvéru a vývoj obslužného softvéru. Recepty AWS dokazujú, že Kimi K3 možno nasadiť na HyperPod aj EKS, nie však to, že požadovaná B300 kapacita bude okamžite dostupná v každom európskom regióne. Alternatívne enginy a budúce optimalizácie môžu požiadavky zmeniť, no ich parametre treba overiť, nie predpokladať. Najpresnejší záver preto znie: verejné váhy Kimi K3 rozširujú kontrolu nad nasadením, zatiaľ čo reprodukovateľný recept AWS zároveň odhaľuje jeho značnú hardvérovú a operačnú stopu.