Tag

#Kubernetes

Všetky publikované články, v ktorých sa téma Kubernetes objavuje ako dôležitý kontext. Aktuálne 2 textov v archíve.

Produkty12. októbra 20265 min čítania3 zdroje

AWS balí viacuzlovú inferenciu s Ray: prefill a decode môžu bežať na oddelených GPU

Nový Ray LLM Deep Learning Container od AWS rozdeľuje spracovanie vstupu a generovanie tokenov medzi dva GPU uzly v Amazon EKS. Cieľom je zjednodušiť nasadenie veľkých modelov a obmedziť vzájomné brzdenie oboch fáz inferencie.

Produkty8. októbra 20265 min čítania4 zdroje

AWS navrhuje spoločný GPU klaster s oddelením tímov, kvótami a rozpočítaním nákladov

Nová referenčná architektúra AWS spája SageMaker HyperPod, EKS, tímové identity, menné priestory a riadenie úloh. Firmám má umožniť zdieľať drahé GPU bez straty kontroly nad prístupom, férovosťou a nákladmi.