Tag

#Amazon SageMaker HyperPod

Všetky publikované články, v ktorých sa téma Amazon SageMaker HyperPod objavuje ako dôležitý kontext. Aktuálne 2 textov v archíve.

Produkty8. októbra 20265 min čítania4 zdroje

AWS navrhuje spoločný GPU klaster s oddelením tímov, kvótami a rozpočítaním nákladov

Nová referenčná architektúra AWS spája SageMaker HyperPod, EKS, tímové identity, menné priestory a riadenie úloh. Firmám má umožniť zdieľať drahé GPU bez straty kontroly nad prístupom, férovosťou a nákladmi.

Produkty13. augusta 20264 min čítania2 zdroje

AWS ukázalo zdieľanú KV cache pre vLLM cez HyperPod a distribuované NVMe

Referenčná architektúra spája GPU cache, operačnú pamäť a zdieľaný NVMe pool Curvine. V teste zrýchlila čas do prvého tokenu až 2,7-násobne, výsledok však závisí od prekrývania promptov a siete.