AWS balí viacuzlovú inferenciu s Ray: prefill a decode môžu bežať na oddelených GPU
Nový Ray LLM Deep Learning Container od AWS rozdeľuje spracovanie vstupu a generovanie tokenov medzi dva GPU uzly v Amazon EKS. Cieľom je zjednodušiť nasadenie veľkých modelov a obmedziť vzájomné brzdenie oboch fáz inferencie.