#Amazon SageMaker

Amazon SageMaker AI pridáva mechanizmus, ktorý pri nedostupnosti preferovaného typu inštancie automaticky skúsi ďalšiu možnosť zo zoznamu. Pre firmy je to dôležitý prevádzkový posun: menej ručného preklikávania a menšie riziko, že endpoint zlyhá skôr, než vôbec začne obsluhovať požiadavky.

Amazon rozširuje SageMaker AI o službu, ktorá má namiesto ručného ladenia sama navrhnúť overené nasadenie generatívnych modelov. AWS tým reaguje na problém, že pri produkčnej inferencii dnes firmy často netrávia čas modelom, ale výberom inštancií, backendov a kompromisov medzi cenou a latenciou.