SageMaker pridáva detailnejšiu diagnostiku pre generatívnu inferenciu
AWS opisuje nové detailné metriky a dashboard Insights pre SageMaker a CloudWatch, ktoré majú tímom pomôcť rýchlejšie nájsť príčinu latencie, pamäťového tlaku či problémov so škálovaním pri LLM endpointoch.