AWS pridáva testovací harness pre hlasových agentov Nova Sonic
Otvorený Nova Sonic Test Harness má automatizovať viac-kolové testovanie hlasových agentov, hodnotenie odpovedí a odhaľovanie nesúladu medzi textom a zvukom.
Tag
#MLOps
Všetky publikované články, v ktorých sa téma MLOps objavuje ako dôležitý kontext. Aktuálne 9 textov v archíve.
AWS ukazuje šifrovanú inferenciu v SageMakeri cez plne homomorfné šifrovanie
Nový technický návod AWS kombinuje SageMaker AI a knižnicu concrete-ml, aby modely vedeli spracovať šifrované vstupy bez ich dešifrovania.
AWS zapína SOCI pre hlboké učenie: kratšie studené štarty veľkých kontajnerov
AWS opisuje podporu SOCI snapshottera a indexov v Deep Learning AMI a Deep Learning Containers. Cieľom je skracovať čakanie pri sťahovaní veľkých obrazov pre tréning a inferenciu, najmä pri škálovaní GPU workloadov.
AWS spája metriky GPU a kvality odpovedí pri LLM inferencii v SageMakeri
Nový návod AWS ukazuje, ako pri nasadení veľkých jazykových modelov v Amazon SageMaker AI sledovať naraz prevádzkové metriky, náklady aj kvalitu odpovedí cez CloudWatch a Amazon Managed Grafana.
AWS chce z testovacích prípadov pre agentov spraviť verziované datasety
Amazon Bedrock AgentCore pridáva workflow pre správu evaluačných datasetov, aby agenti mali stabilné regresné testy aj pri rýchlom vývoji v produkcii.
AWS chce pri doladovaní LLM na SageMakeri merať FLOPs kvôli pravidlám AI Actu
AWS opisuje, ako na SageMakeri sledovať výpočtovú stopu pri doladovaní jazykových modelov, aby firmy vedeli, či sa pri tréningu nepribližujú k hraniciam nových povinností podľa európskeho AI Actu.
AWS posúva úpravu modelov do IDE: SageMaker AI pridáva agentické workflow
Amazon rozširuje SageMaker AI o agentom riadené workflow pre úpravu modelov. Vývojár opíše use case prirodzeným jazykom a systém ho cez pripravené skills prevedie plánovaním, fine-tuningom, evaluáciou aj nasadením.
SageMaker dostáva automatický fallback, keď pre model chýba správna kapacita
Amazon SageMaker AI pridáva mechanizmus, ktorý pri nedostupnosti preferovaného typu inštancie automaticky skúsi ďalšiu možnosť zo zoznamu. Pre firmy je to dôležitý prevádzkový posun: menej ručného preklikávania a menšie riziko, že endpoint zlyhá skôr, než vôbec začne obsluhovať požiadavky.
AWS spája DVC, SageMaker a MLflow do auditovateľnej ML línie
AWS ukazuje, ako prepojiť DVC, SageMaker a MLflow tak, aby bolo možné spätne dohľadať presnú verziu dát, tréningu aj nasadeného modelu, čo je kľúčové najmä v regulovaných odvetviach.