Tag
Všetky publikované články, v ktorých sa téma LLM infra objavuje ako dôležitý kontext. Aktuálne 3 textov v archíve.
Framework Mastra pridáva response caching pre agentov. Identické požiadavky vie počas nastavenej TTL obslúžiť z cache bez nového volania modelu, čo má znížiť náklady aj latenciu.
Preprint AESOP upozorňuje na nový typ útoku proti zloženým inference pipeline. Namiesto lámana jedného modelu cieli na výber vykonávacej cesty a podľa autorov vie prudko nafúknuť výpočtové náklady aj latenciu celého systému.
AWS ukazuje, že pri decode-heavy úlohách možno cez speculative decoding citeľne znížiť cenu za výstupný token aj latenciu. Praktický odkaz je dôležitý: optimalizácia inferencie sa opäť stáva jednou z hlavných súťaží AI infraštruktúry.