Tag
Všetky publikované články, v ktorých sa téma inferencia objavuje ako dôležitý kontext. Aktuálne 28 textov v archíve.
Artificial Analysis spustil AA-AgentPerf, nový benchmark pre AI hardvér a inferenčné stacky. Namiesto krátkych dotazov používa reálne agentické trajektórie s dlhým kontextom, takže lepšie ukazuje, čo infraštruktúra zvládne v produkcii.
AWS ukazuje, že pri decode-heavy úlohách možno cez speculative decoding citeľne znížiť cenu za výstupný token aj latenciu. Praktický odkaz je dôležitý: optimalizácia inferencie sa opäť stáva jednou z hlavných súťaží AI infraštruktúry.
Nový technický materiál AWS ukazuje, ako má SageMaker HyperPod fungovať aj ako inference platforma. Kľúčová téza je praktická: kombinácia KEDA a Karpenteru má umožniť škálovanie od nuly až po produkčnú záťaž bez trvalých nečinných GPU nákladov.
Amazon rozširuje SageMaker JumpStart o optimalizované nasadenia podľa konkrétneho scenára použitia. Namiesto ručného odhadovania infraštruktúry si tímy vyberú use case a prioritu medzi cenou, latenciou, priepustnosťou alebo vyváženým profilom.