#inferencia

Výskumná práca LACE navrhuje, aby sa paralelné reasoning trajektórie modelu navzájom videli a korigovali počas inferencie, čo podľa autorov zvyšuje presnosť o viac než sedem bodov.

Ollama v preview prepája svoj lokálny stack s frameworkom MLX a sľubuje výrazne rýchlejšie spúšťanie modelov na Apple Silicon. Pre používateľov Macov je dôležité, že lokálne agentické workflow sa tým posúvajú z hobby režimu bližšie k serióznej práci.

Artificial Analysis spustil AA-AgentPerf, nový benchmark pre AI hardvér a inferenčné stacky. Namiesto krátkych dotazov používa reálne agentické trajektórie s dlhým kontextom, takže lepšie ukazuje, čo infraštruktúra zvládne v produkcii.

AWS ukazuje, že pri decode-heavy úlohách možno cez speculative decoding citeľne znížiť cenu za výstupný token aj latenciu. Praktický odkaz je dôležitý: optimalizácia inferencie sa opäť stáva jednou z hlavných súťaží AI infraštruktúry.

AWS ukazuje, že pri decode-heavy workloadoch môže špekulatívne dekódovanie citeľne znížiť latenciu aj cenu za vygenerovaný token. Kľúčom je vhodná dvojica draft a target modelu vo vLLM, nie iba najmenší možný draft model.

Nový technický materiál AWS ukazuje, ako má SageMaker HyperPod fungovať aj ako inference platforma. Kľúčová téza je praktická: kombinácia KEDA a Karpenteru má umožniť škálovanie od nuly až po produkčnú záťaž bez trvalých nečinných GPU nákladov.

Amazon rozširuje SageMaker JumpStart o optimalizované nasadenia podľa konkrétneho scenára použitia. Namiesto ručného odhadovania infraštruktúry si tímy vyberú use case a prioritu medzi cenou, latenciou, priepustnosťou alebo vyváženým profilom.