Tag
Všetky publikované články, v ktorých sa téma inferencia objavuje ako dôležitý kontext. Aktuálne 20 textov v archíve.
DeepInfra sa stáva oficiálnym Inference Providerom na Hugging Face Hub. Integrácia skracuje cestu od modelovej stránky k produkčnému API a rozširuje ponuku serverless inferencie pre open-weight modely aj multimodálne úlohy.
Amazon rozširuje SageMaker AI o službu, ktorá má namiesto ručného ladenia sama navrhnúť overené nasadenie generatívnych modelov. AWS tým reaguje na problém, že pri produkčnej inferencii dnes firmy často netrávia čas modelom, ale výberom inštancií, backendov a kompromisov medzi cenou a latenciou.
Výskumná práca LACE navrhuje, aby sa paralelné reasoning trajektórie modelu navzájom videli a korigovali počas inferencie, čo podľa autorov zvyšuje presnosť o viac než sedem bodov.
Ollama v preview prepája svoj lokálny stack s frameworkom MLX a sľubuje výrazne rýchlejšie spúšťanie modelov na Apple Silicon. Pre používateľov Macov je dôležité, že lokálne agentické workflow sa tým posúvajú z hobby režimu bližšie k serióznej práci.
Artificial Analysis spustil AA-AgentPerf, nový benchmark pre AI hardvér a inferenčné stacky. Namiesto krátkych dotazov používa reálne agentické trajektórie s dlhým kontextom, takže lepšie ukazuje, čo infraštruktúra zvládne v produkcii.
AWS ukazuje, že pri decode-heavy úlohách možno cez speculative decoding citeľne znížiť cenu za výstupný token aj latenciu. Praktický odkaz je dôležitý: optimalizácia inferencie sa opäť stáva jednou z hlavných súťaží AI infraštruktúry.
Nový technický materiál AWS ukazuje, ako má SageMaker HyperPod fungovať aj ako inference platforma. Kľúčová téza je praktická: kombinácia KEDA a Karpenteru má umožniť škálovanie od nuly až po produkčnú záťaž bez trvalých nečinných GPU nákladov.
Amazon rozširuje SageMaker JumpStart o optimalizované nasadenia podľa konkrétneho scenára použitia. Namiesto ručného odhadovania infraštruktúry si tímy vyberú use case a prioritu medzi cenou, latenciou, priepustnosťou alebo vyváženým profilom.