Tag
Všetky publikované články, v ktorých sa téma inferencia objavuje ako dôležitý kontext. Aktuálne 19 textov v archíve.
Cerebras tvrdí, že otvorenejší model Kimi K2.6 na jeho infraštruktúre dosahuje podobnú inteligenciu ako Gemini 3.5 Flash, ale výrazne vyššiu rýchlosť výstupu. Porovnanie ukazuje, ako sa pri agentoch čoraz viac hodnotí latencia a počet tokenov za sekundu, nielen skóre benchmarkov.
Databricks predstavil Instructed-Retriever-1, komponent pre rýchlejšie vyhľadávanie v znalostných asistentoch. Firma tvrdí, že paralelné škálovanie pri inferencii skracuje čas vyhľadávania viac než trojnásobne bez zmeny konfigurácie používateľa.
NVIDIA Nemotron 3 Ultra je od 4. júna dostupný v Amazon SageMaker JumpStart. AWS ho rámuje ako otvorený model pre dlhé agentické workflowy, kde rozhoduje nielen presnosť, ale aj čas dokončenia úlohy a cena za beh.
AWS opisuje podporu SOCI snapshottera a indexov v Deep Learning AMI a Deep Learning Containers. Cieľom je skracovať čakanie pri sťahovaní veľkých obrazov pre tréning a inferenciu, najmä pri škálovaní GPU workloadov.
Nová rodina modelov Nemotron-Labs Diffusion ukazuje alternatívu k autoregresívnemu generovaniu textu: model najprv vytvorí viac tokenov paralelne a potom ich postupne opravuje. Pre firmy a vývojárov je dôležité najmä to, že NVIDIA zverejnila modely, tréningový recept aj väzbu na SGLang.
Amazon SageMaker AI zavádza OpenAI-kompatibilné API pre real-time endpointy. Aplikácie používajúce OpenAI SDK či LangChain tak môžu cieliť na vlastné nasadenia v AWS s menšou úpravou kódu.
Nová verzia open-source inferenčného stacku SGLang rozširuje podporu pre DeepSeek-V4, zjednocuje docker image pre Nvidia GPU a pridáva optimalizácie pre Blackwell, Hopper aj dlhé kontexty.
Databricks a Superhuman opisujú presun z vlastného vLLM stacku na riadenú inferenčnú vrstvu, ktorá má zvládnuť špičky nad 200-tisíc požiadaviek za sekundu, sub-sekundové P99 a vyššiu efektivitu na H100 GPU.
Výskumníci z BAIR opisujú posun od dlhého lineárneho reťazca uvažovania k adaptívnemu paralelnému riešeniu, ktoré má znižovať latenciu aj chaos v kontexte.
Apple Machine Learning Research ukazuje, že tlak na lacnejší serving nemusí ísť len cez kvantizáciu či skracovanie kontextu. Nová práca skúša zmenšiť KV cache po hĺbke siete a zachovať pritom výkon aj priepustnosť.
Amazon SageMaker AI pridáva mechanizmus, ktorý pri nedostupnosti preferovaného typu inštancie automaticky skúsi ďalšiu možnosť zo zoznamu. Pre firmy je to dôležitý prevádzkový posun: menej ručného preklikávania a menšie riziko, že endpoint zlyhá skôr, než vôbec začne obsluhovať požiadavky.
DeepInfra sa stáva oficiálnym Inference Providerom na Hugging Face Hub. Integrácia skracuje cestu od modelovej stránky k produkčnému API a rozširuje ponuku serverless inferencie pre open-weight modely aj multimodálne úlohy.