Tag
Všetky publikované články, v ktorých sa téma GPU objavuje ako dôležitý kontext. Aktuálne 9 textov v archíve.
Systém Proteus automaticky navrhuje a preveruje špecializované GPU jadrá. Databricks pri Qwen 3.5 122B hlási zrýchlenie jednotlivých operácií 1,8- až 5,2-násobne oproti implementáciám vo vLLM.
Nová knižnica @huggingface/kernels sprístupňuje optimalizované výpočtové jadrá pre WebGPU. Má zrýchliť lokálnu inferenciu v prehliadači, no jej praktický dosah bude závisieť od hardvéru, ovládačov a podpory WebGPU.
Predbežné vydanie TensorRT-LLM 1.3.0rc25 nastavuje KV Cache Manager V2 ako predvolenú voľbu pre široké spektrum modelov. NVIDIA súčasne upozorňuje na početné riziká pri distribuovanej prevádzke.
Cursor potvrdil dokončenie akvizície spoločnosťou SpaceX. Nový vlastník mu má poskytnúť rozsiahlu GPU infraštruktúru na tréning a prevádzku modelov, no firmy zatiaľ nezverejnili konkrétne kapacity, integračný plán ani zmeny pre podnikových zákazníkov.
Multiverse Computing spojilo offline uložené top-100 výstupy učiteľa s KL stratou, ktorá po blokoch prepočítava logity a nevytvára ich plnú maticu. Pri kompaktnom študentovi sa tak 32 768-tokenový tréning zmestil na jeden H200; zverejnené výsledky však pochádzajú z jediného tímu a ich prenos na iné modely zostáva otvorený.
Cloudflare pri modeloch Kimi K2.6 a GLM 5.2 zmenšilo KV cache aj váhy, čím zvýšilo priepustnosť a uvoľnilo pamäť GPU. Výsledky sú sľubné, no pochádzajú z meraní samotného prevádzkovateľa.
OpenAI opisuje technické úpravy, ktoré pri GPT-5.6 spájajú lacnejšie servovanie modelu s úspornejším chodom agentov.
Nový technický rozbor od Hugging Face ukazuje, že pri kontinuálnom dávkovaní LLM býva úzke hrdlo často mimo samotného modelu: ak sa príprava batchov na CPU oddelí od výpočtu na GPU, latencia a využitie akcelerátora sa môžu citeľne zlepšiť bez nových kernelov aj bez pretrénovania modelu.
Anthropic oznámil dvojaký krok: okamžite zvyšuje limity pre Claude Code a API modelov Opus a zároveň si rezervuje celú kapacitu dátového centra Colossus 1 od SpaceX. Správa ukazuje, že boj o používateľov sa už presúva od modelových parametrov k fyzickej dostupnosti výpočtov.