Tag
Všetky publikované články, v ktorých sa téma GPU objavuje ako dôležitý kontext. Aktuálne 8 textov v archíve.
Preprint predstavuje AFSAT, plnohodnotnejšiu verziu GPU solvera pre pseudo-booleovské SAT úlohy. Autori opisujú, ako JAX, dávkové lokálne hľadanie a upravená diskrétna Fourierova transformácia zlepšujú stabilitu, pamäť aj škálovanie.
Databricks zverejnil technický pohľad na infraštruktúru pre spoľahlivú LLM inferenciu. Kľúčové sú modelové jednotky, nákladovo citlivé smerovanie požiadaviek, automatické zotavenie zo skrytých zlyhaní a optimalizácie pre multimodálne záťaže.
Nový technický rozbor od Hugging Face ukazuje, že pri kontinuálnom dávkovaní LLM býva úzke hrdlo často mimo samotného modelu: ak sa príprava batchov na CPU oddelí od výpočtu na GPU, latencia a využitie akcelerátora sa môžu citeľne zlepšiť bez nových kernelov aj bez pretrénovania modelu.
Amazon opisuje dvojicu mechanizmov, ktoré majú firmám pomôcť získať GPU kapacitu na presne určené termíny bez dlhých kontraktov. Téma je dôležitá hlavne pre tímy, ktoré pripravujú veľké tréningy, testy alebo časovo citlivé spustenia modelov.
Anthropic oznámil dvojaký krok: okamžite zvyšuje limity pre Claude Code a API modelov Opus a zároveň si rezervuje celú kapacitu dátového centra Colossus 1 od SpaceX. Správa ukazuje, že boj o používateľov sa už presúva od modelových parametrov k fyzickej dostupnosti výpočtov.
OpenAI hovorí, že infraštruktúrny projekt Stargate už prekročil míľnik 10 gigawattov, pôvodne plánovaný až na rok 2029. Signál je dôležitý nielen pre OpenAI, ale aj pre celý trh, na ktorom sa rozhodujúca konkurenčná výhoda čoraz viac presúva z modelov k elektrine, pozemkom a výstavbe dátových centier.
Nový text na Hugging Face upozorňuje, že hodnotenie modelov a agentov už nie je len doplnok po tréningu. Pri drahých benchmarkoch, opakovaných behoch a multimodelových porovnaniach sa z evaluácií stáva samostatný nákladový problém.
Nový technický materiál AWS ukazuje, ako má SageMaker HyperPod fungovať aj ako inference platforma. Kľúčová téza je praktická: kombinácia KEDA a Karpenteru má umožniť škálovanie od nuly až po produkčnú záťaž bez trvalých nečinných GPU nákladov.