Tag
Všetky publikované články, v ktorých sa téma tréning modelov objavuje ako dôležitý kontext. Aktuálne 6 textov v archíve.
Nový článok na Hugging Face vysvetľuje task-seeded pipeline pre syntetické otázky a odpovede. NVIDIA tvrdí, že takto štruktúrované dáta zlepšili Nemotron-3 Nano najmä na GPQA, MMLU-Pro, kóde a commonsense úlohách.
Nový mechanizmus Delta Weight Sync v TRL posiela medzi trénerom a inferenčným serverom iba zmenené časti váh. Cieľom je lacnejší a praktickejší asynchrónny RL tréning veľkých modelov.
Amazon opisuje dvojicu mechanizmov, ktoré majú firmám pomôcť získať GPU kapacitu na presne určené termíny bez dlhých kontraktov. Téma je dôležitá hlavne pre tímy, ktoré pripravujú veľké tréningy, testy alebo časovo citlivé spustenia modelov.
OpenAI zverejnila špecifikáciu MRC, vlastného sieťového protokolu pre veľké tréningové klastre. Cieľom je znížiť výpadky, rozložiť prevádzku medzi viac ciest a škálovať infraštruktúru pre frontier modely s menšou energetickou aj prevádzkovou režiou.
IBM tvrdí, že medzistupeň medzi pretréningom a post-tréningom nie je kozmetická optimalizácia. V stovkách experimentov mal zásadne pomôcť pri reasoning úlohách.
Práca BASIS navrhuje spôsob, ako odpojiť pamäťové nároky backpropagácie od dĺžky sekvencie a batchu cez vyvážené skicovanie aktivácií. Ak sa výsledky potvrdia, môže ísť o praktický posun pre tréning dlhokontextových modelov na obmedzenom hardvéri.