Tag
Všetky publikované články, v ktorých sa téma tréning modelov objavuje ako dôležitý kontext. Aktuálne 2 textov v archíve.
Ai2 vydalo Olmo-core 3, otvorenú infraštruktúru na tréning veľkých modelov typu mixture-of-experts. Nový systém zrýchľuje prácu expertov, podporuje MXFP8 a podľa úvodných meraní zvládol konfiguráciu s 1,2 bilióna parametrov.
Multiverse Computing spojilo offline uložené top-100 výstupy učiteľa s KL stratou, ktorá po blokoch prepočítava logity a nevytvára ich plnú maticu. Pri kompaktnom študentovi sa tak 32 768-tokenový tréning zmestil na jeden H200; zverejnené výsledky však pochádzajú z jediného tímu a ich prenos na iné modely zostáva otvorený.