Hugging Face a NVIDIA zrýchľujú dolaďovanie MoE modelov cez NeMo AutoModel
Nový technický článok ukazuje, ako NeMo AutoModel využíva Transformers v5 na rýchlejšie a úspornejšie dolaďovanie zmesí expertov bez prepisovania tréningového kódu.
Tag
#MoE
Všetky publikované články, v ktorých sa téma MoE objavuje ako dôležitý kontext. Aktuálne 3 textov v archíve.
JetBrains uvádza Mellum2, otvorený MoE model pre rýchle textové a kódové úlohy
Mellum2 má 12 miliárd parametrov, ale pri každom tokene aktivuje približne 2,5 miliardy. JetBrains ho cez Hugging Face ponúka ako otvorený model pre routovanie, RAG, subagentov a nízkolatenčné kódové workflow.
AI2 ukazuje EMO: sparse model vie bežať len s malou časťou expertov a nestratiť výkon
AllenAI zverejnilo EMO, mixture-of-experts model navrhnutý tak, aby sa jeho experti prirodzene usporiadali do využiteľných skupín. Cieľom nie je len vyšší výkon, ale aj to, aby bolo možné spúšťať menší výsek expertov bez dramatického prepadu kvality.