Tag
Všetky publikované články, v ktorých sa téma mixture-of-experts objavuje ako dôležitý kontext. Aktuálne 5 textov v archíve.
LFM2.5-24B-A2B spája architektúru mixture-of-experts, 131-tisícový kontext a podporu nástrojov. Má umožniť rýchly lokálny beh agentov, no výkonové čísla zatiaľ pochádzajú najmä od výrobcu.
Ai2 vydalo Olmo-core 3, otvorenú infraštruktúru na tréning veľkých modelov typu mixture-of-experts. Nový systém zrýchľuje prácu expertov, podporuje MXFP8 a podľa úvodných meraní zvládol konfiguráciu s 1,2 bilióna parametrov.
AWS predstavilo architektúru pre posilňovacie učenie riedkych modelov na Amazon EKS. Prepojenie EFA a knižnice DeepEP podľa interného testu zvýšilo súhrnnú priepustnosť generovania tréningových odpovedí o 40 %.
Otvorený model NVIDIA s 30 miliardami parametrov, z ktorých pri inferencii aktivuje tri miliardy, sa dá nasadiť cez SageMaker JumpStart. Mieri na početné rutinné kroky agentov, nie na nahradenie najvýkonnejších modelov pri každom type úlohy.
Cloudflare pri modeloch Kimi K2.6 a GLM 5.2 zmenšilo KV cache aj váhy, čím zvýšilo priepustnosť a uvoľnilo pamäť GPU. Výsledky sú sľubné, no pochádzajú z meraní samotného prevádzkovateľa.