Apple skúma PathMoE: menej náhodné trasy tokenov v sparse mixture-of-experts
Apple Machine Learning Research predstavil Path-Constrained Mixture-of-Experts. Práca tvrdí, že tokeny v MoE modeloch prirodzene vytvárajú malé množstvo opakovaných trás cez expertov a že architektúra PathMoE vie túto štruktúru využiť efektívnejšie.