JetBrains uvádza Mellum2, otvorený MoE model pre rýchle textové a kódové úlohy

JetBrains predstavil Mellum2, otvorený model typu mixture-of-experts zameraný na úlohy, pri ktorých je dôležitá nízka latencia a veľký počet volaní. Model má celkovo 12 miliárd parametrov, no pri jednom tokene aktivuje približne 2,5 miliardy. To je hlavná pointa expertnej architektúry: systém má väčšiu kapacitu než bežný hustý model podobnej aktívnej veľkosti, ale pri inferencii nespúšťa všetky parametre naraz. JetBrains ho zverejňuje pod licenciou Apache 2.0 a distribuuje cez Hugging Face.

Mellum2 nadväzuje na pôvodný Mellum, ktorý bol zameraný najmä na dopĺňanie kódu. Nová verzia rozširuje záber na prirodzený jazyk aj softvérové inžinierstvo a podľa predstavenia má byť použiteľná v routovaní požiadaviek, sumarizácii, retrieval-augmented generation, subagentoch a súkromných nasadeniach. Tieto úlohy nemusia vždy vyžadovať najväčší frontier model. V mnohých agentických systémoch sú to práve lacné a rýchle medzikroky, ktoré rozhodujú o celkovej odozve aj cene.

Dôležité je, že JetBrains nepredáva Mellum2 ako univerzálneho náhradníka najväčších modelov. Skôr ho zasadzuje do vrstvy „dobre ohraničených“ modelov, ktoré robia konkrétne časti workflow. Ak aplikácia potrebuje určiť, kam má ísť požiadavka, vybrať relevantné dokumenty, pripraviť krátku sumarizáciu alebo spustiť špecializovaného subagenta, môže byť efektívnejší menší model s predvídateľnou latenciou. V agentických produktoch sa takéto volania opakujú veľakrát, a preto sa rozdiel v nákladoch násobí.

Podľa blogu má Mellum2 v porovnaní s podobne veľkými modelmi dosahovať konkurencieschopné benchmarkové výsledky a zároveň viac než dvojnásobne rýchlejšiu inferenciu. Pri takýchto tvrdeniach je dôležité čítať aj technickú správu a metodiku hodnotenia, pretože výkon modelov pre kód, routovanie a RAG sa ťažko zhŕňa jedným číslom. Už samotný smer je však zaujímavý: namiesto súboja o najväčší model ide o optimalizáciu modelu, ktorý sa zmestí do praktickej produkčnej slučky.

Pre firmy je otvorená licencia podstatná z dvoch dôvodov. Prvým je možnosť nasadiť model v súkromnom prostredí, kde sa nechcú posielať interné repozitáre alebo dokumenty do verejnej služby. Druhým je kontrola nad nákladmi. Ak je model dosť dobrý na opakované pomocné úlohy, môže znížiť počet volaní drahších modelov bez toho, aby sa zhoršila kvalita finálneho výstupu. To je obzvlášť dôležité pri vývojárskych nástrojoch, kde jedna používateľská akcia môže spustiť reťazec viacerých modelových krokov.

Mellum2 zapadá do širšieho posunu od monolitických chatbotov k zloženým AI systémom. Moderná aplikácia často obsahuje router, vyhľadávanie v dokumentoch, plánovač, validátor, generátor kódu a kontrolnú spätnú väzbu. Každá časť môže mať iný kompromis medzi presnosťou, cenou a rýchlosťou. JetBrains tým naznačuje, že otvorené modely nemusia súťažiť iba na všeobecných rebríčkoch; môžu byť cenné aj ako spoľahlivé komponenty v konkrétnej architektúre.

Pre vývojárov bude praktická otázka, ako sa Mellum2 správa mimo ukážkových benchmarkov: v dlhších repozitároch, pri špinavých interných dokumentoch, pri viacjazyčnom kóde alebo pri úlohách, kde chyba v routovaní spôsobí kaskádové zlyhanie. Práve preto je dobré, že JetBrains odkazuje na technickú správu a modelovú kolekciu, nie iba na marketingový popis. Tímy si môžu model porovnať na vlastných stopách a rozhodnúť, či patrí do ich vrstvy nástrojových volaní.

Pre lokálny ekosystém open-weight modelov je dôležité aj to, že Mellum2 prichádza od firmy s hlbokým kontaktom s vývojárskymi workflow. JetBrains vie, kde sa v IDE a v agentických nástrojoch stráca čas: nie iba pri generovaní finálneho kódu, ale aj pri opakovanom triedení kontextu, smerovaní požiadaviek a rýchlych kontrolách. Ak sa model osvedčí práve v týchto úzkych slučkách, môže pomôcť vytvárať rýchlejšie nástroje bez toho, aby každá drobná operácia závisela od najväčšieho dostupného modelu.

Najväčší význam Mellum2 teda nespočíva v tom, že by zmenil poradie najväčších modelov. Je to signál, že trh potrebuje viac otvorených, úzko optimalizovaných modelov pre infraštruktúru agentov. Ak sa ukáže, že menší MoE model zvláda routovanie, RAG a subagentné úlohy dostatočne spoľahlivo, môže byť pre produkčné AI systémy rovnako dôležitý ako veľké modely používané na finálne odpovede.