IBM skladá Granite ako softvér: knižnice adaptérov majú meniť správanie LLM bez retréningu
IBM predstavilo Granite Libraries a Project Granite Switch, rámec na skladanie malých adaptérov pre RAG, bezpečnosť a ďalšie podnikové schopnosti. Namiesto jedného monolitického modelu chce firma posunúť LLM bližšie k modulárnemu softvéru.
Pripravil HERMES. Výber tém pomáha robiť BuloSentinel. Redakčná kontrola: Marek Považský.
- Typ zdroja
- Kurátorovaný súhrn
- Zdroj / autorita
- IBM Research
Redakčný kontext
Tému vybral BuloSentinel ako súčasť monitorovania AI ekosystému. Text pripravil HERMES zo zdrojovo ukotvených podkladov a zodpovednú kontrolu pravidiel robí Marek Považský.
Článok je zaradený v sekcii AI produkty a opiera sa o 3 zdroje.
IBM posúva svoju rodinu Granite do vrstvy, ktorá vyzerá menej ako tradičné nasadenie jedného veľkého modelu a viac ako softvérový balík s vymeniteľnými modulmi. V novom príspevku predstavilo Granite Libraries a Project Granite Switch: knižnicu špecializovaných adaptérov a nástroj, ktorý ich má vedieť skladať do jedného nasaditeľného modelu. Cieľom nie je iba pridať ďalší model do katalógu. IBM sa snaží ukázať, že veľké jazykové modely sa dajú upravovať podobnejšie ako aplikácie, teda cez menšie funkčné komponenty s jasným účelom.
Základná myšlienka je praktická. Podniky často nechcú trénovať celý model odznova, ale potrebujú zlepšiť konkrétnu schopnosť: presnejšie dodržiavanie inštrukcií, bezpečnostné filtre, lepšie spracovanie vyhľadávaného kontextu alebo špecializované správanie pre interný pracovný postup. Bežná odpoveď je doladenie modelu, prípadne výber väčšieho modelu. IBM namiesto toho presadzuje adaptér ako menšiu naučenú vrstvu, ktorú možno pripojiť k základnému modelu a potom kombinovať s ďalšími adaptérmi.
Granite Libraries má byť katalógom takýchto adaptérov. IBM uvádza adaptéry pre RAG, bezpečnosť aj jadrové schopnosti modelu a prepája ich s prostredím Mellea, v ktorom sa dajú volať ako typované funkcie v Pythone. To je dôležitý posun v jazyku, ktorým sa o modeloch hovorí. Ak je adaptér opísaný ako funkcia s očakávaným vstupom a výstupom, vývojár môže nad ním uvažovať podobne ako nad knižnicou, nie iba ako nad neurčitým výsledkom tréningu.
Project Granite Switch rieši druhú časť problému: čo sa stane, keď firma potrebuje viacero adaptérov naraz. Samostatné doladenia sa môžu navzájom rušiť alebo zvyšovať náklady, ak sa pre každú úlohu nasadzuje iná varianta modelu. Switch má zložiť viac adaptérov do deployovateľného modelu a umožniť, aby sa konkrétna schopnosť aktivovala podľa potreby. IBM tým mieri na scenáre, kde jeden podnikový asistent potrebuje prepínať medzi vyhľadávaním, bezpečnostnou kontrolou a špecializovanou doménovou úlohou bez toho, aby každá z nich vyžadovala samostatný modelový server.
Technicky ide o pokračovanie trendu, ktorý je viditeľný pri LoRA a ďalších parametrovo úsporných metódach doladenia. Rozdiel je v tom, že IBM sa nesústredí iba na lacnejší tréning. Snaží sa vytvoriť prevádzkový model, v ktorom sa schopnosti dajú distribuovať, verzovať, testovať a skladať. Pre podnikové tímy je to zaujímavé najmä preto, že správa modelov sa čoraz viac podobá správe softvérových závislostí: treba vedieť, ktorá verzia čo mení, aké má riziká, s čím je kompatibilná a ako sa vrátiť späť.
Pre ekosystém otvorenejších modelov je podstatné aj to, že IBM ukazuje konkrétne verejné artefakty. Granite Switch je dostupný ako repozitár na GitHube a Granite Libraries sú publikované ako kolekcia na Hugging Face. To uľahčuje overenie, či nejde len o marketingový názov pre interný workflow. Vývojári si môžu pozrieť štruktúru projektu, dostupné adaptéry a spôsob, akým IBM navrhuje ich použitie v praxi.
Dopad na firmy bude závisieť od toho, ako dobre sa podarí udržať kvalitu pri skladaní viacerých adaptérov. Modulárnosť je lákavá, ale modelové správanie nie je deterministická softvérová funkcia v tradičnom zmysle. Jeden adaptér môže zlepšiť bezpečnosť, iný zmeniť štýl odpovedí a výsledná kombinácia môže mať vedľajšie účinky. Preto bude kľúčové testovanie na reálnych úlohách, meranie regresií a jasné pravidlá, kedy sa ktorá schopnosť aktivuje.
Silnou stránkou návrhu je, že pomenúva problém, ktorý v podnikovej AI rýchlo rastie. Firmy už neriešia iba otázku, ktorý foundation model je najlepší. Riešia, ako udržiavať desiatky špecializovaných schopností nad dátami, pravidlami a aplikáciami, ktoré sa menia rýchlejšie než tréningové cykly veľkých modelov. Ak sa adaptéry stanú bežnou jednotkou distribúcie schopností, modely budú bližšie k platforme, na ktorej sa skladá aplikačná logika.
Zároveň nejde o univerzálne riešenie všetkých potrieb. Pri hlbokých doménových zmenách, nových jazykoch alebo veľkých posunoch v znalostiach môže byť potrebný rozsiahlejší tréning alebo iný základný model. Granite Libraries a Switch sú najpresvedčivejšie tam, kde už základný model má dostatočné všeobecné schopnosti a treba ho spoľahlivo nasmerovať na konkrétne podnikové postupy. Práve v tejto vrstve však dnes vzniká veľká časť nákladov a prevádzkového chaosu.
IBM týmto krokom zapadá do širšieho posunu od jednorazových chatbotov k spravovateľným modelovým systémom. Ak sa podobné knižnice adaptérov rozšíria, firmy budú môcť kupovať, zdieľať a auditovať modelové schopnosti podobne ako dnes softvérové balíky. Zatiaľ je to skôr technická architektúra než hotový štandard, ale smer je jasný: LLM sa v podnikoch prestávajú vnímať ako jeden veľký čierny box a začínajú sa rozkladať na menšie komponenty, ktoré možno samostatne meniť a kontrolovať.
Zdroje