Mistral otvoril Shieldstral, 3B multimodálny model pre adaptívnu moderáciu

Mistral predstavil Shieldstral, otvorený multimodálny bezpečnostný klasifikátor s tromi miliardami parametrov. Namiesto pevne zabudovanej taxonómie škodlivého obsahu dostáva pravidlo moderácie pri inferencii ako otázku v prirodzenom jazyku. Rovnaký checkpoint tak môže hodnotiť text, obrázok, odpoveď asistenta aj dvojicu prompt–odpoveď bez pretrénovania pri každej zmene pravidiel. Váhy sú dostupné pod licenciou Apache 2.0.

Model formuluje moderovanie ako binárnu úlohu odpovede na otázku. Vstup sa skladá z inštrukcie určujúcej kontext a prísnosť, otázky typu „Podporuje tento obsah fyzické násilie?“ a dokumentu, ktorý sa má posúdiť. Shieldstral následne používa logity tokenov „áno“ a „nie“ a po normalizácii vracia spojité skóre. Prevádzkovateľ si podľa vlastnej tolerancie rizika určí prah, namiesto toho, aby dostal iba nemennú nálepku bezpečné alebo nebezpečné.

Takéto rozhranie rieši praktický problém produktov s rozdielnymi pravidlami. Obsah prípustný v nástroji pre výskum kybernetických hrozieb môže byť nevhodný v aplikácii pre deti alebo v službe duševného zdravia. Tradičný guardrail model má kategórie často zakódované v tréningu a na nové pravidlo sa prispôsobuje ťažko. Shieldstral presúva definíciu politiky do vstupu, takže jeden model možno použiť na odmietnutia, toxicitu, násilie aj pravidlá špecifické pre konkrétnu organizáciu.

Mistral tvrdí, že 3B model sa v textovej bezpečnosti vyrovná alebo prekoná otvorené ochranné modely až sedemnásobnej veľkosti a v multimodálnej moderácii dosahuje nový najlepší výsledok. Firma hodnotila štyri oblasti: bezpečnosť textu, rozpoznanie odmietnutia, adaptáciu na politiku a multimodálnu bezpečnosť. Všetky evaluačné vzorky mali byť oddelené od tréningu. Podrobné porovnania však pochádzajú od samotného autora modelu a budú potrebovať nezávislé overenie.

Dôležitou vlastnosťou je prevádzková veľkosť. Mistral uvádza, že Shieldstral sa zmestí na jednu grafickú kartu NVIDIA so 16 GB pamäte. To umožňuje prevádzkovať moderovanie vo vlastnej infraštruktúre, držať citlivý obsah pod kontrolou organizácie a vyhnúť sa samostatnému vzdialenému API pri každej kontrole. Malý klasifikátor môže byť tiež lacnejšie nasadený pred drahším generatívnym modelom alebo za ním ako výstupný filter.

Tréning spájal verejné aj syntetické dáta s rozdielnymi taxonómiami a formátmi označení. Mistral ich previedol do jednotnej štruktúry inštrukcia–otázka–dokument a menil formulácie, aby model nebol závislý od jediného slovníka. Prísnosť sa kalibrovala podľa zdroja: adversariálne jailbreakové dáta sa posudzovali tvrdšie, kým dáta zamerané na kvalitu odpovedí miernejšie. Výsledkom má byť spoločná rozhodovacia hranica pre pôvodne nekompatibilné datasety.

Na učenie jemných rozdielov medzi politikami firma vytvárala kontrastné príklady. Podobné pravidlá boli zámerne postavené vedľa seba a text sa upravoval tak, aby porušil jedno, ale nie druhé. Pri obrazoch, kde je kvalitných bezpečnostných dát menej, Mistral doplnil všeobecné obrazové datasety ako negatívne príklady, rozširoval otázky a páry filtroval pomocou vision-language rerankera. Viaceré doladené checkpointy následne spojil metódou SLERP.

Flexibilita prirodzeného jazyka zároveň prináša nové riziká. Nejednoznačne napísaná politika môže viesť k nejednoznačnému skóre a drobná zmena otázky môže posunúť rozhodovaciu hranicu. Organizácia preto stále potrebuje verziovanie pravidiel, testovacie sady, audit prahov a ľudské preskúmanie hraničných prípadov. Kalibrované skóre nie je zárukou správnosti a model môže zlyhať pri kultúrnom kontexte, irónii, skrytom texte v obraze alebo pri adversariálnych vstupoch.

Shieldstral je zaujímavý najmä tým, že spája otvorené váhy, multimodalitu a politiku zadávanú počas inferencie. Prevádzkovateľ môže bezpečnostnú vrstvu upravovať bez nového tréningového cyklu a súčasne ju nasadiť lokálne. Reálnu hodnotu však ukážu až testy na konkrétnych pravidlách a jazykoch vrátane slovenčiny. Bez nich by bolo predčasné považovať jeden 3B klasifikátor za univerzálnu náhradu viacvrstvovej moderácie a ľudského dohľadu.