Apple navrhuje zámok, ktorý sťažuje dolaďovanie otvorených jazykových modelov

Apple predstavil výskumnú metódu DLR-Lock, ktorá má obmedziť neoprávnené dolaďovanie jazykových modelov so zverejnenými váhami. Namiesto šifrovania parametrov alebo ukrývania architektúry využíva rozdiel medzi nárokmi inferencie a tréningu. Upravený model má ďalej poskytovať pôvodné schopnosti pri generovaní odpovedí, no spätný priechod potrebný na adaptáciu sa stáva podstatne náročnejší. Práca reaguje na napätie medzi výhodami otvorených váh a obavou, že používateľ môže model cielene preškoliť na použitie, ktoré jeho pôvodný tvorca nechcel podporiť.

Autori vychádzajú z toho, že pri open-weight modeli nemožno počítať s utajením. Používateľ vidí parametre aj architektúru, môže obranu analyzovať a prispôsobiť jej vlastný tréningový postup. Jednoduché štrukturálne prekážky preto dokáže odstrániť alebo obísť. DLR-Lock namiesto toho mení každý predtrénovaný viacvrstvový perceptrón na hlbokú nízkohodnostnú reziduálnu sieť s porovnateľným počtom parametrov. Skratka DLR označuje deep low-rank residual, teda hlbokú reziduálnu konštrukciu založenú na maticiach s nízkou hodnosťou.

Kľúčovým efektom tejto prestavby je rast aktivačnej pamäte počas spätného šírenia chyby. Pri inferencii možno jednotlivé operácie vykonať relatívne efektívne, pretože nie je potrebné uchovávať celý reťazec medzivýsledkov pre výpočet gradientov. Pri trénovaní však spotreba pamäte rastie s hĺbkou vloženej reziduálnej siete. Obrana tak nemení iba počet parametrov, ale predovšetkým pomer medzi cenou dopredného a spätného priechodu. Útočník môže model stále spustiť, no jeho prispôsobenie si vyžaduje viac pamäte a výpočtov.

Apple uvádza, že nové moduly trénuje pomocou distilácie po jednotlivých častiach siete. Cieľom je preniesť správanie pôvodných MLP blokov do hlbších DLR modulov bez toho, aby sa pri bežnom používaní stratili schopnosti modelu. Obrana má zároveň vytvárať architektonický nesúlad so štandardnými postupmi dolaďovania. Nestačí teda iba zaplatiť vyššiu pamäťovú cenu; optimalizátor sa musí vyrovnať aj s odlišnou krajinou strát a so sieťou, ktorej vnútorná štruktúra nebola navrhnutá pre pohodlnú následnú adaptáciu.

Praktický význam je najväčší pre organizácie, ktoré chcú distribuovať model na lokálne alebo regulované nasadenie, ale nechcú používateľom bez obmedzení odovzdať možnosť meniť jeho správanie. Model môže zostať spustiteľný na rôznych softvérových a hardvérových platformách, čo je hlavná výhoda otvorených váh, zatiaľ čo jeho ďalší tréning sa ekonomicky skomplikuje. DLR-Lock však nie je ekvivalentom právnej licencie ani technicky neprelomiteľného zámku. Ide skôr o zvýšenie nákladov a času potrebného na modifikáciu.

Takýto prístup zároveň otvára otázku, čo ešte znamená otvorený model. Tradičné open-weight vydanie umožňuje skúmanie parametrov, reprodukciu inferencie, dolaďovanie aj tvorbu odvodených modelov. Ak architektúra zámerne znevýhodní tréning, používateľ síce váhy dostane, no časť praktickej slobody sa oslabí. Metóda preto môže byť zaujímavá pre komerčnú distribúciu alebo bezpečnostne citlivé prípady, ale menej atraktívna pre komunitný výskum, ktorý je závislý od efektívnych experimentov s adaptáciou.

Dôležitá neistota sa týka odolnosti proti dostatočne motivovanému protivníkovi. Apple tvrdí, že experimenty na jazykových modeloch preverili aj adaptívnych útočníkov s úplnou znalosťou obrany. To je prísnejší predpoklad než bezpečnosť založená na utajení mechanizmu. Verejný opis však sám osebe nedokazuje, že neexistuje lacnejší postup na destiláciu odomknutej náhrady, čiastočné pretrénovanie, optimalizáciu iba vybraných komponentov alebo získanie podobných schopností z výstupov chráneného modelu.

Výsledok treba chápať ako nový bod v priestore kompromisov medzi dostupnosťou, kontrolou a nákladmi. DLR-Lock sa nesnaží zabrániť kopírovaniu súboru s váhami ani kontrolovať, kde model beží. Zameriava sa na konkrétnu asymetriu automatickej diferenciácie a na to, aby bola inferencia podstatne jednoduchšia než spätný priechod. Ak sa metóda osvedčí aj pri väčších architektúrach a rôznych druhoch dolaďovania, tvorcom modelov môže ponúknuť technickú vrstvu medzi úplne uzavretým API a váhami, ktoré možno bez väčších prekážok ďalej trénovať.

Pre ekosystém otvorených modelov je podstatné aj to, ako budú tvorcovia takúto ochranu komunikovať. Používateľ potrebuje vedieť, či dostáva model určený iba na inferenciu, aké hardvérové nároky má prípadná adaptácia a či architektúra zámerne obmedzuje výskumné použitie. Transparentné označenie môže zabrániť tomu, aby sa technicky dostupné váhy automaticky zamieňali za plnú otvorenosť. Apple zatiaľ prezentuje DLR-Lock ako výskumný návrh a jeho širšia použiteľnosť bude závisieť od nezávislej reprodukcie aj od toho, ako rýchlo sa objavia účinné stratégie obchádzania.