Apple skúma, kedy môže byť odúčanie dát lacnejšie vďaka bodom s nízkym vplyvom

Apple Machine Learning Research publikoval prácu o tom, ako znížiť výpočtové náklady pri takzvanom machine unlearningu, teda pri odstraňovaní vplyvu konkrétnych tréningových dát z už natrénovaného modelu. Téma súvisí so súkromím, právom na vymazanie údajov a s budúcou správou datasetov. Keď organizácia dostane požiadavku, aby určitý záznam alebo skupinu záznamov prestala používať, nestačí ich vymazať zo súboru. Ak už boli súčasťou tréningu, môžu stále ovplyvňovať správanie modelu.

Bežné prístupy k odúčaniu často predpokladajú, že všetky body v takzvanej množine na zabudnutie treba riešiť rovnako. Apple v tejto práci kladie jednoduchú, ale dôležitú otázku: ak niektoré body mali na výsledný model zanedbateľný vplyv, musíme ich odúčať rovnakým drahým postupom ako body, ktoré správanie modelu naozaj menia? Autori preto skúmajú vplyvové funkcie naprieč jazykovými a vizuálnymi úlohami a hľadajú podmnožiny dát, ktorých odstránenie má minimálny dopad na výstupy.

Výsledkom je rámec, ktorý najprv zmenší dataset určený na odúčanie a až potom aplikuje samotnú metódu unlearningu. Podľa stránky Apple môžu takto dosiahnuť významné úspory výpočtu, v niektorých prípadoch až okolo polovice, bez toho, aby sa znížila kvalita odúčania. Dôležitý je práve predbežný filter: cieľom nie je ignorovať citlivé dáta, ale rozlíšiť, ktoré z nich reálne menili model a ktoré boli z pohľadu naučeného správania takmer neutrálne.

Takýto prístup je prakticky dôležitý, pretože odúčanie je dnes jednou z najťažších častí zodpovedného ML. Úplné pretrénovanie modelu po každej žiadosti o vymazanie je drahé, pomalé a pri veľkých modeloch často nereálne. Aproximačné metódy sú rýchlejšie, ale musia presvedčivo ukázať, že požadovaný vplyv dát naozaj odstránili. Ak sa dá pred odúčaním spoľahlivo určiť, ktoré body netreba spracúvať drahým postupom, môže to znížiť náklady bez toho, aby sa oslabila ochrana používateľa.

Apple testuje myšlienku na jazykových aj obrazových úlohách, čo je dôležité pre širšiu použiteľnosť. Vplyv jedného dátového bodu sa môže líšiť podľa architektúry, dátovej distribúcie aj úlohy. Pri klasifikácii obrazu môže byť určitý príklad redundantný, kým pri jazykovej úlohe môže zriedkavá formulácia alebo konkrétna entita ovplyvniť model viac. Preto je užitočné, že výskum neostáva pri jednej úzkej doméne.

Z regulačného hľadiska ide o jeden z komponentov budúcej auditovateľnosti modelov. Ak má firma tvrdiť, že vyhovela požiadavke na odstránenie dát, bude potrebovať dôkaz o tom, čo sa s modelom stalo. Rámec založený na vplyve dát môže pomôcť rozlišovať medzi formálnym vymazaním z datasetu a skutočným znížením vplyvu na model. Samozrejme, samotná metóda ešte nerieši právne otázky, ale dáva technický jazyk pre diskusiu o nákladoch, dôkazoch a rizikách.

Pre vývojárov veľkých modelov je význam aj ekonomický. Ak sa unlearning stane bežnou prevádzkovou požiadavkou, bude musieť byť plánovaný už pri návrhu tréningu a dátových pipeline. Firmy si budú musieť uchovávať metadáta o pôvode záznamov, vedieť identifikovať súvisiace príklady a odhadovať, aký vplyv mali na model. Výskum Apple ukazuje, že samotný výber bodov na odúčanie môže byť optimalizačný problém, nie iba administratívny zoznam.

Treba však dodať, že ide o výskumnú prácu, nie o hotový produktový mechanizmus v zariadeniach Apple. Vplyvové funkcie majú vlastné aproximačné predpoklady a pri veľmi veľkých modeloch môže byť ich presné použitie náročné. Dôležitá bude aj validácia voči útokom, ktoré by sa snažili zistiť, či konkrétny záznam v modeli zostal. Bez takýchto testov by lacnejší unlearning mohol vyzerať dobre na metrikách, ale zlyhať pri bezpečnostnom audite.

Napriek tomu práca posúva debatu správnym smerom. Súkromie v AI nebude vyriešené jedným tlačidlom na vymazanie dát, ale kombináciou dátovej správy, tréningových protokolov, testovania a lacnejších oprav modelov po nasadení. Ak sa potvrdí, že body s nízkym vplyvom možno spoľahlivo odfiltrovať, odúčanie sa môže stať menej výnimočnou a menej nákladnou operáciou. To je dôležité pre každého, kto chce používať modely nad citlivými alebo často menenými dátami.