α-TCAV chce opraviť štatistickú slabinu vysvetľovania neurónových sietí

Metódy na vysvetľovanie neurónových sietí sa v posledných rokoch presunuli z akademickej kuriozity do praktického nástroja pre firmy, regulované odvetvia aj interné audity modelov. Jednou z najznámejších techník je Testing with Concept Activation Vectors, skrátene TCAV. Namiesto toho, aby výskumník sledoval jednotlivé pixely alebo konkrétne neuróny, pýta sa modelu zrozumiteľnejšou rečou konceptov: reaguje sieť na prítomnosť pruhov, textúry, farby, medicínskeho znaku alebo iného ľudsky pomenovateľného vzoru? Práve táto schopnosť spájať rozhodovanie modelu s pojmami, ktorým rozumejú ľudia, urobila z TCAV obľúbený nástroj pri interpretácii hlbokého učenia.

Nový preprint α-TCAV však upozorňuje, že za intuitívnym rozhraním sa skrýva štatistický problém, ktorý môže znižovať dôveru v výsledné skóre. Autori analyzujú samotné vektory konceptov aj spôsob, akým sa z nich počíta finálny ukazovateľ vplyvu konceptu na predikciu. Tvrdia, že tradičné TCAV skóre stojí na nespojitom indikátore, a práve ten v kritických režimoch vytvára rozptyl, ktorý sa prirodzene neznižuje ani vtedy, keď sa výskumník snaží odhad spresniť ďalším vzorkovaním. Inými slovami, problém nemá byť len v malom počte behov, ale v konštrukcii samotného skóre.

To je dôležitá výhrada, pretože TCAV sa často používa v situáciách, kde sa od vysvetlenia očakáva viac než ilustratívny graf. Ak organizácia model audituje, porovnáva dve verzie systému alebo vysvetľuje citlivé rozhodnutia internému risk tímu, potrebuje vedieť, či zistený vplyv konceptu vznikol v dátach a modeli, alebo je len produktom nestability metódy. Pri technikách vysvetliteľnej AI nestačí, že výstup vyzerá presvedčivo; musí byť aj dostatočne reprodukovateľný. Práve preto autori venujú veľkú časť práce odvodením rozdelení pre viacero tried CAV vrátane PatternCAV, FastCAV a ridge-regression variantu.

Navrhovaná odpoveď sa volá α-TCAV. Namiesto ostrého rozhodovania typu áno alebo nie zavádza parametrizovanú hladkú funkciu, ktorá má spojiť klasické TCAV a Multi-TCAV do jednej pravdepodobnostnej formulácie. Výsledkom nemá byť iba nová značka na už známu techniku, ale rámec, v ktorom sa dá presnejšie nastaviť kompromis medzi interpretovateľnosťou, štatistickou stabilitou a výpočtovou cenou. Autori tvrdia, že pri vhodnej voľbe parametra vie α-TCAV buď napodobniť Multi-TCAV s nižšími nákladmi, alebo ponúknuť kalibrovanejší pohľad na to, nakoľko daný koncept skutočne ovplyvňuje výstup modelu.

Z praktického hľadiska znie zaujímavo aj ich odporúčanie, ktoré ide proti časti zaužívanej praxe. Namiesto rozdeľovania vzorkovacieho rozpočtu medzi viacero CAV navrhujú v mnohých prípadoch investovať celý rozpočet do jediného CAV. Ak sa tento záver potvrdí aj mimo teoretickej analýzy, môže to zmeniť spôsob, akým tímy navrhujú interné explainability pipeline. Menej behov pri lepšej stabilite totiž znamená nižší výpočtový účet aj jednoduchšie porovnanie medzi experimentmi.

Pre AI priemysel je takýto posun dôležitý aj z iného dôvodu. Vysvetliteľnosť sa postupne dostáva z výskumných laboratórií do produktových a regulačných procesov. Banky, poisťovne, nemocnice či veľké priemyselné firmy nechcú iba silnejší model; potrebujú vedieť, čo model sleduje, kedy sa môže mýliť a či sa dá jeho správanie porovnať medzi verziami. Ak základná metrika pri interpretácii trpí nepredvídateľným rozptylom, každé ďalšie rozhodovanie nad takým vysvetlením je slabšie ukotvené. α-TCAV preto zapadá do širšieho trendu, kde sa explainability neposudzuje len podľa zrozumiteľnosti, ale aj podľa štatistickej disciplíny.

Zároveň platí, že ide zatiaľ o čerstvý preprint a nie o uzavretý priemyselný štandard. Tradičný problém podobných prác je, že silná teoretická kritika ešte automaticky neznamená bezbolestné nasadenie v reálnych modelových stackoch. Otvorené ostáva, ako sa navrhovaný rámec správa naprieč architektúrami, doménami a typmi konceptov, ktoré firmy v praxi sledujú. Veľa napovie až to, či sa α-TCAV objaví v open-source knižniciach, benchmarkoch pre vysvetliteľnosť a interných evaluačných postupoch väčších tímov.

Aj bez toho je však tento preprint zaujímavým signálom, že ďalšia vlna AI evaluácií nebude len o presnosti a nákladoch inferencie. Rovnaký tlak sa presúva aj na kvalitu nástrojov, ktorými si modely vysvetľujeme. Ak sa ukáže, že doteraz rozšírené skóre meralo vplyv konceptu s konštrukčnou chybou, dôsledok nie je akademický detail, ale otázka dôvery v interpretáciu modelov. Práve preto sa α-TCAV oplatí sledovať: môže ovplyvniť nielen výskum explainability, ale aj to, aké dôkazy budú firmy a regulované tímy považovať za dostatočne pevné pri kontrole správania moderných neurónových sietí.