Preprint spája kauzálne učenie s interpretovateľnými modelmi pre rozhodovanie

Nový preprint zverejnený na arXive posúva diskusiu o vysvetliteľnej umelej inteligencii od otázky „prečo model predikoval práve toto“ k ťažšej otázke: „čo by sa stalo, keby sa zmenil zásah alebo rozhodnutie“. Práca s názvom A Step Towards Inherently Interpretable Causal Machine Learning Models For Decision Support skúma, ako spojiť kauzálne strojové učenie s modelmi, ktoré sú interpretovateľné už svojou vnútornou štruktúrou, nie až dodatočnou vysvetľovacou vrstvou.

Autor vychádza z praktického problému, ktorý sa týka zdravotníctva, financií, verejnej správy aj priemyselných rozhodovacích systémov. Veľa dnešných modelov vie dobre predpovedať riziko, dopyt alebo výsledok procesu, no väčšinou sa učia najmä korelácie v historických dátach. To môže stačiť pri odporúčaní obsahu alebo odhade pravdepodobnosti, ale je to slabšie tam, kde manažér, lekár alebo úradník potrebuje porozumieť účinku možného zásahu. Rozhodovanie si často nevyžaduje iba odpoveď „čo sa pravdepodobne stane“, ale aj „čo sa zmení, ak urobíme A namiesto B“.

Preprint preto navrhuje smer, v ktorom sa interpretable machine learning a kauzálne modelovanie nemajú chápať ako oddelené disciplíny. Interpretovateľné modely zvyčajne poskytujú čitateľnejšie pravidlá, stromy, aditívne príspevky alebo štruktúry, ktorým sa dá ľahšie rozumieť. Kauzálne učenie sa zase snaží odlíšiť štatistickú súvislosť od vzťahu príčiny a následku. Ak sa tieto dva prístupy skombinujú, výsledkom by mohli byť systémy, ktoré sú použiteľné nielen na predikciu, ale aj na audit rozhodnutí a analýzu scenárov.

Dôležité je, že autor neponúka ďalší post hoc vysvetľovač prilepený na čiernu skrinku. Práca sa sústreďuje na modely, ktorých štruktúra má byť zrozumiteľná sama o sebe a zároveň má odrážať kauzálne vzťahy medzi premennými. To je redakčne zaujímavé najmä preto, že mnoho nasadení AI v regulovaných oblastiach naráža práve na rozdiel medzi technickou presnosťou a dôveryhodnosťou rozhodnutia. Ak má systém odporúčať úverový limit, liečebný postup alebo operačný zásah vo firme, nestačí tvrdiť, že na testovacej množine dosiahol dobré skóre.

Pre bežné podnikové nasadenia z toho vyplýva praktický signál: vysvetliteľnosť by sa nemala merať iba tým, či model dokáže po rozhodnutí vygenerovať pekný graf dôležitosti premenných. V rozhodovacích procesoch je podstatnejšie, či model pomáha pochopiť mechanizmus, podmienky a hranice odporúčania. Kauzálne interpretovateľný prístup by napríklad mohol ukázať, ktoré premenné sú pravdepodobne len sprievodným javom a ktoré sú skutočne súčasťou reťazca, na ktorý sa dá pôsobiť.

Preprint uvádza, že hodnotenie takýchto modelov má zohľadňovať viac než jednu metriku. Popri predikčnej presnosti je potrebné sledovať interpretovateľnosť, schopnosť podporovať čo-ak analýzy a zrozumiteľnosť štruktúry systému. To je dôležitá pripomienka v čase, keď sa mnohé AI projekty stále rozhodujú podľa leaderboardov alebo jedného agregovaného skóre. V reálnom nasadení však model s o niečo nižšou presnosťou môže byť bezpečnejší, ak poskytuje lepšie vysvetlenie a stabilnejšiu oporu pre ľudské rozhodovanie.

Treba zároveň zachovať primeranú opatrnosť. Ide o výskumný preprint, nie o hotový priemyselný štandard alebo univerzálny návod na audit všetkých rozhodovacích modelov. Kauzálne závery sú citlivé na predpoklady, kvalitu dát a správne určenie vzťahov medzi premennými. Ak sú vstupné predpoklady chybné, ani interpretovateľná forma modelu sama osebe nezaručí správne rozhodnutie. Práve preto je dôležité, aby podobné systémy zostali súčasťou širšieho procesu validácie, doménovej kontroly a spätného testovania.

Zaujímavý je aj širší kontext regulácie. Európske aj americké diskusie o vysoko rizikovej AI čoraz viac zdôrazňujú dokumentáciu, vysvetliteľnosť, dohľad a možnosť spätne preveriť rozhodnutie. Práca zapadá do tejto línie tým, že vysvetliteľnosť neredukuje na používateľsky prívetivý výstup, ale chápe ju ako vlastnosť modelu a jeho vzťahu k rozhodovanej realite. Pre firmy to znamená, že budú musieť premýšľať nielen nad tým, aký model použiť, ale aj nad tým, či jeho logika zodpovedá typu rozhodnutí, ktoré má podporovať.

Ak sa tento smer uchytí, môže pomôcť zmenšiť medzeru medzi dátovou vedou a zodpovedným rozhodovaním. Namiesto modelov, ktoré produkujú skóre a následne vyžadujú samostatný výklad, by organizácie mohli častejšie používať systémy navrhnuté priamo na transparentné porovnávanie možností. To je menej efektné než ďalší veľký jazykový model, ale pre každodennú AI v bankách, nemocniciach, poisťovniach alebo verejných službách môže ísť o podstatnejší posun.