Preprint zovšeobecňuje rozhodovacie stromy cez Bregmanove divergencie

Rozhodovacie stromy patria medzi najstaršie a stále veľmi používané nástroje strojového učenia. Ich sila nie je v tom, že by dnes porážali najväčšie neurónové modely, ale v kombinácii zrozumiteľnosti, rýchlosti a schopnosti zachytiť nelineárne pravidlá v tabuľkových dátach. Nový preprint s názvom "A General Framework for Decision Trees via Bregman Divergences" sa preto nepozerá na stromy ako na hotový historický algoritmus, ale ako na širšiu rodinu metód, ktoré možno odvodiť z jednotného matematického princípu.

Autori vychádzajú z klasických CART stromov, teda metódy, ktorá od osemdesiatych rokov formovala praktickú klasifikáciu a regresiu. Bežný strom pri delení uzlov minimalizuje určitú mieru nečistoty alebo chyby: pri regresii napríklad podobu štvorcovej odchýlky, pri klasifikácii Giniho nečistotu alebo entropiu. Preprint ukazuje, že tieto voľby sa dajú chápať ako špeciálne prípady širšej triedy strát založených na Bregmanových divergenciách. Tie sú matematickým spôsobom, ako merať rozdiel medzi dvoma bodmi pomocou konvexnej funkcie; do tejto rodiny patria aj štvorcová vzdialenosť, Kullbackova-Leiblerova divergencia či ďalšie straty známe zo štatistiky a optimalizácie.

Prakticky to znamená, že rozhodovací strom nemusí byť viazaný iba na niekoľko historicky zaužívaných kritérií. Ak sa problém lepšie prirodzene opisuje inou stratovou funkciou, rámec umožňuje formulovať delenie uzlov aj predikcie listov konzistentným spôsobom. To je dôležité najmä pri dátach, kde klasická priemerná štvorcová chyba nie je najvhodnejšia: napríklad pri počítaných udalostiach, pravdepodobnostných rozdeleniach, asymetrických chybách alebo doménach, v ktorých má interpretácia odchýlky jasný štatistický význam.

Z pohľadu výskumu je zaujímavé, že preprint prepája dve línie, ktoré sa často používajú oddelene. Rozhodovacie stromy sú vnímané ako praktický algoritmus s jednoduchou vizuálnou interpretáciou, zatiaľ čo Bregmanove divergencie patria skôr do jazyka konvexnej optimalizácie, informačnej geometrie a štatistických strát. Jednotný rámec môže uľahčiť analýzu toho, kedy sa jednotlivé kritériá správajú podobne, kedy sa rozchádzajú a aké predpoklady v skutočnosti vnášajú do modelu.

Pre aplikácie umelej inteligencie je takáto práca relevantná aj preto, že tabuľkové a štruktúrované dáta nezmizli s nástupom veľkých jazykových modelov. Banky, poisťovne, zdravotnícke analýzy, priemyselná údržba alebo verejná správa často potrebujú modely, ktoré sa dajú auditovať, vysvetliť a porovnať s jednoduchšími pravidlami. Stromové modely a ich súbory preto zostávajú dôležitým základom. Ak nový rámec umožní presnejšie prispôsobiť strom konkrétnej štatistickej úlohe, môže mať dopad aj tam, kde sa neurónové modely používajú len ako doplnok alebo nie sú regulačne vhodné.

Netreba však čítať preprint ako okamžité oznámenie nového produktu alebo náhrady existujúcich knižníc. Ide predovšetkým o teoretický rámec. Jeho hodnota bude závisieť od toho, či naň nadviažu experimenty, implementácie a porovnania na reálnych dátach. Dôležité otázky sú napríklad výpočtová cena hľadania optimálnych delení, stabilita stromov pri menších vzorkách, správanie pri šume a to, či nové divergencie prinášajú lepšiu presnosť alebo interpretovateľnosť oproti dobre odladeným klasickým kritériám.

Rámec má zároveň potenciál zjednodušiť výučbu a audit stromových metód. Namiesto zoznamu samostatných pravidiel pre regresiu, klasifikáciu a špeciálne straty možno ukázať jeden všeobecný mechanizmus a potom vysvetliť, ktoré konkrétne voľby z neho vyplývajú. Pre organizácie, ktoré musia rozhodnutia modelu zdokumentovať, môže byť takáto jednotná formulácia užitočná: pomáha pomenovať, akú chybu model vlastne minimalizuje a prečo je táto chyba primeraná pre daný typ rozhodovania.

Zaujímavý je aj širší signál. Veľká časť pozornosti v AI dnes smeruje k agentom, multimodálnym modelom a výpočtovo náročným tréningom. Tento preprint pripomína, že pokrok môže prichádzať aj z precíznejšieho pochopenia klasických algoritmov. Rozhodovacie stromy sú síce známe desaťročia, ale stále existuje priestor na ich systematické zovšeobecnenie a lepšie prepojenie so súčasnou teóriou strát.

Pre vývojárov a dátových vedcov je najpraktickejší odkaz jednoduchý: pri stromových modeloch sa oplatí premýšľať nielen nad hĺbkou, regularizáciou a počtom stromov, ale aj nad tým, aká strata najlepšie opisuje úlohu. Ak sa rámec z preprintu premietne do dostupných implementácií, môže rozšíriť paletu interpretovateľných modelov bez toho, aby sa stratila hlavná výhoda stromov — schopnosť ukázať rozhodnutie ako sled zrozumiteľných podmienok.