NVIDIA Kumo Tabular prináša základný model pre predikcie z tabuliek

NVIDIA predstavila Kumo Tabular, rodinu základných modelov určených na klasifikáciu a regresiu nad tabuľkovými údajmi. Namiesto trénovania samostatného modelu pre každú úlohu dostane Kumo označené riadky ako kontext a v jednom doprednom priechode predikuje triedy alebo číselné hodnoty pre nové riadky. Model je dostupný v troch veľkostiach od 28 miliónov do 215 miliónov parametrov, jeho váhy sú zverejnené na Hugging Face a zdrojový kód knižnice Structured Data Models je dostupný na GitHube. Ide o nový pokus preniesť princíp učenia z kontextu z jazykových modelov do firemných tabuliek.

Podľa výsledkov zverejnených tímom NVIDIA sa Kumo Tabular umiestnil na prvom mieste v benchmarkoch TabArena, BeyondArena, TALENT a ScoringBench. Toto tvrdenie zatiaľ treba čítať ako výsledok autorov modelu, nie ako všeobecne potvrdenú prevahu vo všetkých reálnych úlohách. Repozitár však obsahuje benchmarkovú časť určenú na reprodukciu výsledkov a verejne dostupné váhy umožňujú nezávislé testovanie. To je podstatné najmä pri tabuľkových dátach, kde výkon výrazne závisí od veľkosti vzorky, typu premenných, chýbajúcich hodnôt, časových posunov a rozdielov medzi tréningovou a produkčnou distribúciou.

Model sa učil výhradne na umelých tabuľkách

Najvýraznejšou vlastnosťou Kumo Tabular je spôsob predtrénovania. NVIDIA uvádza, že model nebol predtrénovaný na zozbieraných podnikových databázach, ale na miliónoch umelo vytvorených tabuliek. Generátor zostavoval náhodné kauzálne grafy, funkčné vzťahy, numerické aj kategorické stĺpce, skryté premenné, chýbajúce hodnoty a rôzne formy šumu. Malé, stredné a veľké varianty podľa autorov počas tréningu videli približne 35, 71 a 137 miliónov syntetických tabuliek. Cieľom je naučiť všeobecný mechanizmus predikcie bez kopírovania konkrétnych záznamov z reálnych databáz.

Architektúra spracúva tabuľku v niekoľkých úrovniach. Najprv vytvára reprezentácie buniek a rozlišuje numerické, kategorické a chýbajúce hodnoty. Následne kombinuje pozornosť medzi hodnotami v rovnakom stĺpci s pozornosťou naprieč stĺpcami jedného riadka. Záverečný transformátor porovnáva nové riadky s kontextom označených príkladov. Pri klasifikácii vracia pravdepodobnosti tried, pri regresii predikuje súbor kvantilov, z ktorých možno odvodiť bodový odhad aj mieru neistoty. Kontext sa dá uložiť do vyrovnávacej pamäte, takže pri opakovaných predikciách netreba zakaždým prepočítavať všetky označené riadky.

Kumo nadväzuje na smer, ktorý reprezentuje napríklad TabPFN. Výsledky publikované v časopise Nature už ukázali, že predtrénovaný model môže pri malých tabuľkových dátach konkurovať tradičným postupom bez zdĺhavého vyhľadávania hyperparametrov. Kumo rozširuje túto myšlienku na väčší kontext a pokúša sa zlepšiť pomer presnosti a času výpočtu. NVIDIA uvádza tréning s tabuľkami do 60-tisíc riadkov a 100 stĺpcov, pričom zaviedla aj úpravu teploty pozornosti podľa dĺžky kontextu. Tá má zabrániť tomu, aby sa pozornosť pri veľkých tabuľkách rozptýlila medzi priveľa položiek.

Benchmarky naznačujú silný výkon, nie automatické víťazstvo

V TabArena dosiahol podľa NVIDIA najlepší variant hodnotenie ELO 1950 a pri jednotnom teste na GPU RTX 6000 Pro mal byť 17-krát rýchlejší než model LimiX-2. V BeyondArena autori uvádzajú ELO 1418 a prvé miesto. Prvenstvo hlásia aj v súhrnných hodnoteniach benchmarku TALENT pre klasifikačnú presnosť, logaritmickú stratu a regresnú chybu RMSE. V ScoringBench, ktorý skúma kvalitu pravdepodobnostných distribúcií, obsadili veľký a stredný variant podľa zverejnených výsledkov prvé dve pozície podľa priemerného poradia.

Takéto porovnania sú užitočnejšie než výsledok na jednom datasete, stále však nevystihujú celú produkčnú realitu. Hodnotenie môže ovplyvniť výber dátových súborov, časový limit, dostupný hardvér, spôsob predspracovania aj rozsah ladenia konkurenčných metód. ELO navyše vyjadruje relatívne poradie v konkrétnej sade súbojov, nie absolútnu pravdepodobnosť úspechu na novej firemnej tabuľke. Kým výsledky nezopakujú ďalšie tímy, najpresnejšie je hovoriť o silnom výsledku deklarovanom autorom, ktorý možno vďaka dostupnému kódu a váham prakticky preveriť.

Dôležitou kontrolnou skupinou zostávajú gradientne zosilnené stromy, náhodné lesy a platformy typu AutoML. Pri mnohých úlohách sú lacné, dobre známe a ľahšie vysvetliteľné. Hodnota Kumo preto nemusí spočívať v tom, že vždy dosiahne najvyššiu presnosť, ale v skrátení cesty od tabuľky k použiteľnej referenčnej predikcii. Tím môže model spustiť bez dolaďovania, získať východiskový výsledok a až následne rozhodnúť, či má význam investovať do ručnej tvorby príznakov, ladenia stromových modelov alebo tréningu špecializovanej neurónovej siete.

Praktický význam pre firmy a menšie tímy

Pre slovenské firmy môže byť zaujímavý najmä scenár s obmedzeným množstvom označených údajov. Predikcia odchodu zákazníka, pravdepodobnosti reklamácie, spotreby energie, poruchy stroja alebo omeškania platby často začína tabuľkou, pri ktorej nie je ekonomické budovať rozsiahly tréningový systém. Kumo umožňuje použiť existujúce označené riadky priamo ako kontext. Verejný príklad pracuje s dátovým rámcom z knižnice pandas a model sa volá cez GPU knižnicu Structured Data Models. To znižuje vstupnú technickú bariéru, hoci stále nejde o bezobslužné nasadenie.

Praktickou výhodou je oddelenie kódu a váh. Knižnica od NVIDIA je zverejnená pod licenciou Apache 2.0, zatiaľ čo modelové váhy používajú licenciu OpenMDW 1.1. Organizácia preto musí posúdiť obe vrstvy a overiť, či podmienky zodpovedajú plánovanému komerčnému použitiu. Modelová karta zároveň uvádza, že Kumo nie je dostupné cez hostovaných poskytovateľov inferencie na Hugging Face. Nasadenie tak v súčasnosti predpokladá vlastné prostredie a GPU, čo môže byť pri menších objemoch drahšie než klasický stromový model bežiaci na procesore.

Pred produkciou treba testovať viac než priemernú presnosť. Pri úveroch, poistení, zdravotníctve alebo personálnych rozhodnutiach je dôležitá kalibrácia pravdepodobností, stabilita medzi skupinami, odolnosť voči chýbajúcim hodnotám a vysvetliteľnosť konkrétneho rozhodnutia. Kumo poskytuje kvantily pri regresii, ale to samo osebe nezaručuje správne odhadnutú neistotu na lokálnych dátach. Organizácie by mali zachovať časovo alebo geograficky oddelenú testovaciu množinu, porovnať model s jednoduchým základom a sledovať zmenu distribúcie po nasadení. Bez týchto krokov môže rýchly štart iba urýchliť cestu k nespoľahlivej predikcii.

Čo ešte nevieme

NVIDIA otvorene uvádza viaceré obmedzenia. Model natívne pracuje s numerickými a kategorickými stĺpcami; text, obraz alebo časové pečiatky sa musia najprv previesť na príznaky. Jeden priechod priamo podporuje najviac desať tried, pričom väčší počet rieši knižnica pomocou chybovo korigujúcich výstupných kódov. Presnosť môže klesnúť pri tabuľkách výrazne väčších než tréningový rozsah alebo keď nové riadky pochádzajú z inej distribúcie než kontext. Autori tiež oznámili, že tréningový recept a generátory syntetických dát zverejnia neskôr, takže úplná reprodukcia predtrénovania zatiaľ nie je možná.

Kumo Tabular je preto najpresvedčivejšie vnímať ako verejne testovateľný nový základ pre tabuľkové strojové učenie, nie ako univerzálnu náhradu doterajších metód. Ak nezávislé reprodukcie potvrdia deklarovaný pomer presnosti a rýchlosti, môže zmeniť spôsob, akým tímy vytvárajú prvé modely nad firemnými dátami. Rozhodujúce však bude, ako si poradí s lokálnymi kategóriami, nevyváženými triedami, časovým posunom, regulačnými požiadavkami a nákladmi na GPU. Dostupnosť váh, implementácie aj benchmarkov dáva komunite dobrý základ, aby tieto otázky overila mimo laboratória NVIDIA.