IBM spája štyri modely Granite na prognózy časových radov. Prínosom má byť menšie riziko zlej voľby

IBM Research 22. októbra predstavilo Granite Timeseries Ensemble, recept na spoločné využitie štyroch predtrénovaných modelov časových radov. Namiesto výberu jedinej architektúry dostane používateľ spoločnú prognózu a kvantily, ktoré opisujú rozpätie možných výsledkov. Zostava nevyžaduje dotrénovanie na konkrétnej úlohe ani učenie váh kombinácie z historických chýb. Nejde však o jeden nový model so zlúčenými parametrami: konfigurácia pri použití načíta štyri samostatné modely a spojí ich predpovede.

Podstatou oznámenia nie je dramatický skok v presnosti. V porovnaní publikovanom IBM je náskok pred najsilnejším samostatným členom malý a pri hodnotení pravdepodobnostných prognóz zostáva tento jednotlivý model v jednej zo súhrnných metrík lepší. Zaujímavá je skôr snaha zjednodušiť rozhodovanie dátového tímu. Ak rôzne architektúry zlyhávajú v odlišných situáciách, ich kombinácia môže znížiť závislosť od toho, či firma vopred správne odhadne najvhodnejší model. Táto možnosť však prichádza s vyššími prevádzkovými nákladmi.

Štyri architektúry namiesto jednej stávky

Predvolená zostava obsahuje Granite PatchTST-FM-r1, PatchTST-FM-r2, FlowState-r1.1 a TTM-r3. Zastúpené sú architektúry Patched Transformer, Patched Conformer, model so stavovým priestorom a ľahší MLP mixer. Ide o rôzne výpočtové prístupy k tej istej úlohe: z predchádzajúceho priebehu časového radu odhadnúť jeho pokračovanie. IBM ich spája preto, že trend, sezónnosť, krátkodobé výkyvy a rôzne horizonty predpovede nemusia všetky modely zachytávať rovnako dobre.

Rozmanitosť však nie je automatickou poistkou proti chybe. Štyri modely môžu reagovať podobne na nečakanú zmenu režimu alebo všetky prehliadnuť informáciu, ktorá v časovom rade vôbec nie je. Ak obchod spustí nezvyčajnú zľavu alebo závod zmení výrobný plán, historické hodnoty samy osebe nemusia stačiť. Prínos kombinácie preto závisí nielen od počtu členov, ale aj od kvality a vzájomnej odlišnosti ich chýb. Samotné pridávanie ďalších prediktorov nezaručuje lepšiu prognózu.

Z technického hľadiska je dôležité, že úložisko obsahuje recept, nie jeden veľký balík zlúčených váh. Jednotlivé modely sa sťahujú zo svojich repozitárov pri použití. To uľahčuje obmenu zostavy a zachovanie spoločného formátu výstupu, ale prvé spustenie zahŕňa aj získanie všetkých potrebných súborov. Pri plánovaní služby preto treba rozlišovať medzi studeným štartom a opakovaným výpočtom už načítanej zostavy. Čas prvého spustenia nemožno bez vysvetlenia zamieňať za bežnú latenciu predikcie.

Dve kombinácie a rozdiel medzi istotou a presnosťou

Odporúčanou voľbou je Probabilistic Ensemble. Každému členovi dáva rovnaký vplyv, spojí ich kvantilové predpovede v pravdepodobnostnom priestore a z výsledku vyberie požadované kvantily. Nehľadá optimálne váhy na novej firemnej histórii. Výhodou je jednoduchší a reprodukovateľný postup bez ďalšej fázy učenia kombinácie. Neznamená to však predpovedanie bez vstupných dát: modely stále potrebujú históriu časového radu, z ktorej odhadujú budúci vývoj.

Alternatívny IQR Ensemble prideľuje väčší vplyv modelom s užším predpovedaným rozpätím. Používa odhad medzikvartilového rozpätia a váhy prispôsobuje konkrétnej vzorke, cieľu aj kroku prognózy. Na zachovanie správneho poradia výstupných kvantilov využíva izotonickú regresiu. Aj tu chýba učenie váh z minulých chýb: adaptívnosť vychádza z rozpätia aktuálnych prognóz, nie z overenej úspešnosti člena v podobných situáciách. To je podstatný rozdiel oproti systému, ktorý by si priebežne vyberal historicky najspoľahlivejší model.

Užšie rozpätie pritom nemusí znamenať kvalitnejší odhad. Model môže byť iba prehnane sebavedomý a IQR kombinácia mu potom pridelí väčšiu váhu práve pre túto slabinu. IBM na riziko výslovne upozorňuje a sprístupňuje možnosti, ktorými možno meniť rozdelenie vplyvu či obmedziť dominanciu jedného člena. Pre používateľa z toho vyplýva praktická hranica: poradie kvantilov sa dá technicky upraviť, ale tým sa ešte nezabezpečí, že predpovedané intervaly zodpovedajú skutočnej neistote.

Nezávislý metodický kontext poskytuje práca Til manna Gneitinga a Roopesha Ranjana Combining Predictive Distributions. Skúma kombinovanie prediktívnych rozdelení z pohľadu kalibrácie, konzistentnosti a rozptýlenia, vrátane lineárnych aj nelineárnych postupov. Nejde o hodnotenie nového Granite ani o potvrdenie jeho výsledkov. Pripomína však, že spájanie pravdepodobnostných prognóz má vlastné štatistické vlastnosti a nemožno ho posudzovať iba podľa chyby jedného výsledného čísla. Túto hranicu treba zachovať aj pri čítaní nového oznámenia.

Benchmark ukazuje malý náskok, nie univerzálne prvenstvo

IBM v novom článku uvádza vyhodnotenie na 97 konfiguráciách benchmarku GIFT-Eval. Výsledky porovnáva so stavom verejného rebríčka zachyteným 20. októbra. Pri bodových prognózach dosiahol predvolený ensemble súhrnné MASE 0,683, zatiaľ čo najsilnejší samostatný člen PatchTST-FM-r2 mal 0,685. Nižšia hodnota je lepšia. Rozdiel podporuje tvrdenie o miernom zlepšení v danom porovnaní, nie záver, že štyri modely prinášajú zásadne inú úroveň presnosti na každom rade.

Pri pravdepodobnostných prognózach je obraz odlišný. PatchTST-FM-r2 má v publikovanej tabuľke súhrnné skóre CRPS/MWQL 0,467, oba kombinované recepty približne 0,471. IQR zostava zároveň dosahuje lepšie priemerné poradie v tejto metrike než ostatné zobrazené možnosti. Nie je to rozpor: agregovaná chyba a priemer poradí merajú odlišné vlastnosti. Model môže vychádzať priaznivo naprieč mnohými konfiguráciami, ale mať menej priaznivú súhrnnú veľkosť chýb. Vyberať víťaza podľa jedného stĺpca by preto bolo zavádzajúce.

Dôležitý je aj pôvod porovnávacích dát. GIFT-Eval od tímu Salesforce podľa jeho dokumentácie zahŕňa 23 dátových súborov, približne 144-tisíc časových radov a 177 miliónov dátových bodov zo siedmich domén. Obsahuje rôzne frekvencie meraní aj dĺžky predpovedí. Ide o užitočný nezávislý rámec na posudzovanie všeobecnosti modelov. Existencia širokého benchmarku však sama osebe nepredstavuje nezávislé zopakovanie konkrétnych výsledkov IBM a nenahrádza test na dátach budúceho používateľa.

Pri čítaní zdrojov treba navyše sledovať dátum snímky. Modelová karta obsahuje aj staršie porovnanie zo septembra, kým nový článok pracuje s októbrovým stavom. Menia sa priemerné poradia aj zobrazené pozície medzi vybranými systémami. IBM zároveň filtruje porovnateľné riešenia podľa podmienok, ako sú dostupnosť reprodukčného kódu, deklarované úniky testovacích dát, dotrénovanie a licencie. Tvrdenie o umiestnení preto nemožno bez týchto podmienok zmeniť na všeobecné prvenstvo medzi všetkými prognostickými modelmi.

Čo môže získať slovenská firma

Pre slovenského výrobcu, distribútora alebo prevádzkovateľa budov by zostava mohla byť východiskom pri predpovedaní spotreby, dopytu či prevádzkových veličín. To sú možné oblasti použitia, nie zdokumentované miestne nasadenia. Praktickou výhodou spoločného rozhrania je možnosť vyskúšať viac architektúr bez navrhovania osobitného výstupného formátu pre každú z nich. Firma však musí stále pripraviť správne časové značky, určiť potrebný horizont a rozhodnúť, ako sa prognóza premietne do konkrétneho prevádzkového rozhodnutia.

Najzaujímavejším výstupom nemusia byť samotné mediánové hodnoty. Kvantily umožňujú odlišne pracovať s rizikom nedostatku zásob a s rizikom ich prebytku. Predvolený rozsah od kvantilu 0,1 po 0,9 tvorí interval s nominálnym pokrytím 80 percent. Slovo nominálnym je zásadné: pri správnej kalibrácii by zodpovedajúci podiel skutočných výsledkov mal ležať v takto zostavených intervaloch. Či sa to deje aj pri konkrétnom výrobku alebo merači, musí ukázať spätné testovanie, nie samotná existencia kvantilového výstupu.

Dobré overenie by malo používať opakované historické okamihy predikcie a vždy iba údaje dostupné v danom čase. Kombináciu treba porovnať so samostatným PatchTST-FM-r2 aj s jednoduchou sezónnou referenciou. Vedľa priemernej chyby je vhodné sledovať výsledky jednotlivých prevádzok, položiek a časových horizontov. Inak môže mierne zlepšenie za celý podnik zakryť zhoršenie pri kritickej skupine. Z obchodného pohľadu má navyše rovnaká numerická chyba inú cenu pri bežnej súčiastke a pri materiáli, ktorého nedostatok zastaví výrobu.

Otvorené váhy nerušia prevádzkové obmedzenia

Najkonkrétnejším technickým obmedzením je nezávislé predpovedanie jednotlivých kanálov. Zostava podľa dokumentácie nevyužíva informácie naprieč nimi. Ak spolu súvisí spotreba viacerých strojov alebo predaj príbuzných produktov, tento recept automaticky neznamená modelovanie ich vzťahov. Používateľ nesmie zamieňať prijatie viacerých stĺpcov s využitím ich vzájomnej závislosti. Pri úlohách, kde sú takéto väzby rozhodujúce, treba samostatne overiť, či zvolený postup vôbec zachytáva podstatnú časť problému.

Ďalšou cenou je načítanie a prevádzka štyroch modelov. IBM upozorňuje na vyššiu spotrebu pamäte a dlhší čas inferencie v porovnaní s jediným členom. Zverejnené podklady neposkytujú univerzálny prevádzkový rozpočet pre ľubovoľný počet radov a hardvér. Mierny náskok v presnosti preto nemusí vyvážiť náklady služby, ktorá musí prepočítavať veľa krátkych prognóz. Naopak, pri menej častom plánovaní môže byť dôležitejšia stabilita výsledku. Rozhodnúť sa dá až po spoločnom meraní kvality, času a pamäte.

Predvolený recept a jeho členovia sú podľa IBM dostupní s permisívnymi licenciami; samotná konfigurácia má licenciu Apache 2.0. Rozšírené experimentálne recepty však môžu obsahovať iné modely IBM Research s nekomerčnými alebo výskumnými obmedzeniami. Licenciu jedného receptu preto nemožno preniesť na každú možnú zostavu. Ani pri otvorených váhach zároveň nevzniká záruka kalibrácie či odolnosti pri zmene charakteru dát. Prevádzkový dohľad zostáva potrebný aj po úspešnom úvodnom teste.

Granite Timeseries Ensemble tak prináša najmä praktickejší spôsob práce s viacerými prognostickými modelmi. Znižuje potrebu staviť všetko na jednu architektúru, ale neodstraňuje výber metrík, kontrolu dát ani zodpovednosť za následné rozhodnutia. Pre slovenské tímy je rozumným čítaním oznámenia pozvanie na porovnateľný pilot, nie pokyn vymeniť existujúce predpovede. Rozhodujúcim výsledkom nebude miesto v rebríčku, ale to, či malý zisk v presnosti a lepšie vyjadrená neistota prinesú merateľnú hodnotu pri prijateľných celkových nákladoch.