Audit spochybňuje päť populárnych benchmarkov pre priestorovo-časové GNN

Nový audit piatich často používaných benchmarkov upozorňuje, že pokrok v priestorovo-časových grafových neurónových sieťach nemusí byť taký jednoznačný, ako naznačujú tabuľky výsledkov. Výskumníci z Imperial College London, Ruhr University Bochum, Queen Mary University of London a Ben-Gurion University analyzovali datasety Chickenpox, PedalMe, WikiMaths, METR-LA a PEMS-BAY klasickými štatistickými metódami. Ich záver je nepríjemný pre zaužívanú evaluačnú prax: jednoduché modely bez informácie o grafe môžu byť podstatne silnejšou konkurenciou, než ukazujú mnohé publikované porovnania.

Práca sa nesnaží dokázať, že grafové neurónové siete sú zbytočné. Spochybňuje skôr spôsob, akým sa ich prínos meria. Ak dataset obsahuje najmä ľahko predvídateľnú časovú zotrvačnosť, iba slabý dodatočný priestorový signál alebo nevhodne upravené cieľové hodnoty, komplexný model môže dosiahnuť dobré skóre bez toho, aby benchmark presvedčivo preveril jeho grafovú časť. Rozdiel medzi novou architektúrou a jednoduchým časovým modelom potom nemusí vypovedať o všeobecnej kvalite metódy, ale o špecifických vlastnostiach niekoľkých opakovane používaných dátových súborov.

Päť datasetov pod štatistickou lupou

Skúmané benchmarky pokrývajú epidemiologické hlásenia, dopyt po doručovaní, návštevnosť Wikipédie a rýchlosť cestnej premávky. Veľkosťou sa výrazne líšia. PedalMe má podľa auditu iba 15 uzlov a 36 týždenných časových krokov, zatiaľ čo PEMS-BAY zahŕňa 325 uzlov a viac než 52-tisíc meraní v päťminútových intervaloch. Už tento rozdiel naznačuje, prečo by jednotný recept na tréning a porovnávanie modelov nemal automaticky fungovať vo všetkých prípadoch.

Autori merali časovú koreláciu jednotlivých uzlov, koreláciu so susednými uzlami a takzvanú parciálnu priestorovú koreláciu. Posledná metrika sa pokúša oddeliť informáciu, ktorú prinášajú susedia v grafe, od toho, čo už možno odhadnúť z vlastnej histórie daného uzla. Práve toto rozlíšenie je pre GNN podstatné. Vysoká bežná korelácia medzi susedmi ešte neznamená, že graf pridáva nový prediktívny signál; susedné senzory môžu iba súčasne kopírovať rovnaký denný alebo týždenný rytmus.

Pri dopravných datasetoch METR-LA a PEMS-BAY audit našiel silnú, pomaly klesajúcu časovú aj priestorovú koreláciu. Po zohľadnení vlastnej časovej histórie uzlov však priestorová zložka výrazne zoslabla, hoci nezmizla. WikiMaths zasa vykazuje zreteľný sedemdňový cyklus. Chickenpox a PedalMe priniesli odlišný problém: ich verzie používané v knižnici PyTorch Geometric Temporal sú založené na týždenných rozdieloch, nie na pôvodných absolútnych hodnotách.

Keď predspracovanie odstráni užitočný signál

Diferencovanie časového radu znamená, že model namiesto pôvodnej hodnoty dostane rozdiel oproti predchádzajúcemu obdobiu. Ide o štandardný štatistický nástroj, ktorý môže odstrániť trend a pomôcť pri nestacionárnych dátach. Ak sa však použije zbytočne, funguje ako hornopriepustný filter: tlmí pomalé, potenciálne predvídateľné zmeny a relatívne zosilňuje vysokofrekvenčný šum. Model sa potom učí na ťažšom a menej informatívnom cieli.

Audit porovnal diferencovanú verziu Chickenpox s pôvodnými údajmi o týždenných prípadoch ovčích kiahní v maďarských župách. V pôvodnom rade sa objavila pretrvávajúca časová korelácia najmenej do desiateho oneskorenia a viditeľnejší priestorový signál. Autori uvádzajú, že všetky skúšané modely dosiahli lepšiu testovaciu výkonnosť, keď sa trénovali na nediferencovaných dátach, a lepšie zovšeobecňovali medzi tréningovou a testovacou časťou. To naznačuje, že časť doterajšej literatúry mohla porovnávať architektúry na zbytočne poškodenom signále.

Dôležitá je aj otázka baseline modelov. Mnohé práce porovnávajú novú GNN s historickým priemerom, jednoduchou regresiou alebo starším nastavením ARIMA bez rozsiahlejšieho ladenia. Nový audit nasadil sezónny model SARIMA samostatne na jednotlivé uzly, teda bez znalosti hrán grafu. Na Chickenpox a WikiMaths sa takýto priestorovo neinformovaný prístup ukázal ako relevantný konkurent. Pointou nie je nahradiť neurónové siete modelmi zo štatistických učebníc, ale vyžadovať, aby nová metóda prekonávala primerane silnú a správne nastavenú alternatívu.

Graf má predikovať to, čo časový model nevie

Najpraktickejším návrhom práce je hybridný postup. SARIMA najprv modeluje trend, sezónnosť a lokálnu dynamiku každého uzla. Grafová neurónová sieť následne nepredikuje celý budúci signál, ale iba rezíduá — chyby, ktoré zostali po klasickom časovom modeli. Na dopravných datasetoch METR-LA a PEMS-BAY sa tým podľa autorov podarilo dostať jednoduchý hybrid na úroveň špičkových metód. Grafová vrstva sa tak môže sústrediť na priestorové interakcie namiesto opätovného učenia základného denného rytmu premávky.

Tento princíp má širší význam pre tvorbu AI systémov. Komplexný model by mal dostať úlohu, pri ktorej môže využiť svoju špecifickú induktívnu preferenciu. Pri GNN je ňou štruktúra vzťahov medzi uzlami; priestorový model preto treba hodnotiť na dátach, kde susednosť prináša informáciu nad rámec vlastnej histórie meraného bodu. Ak túto podmienku benchmark nespĺňa, rast počtu vrstiev a parametrov nemusí predstavovať skutočný metodický pokrok.

Pre slovenské projekty je to relevantné pri predikcii dopravy, spotreby energií, kvality ovzdušia, šírenia ochorení či zaťaženia infraštruktúry. Malý počet senzorov, krátka história alebo administratívne zmeny v zbere údajov môžu vytvoriť podobné skreslenia ako v auditovaných datasetoch. Pred nasadením GNN by preto mala prísť analýza sezónnosti, autokorelácie, chýbajúcich hodnôt, stability grafu a dodatočnej informácie zo susedných uzlov. Súčasťou pilotu majú byť naivná perzistencia, sezónny priemer, lineárna regresia a dobre vyladený štatistický model.

Čo výsledky zatiaľ nedokazujú

Štúdia je zatiaľ preprint a jej tvrdenia ešte neprešli štandardným konferenčným alebo časopiseckým recenzným procesom. Analýza korelácií sa navyše sústreďuje najmä na lineárne vzťahy. Slabá parciálna lineárna korelácia nevylučuje nelineárnu, oneskorenú alebo kontextovo podmienenú väzbu, ktorú môže GNN zachytiť. Audit tiež skúma päť známych datasetov, nie celý rozsah priestorovo-časových aplikácií, a preto z neho nemožno odvodiť všeobecný verdikt nad všetkými grafovými modelmi.

Otvorená zostáva aj reprodukovateľnosť všetkých porovnaní naprieč implementáciami. Výsledky môžu ovplyvniť rozdelenie časovej osi, normalizácia, horizont predikcie, metrika, ladenie hyperparametrov či zaobchádzanie s chýbajúcimi meraniami. Pôvodný repozitár DCRNN napríklad upozorňuje, že po oprave chyby sa čísla na METR-LA a PEMS-BAY zlepšili oproti publikovanej práci. Aj zdanlivo stabilný benchmark je teda živý softvérový a dátový artefakt, nie nemenná skúška.

Najdôležitejším výsledkom auditu preto nie je nové poradie modelov, ale požiadavka na prísnejší evaluačný protokol. Autori odporúčajú obmedziť závislosť od úzkej skupiny datasetov, kontrolovať štatistické vlastnosti vstupov, porovnávať surové a transformované údaje a používať silné baseline modely. Kým sa tieto zásady nerozšíria, malé zlepšenie na zaužívanom benchmarku by sa nemalo automaticky interpretovať ako dôkaz lepšej priestorovo-časovej inteligencie.