MADQI hodnotí námorné anomálie v AIS dátach aj bez ručne označených príkladov

Nový preprint na arXive sa venuje praktickému problému, ktorý sa v aplikovanej umelej inteligencii často skrýva za peknými grafmi: ako zistiť, či nesupervidovaný model naozaj dobre hľadá anomálie, keď nemáme ručne označené správne odpovede. Autori Ismet Gocer, Zakirul Bhuiyan, Raza Hasan a Shakeel Ahmad túto otázku riešia na dátach z námorného systému AIS, teda z automatických správ, ktoré lode vysielajú o polohe, rýchlosti, kurze a čase. Výsledkom je návrh metriky Maritime Anomaly Detection Quality Index, skrátene MADQI.

AIS dáta sú pre námornú bezpečnosť dôležité, ale zároveň sú špinavé a nerovnomerné. Plavidlo môže zmeniť rýchlosť, prudko zatočiť, vysielať s časovými medzerami alebo sa v záznamoch zdanlivo presunúť nepravdepodobne ďaleko. Niektoré takéto prípady sú skutočne podozrivé, iné sú iba dôsledkom pokrytia, chyby senzora alebo špecifickej prevádzky. Pri klasickom učení s učiteľom by bolo ideálne mať veľký súbor označených príkladov, lenže v praxi bývajú drahé, neúplné a viazané na konkrétny región či typ dopravy. Preto sa často používajú nesupervidované metódy, napríklad Isolation Forest, ktoré vyhľadávajú nezvyčajné vzory bez explicitných štítkov.

Problémom je, že takýto model možno spustiť pomerne ľahko, ale ťažšie je povedať, či jeho výstup dáva zmysel. Ak algoritmus označí príliš veľa bodov za anomálie, operátori budú zahltení. Ak ich označí príliš málo, prehliadne rizikové správanie. A ak hodnotenie stojí iba na vizuálnej kontrole alebo na jednej pomocnej štatistike, model môže vyzerať dobre bez toho, aby bol v reálnom prostredí použiteľný. Práve tu autori vkladajú MADQI ako zložený index, ktorý sa nesnaží nahradiť doménových expertov, ale vytvoriť systematickejšie porovnanie kvality detekcie.

MADQI kombinuje štyri prepojené pohľady. Anomaly Rate Consistency sleduje, či podiel označených anomálií ostáva v rozumnej a stabilnej miere. Physical Plausibility Score hodnotí, či zachytené prípady zodpovedajú fyzikálne nepravdepodobnému alebo prevádzkovo podozrivému správaniu. Score Distribution Separation skúma, či sú skóre bežných a podozrivých bodov dostatočne oddelené, aby nešlo iba o náhodný šum na hranici rozhodnutia. Extreme Case Evidence sa zameriava na to, či model zachytáva naozaj extrémne prípady, napríklad výrazné skoky v polohe alebo prudké zmeny rýchlosti.

Dôležitým detailom je, že autori do hodnotenia zapájajú aj geografickú logiku. Pri analýze AIS záznamov používajú Haversinovu vzdialenosť, ktorá počíta vzdialenosť medzi bodmi na zemskom povrchu. To je pri lodných trasách podstatné, pretože jednoduché porovnanie súradníc môže skresľovať reálnu vzdialenosť a následne aj odhad, či je presun medzi dvoma hláseniami fyzicky možný. Index sa potom normalizuje cez viacero častí dát a adaptívne škálovanie, aby nebol príliš závislý od jednej konkrétnej vzorky.

V experimentoch na AIS dátach autori uvádzajú výsledné skóre MADQI 80,37 percenta. Z jednotlivých zložiek vyzdvihujú najmä Extreme Case Evidence so skóre 0,907 a Anomaly Rate Consistency so skóre 1,000. To podľa nich naznačuje, že navrhnutý rámec vie dobre zachytiť extrémne prípady a zároveň držať konzistentný rozsah označených anomálií. Treba však zdôrazniť, že ide o preprint, nie o finálny priemyselný štandard. Zaujímavý je predovšetkým smer: hodnotiť nesupervidované systémy viacrozmerným indexom, ktorý zohľadňuje štatistiku aj doménovú fyziku.

Pre AI prax je táto práca relevantná aj mimo námornej dopravy. Rovnaký typ problému sa objavuje pri detekcii podvodov, pri monitorovaní priemyselných zariadení, v kyberbezpečnosti alebo pri sledovaní logistických tokov. Vo všetkých týchto oblastiach sú anomálie vzácne, označené dáta obmedzené a nesprávna metrika môže viesť k modelu, ktorý je formálne presný, ale prevádzkovo neužitočný. MADQI ukazuje, že hodnotenie modelu by malo byť naviazané na to, čo je v danej doméne fyzicky, ekonomicky alebo bezpečnostne zmysluplné.

Praktický dopad bude závisieť od ďalšieho overenia. Index bude potrebné testovať na rôznych prístavoch, typoch lodí, sezónach a hustote dát, ideálne aj s expertmi, ktorí posúdia, či označené prípady naozaj zodpovedajú riziku. Ak sa podobný prístup osvedčí, môže pomôcť znížiť jednu zo slabín nesupervidovanej AI: neistotu pri vyhodnocovaní. Pre operátorov by to znamenalo lepší spôsob, ako porovnávať modely pred nasadením a ako monitorovať, či sa ich správanie časom nezhoršuje.

Najväčšia hodnota práce tak nie je iba v konkrétnom čísle 80,37 percenta, ale v redakčne jednoduchšej pointě: umelá inteligencia na anomálie potrebuje okrem algoritmu aj dôveryhodný spôsob merania. Bez neho je ťažké odlíšiť užitočné varovanie od štatistickej kuriozity. MADQI je pokusom posunúť túto časť pipeline bližšie k tomu, čo vyžadujú reálne bezpečnostné a dopravné systémy.