Preprint testuje, kedy syntetická hmla láme detekciu dronov

Nový preprint na arXive skúma praktický problém počítačového videnia: ako hmla zhoršuje detekciu a sledovanie malých bezpilotných lietadiel v záberoch s veľkým podielom oblohy. Autori namiesto čisto obrazového benchmarku skladajú celý reťazec od syntetickej hmly cez obnovu obrazu až po detektor a sledovanie objektu. Výsledkom je užitočné upozornenie pre tímy, ktoré vyvíjajú kamerové systémy do zlého počasia: nestačí, aby obrázok po odhmlení vyzeral lepšie, ak downstream model stále míňa cieľ.

Problém je prakticky náročný už pri zbere dát. Malé UAV objekty sú v diaľke ťažko viditeľné aj za jasného počasia a skutočné hmlisté scény s presnými anotáciami sa zbierajú ťažko. Autori preto vychádzajú z reálnych jasných vonkajších záberov s UAV cieľmi a hmlu vytvárajú synteticky pomocou monokulárneho odhadu hĺbky a atmosférického rozptylového modelu. Takýto postup umožňuje zachovať anotácie z pôvodných scén a systematicky meniť degradačné podmienky bez drahého terénneho zberu.

Kľúčové je, že práca neostáva pri meraní vizuálnej kvality obnovy obrazu. V mnohých počítačovovíziových projektoch sa odhmlenie alebo iný restoration modul hodnotí metrikami, ktoré porovnávajú vzhľad obrázka. To však nemusí zodpovedať tomu, či následný detektor lepšie nájde malý objekt. Pre bezpečnostné, monitorovacie alebo priemyselné systémy je rozhodujúca úloha, nie estetika. Autori preto prepájajú obnovu obrazu s detekciou a následným tracking-by-detection sledovaním vo videosekvenciách.

V experimente porovnávajú viac rodín metód obnovy obrazu, od klasických postupov cez konvolučné siete až po transformerové prístupy. Následne vybraný restoration model vkladajú do percepčného potrubia a sledujú, ako sa mení robustnosť detektorov. Detekcia sa testuje v dvoch tréningových režimoch: modely trénované iba na čistých záberoch a modely, ktoré počas tréningu videli aj hmlisté príklady. Toto rozlíšenie je dôležité, pretože ukazuje rozdiel medzi rýchlou testovacou opravou vstupu a systematickým učením robustnosti.

Zhrnutie výsledkov je intuitívne, ale dôležité: hmla výrazne zhoršuje detekciu aj sledovanie, najmä cez nárast vynechaných detekcií. Ak detektor objekt vôbec nenájde, tracker nemá na čom stavať a chyba sa prenáša do ďalších snímok. Tréning zahŕňajúci hmlisté dáta poskytuje najkonzistentnejšie zlepšenie robustnosti. Testovacie odhmlenie je najužitočnejšie vtedy, keď bol detektor trénovaný len na čistých záberoch, teda keď systém nemal šancu naučiť sa hmlisté degradácie priamo.

Pre vývoj AI systémov je najcennejšie zistenie, že kvalita obnovy obrazu sa nemusí premietnuť priamo do výkonu detekcie a sledovania. Restoration model môže zvýšiť kontrast alebo subjektívne zlepšiť scénu, no zároveň vytvoriť artefakty, ktoré detektor nepozná. Naopak, menej pôsobivé vizuálne zlepšenie môže downstream modelu pomôcť viac, ak zachová štruktúru malého objektu. To je varovanie pred tým, aby sa moduly v percepčnom reťazci optimalizovali izolovane.

Práca je relevantná aj mimo dronov. Rovnaký princíp platí pre autonómne vozidlá, priemyselný dohľad, pobrežnú bezpečnosť alebo záchranné systémy, kde počasie zhoršuje viditeľnosť malých cieľov. Ak sa systém skladá z generovania alebo obnovy obrazu, detekcie a sledovania, treba ho hodnotiť na koncovej úlohe. Inak môže tím nasadiť modul, ktorý vyzerá dobre v separátnom benchmarku, ale v reálnej službe neznižuje počet prehliadnutých objektov.

Syntetická hmla má svoje obmedzenia. Model atmosférického rozptylu a odhad hĺbky nemusia zachytiť všetky fyzikálne vlastnosti skutočného počasia, najmä pri nerovnomernej hmle, pohybe kamery alebo netypickom osvetlení. Preprint preto netreba čítať ako definitívnu náhradu reálnych dát. Jeho hodnota je skôr v kontrolovanom testovacom rámci, ktorý umožňuje rozlíšiť, či zlepšenie pochádza z odhmlenia, z tréningovej expozície voči hmle alebo z robustnejšieho detektora.

Pre praktické nasadenia z toho vyplýva jednoduché pravidlo: ak sa systém má spoliehať na videnie v zlom počasí, hodnotiace metriky musia sledovať presnosť detekcie, počet vynechaných cieľov a stabilitu trackingu, nie iba vizuálne skóre obnovy obrazu. Tímy by mali testovať čisté, hmlisté aj obnovené sekvencie a zvlášť porovnávať modely trénované bez hmly a s hmlou. Len tak sa dá zistiť, či pridaný restoration modul naozaj zvyšuje bezpečnosť a spoľahlivosť, alebo iba vytvára krajšie obrázky pred rovnako krehkým detektorom.