Editovateľné hranice pomáhajú AI obnovovať farby historických lentikulárnych filmov

Výskumníci predstavili metódu obnovy farieb historických lentikulárnych filmov, ktorá vkladá odborníka priamo do procesu strojového učenia. Namiesto úplne automatického spracovania vytvára editovateľnú vektorovú reprezentáciu hraníc lentikúl. Reštaurátor môže chybne určené hranice posunúť ešte pred extrakciou farby a demosaikovaním. Autori tvrdia, že tak dokázali získať vystaviteľný výsledok aj zo sekvencie, na ktorej predchádzajúce automatické postupy zlyhávali.

Lentikulárny film, napríklad historický systém Kodacolor, neukladá farbu rovnakým spôsobom ako moderný farebný negatív. Jemná optická štruktúra zakóduje farebnú informáciu priestorovo a digitalizovaný obraz sa musí spracovať so znalosťou polohy jednotlivých lentikúl. Ak detekcia hraníc nepresne kopíruje ich tvar, nasledujúca extrakcia mieša nesprávne vzorky. Malá geometrická chyba sa preto môže prejaviť výrazným farebným skreslením v celej oblasti obrazu.

Existujúce postupy doLCE a deep-doLCE posunuli automatizáciu obnovy dopredu, no podľa autorov majú problémy pri zakrivených lentikulách, nízkom kontraste alebo zle zachytených častiach filmu. Takéto prípady sú pri archívnych materiáloch bežné: médium môže byť poškodené, deformované, nerovnomerne osvetlené alebo naskenované v podmienkach, ktoré nie je možné zopakovať. Model trénovaný na pravidelnejších obrazoch potom nemusí vedieť spoľahlivo odhadnúť lokálnu geometriu.

Navrhovaná architektúra oddeľuje detekciu hraníc od ďalších krokov rekonštrukcie. Výstup detektora nie je iba skrytá medzivrstva neurónovej siete, ale vektorový objekt, ktorý možno prezrieť a upraviť. Expert tak nemusí ručne rekonštruovať celý obraz. Zasiahne iba tam, kde automatická detekcia zlyhala, a opravené hranice sa následne použijú pri extrakcii farebných vzoriek. Tento dizajn spája rýchlosť automatizácie s jemnou kontrolou človeka.

Editovateľná reprezentácia má aj diagnostickú hodnotu. Pri čisto koncovom modeli môže reštaurátor vidieť chybnú farbu, ale nevie, či ju spôsobila detekcia štruktúry, demosaikovanie alebo neskoršie spracovanie. Oddelené fázy umožňujú chybu lokalizovať a opraviť bez zásahu do častí, ktoré fungujú správne. Je to príklad širšieho princípu, podľa ktorého má AI v odborných pracovných postupoch poskytovať zrozumiteľné medzivýsledky namiesto jediného nevratného výstupu.

Autori opisujú aj iteratívne dolaďovanie detekčného modelu. Opravy odborníka môžu slúžiť ako kvalitná spätná väzba pre náročné snímky a postupne rozširovať schopnosť systému zvládať deformácie či slabý kontrast. Práca však neuvádza rozsiahle nasadenie na mnohých nezávislých archívoch. Zatiaľ preto nemožno určiť, koľko ručnej práce bude potrebné pri iných typoch materiálu ani ako dobre sa naučené korekcie prenesú medzi zbierkami a skenovacími zariadeniami.

Pri výslednom obraze metóda kombinuje rekonštruovanú chromatickú informáciu s jasom pôvodného skenu striebornej emulzie. Cieľom je zachovať textúru a obrazové detaily, ktoré sú v origináli prítomné, namiesto toho, aby ich farebná rekonštrukcia vyhladila alebo nahradila generovaným obsahom. Tento krok je dôležitý aj z pohľadu autenticity: systém sa snaží odvodiť farbu zo zakódovanej štruktúry filmu, nie voľne kolorovať scénu podľa pravdepodobnosti.

Hodnotenie sa sústredilo na náročnú filmovú sekvenciu, pri ktorej skoršie automatické metódy neposkytli farby vhodné na vystavenie. Human-in-the-loop postup podľa autorov vytvoril kvalitnú rekonštrukciu so zachovanou textúrou. Ide však o tvrdenie založené na konkrétnom materiáli a preprint zatiaľ nepredstavuje rozsiahly štandardizovaný benchmark. Kvalita historickej rekonštrukcie navyše zahŕňa technické metriky aj odborné a estetické posúdenie.

Praktický význam práce presahuje jeden filmový formát. Archívy často vlastnia malé množstvo unikátneho materiálu, pre ktorý sa neoplatí alebo nedá vytvoriť obrovský tréningový súbor. Systém, ktorý umožňuje účinné zásahy odborníka a uchováva ich v štruktúrovanej podobe, môže byť vhodnejší než úplná automatizácia. Podobný princíp by sa dal uplatniť pri obnove fotografií, rukopisov či vedeckých snímok, kde je chyba AI ľahko rozpoznateľná odborníkom, ale ťažko pokryteľná všetkými tréningovými príkladmi.

Metóda zároveň pripomína, že generatívne alebo rekonštrukčné nástroje v kultúrnom dedičstve potrebujú transparentnú dokumentáciu zásahov. Editovateľné hranice môžu vytvárať auditovateľnú stopu toho, čo navrhol model a čo zmenil človek. Pred produkčným použitím bude potrebné overiť opakovateľnosť, časovú náročnosť a správanie na širšom spektre filmov. Výsledky sú sľubným dôkazom konceptu, nie potvrdením univerzálneho riešenia všetkých lentikulárnych archívov.