Editovateľné hranice pomáhajú AI presnejšie obnovovať farby lentikulárnych filmov

Farba ukrytá v čiernobielej emulzii

Historické lentikulárne filmy, medzi ktoré patrí aj 16-milimetrový Kodacolor z konca dvadsiatych rokov 20. storočia, neukladajú farbu ako neskoršie viacvrstvové farebné materiály. Na povrchu filmu sa nachádzajú stovky jemných valcovitých šošoviek. Farebný filter pri nakrúcaní rozdelil svetlo na zložky a tie sa pod jednotlivými šošovkami zaznamenali ako úzke pásy v čiernobielej striebornej emulzii. Pôvodná projekcia preto vyžadovala presne zosúladenú optiku a zodpovedajúci filter. Pri digitálnej obnove treba túto priestorovo zakódovanú informáciu znovu správne prečítať, nie iba dodatočne kolorovať sivý obraz.

Práve lokalizácia hraníc jednotlivých lentikúl je podľa opisu projektu Univerzity v Zürichu najťažším krokom. Film môže byť zvlnený, poškodený, neostro alebo nerovnomerne naskenovaný a jeho optická mriežka nemusí zostať rovná. Ak algoritmus posunie hranicu čo len na nesprávne miesto, pri extrakcii zmieša vzorky určené pre rozdielne farebné kanály. Výsledkom nie je nenápadná lokálna chyba, ale nesprávne farby, pásy alebo nestabilita medzi snímkami. Databáza Timeline of Historical Colors zároveň dokumentuje, že lentikulárne systémy nepredstavovali jediný jednotný formát: zahŕňali Kodacolor, Keller-Dorian, Agfacolor a ďalšie technicky odlišné procesy.

Čo mení zásah odborníka

Nový preprint autorov z Fraunhofer IGD a Nórskej univerzity vedy a techniky nadväzuje na postupy doLCE a deep-doLCE, ale oddeľuje detekciu optickej mriežky od rekonštrukcie farby. Detektor založený na segmentačnej sieti najskôr odhadne hranice lentikúl. Tie sa následne neodovzdajú ďalšej neurónovej sieti ako neviditeľný interný stav, ale prevedú sa na editovateľnú vektorovú vrstvu. Odborník tak môže ešte pred extrakciou farebných vzoriek skontrolovať, či mriežka kopíruje fyzickú štruktúru konkrétnej snímky.

Rozhranie opísané v práci umožňuje hranice horizontálne posúvať, meniť ich sklon, vybrať spoľahlivú oblasť obrazu alebo vyradiť neopraviteľnú snímku. Nejde teda o ručné maľovanie farieb do každého políčka. Človek opravuje geometrický model média a následné spracovanie opäť vykoná softvér. Takéto rozdelenie práce je dôležité: expert nemusí rekonštruovať celý film ručne, no zároveň nie je nútený prijať chybný výsledok automatického detektora. Opravené hranice možno navyše použiť ako nové anotácie na jemné doladenie detekčnej siete pre ďalšie snímky tej istej sekvencie.

Samotná farebná rekonštrukcia je užšie obmedzená než bežná generatívna kolorizácia. Nadväzujúci model dopĺňa chýbajúce farebné kanály interpoláciou zo vzoriek, ktoré sú fyzicky zakódované vo filme. Podľa technického opisu predchodcu deep-doLCE predikuje nezáporné interpolačné váhy pre okolité platné vzorky namiesto toho, aby si ľubovoľne vymýšľal farbu objektu. Nová metóda potom kombinuje rekonštruovanú farebnú informáciu, teda chrominanciu, s jasom pôvodného skenu striebornej emulzie. Cieľom je zachovať kresbu, zrno a textúru pochádzajúcu z originálneho nosiča.

Prečo je editovateľný medzivýsledok podstatný

Najväčším prínosom práce nie je sľub úplnej automatizácie, ale kontrolovateľný medzikrok. Pri koncovom modeli môže reštaurátor vidieť zlú farbu bez možnosti určiť, či problém vznikol pri rozpoznaní štruktúry, extrakcii kanálov alebo interpolácii. Vektorová mapa hraníc robí jednu kritickú príčinu chyby viditeľnou a opraviteľnou. Zásah možno zaznamenať, zopakovať a porovnať s pôvodným návrhom modelu. Pre ochranu kultúrneho dedičstva je takáto auditovateľnosť dôležitejšia než efektný, ale ťažko vysvetliteľný výstup.

Autori metódu skúšali na náročnej lentikulárnej filmovej sekvencii, pri ktorej predchádzajúce automatické postupy podľa ich hodnotenia nevytvorili farby vhodné na vystavenie. Iteratívne opravy a doladenie detektora priniesli vizuálne použiteľnejší výsledok so zachovanou textúrou. Toto tvrdenie však treba čítať presne: ide o kvalitatívne vyhodnotenie konkrétnej sekvencie v nerecenzovanom prepointe arXiv, nie o rozsiahly benchmark naprieč archívmi, skenermi a lentikulárnymi formátmi. Práca nepreukazuje, že rovnaký postup automaticky zvládne každú poškodenú kópiu.

Praktickou otázkou zostáva aj cena odbornej práce. Systém môže ušetriť čas tým, že človek upravuje iba problémové hranice, no publikované podklady zatiaľ neposkytujú všeobecný údaj o počte minút na snímku ani o tom, koľko zásahov potrebuje celý film. Nie je tiež jasné, ako dobre sa model doladený na jednej sekvencii prenesie na iný typ lentikulárnej štruktúry, inú deformáciu či odlišnú digitalizačnú zostavu. Za otvorenú treba považovať aj mieru zhody medzi odborníkmi pri rozhodovaní, ktorá rekonštrukcia je už historicky verná a výstavne prijateľná.

Význam pre európske a slovenské archívy

Výskum vznikol v európskom akademickom prostredí a nadväzuje na dlhodobejšie projekty digitalizácie historických filmových farieb vo Švajčiarsku. Pre pamäťové inštitúcie je relevantný najmä tým, že staré zbierky často obsahujú málo unikátnych exemplárov a veľké tréningové súbory pre každý materiál jednoducho neexistujú. Human-in-the-loop prístup dokáže zužitkovať malý počet kvalifikovaných opráv a prispôsobiť spracovanie konkrétnemu filmu. To je realistickejšie než predstava univerzálneho modelu, ktorý bez dohľadu opraví všetky historické technológie.

Rovnaký princíp môže byť užitočný aj pre slovenské filmové, fotografické a múzejné zbierky, hoci samotná práca neuvádza nasadenie na Slovensku. Pri prípadnom použití by nestačilo posúdiť iba výsledný farebný obraz. Archív by mal uchovať pôvodný sken, verziu modelu, nastavenia pipeline, vektorové korekcie odborníka a rozhodnutia o vyradených snímkach. Rekonštrukcia sa potom nestáva náhradou originálu, ale zdokumentovanou interpretačnou vrstvou, ktorú možno v budúcnosti preveriť alebo prepočítať lepšou metódou.

Práca tak ukazuje užitočný smer pre AI v kultúrnom dedičstve: model zrýchľuje opakované technické úkony, zatiaľ čo človek rieši nejednoznačné a poškodené miesta. Overeným faktom je existencia editovateľnej reprezentácie, iteratívneho dolaďovania a testu na problémovej sekvencii. Predpokladom, ktorý ešte potrebuje ďalšie dáta, zostáva škálovateľnosť na celé fondy a rôzne inštitúcie. Kým nevznikne širšie porovnanie, výsledok je presvedčivým dôkazom konceptu, nie hotovým univerzálnym štandardom filmovej reštaurácie.