3D-GIMP odstraňuje objekty z 3D scén jedným generatívnym zásahom a prenášaním textúr

Výskumníci z Univerzity v Stuttgarte predstavili metódu 3D-GIMP na odstraňovanie objektov zo scén vytvorených technikou 3D Gaussian Splatting. Namiesto toho, aby generatívny difúzny model osobitne dopĺňal každý kamerový pohľad, systém použije generovanie iba na jednom referenčnom obraze. Vzhľad potom prenesie do ostatných pohľadov cez geometricky riadené vyhľadávanie podobných obrazových výrezov.

Problém je zložitejší než vymazanie predmetu z jednej fotografie. Po odstránení objektu treba doplniť dovtedy zakrytú geometriu, farbu a textúru tak, aby výsledok zostal rovnaký pri pohľade z rôznych uhlov. Ak difúzny model spracuje každý obraz samostatne, môže do jednej snímky doplniť inú štruktúru než do druhej. Autori tento jav označujú ako posun halucinácií medzi pohľadmi; v rekonštrukcii sa prejaví blikaním, rozmazaním alebo geometrickými trhlinami.

3D-GIMP začína určením trojrozmernej oblasti, z ktorej má objekt zmiznúť. Systém vytvorí masky pre jednotlivé pohľady a doplní chýbajúcu hĺbku. Monokulárny odhad hĺbky môže mať nejednoznačnú mierku, preto ho metóda spája s existujúcou hĺbkou 3D scény pomocou Poissonovej úlohy v gradientovej oblasti. Cieľom nie je iba pekná plocha na obraze, ale hĺbkovo súvislá časť rekonštrukcie.

Generatívne doplnenie sa vykoná na vybranom referenčnom pohľade. Tento obraz poskytne vzhľadový vzor pre miesto po odstránenom objekte. Následne vstupuje algoritmus PatchMatch, tradičný prístup na hľadanie zodpovedajúcich obrazových výrezov. Autori ho rozširujú o informáciu z 3D geometrie, takže korešpondencie a textúry možno premietnuť do ďalších kamier namiesto nového náhodného generovania pre každý záber.

Toto spojenie staršieho rekonštrukčného postupu s moderným generatívnym modelom je hlavnou myšlienkou práce. Difúzia dodá sémanticky presvedčivý referenčný obsah, zatiaľ čo PatchMatch uprednostní opakovateľnosť a geometrickú súdržnosť. Systém tak nezakazuje generovanie, ale obmedzuje ho na miesto, kde prináša najväčšiu hodnotu, a zvyšok rieši deterministickejším prenosom vzoru.

Autori porovnávajú metódu s prístupmi GScream, NeRFiller, AuraFusion360 a ďalšími systémami na dopĺňanie 3D scén. V experimentoch uvádzajú najlepší pomer signálu k šumu pri všetkých troch skúšaných mierkach rozlíšenia a podstatne kratší čas spracovania. Graf v práci ukazuje pri najvyššej mierke približne 21 minút pre 3D-GIMP oproti desiatkam minút pri niektorých alternatívach; presné výsledky však závisia od scény, hardvéru a zvoleného porovnania.

Kvalitatívne ukážky naznačujú, že metóda lepšie drží jemné detaily a menej mení obsah pri prechode kamery. Autori osobitne upozorňujú na odlesky a ďalšie vlastnosti závislé od uhla pohľadu, pri ktorých jednoduché kopírovanie pixelov nestačí. Prenos mapy korešpondencií sa preto vykonáva s lokálnym vzorkovaním a po ňom nasleduje krátka optimalizácia samotnej reprezentácie 3D Gaussian Splatting.

Praktické využitie siaha od úprav virtuálnych produkcií a digitálnych dvojčiat po čistenie zachytených interiérov pre rozšírenú realitu. Ak treba zo skenu miestnosti odstrániť dočasný predmet, človeka alebo technické vybavenie, kratší a konzistentnejší postup môže znížiť množstvo ručného retušovania. Zároveň je dôležité zachovať pôvod a označenie upravenej scény, najmä ak sa rekonštrukcia používa ako dokumentácia reálneho priestoru.

Výsledky zatiaľ pochádzajú z preprintu a nepredstavujú nezávisle potvrdený produkčný benchmark. Metóda potrebuje kvalitnú vstupnú rekonštrukciu, správne masky a vhodný referenčný pohľad; pri veľkej odhalenej ploche nemusí jeden obraz obsahovať dosť informácií na vierohodný prenos. Budúce porovnania by mali merať nielen obrazové metriky, ale aj stabilitu pri celej trajektórii kamery, nároky na pamäť a správanie na scénach s pohybom či priesvitnými povrchmi.

3D-GIMP je zaujímavý najmä ako pripomienka, že generatívny model nemusí riešiť každý krok pipeline. Keď sa jeho schopnosť dopĺňať obsah spojí s explicitnou geometriou a klasickým vyhľadávaním korešpondencií, systém môže byť rýchlejší aj predvídateľnejší. Pre 3D grafiku to naznačuje smer, v ktorom sa generovanie používa ako riadený stavebný prvok, nie ako jediný zdroj pravdy pre všetky pohľady.