ABCD trénuje rozsiahle 3D scény bez rastu nárokov na pamäť GPU

Rozsiahla 3D scéna už nemusí byť celá v pamäti

Výskumníci Ka Heng Shiu a Kartic Subr z University of Edinburgh predstavili metódu ABCD, ktorá mení spôsob trénovania rozsiahlych radiačných polí. Názov je skratkou pre Alpha-Composited Block Coordinate Descent. V demonštrácii autori použili 3D Gaussian Splatting, teda techniku rekonštrukcie scény z fotografií, pri ktorej obraz nevytvára klasická polygonálna geometria, ale veľké množstvo priestorových Gaussových primitív. Hlavnou novinkou je možnosť držať na GPU iba jednu aktívnu časť scény. Ostatné časti sú počas daného kroku zmrazené a ich obrazový príspevok sa načítava z vopred pripravených medzivýsledkov.

Pamäťová náročnosť bežného tréningu rastie spolu s počtom primitív a rozsahom rekonštruovaného priestoru. Pri interiéri jednej miestnosti to nemusí byť zásadný problém, no pri uliciach, priemyselných areáloch, kultúrnych pamiatkach alebo rozsiahlych digitálnych dvojčatách sa kompletný model môže prestať zmestiť do pamäte jedinej grafickej karty. Riešením bývajú drahšie akcelerátory, viacero GPU alebo rozdelenie scény na samostatne trénované oblasti. Posledný prístup však prináša viditeľné hranice a nekonzistentnú geometriu, pretože jedna fotografia často zachytáva objekty z viacerých oblastí súčasne.

ABCD rozdelí scénu na konvexné priestorové bloky, ale netrénuje ich ako úplne nezávislé modely. V každej fáze optimalizuje parametre iba jedného bloku. Zvyšok scény rozdelí vzhľadom na kameru na obsah pred aktívnou oblasťou a za ňou. Keďže tieto parametre sú dočasne nemenné, systém ich môže vopred vykresliť do dvoch RGBA vrstiev. Aktívny blok sa potom pri každom tréningovom kroku vloží medzi pripravené popredie a pozadie. Výsledná strata tak stále zohľadňuje celú scénu, hoci plné parametre neaktívnych blokov nie sú na GPU.

Kľúčom je skladanie priehľadných vrstiev

Metóda využíva asociatívnosť alfa kompozície. Ak sa zachová poradie prvkov podľa hĺbky, viacero po sebe idúcich vrstiev možno vopred zlúčiť a neskôr skombinovať s aktívnym obsahom bez nutnosti opakovať celý výpočet. Pre každú viditeľnú kombináciu kamery a priestorového bloku ABCD pripraví komprimované obrazové medzivýsledky. Tie môžu zostať na disku alebo v systémovej pamäti, zatiaľ čo VRAM obsahuje iba aktívne Gaussove primitíva a potrebnú dvojicu obrazových vrstiev.

Autori preto opisujú špičkovú spotrebu VRAM ako konštantnú vzhľadom na celkový rozsah scény, pokiaľ zostanú pevné rozmery jedného bloku a rozlíšenie obrazu. Toto tvrdenie neznamená, že ľubovoľne veľká scéna bude mať zanedbateľné celkové nároky. S jej rozsahom stále rastie počet blokov, množstvo medzivýsledkov na disku, objem dát v RAM aj čas potrebný na prechádzanie optimalizačných cyklov. Konštantná má byť iba časť pracovnej množiny, ktorá sa v jednom okamihu nachádza v pamäti GPU.

Takéto usporiadanie je príkladom tréningu „out of core“, pri ktorom sa celý model nemusí zmestiť do najrýchlejšej pamäte. Podobný princíp sa používa pri spracovaní veľkých databáz či vedeckých dát: drahá a kapacitne obmedzená pamäť obsahuje práve používanú časť, kým zvyšok čaká v lacnejšej vrstve. Pre 3D rekonštrukciu je komplikáciou potreba zachovať vzájomnú viditeľnosť a prekrytie objektov. Práve kompozícia popredia a pozadia odlišuje ABCD od jednoduchého rozdelenia scény, pri ktorom sa jednotlivé bloky učia bez dostatočného kontextu.

Pôvodný 3D Gaussian Splatting predstavil reprezentáciu scény pomocou optimalizovaných anizotropných Gaussových primitív a rýchle vykresľovanie s ohľadom na viditeľnosť. Táto kombinácia priniesla kvalitnú syntézu nových pohľadov v reálnom čase. ABCD nemení základný princíp reprezentácie ani z nej nerobí nový generatívny model. Rieši užšiu, ale praktickú infraštruktúrnu otázku: ako optimalizovať viac primitív, než dokáže naraz pojať dostupná grafická pamäť.

Výsledky ukazujú úsporu VRAM, ale aj vysokú časovú cenu

Experimenty zahŕňajú scény Garden a Kitchen s približne 200 tréningovými kamerami. Autori porovnali štandardný 3D Gaussian Splatting, ABCD bez kompozície a kompletnú metódu. Pri scéne Garden spotreboval bežný tréning 0,88 GB VRAM a dosiahol PSNR 24,01. Plné ABCD použilo 0,80 GB VRAM a dosiahlo PSNR 23,65. Pri scéne Kitchen klesla spotreba z 0,97 na 0,77 GB a PSNR z 27,03 na 25,80. Priemerne tak podľa práce kvalita meraná PSNR zaostala za referenciou o 3,1 percenta a SSIM o 3 percentá.

Kontrolný variant bez skladania neaktívnych oblastí potvrdil, že samotné delenie na bloky nestačí. Jeho priemerné PSNR kleslo oproti referencii o 36,9 percenta a priemerné SSIM o 41 percent. Tento výsledok podporuje hlavný technický argument práce: aktívny blok musí počas optimalizácie „vidieť“ obrazový príspevok zvyšku scény. Inak sa môže snažiť vysvetliť pixely, ktoré v skutočnosti patria susednej oblasti, a na hraniciach vznikajú chyby alebo nekonzistentné štruktúry.

Úspora grafickej pamäte však v malých testoch nebola dramatická a tréning sa výrazne predĺžil. Garden sa štandardnou metódou trénoval 99,6 sekundy, zatiaľ čo ABCD potrebovalo 1 081,3 sekundy. Pri Kitchen išlo o 67,4 oproti 1 041 sekundám. Narástla aj spotreba systémovej pamäte: pri Garden zo 7,88 na 25,02 GB a pri Kitchen z 3,73 na 17,73 GB. Dáta teda neukazujú všeobecne lacnejší tréning, ale výmenu jedného obmedzenia za iné — menšiu pracovnú množinu vo VRAM za viac výpočtov, RAM a úložných operácií.

Tento kompromis môže byť prijateľný v situácii, keď alternatívou nie je pomalší tréning, ale nemožnosť scénu na dostupnom hardvéri natrénovať vôbec. Potenciálnymi používateľmi sú menšie vizualizačné štúdiá, univerzitné tímy, geodeti, robotické laboratóriá či prevádzkovatelia digitálnych dvojčiat bez viacčipových serverov. Metóda môže byť zaujímavá aj pre spracovanie dát priamo v teréne, kde je kapacita GPU obmedzená, no čas, disk alebo operačná pamäť sú dostupnejšie.

Čo musí potvrdiť ďalšie testovanie

Najväčšou neistotou je mierka experimentov. Autori použili dve relatívne malé scény a sami ich opisujú najmä ako náročný test konzistencie medzi blokmi. Nameraná spotreba nepresiahla jeden gigabajt VRAM ani pri štandardnej metóde, takže práca zatiaľ priamo neukazuje tréning mestského priestoru, ktorý by vyžadoval desiatky či stovky gigabajtov. Teoretické škálovanie pracovnej množiny je sľubné, ale praktické správanie pri tisícoch kamier, komplikovanom prekrytí a veľkom počte blokov zostáva otvorené.

Limity má aj požiadavka na konvexné oblasti. Vďaka nej možno obsah pre konkrétnu kameru jednoznačne rozdeliť pred aktívny blok a zaň. Pri nekonvexnom delení by sa poradie mohlo striedať a dve pripravené vrstvy by už nemuseli stačiť. Autori medzi ďalšími smermi uvádzajú adaptívne delenie podľa hustoty scény, efektívnejšiu správu vyrovnávacej pamäte a lepšie plánovanie aktualizácií. Produkčný systém bude navyše potrebovať riešiť priepustnosť disku, kompresiu medzivýsledkov a paralelné prekrývanie prenosov s výpočtom.

ABCD preto zatiaľ treba vnímať ako výskumný prototyp prezentovaný na SIGGRAPH 2026 Posters, nie ako hotovú náhradu existujúcich tréningových pipeline. Jeho prínos spočíva v presnej formulácii problému a v dôkaze, že priestorové bloky možno optimalizovať s kontextom celej scény bez toho, aby boli všetky parametre súčasne na GPU. Ak ďalšie experimenty potvrdia tento princíp na skutočne rozsiahlych dátach a znížia časovú réžiu, mohol by rozšíriť 3D rekonštrukciu aj na hardvér, ktorý dnes limituje najmä kapacita VRAM.