Apple navrhuje RayRoPE pre pozíciu lúčov vo viacpohľadových vizuálnych modeloch

Apple Machine Learning Research publikoval prácu RayRoPE, ktorá sa zameriava na nenápadnú, ale dôležitú časť moderných vizuálnych transformerov: ako modelu povedať, kde sa nachádza obrazová záplata, keď pochádza z viacerých nasnímaných pohľadov na rovnakú scénu. Pri bežnom obraze stačí často dvojrozmerná pozícia v mriežke. Pri viacpohľadových vstupoch však tokeny neprichádzajú z jednej kamery, ale zo sady obrazov s známou polohou a orientáciou. Model preto potrebuje poznať nielen miesto v pixeloch, ale aj lúč v priestore, ktorým sa daný pixel viaže na 3D scénu.

Autori tvrdia, že doterajšie absolútne alebo relatívne pozičné kódovania nespĺňajú naraz tri požiadavky: jednoznačne rozlišovať záplaty, umožniť pozornosť invariantnú voči pohybu a rotácii v priestore a zároveň sa prispôsobiť geometrii skutočnej scény. RayRoPE na to ide cez projektívne lúče. Pozíciu záplaty nereprezentuje iba smerom lúča, ale bodom predikovaným pozdĺž lúča, čo má modelu dať geometricky bohatšiu stopu o tom, kde sa pozorovaný prvok môže nachádzať.

Názov RayRoPE odkazuje na rotačné pozičné kódovanie známe z jazykových modelov, ale prispôsobené 3D videniu. Systém počíta projektívne súradnice voči referenčnému pohľadu a používa viacfrekvenčnú podobnosť, aby pozornosť medzi tokenmi nebola zviazaná s konkrétnym globálnym súradnicovým systémom. V praktickej reči to znamená, že ak sa celá scéna alebo kamera otočí a posunie, model by mal rozumieť rovnakým priestorovým vzťahom namiesto toho, aby sa učil novú verziu tej istej situácie.

Zaujímavá je aj práca s neistotou. Predikovaný 3D bod na lúči nemusí byť presný, pretože hĺbka scény je často neznáma alebo viacvýznamová. RayRoPE podľa autorov analyticky počíta očakávané pozičné kódovanie pod neistotou, namiesto toho, aby sa tváril, že jedna hĺbka je vždy správna. Táto vlastnosť je praktická pri objektoch s odleskami, tenkými hranami, čiastočným prekrytím alebo pri scénach, kde má viac pohľadov rôznu kvalitu.

Apple uvádza overenie na syntéze nových pohľadov a odhade stereo hĺbky. V metrikách má RayRoPE konzistentne zlepšovať alternatívne pozičné kódovania a v jednom z uvádzaných príkladov priniesť 15-percentné relatívne zlepšenie LPIPS na datasete CO3D. LPIPS je metrika vnímaného vizuálneho rozdielu, teda nie iba jednoduchý pixelový rozdiel. Ak sa takéto zlepšenie potvrdí aj mimo testovaných konfigurácií, môže ísť o užitočný stavebný prvok pre modely, ktoré skladajú 3D scénu z viacerých 2D pozorovaní.

Praktický význam je širší než samotná akademická metrika. Viacpohľadové modely sú základom pre rekonštrukciu 3D scén, rozšírenú realitu, robotickú navigáciu, kontrolu výroby, športovú analýzu aj generovanie nových pohľadov vo videu. Ak transformer zle zakóduje pozíciu tokenov, môže si pomýliť časti objektu z rôznych kamier, prehliadnuť hĺbkové vzťahy alebo vytvoriť vizuálne nepresnosti pri syntéze nového pohľadu. Lepšie pozičné kódovanie preto nie je kozmetická úprava, ale ovplyvňuje schopnosť modelu spojiť viac obrazov do konzistentnej priestorovej reprezentácie.

Dôležitá je aj podpora RGB-D vstupu, teda obrazu doplneného o hĺbkovú informáciu. Autori píšu, že RayRoPE vie takýto vstup prirodzene využiť a prináša väčšie zisky oproti alternatívam, ktoré podobnú informáciu pozične zakódovať nevedia. Pre robotiku alebo priestorové počítače je to podstatné, pretože reálne zariadenia často kombinujú kamery, hĺbkové senzory a odhadované mapy prostredia. Metóda, ktorá dokáže spojiť tieto zdroje v jednej pozornostnej architektúre, môže zjednodušiť návrh modelov pre praktické 3D úlohy.

Treba však dodať, že ide o výskumný príspevok, nie hotový produkt. RayRoPE rieši konkrétny komponent modelovej architektúry a jeho dopad bude závisieť od tréningových dát, škálovania, kvality kalibrácie kamier a výpočtových nákladov. Pre širší ekosystém je ale cenný tým, že ukazuje smer: priestorové AI systémy budú potrebovať presnejšie geometrické základy než iba textové alebo dvojrozmerné obrazy tokenizované rovnakým spôsobom. Ak majú modely spoľahlivo vidieť svet z viacerých pohľadov, ich pozícia v priestore sa musí stať súčasťou samotnej pozornosti.