Nový VR180 dataset sprístupňuje stereoskopické video v RAW aj s kalibráciou objektívov

Nový výskumný dataset VR180 sprístupňuje 1 211 stereoskopických vzoriek zachytených profesionálnymi kamerami Blackmagic URSA Cine Immersive. Kolekcia obsahuje 636 videoklipov s celkovou dĺžkou 2 220,8 sekundy a 575 stereoskopických statických záberov. Každá vzorka je dostupná ako kamerový Blackmagic RAW, samostatný natívny obraz typu fisheye pre ľavé a pravé oko a polovičná ekvirektangulárna projekcia pre obe oči. Súčasťou vydania je továrenská kalibrácia objektívov, strojové anotácie scén, kontrolné súčty a nástroje na prevod medzi reprezentáciami.

Doterajšie rozsiahle zdroje pre výskum VR180 často vychádzajú z videí stiahnutých z internetových platforiem. Takéto dáta už prešli neznámym zošívaním, projekciou, farebnými úpravami a stratovou kompresiou. Výskumník preto nevie spoľahlivo oddeliť vlastnosti pôvodnej kamery od artefaktov distribučného reťazca. Nová kolekcia sa tento problém snaží obísť tým, že uchováva pôvodný komprimovaný RAW záznam a k nemu pridáva dve odvodené reprezentácie vytvorené z rovnakého snímania. Stabilné identifikátory prepájajú všetky verzie jednej scény.

Čo presne dataset obsahuje

Natívny fisheye obraz má rozlíšenie 8 160 × 7 200 bodov pre každé oko. Polovičná ekvirektangulárna verzia má 7 200 × 7 200 bodov na oko a pokrýva 180 × 180 stupňov. Zo 636 videí bolo 632 zaznamenaných pri 90 snímkach za sekundu a štyri pri 30 snímkach za sekundu. Klipy majú dĺžku od 0,4 do 11,8 sekundy, pričom medián je päť sekúnd. Krátke úseky obmedzujú celkovú veľkosť, no zachovávajú rýchly pohyb, zmeny pohľadu a ďalšie vlastnosti dôležité pri priestorovom videu.

Rozsah dát je aj napriek krátkym klipom značný. Samotné súbory BRAW zaberajú 5,411 TB, fisheye videá pre obe oči približne 314,8 GB a ekvirektangulárne verzie približne 278 GB. Celá kolekcia má okolo šiestich terabajtov. Prístup je verejný, ale používateľ musí prijať podmienky a zdieľať kontaktné údaje. Médiá a anotácie používajú licenciu CC BY-NC 4.0, takže komerčné využitie nie je automaticky povolené. Konverzné a analytické nástroje sú samostatne zverejnené pod licenciou MIT, časť kalibračných dát však zostáva pod licenciou datasetu.

Záznamy vznikali počas 30 dní snímania od augusta 2025 do augusta 2026. Pokrývajú podujatia, výstavy, záhrady, múzeá, zoologické záhrady, akváriá, ulice, jazerá a horské prostredie. Výber nebol náhodný; autor manuálne vybral približne hodinu krátkych ukážok z asi desiatich hodín materiálu. To podporuje rozmanitosť a technickú využiteľnosť, ale zároveň znamená, že dataset nemožno považovať za štatisticky reprezentatívnu vzorku všetkých prostredí, typov pohybu alebo svetelných podmienok.

Prečo sú RAW a kalibrácia podstatné

Kamerový RAW umožňuje výskumníkom meniť demosaicing, mapovanie tónov, farebné spracovanie a ďalšie kroky bez toho, aby začínali už hotovým distribučným videom. Továrenská kalibrácia opisuje geometriu objektívov a vytvára základ na presnejší prevod medzi fisheye obrazom a projekciou používanou v náhlavných súpravách. To je dôležité pri odhade hĺbky, stereo korešpondencii, rekonštrukcii scény aj pri hodnotení modelov, ktoré majú generovať alebo upravovať priestorové video.

Zverejnený konvertor pracuje s kalibračnými údajmi konkrétnej vzorky a podporuje oba smery prevodu medzi fisheye a polovičnou ekvirektangulárnou projekciou. Repozitár obsahuje aj protokol kompresného experimentu, výsledky pre jednotlivé klipy a skripty na kontrolu konzistencie ľavého a pravého oka. Takýto balík je dôležitý pre reprodukovateľnosť: samotné terabajty obrazu by bez manifestu, kontrolných súčtov, schémy metadát a referenčného kódu prenášali značnú časť integračnej práce na každé ďalšie laboratórium.

Autori overili prítomnosť všetkých očakávaných súborov pri každej z 1 211 vzoriek. Rozmery, počty snímok a snímkové frekvencie 4 844 odvodených HEVC súborov majú zodpovedať zdrojom BRAW a páry ľavého a pravého oka boli skontrolované. Všetkých 2 422 ekvirektangulárnych súborov, spolu 399 484 snímok pre jednotlivé oči, podľa dokumentácie prešlo úplným dekódovaním bez chyby. Metadáta boli validované voči zverejnenej JSON schéme. To neoveruje vizuálnu bezchybnosť každého záberu, ale znižuje riziko poškodených alebo neúplných dát.

Kompresný experiment priniesol výrazný rozdiel

Súčasťou práce je porovnanie kódovania natívneho fisheye obrazu a polovičnej ekvirektangulárnej projekcie. Autori opätovne zakódovali 24 klipov pomocou x265, pre obe oči, štyri dátové body a deväť smerov sledovania. Pri rovnakej kvalite výrezu potreboval natívny fisheye formát vo všetkých 24 klipoch vyšší dátový tok. Medián rozdielu bol 38 percent v prospech polovičnej ekvirektangulárnej projekcie a výsledok sa podľa práce objavil vo všetkých častiach zorného poľa.

Toto zistenie nemožno automaticky premeniť na všeobecné pravidlo, že ekvirektangulárny obraz je vždy lepší. Experiment zahŕňa 24 vybraných klipov, konkrétny kodek x265, dané nastavenia a porovnanie kvality v spoločných výrezoch. Iné kodeky, neurónová kompresia, distribúcia pohľadu používateľov alebo odlišná optika môžu priniesť iný výsledok. Dataset však po prvý raz poskytuje párované reprezentácie z rovnakého profesionálneho záznamu, takže ďalšie tímy môžu otázku preveriť bez miešania zdrojov a neznámych spracovateľských reťazcov.

Pre vývoj multimodálnych modelov môže byť najcennejšie spojenie vysokého rozlíšenia, stereo párov a kalibrácie. Dá sa na ňom skúmať odhad hĺbky v hemisférickom zornom poli, oprava projekčných deformácií, interpolácia pohybu, generovanie priestorového videa alebo automatická kontrola nepohodlných stereo artefaktov. Rozlíšenie a 90 snímok za sekundu zároveň kladú vysoké nároky na úložisko a dátový pipeline. Praktické experimenty preto pravdepodobne začnú na odvodených HEVC súboroch alebo menších výrezoch, zatiaľ čo RAW poslúži na presné referenčné spracovanie.

Limity, súkromie a slovenský kontext

Anotácie zahŕňajú opis scény, jeden zo 41 typov prostredia, pohyb kamery a objektov a osem kategórií vizuálnych problémov. Vznikli pomocou modelov DeepSeek V4, GPT-6 Astra a pri niektorých typoch udalostí aj Claude. Autori výslovne upozorňujú, že anotácie neboli overené ľuďmi a nemajú sa používať ako neomylná referenčná pravda. Sú vhodné skôr na vyhľadávanie, filtrovanie a stratifikáciu dát. Pri trénovaní alebo vyhodnocovaní modelu treba manuálne preveriť aspoň použitú podmnožinu.

Niekoľko vzoriek môže pochádzať z jedného pôvodného kamerového klipu. Náhodné rozdelenie po jednotlivých vzorkách by preto mohlo dostať takmer rovnaké scény do tréningovej aj testovacej množiny a umelo zvýšiť skóre. Dataset poskytuje skupiny podľa kamery, dátumu a pôvodného klipu aj komponenty spojené vizuálnou podobnosťou. Autori odporúčajú držať celý takýto komponent v jedinej časti rozdelenia. Pre korektné benchmarky ide o zásadnú vlastnosť, nie iba organizačný detail.

Zábery vznikali najmä na verejných miestach a môžu obsahovať identifikovateľných návštevníkov, divákov alebo účinkujúcich. Tváram nebola aplikovaná anonymizácia, pretože cieľom je zachovať pôvodný kamerový obraz, a od náhodne zachytených ľudí sa nezískaval individuálny súhlas. Prevádzkovateľ ponúka mechanizmus na požiadanie o odstránenie vzorky, no používatelia datasetu musia sami posúdiť právny základ a primeranosť ďalšieho spracovania. V európskom prostredí vrátane Slovenska môže byť táto otázka podstatnejšia než samotná otvorenosť súborov.

Pre slovenské školy a malé laboratóriá je šesťterabajtový rozsah bariérou, no selektívne sťahovanie podľa manifestu umožňuje pracovať iba s konkrétnou projekciou alebo vybranými scénami. Dataset môže poslúžiť ako referenčný základ pri vývoji priestorového videa pre kultúrne dedičstvo, virtuálne prehliadky, priemyselné školenia či robotiku. Jeho hlavná hodnota nespočíva iba v počte klipov. Dôležité je, že spája pôvodný obraz, odvodené formáty, geometriu kamery, kontrolovateľný kód a otvorene pomenované limity. Práve takáto dokumentácia umožňuje rozlíšiť merateľný technický pokrok od výsledku spôsobeného neznámym spracovaním vstupných videí.