SpatialBabel ukazuje, že VLM lepšie chápu priestor cez 3D primitíva než cez priame otázky

Nový arXiv preprint s názvom 3D Primitives are a Spatial Language for VLMs ide po jednom z dlhodobých slabých miest multimodálnych modelov: po priestorovom uvažovaní. Autori opisujú paradox, ktorý pozná veľa ľudí pracujúcich s VLM systémami v praxi. Ten istý model vie niekedy vygenerovať spustiteľný kód, ktorý z primitív ako kocky, gule či valce približne zrekonštruuje scénu so správnym počtom objektov a relatívnou polohou. Keď sa ho však človek opýta jednoduchšou prirodzenou vetou, kde sa objekt nachádza alebo čo je pred čím, zlyhá. Výskum preto navrhuje, aby sa na priestor nepozeralo len ako na ďalší benchmark otázok a odpovedí, ale ako na samostatný medzijazyk reprezentácie.

Tým medzijazykom majú byť práve 3D primitíva vyjadrené v kóde. Namiesto priameho slovného rozhodovania model najprv opíše scénu ako jednoduchý program alebo deklaratívny formát, v ktorom sa objekty dajú pomenovať, spočítať a umiestniť do priestoru. Znie to technicky, ale dôsledok je praktický: model sa pri odpovedi neopiera len o neurčitý textový odhad, ale o explicitnejšiu pracovnú reprezentáciu. Autori tvrdia, že práve táto reprezentácia funguje ako prenositeľný priestorový slovník, ktorý sa dá použiť na diagnostiku aj na zlepšovanie modelov.

Prvým výsledkom je benchmark SpatialBabel. Ten porovnáva štrnásť VLM modelov pri rekonštrukcii scén cez šesť takzvaných „scene-code languages“, teda kombinácií programovacích alebo deklaratívnych zápisov pre 3D primitíva. Dôležitý detail je, že výkon toho istého modelu sa môže medzi jazykmi výrazne meniť. Autori uvádzajú rozdiel až 5,7-násobku v object-detection F1. To je pre trh silný signál: časť slabého priestorového výkonu nemusí byť daná len kapacitou modelu, ale aj tým, do akého formátu ho nútime preložiť scénu a akým rozhraním od neho odpoveď pýtame.

Druhá časť práce predstavuje postup Code-CoT, teda Code Chain-of-Thought. Ide o inferenčnú stratégiu bez dodatočného tréningu, pri ktorej sa priestorové uvažovanie vedie cez generovanie kódu s primitívami. Autori hlásia zlepšenie o 6,4 percenta na SpatialBabel-QA-Score pri primitívnych scénach a o 5 percent na CV-Bench-3D pri reálnych fotografiách u modelov, ktoré už majú silnejšie kódovacie schopnosti. Inak povedané, model nemusí byť nutne „múdrejší“ vo všeobecnom zmysle; môže byť len lepšie navedný do reprezentácie, v ktorej sa priestorový problém rieši stabilnejšie.

Tretím príspevkom je S³-FT, teda self-supervised fine-tuning bez ľudských anotátorov a bez učiteľského modelu. Autori nechajú model generovať vlastné rekonštrukcie scén cez primitíva, tie následne parsujú do štruktúrovaných anotácií a na týchto pseudo-štítkoch model dolaďujú. Práve táto časť robí z práce viac než len benchmark. Pri Qwen3-VL-8B hlásia zisky od 4,6 do 8,6 percenta na SpatialBabel-Primitive-QA, 9,7 percenta na CV-Bench-2D a 17 percent na HallusionBench. Ak sa tieto čísla potvrdia aj v ďalších replikáciách, pôjde o zaujímavý návod, ako dostať priestorové znalosti do modelu lacnejšie než cez ručné anotovanie veľkých datasetov.

Pre prax je zaujímavé, kde by sa takýto prístup mohol prejaviť najrýchlejšie. Priemyselné inšpekcie, robotika, práca s technickými výkresmi, asistenti nad vizuálnymi rozhraniami aj generovanie scén pre simuláciu často narážajú na to, že model „nejako vidí“, ale nevie konzistentne držať priestorové vzťahy. Ak pomôže explicitné preloženie do jednoduchého 3D kódu, môže to byť použiteľnejšie než donekonečna dolaďovať odpoveď v prirodzenom jazyku. Podobne to zaujme aj tvorcov agentov, ktorí nad obrazom robia plánovanie krokov: reprezentácia v kóde je pre ďalší software oveľa priamočiarejšia než textové domnienky.

Zároveň treba zostať opatrný. Zatiaľ ide o čerstvý preprint a nie o recenzovanú konferenčnú prácu. Navyše samotní autori ukazujú, že výsledky silno závisia od zvoleného scene-code jazyka. To znamená, že univerzálny recept ešte neexistuje; skôr sa otvára nový smer, v ktorom bude dôležitá voľba rozhrania medzi obrazom a symbolickou reprezentáciou. V praxi sa môže ukázať, že odlišné domény budú potrebovať iné sady primitív, iné obmedzenia kódu a iné spôsoby spätného parsovania.

Aj tak je práca dôležitá, pretože elegantne spája tri svety, ktoré sa doteraz často hodnotili oddelene: multimodálne videnie, kódové rozhrania a priestorové benchmarky. Namiesto nekonečného sporu, či model „naozaj rozumie obrazu“, ponúka testovateľnú hypotézu: možno rozumie viac, než ukazuje textová odpoveď, ale potrebuje lepší jazyk, v ktorom si scénu interne rozloží. Ak sa tento pohľad ujme, môže ovplyvniť nielen benchmarking VLM, ale aj to, ako sa budú stavať agenti, ktorí nad obrazom plánujú, overujú a vykonávajú ďalšie kroky.

Pre AI Feed je to presne ten typ výskumného signálu, ktorý stojí za sledovanie aj mimo hype okolo nových modelov. Nehovorí o väčšom počte parametrov ani o ďalšej všeobecnej multimodálnej demoverzii. Hovorí o tom, že kvalitu vizuálneho uvažovania môže výrazne meniť samotná forma reprezentácie. A ak je to pravda, ďalšia vlna pokroku vo VLM nemusí prísť len z väčších datasetov, ale aj z lepšie navrhnutých priestorových „jazykov“, cez ktoré sa modely budú učiť myslieť o obraze.