Dlhé odseky zlepšili vyhľadávanie obrázkov aj bez zmeny architektúry

Dlhší vstup ešte neznamená porozumenie

Výskumníci z George Washington University skúmali, prečo vision-language modely zvládajú krátke titulky podstatne lepšie než detailné textové opisy. Ich experiment oddeľuje dve možné príčiny: technický limit textového enkódera a charakter textov, na ktorých sa model učil. Výsledky podporujú druhé vysvetlenie. Keď autori dolaďovali textový enkóder BLIP na viacvetových odsekoch, zlepšilo sa vyhľadávanie podľa dlhých opisov bez predĺženia kontextového okna alebo prestavby architektúry. Nejde však o dôkaz, že architektúra nie je dôležitá; štúdia ukazuje, že samotná kapacita prijať viac tokenov nestačí, ak tréning modelu neposkytol dôvod venovať pozornosť informáciám rozloženým v celom odseku.

Kontrastné modely ako CLIP a BLIP sa učia umiestňovať zodpovedajúci obrázok a text blízko seba v spoločnom reprezentačnom priestore. Bežné tréningové dvojice však často obsahujú iba krátky webový titulok alebo alternatívny text. Takýto opis pomenuje hlavný objekt, ale nemusí zachytiť jeho polohu, vzťah k ďalším predmetom, sled udalostí, farby či menej nápadné detaily. Pri dopyte pozostávajúcom z niekoľkých viet preto model môže uprednostniť prvé výrazné podstatné mená a zanedbať informáciu uvedenú neskôr. Praktický problém nie je iba počet podporovaných tokenov, ale aj to, či sa model počas tréningu naučil jednotlivé časti dlhého vstupu účelne skladať.

Experiment izoloval vplyv textového dohľadu

Autori vytvorili syntetický dátový postup nad 500-tisíc obrázkami zo súboru CC3M. Modely Qwen2-VL a Llama 3.2 Vision použili na generovanie rôznorodých titulkov, viacvetových odsekov, hodnotení kvality a náročných negatívnych príkladov. Následne porovnali desať tréningových konfigurácií s odlišnou granularitou textu. Vizuálny enkóder BLIP zostal zmrazený a dolaďovala sa iba textová časť. Takéto nastavenie obmedzuje počet meniacich sa premenných a posilňuje tvrdenie, že pozorované rozdiely súviseli s textovým dohľadom. Zároveň však zužuje platnosť záverov: plné spoločné trénovanie obrazovej a textovej vetvy môže priniesť iné výsledky.

Evaluácia zahŕňala Flickr30k, COCO, ShareGPT4V a DOCCI a sledovala vyhľadávanie v oboch smeroch. Pri krátkych dopytoch pomáhalo pridávanie rôznorodých titulkov, no ďalšie prírastky prinášali postupne menší úžitok. Pri dlhých a detailných opisoch boli užitočnejšie celé odseky. Podľa preprintu model s odsekovým dohľadom dosiahol na ShareGPT4V výkon porovnateľný s Long-CLIP-L a na DOCCI ho pri vyhľadávaní textu podľa obrázka prekonal o viac ako 14 bodov. Číslo sa vzťahuje na konkrétnu metriku, smer retrievalu a experimentálnu zostavu; nemožno ho automaticky preniesť na ľubovoľný model alebo produkčný katalóg.

Dôležitý je aj výsledok podľa dĺžky vstupu. Modely dolaďované iba na titulkoch sa podľa autorov začali pri sekvenciách dlhších než približne 60 tokenov zhoršovať, hoci textový enkóder dokázal technicky prijať viac. Modely trénované na odsekoch využívali dlhšie sekvencie efektívnejšie. To naznačuje rozdiel medzi formálnym kontextovým limitom a reálnou schopnosťou modelu spracovať obsah v tomto limite. Long-CLIP rieši príbuzný problém predĺžením pôvodného limitu CLIP zo 77 na 248 tokenov a úpravou pozičných reprezentácií. Nová práca tento smer nevyvracia, ale dopĺňa ho o dátovú otázku: aké texty musí model vidieť, aby predĺžený priestor skutočne využil?

Bohatšie dáta majú cenu aj riziká

Prekvapivo, syntetické náročné negatívne príklady pri dolaďovaní iba textového enkódera výkon zhoršovali. Takéto príklady sa vytvárajú tak, aby boli veľmi podobné správnemu opisu, ale obsahovali rozhodujúci nesúlad. Bežne majú pomáhať s jemným rozlišovaním, výsledok tejto štúdie však naznačuje možný konflikt medzi syntetickými negatívmi a nemenným vizuálnym priestorom. Nie je to všeobecný verdikt proti tejto technike. Skôr ide o upozornenie, že metóda užitočná pri spoločnom trénovaní oboch modalít nemusí fungovať pri zásahu iba do textovej vetvy a že negatívne príklady treba kontrolovať aj na vierohodnosť.

Syntetická tvorba odsekov umožňuje lacnejšie rozšíriť tréningový materiál, zároveň však môže reprodukovať halucinácie, štylistické stereotypy a slepé miesta generujúcich modelov. Odsek môže presvedčivo pomenovať predmet, ktorý na obrázku nie je, alebo prehliadnuť detail dôležitý pre neskoršie vyhľadávanie. Skórovanie kvality znižuje riziko, ale nenahrádza systematickú ľudskú kontrolu. Pri európskych dátach pribúda jazyková otázka: výsledok získaný prevažne na anglických opisoch nepotvrdzuje rovnakú účinnosť pre slovenčinu, morfologicky bohatšie jazyky alebo viacjazyčné dopyty. Pre lokálne nasadenie by preto bolo potrebné samostatne testovať slovenské opisy, preklady aj kombinovanie jazykov.

Praktický význam pre európske archívy a vyhľadávače

Prístup môže byť užitočný pre mediálne archívy, múzeá, elektronické obchody, poisťovne či podnikové databázy, kde používateľ nehľadá iba heslom „červené auto“, ale opisuje kompozíciu, prostredie a vzťahy medzi objektmi. Ak organizácia zachová existujúci vizuálny enkóder, môže sa vyhnúť opätovnému výpočtu embeddingov pre celý obrazový archív a dolaďovať predovšetkým textovú časť. To môže znížiť náklady aj technické riziko migrácie. Štúdia však neuvádza produkčné merania latencie, spotreby energie ani celkových nákladov, takže hospodársku výhodnosť treba overiť na konkrétnom indexe a prevádzke.

Pre slovenské a európske organizácie je dôležitý aj pôvod tréningových obrázkov a textov. Pri práci s kultúrnym dedičstvom, zdravotnými snímkami alebo internými fotografiami nestačí sledovať presnosť retrievalu. Potrebné je riešiť licencie, osobné údaje, retenčné pravidlá a možnosť vysvetliť, prečo systém našiel konkrétny výsledok. Syntetický opis môže navyše vložiť do indexu nepravdivé tvrdenie, ktoré sa neskôr javí ako metadáta. Bezpečnejší pracovný postup by oddeľoval pôvodné ľudské popisy od generovaných, uchovával pôvod každého záznamu a pri citlivých kolekciách vyžadoval kontrolu človekom.

Práca je podľa záznamu autorov prijatá na workshop MUCG pri ECCV 2026, no v čase zverejnenia ide o prvú verziu preprintu. Chýba nezávislá replikácia a nie je jasné, či sa rovnaký efekt zachová pri iných enkóderoch, väčšom meradle, plnom spoločnom trénovaní alebo prirodzene vytvorených odsekoch. Najpevnejší záver je preto užší: pri návrhu multimodálneho vyhľadávania treba oddelene testovať maximálnu dĺžku vstupu, granularitu tréningového textu a kvalitu opisov. Zväčšenie kontextu môže pomôcť, ale vhodne zostavené dáta rozhodujú o tom, či ho model dokáže premeniť na presnejšie vyhľadávanie.