Apple skúmal, čo skutočne zlepšuje zosúladenie multimodálnych modelov

Čo štúdia v skutočnosti skúmala

Výskumníci Apple analyzovali preferenčné ladenie multimodálnych veľkých jazykových modelov, teda systémov, ktoré spoločne spracúvajú obraz a text. Dôležité časové spresnenie je, že práca sa na výskumnom webe Apple objavila v auguste 2026, ale jej jediná verejná verzia na arXiv bola predložená už 2. júla 2024. Nejde teda o úplne nový experiment z roku 2026, ale o neskôr zverejnenú prezentáciu staršej štúdie. Jej hlavná hodnota napriek tomu zostáva aktuálna: upozorňuje, že výsledok zosúladenia nemožno pripísať algoritmu, ak sa pri porovnaní súčasne zmenil základný model, tréningový dataset aj spôsob výroby preferenčných dvojíc.

Pri multimodálnom modeli má „halucinácia“ osobitný význam. Odpoveď môže byť jazykovo plynulá a všeobecne pravdepodobná, no zároveň odporovať konkrétnemu obrázku — napríklad pomenovať predmet, ktorý na snímke nie je, alebo mu priradiť nesprávnu farbu či vzťah k iným objektom. Autori preto odlišujú celkovú užitočnosť odpovede od vizuálnej vernosti. Tieto vlastnosti sa nemusia zlepšovať spoločne: stručnejšia odpoveď môže obsahovať menej vymyslených detailov, ale zároveň môže byť menej užitočná. Štúdia preto používa viacero metrík, medzi nimi POPE, MMHALBench, LLaVABench-in-the-Wild, TextVQA, GQA, MMVet a mieru zachytených objektov z anotácií COCO.

Experimenty sa sústreďujú na model LLaVA 1.6-7B Vicuna. Autori porovnávajú offline metódy, ktoré trénujú na vopred vytvorených preferenčných pároch, s online postupmi, pri ktorých sa odpovede generujú a hodnotia počas ladenia. Pri DPO model dostáva preferovanú a odmietnutú odpoveď a učí sa zvýšiť relatívnu pravdepodobnosť tej lepšej bez samostatného odmeňovacieho modelu. Online DPO znižuje problém posunu medzi starými tréningovými vzorkami a aktuálnym stavom modelu, ale môže vyžadovať silnejší model, ktorý nové odpovede zoradí. Zmiešaný postup kombinuje v experimentoch offline a online dvojice v pomere jedna k jednej.

Dáta rozhodujú najmenej tak ako algoritmus

Jedným z najužitočnejších krokov práce je porovnanie datasetov VLFeedback, POVID a RLHF-V pri rovnakom základnom modeli, rovnakom algoritme DPO a po zmenšení každého súboru na 5 000 príkladov. Pôvodné datasety sa totiž výrazne líšia: VLFeedback obsahuje odpovede viacerých modelov hodnotené pomocou GPT-4V, POVID vyrába chybné odpovede úpravou referenčného textu a RLHF-V využíva ľudské opravy na úrovni častí odpovede. Po zjednotení veľkosti sa poradie metód na niektorých benchmarkoch zmenilo. To podporuje opatrnejší záver, že údajne lepší algoritmus môže v skutočnosti ťažiť z väčšieho alebo vhodnejšie zostaveného datasetu.

Výsledky zároveň ukazujú konflikt medzi rôznymi cieľmi. Plný POVID zlepšil oproti základnému modelu skóre POPE z 86,40 na 88,09 a zvýšil zachytenie objektov COCO zo 68,13 na 73,48, no skóre LLaVABench-in-the-Wild kleslo z 80,85 na 78,63 a MMVet zo 43,94 na 40,60. Plný VLFeedback sa naopak dostal na 90,75 v LLaVABench, ale na POPE klesol na 81,84. Z týchto čísel nemožno vyhlásiť jedného univerzálneho víťaza. Dataset zameraný na potláčanie halucinácií môže model naučiť konzervatívnejšie odpovedať, zatiaľ čo rozmanitejšie a kvalitnejšie preferované odpovede môžu viac podporiť všeobecnú užitočnosť.

Autori navyše upozorňujú na slabiny samotného hodnotenia. Pri ručnej kontrole stovky neúspešných položiek POPE označili až 20 percent referenčných odpovedí za nesprávne alebo sporné. Pri MMHALBench zistili, že textový hodnotiteľ môže potrestať správnu odpoveď, ak obsahuje pravdivý detail, ktorý chýba v krátkej referencii. Navrhli preto variant MMHALBench-V, v ktorom hodnotiaci GPT-4o vidí aj pôvodný obrázok. Ide o internú úpravu autorov, nie o nezávisle potvrdený štandard, no dobre ilustruje, prečo malé rozdiely v benchmarkovom skóre netreba zamieňať za spoľahlivý dôkaz lepšieho správania v praxi.

Ako BDHS vyrába užitočné chyby

Bias-Driven Hallucination Sampling, skrátene BDHS, vytvára odmietnutú odpoveď zo samotného ladeného modelu. Namiesto zavolania externého učiteľského modelu obmedzí pozornosť k časti obrazových tokenov. Model potom vo väčšej miere čerpá zo svojich jazykových návykov a môže vytvoriť vierohodne znejúci, ale obrazom nepodložený detail. Generovanie sa pritom vedie podľa správnej referenčnej odpovede: jednotlivé vety sa rozdelia na náhodnom mieste a model dopĺňa ich pokračovanie pri obmedzenom prístupe k obrazu. Cieľom je vyrobiť realistickú chybu blízku správnej odpovedi, nie ľahko rozpoznateľný nezmysel.

BDHS dopĺňa kontrola sémantickej podobnosti pomocou vetných embeddingov. Ak je vytvorená odmietnutá odpoveď takmer totožná s referenciou, systém vzorkovanie zopakuje. V experimentoch autori používali hranicu kosínusovej podobnosti 0,97 a najviac päť pokusov. Pri variante s maskovaním obrazovej pozornosti na úrovni 0,99 dosiahlo DPO na 5 000 príkladoch skóre POPE 88,75 a LLaVABench 86,33, oproti 86,40 a 80,85 pri neladenom základe. Na MMVet však výsledok 43,39 mierne zaostal za základom 43,94 a na MMHALBench-V neprišlo zlepšenie. Presnejšie preto je hovoriť o sľubnom kompromise bez externého anotátora, nie o všeobecnom odstránení multimodálnych halucinácií.

Metóda má aj praktické obmedzenia. Potrebuje správne referenčné odpovede zo supervised fine-tuningu; bez nich nevie vytvoriť spoľahlivú preferovanú stranu dvojice. Maskovanie je naviazané na vnútornú reprezentáciu konkrétnej architektúry a optimálna hodnota zistená pri LLaVA 1.6 sa nemusí preniesť na iný vizuálny enkóder. Syntetické chyby navyše pokrývajú najmä omyly, ktoré vie vyvolať samotný model. Nemusia zachytiť zlyhania na medicínskych snímkach, formulároch, slovenských dokumentoch, mapách či fotografiách z odlišného kultúrneho prostredia. Verejná verzia práce neuvádza nezávislú replikáciu ani intervaly neistoty pre prezentované skóre.

Čo z toho vyplýva pre nasadenie v Európe

Neskoršia práca PEA-DPO, prijatá na konferenciu ACM Multimedia 2026, poskytuje nezávislý doplňujúci pohľad na ten istý problém. Jej autori opisujú „vizuálnu necitlivosť“: štandardné multimodálne DPO môže uprednostňovať lepšie formulovanú odpoveď bez toho, aby sa dostatočne naučilo rozlišovať pôvodný obraz od verzie, z ktorej zmizol kľúčový vizuálny kontext. PEA-DPO preto optimalizuje textové preferencie aj preferenciu úplného obrazu voči obrazu s odstránenými dôležitými časťami. Táto štúdia nereplikuje BDHS a nepotvrdzuje jeho konkrétne čísla; nezávisle však podporuje širšiu tézu, že kvalita multimodálneho zosúladenia závisí od toho, či tréningový signál model skutočne núti používať obraz.

Pre slovenské firmy a verejné inštitúcie je praktickým dôsledkom potreba hodnotiť model na vlastných dátach a oddeliť aspoň tri osi: správnosť voči obrazu, užitočnosť odpovede a zachovanie všeobecných schopností. Testovacia sada by mala zahŕňať miestny jazyk, diakritiku, skeny dokumentov, nekvalitné fotografie aj prípady, v ktorých správnou reakciou je priznanie neistoty. Pri citlivom použití nestačí jedno priemerné benchmarkové skóre; potrebná je ručná kontrola chýb, verzovanie datasetov a sledovanie toho, či nižší počet halucinácií nevznikol iba skracovaním alebo odmietaním odpovedí.

Usmernenia Európskej komisie k modelom na všeobecné použitie uvádzajú, že príslušné povinnosti AI Actu sa uplatňujú od 2. augusta 2025 a právomoci Komisie na ich vymáhanie od 2. augusta 2026. Samotná štúdia Apple nepreukazuje súlad s AI Actom a väčšina nasadzujúcich organizácií nemusí byť poskytovateľom modelu na všeobecné použitie. Jej metodický odkaz je však relevantný pre riadenie rizík: treba dokumentovať pôvod preferenčných dát, limity metrík, regresie medzi schopnosťami a rozdiel medzi výsledkom autorov a nezávislým overením. BDHS môže znížiť cenu výroby tréningových dvojíc, ale nenahrádza doménové testovanie, ľudskú kontrolu ani posúdenie konkrétneho použitia.