Apple skúmal, čo skutočne zlepšuje zosúladenie multimodálnych modelov

Výskumníci Apple zverejnili rozsiahlu štúdiu preferenčného zosúladenia multimodálnych veľkých jazykových modelov. Namiesto ďalšieho porovnania hotových systémov sa pokúsili oddeliť vplyv troch premenných, ktoré sa v doterajších prácach často menili naraz: použitého základného modelu, preferenčných dát a samotného algoritmu ladenia. Práve táto kombinácia rozdielov podľa autorov sťažovala určenie, prečo konkrétne experimenty priniesli lepšie výsledky.

Pri multimodálnych modeloch nejde iba o to, či odpoveď znie presvedčivo alebo rešpektuje všeobecné ľudské preferencie. Model môže uviesť nesprávny fakt, no zároveň môže vytvoriť opis, ktorý je v priamom rozpore s obsahom vstupného obrázka. Zosúladenie preto musí posilňovať väzbu medzi vizuálnymi dôkazmi a textovou odpoveďou. Inak sa môže zlepšiť štýl či užitočnosť odpovede bez toho, aby sa spoľahlivo obmedzili vizuálne halucinácie.

Autori rozdeľujú skúmané metódy na offline a online prístupy. Do prvej skupiny patrí napríklad Direct Preference Optimization, pri ktorom model dostane vopred pripravené dvojice preferovaných a odmietnutých odpovedí. Online metódy, ako online DPO, generujú alebo vyberajú tréningové odpovede priebežne počas ladenia. Štúdia uvádza, že spojenie offline a online postupu môže v určitých podmienkach zlepšiť výkon, nejde však o univerzálne pravidlo platné bez ohľadu na dáta a model.

Dôležitou časťou práce je rozbor existujúcich multimodálnych preferenčných datasetov. Tie sa nelíšia iba veľkosťou, ale aj tým, ako vznikli negatívne odpovede, aký typ chýb zachytávajú a či pri ich príprave pomáhal silnejší externý model alebo ľudský anotátor. Dve datasety s rovnakým počtom položiek tak nemusia poskytovať porovnateľný tréningový signál. Konštrukcia dát môže rozhodovať o tom, či sa model naučí lepšie sledovať obraz, alebo iba rozpoznávať opakujúci sa štýl odpovedí.

Apple na základe týchto pozorovaní navrhuje Bias-Driven Hallucination Sampling, skrátene BDHS. Metóda má vytvárať multimodálne preferenčné dáta bez dodatočnej anotácie a bez volania externých modelov. Využíva skreslenia a tendencie samotného ladeného systému na získanie odpovedí s halucináciami, ktoré potom poslúžia ako odmietnuté príklady. Cieľom je pripraviť užitočný kontrast medzi odpoveďou opretou o obraz a vierohodne znejúcou, ale vizuálne nepodloženou alternatívou.

Podľa výsledkov zhrnutých Apple dosahuje BDHS na viacerých benchmarkoch konkurencieschopnú úroveň v porovnaní s predchádzajúcimi metódami multimodálneho zosúladenia. Praktický význam spočíva najmä v nižšej závislosti od drahej anotácie alebo od proprietárneho učiteľského modelu. Tím, ktorý už má základný multimodálny model a obrazovo-textové dáta, by tak mohol zostaviť preferenčnú fázu tréningu s menším množstvom externých komponentov.

Výsledok zároveň neznamená, že synteticky vytvorené preferencie vyriešili halucinácie. Metóda vychádza z chýb a skreslení konkrétneho systému, takže môže nedostatočne pokrývať zlyhania, ktoré model sám nevygeneruje alebo ktoré sa objavia až v inom prostredí. Benchmarkové zlepšenie navyše nemusí presne predpovedať správanie pri medicínskych snímkach, dokumentoch, používateľských fotografiách či neobvyklých kombináciách obrazu a otázky.

Pre vývojárov je podstatný najmä metodický odkaz práce: pri hodnotení nového postupu nestačí porovnať konečné skóre dvoch modelov, ak sa súčasne zmenili dáta, základná architektúra aj optimalizácia. Samostatné ablácie jednotlivých častí môžu odhaliť, či zlepšenie pochádza z algoritmu alebo len z kvalitnejších preferenčných dvojíc. To je dôležité aj pri rozhodovaní, kam investovať rozpočet na anotáciu a výpočtový výkon.

Štúdia zapadá do širšieho posunu od všeobecného preferenčného ladenia k metódam zameraným na konkrétny druh chyby. Pri MLLM je takým problémom nesúlad medzi obrazom a textom, ktorý čisto jazykové hodnotenie nemusí zachytiť. BDHS ponúka jeden spôsob, ako cielene vyrábať negatívne príklady, no jeho prínos bude potrebné overovať na širšej palete modelov, domén a reálnych používateľských úloh.

Apple opisuje prácu ako komplexnú štúdiu, ale verejné zhrnutie neposkytuje samo osebe úplný obraz o štatistickej neistote ani o každom nastavení experimentov. Číselné výsledky preto treba čítať spolu s plnou publikáciou a jej metodikou. Najsilnejším záverom zatiaľ nie je tvrdenie o jednej definitívne najlepšej technike, ale ukážka, že algoritmus a spôsob výroby preferenčných dát sa musia posudzovať spoločne.