Apple testuje, či vizuálne modely vedia odvodiť pojem iba z príkladov

Apple vo výskumnom príspevku upozorňuje na schopnosť, ktorá je pre ľudí prirodzená, ale pre dnešné vizuálno-jazykové modely zostáva slabým miestom. Ak človeku ukážeme niekoľko obrázkov so spoločným znakom, často pochopí pravidlo aj bez slovného opisu. Vie ho potom použiť na nový obrázok alebo situáciu. Apple túto schopnosť formalizuje ako Visual Concept Inference from Sets, skrátene VICIS, teda odvodzovanie vizuálneho pojmu zo sady príkladov.

Úloha je postavená tak, aby model nedostal hotové textové zadanie. Dostane malú kontextovú sadu obrázkov, ktoré zdieľajú určitý pojem, a samostatný dopytový obrázok. Jeho úlohou je vygenerovať nové obrázky, ktoré zachovajú pojem definovaný kontextovou sadou a zároveň budú konzistentné s dopytom. Inými slovami, model má pochopiť pravidlo z príkladov a aplikovať ho na nový vstup.

To je odlišné od bežného používania multimodálnych modelov, kde používateľ napíše, čo chce vidieť alebo zmeniť. V praxi však veľa vizuálnych pravidiel nie je ľahké pomenovať. Dizajnér môže ukázať sériu produktových fotografií s konkrétnym štýlom osvetlenia. Lekár môže porovnať niekoľko snímok s podobným nálezom. Robot môže pozorovať opakujúci sa tvar alebo usporiadanie objektov. Ak model potrebuje presný textový opis, časť vizuálnej inteligencie sa stráca.

Podľa Apple sa súčasné špičkové vizuálno-jazykové modely v tejto úlohe správajú slabo. Často ignorujú vizuálny kontext, opierajú sa o naučené predsudky z tréningových dát alebo vytvárajú výstupy, ktoré nezachovajú podstatný spoločný znak príkladov. To je dôležitý výsledok, pretože práve multimodálne modely sa dnes prezentujú ako systémy, ktoré dokážu porozumieť obrazom, textu a ich kombináciám. VICIS ukazuje, že medzi opisom obrázka a odvodzovaním pravidla z viacerých obrázkov je veľký rozdiel.

Apple zároveň navrhuje vlastný tréningový rámec a architektúru. Cieľom je učiť model extrahovať konceptovo špecifické embeddingy z dopytového obrázka a lepšie pracovať s kontextovou sadou. Embedding je číselná reprezentácia vlastností vstupu; v tomto prípade má zachytiť práve ten pojem, ktorý sa ukazuje v príkladoch, nie všetky detaily obrázka naraz. Takýto prístup má modelu pomôcť oddeliť podstatný vizuálny vzor od nepodstatného pozadia.

Experimenty v texte zahŕňajú syntetické dáta aj rozsiahlejšie dáta odvodené z ImageNet a WordNet. Apple tvrdí, že navrhnutý model generuje presnejšie a rozmanitejšie výstupy a dokáže lepšie zovšeobecniť na pojmy, ktoré nevidel počas tréningu. Zaujímavé je aj zovšeobecnenie na iné modality, napríklad skice. To naznačuje, že problém nie je iba v estetickej kvalite generovania, ale v širšej schopnosti porozumieť vizuálnym pravidlám.

Praktický význam je širší než obrazová generácia. Ak budú multimodálne systémy pracovať v profesionálnych nástrojoch, robotike, zdravotníctve alebo pri tvorbe obsahu, často budú musieť reagovať na vizuálny kontext bez presného textového návodu. Používateľ nemusí vedieť pomenovať štýl, chybu alebo pojem, ktorý chce zachovať. Systém by mal vedieť odvodiť zámer z príkladov. VICIS dáva tejto schopnosti merateľnú podobu, a tým umožňuje porovnávať modely bez subjektívneho hodnotenia jednotlivých obrázkov.

Výskum tiež pripomína, že multimodálna inteligencia nie je automatickým dôsledkom veľkého jazykového modelu doplneného o obrazový vstup. Model môže vedieť odpovedať na otázky o obrázku, ale stále nemusí vedieť vytvoriť abstraktný vizuálny pojem zo série príkladov. Pre hodnotenie nových modelov je to dôležité, lebo benchmarky zamerané na popisovanie alebo jednoduché vizuálne otázky môžu prehliadnuť schopnosti potrebné v reálnych tvorivých a analytických workflow.

Pre Apple je téma prirodzená aj produktovo. Firma síce v texte neoznamuje konkrétnu funkciu pre používateľov, no schopnosť učiť sa vizuálne pojmy z príkladov by zapadala do nástrojov na úpravu fotografií, generovanie vizuálneho obsahu, prístupnosť alebo personalizované používateľské rozhrania. Ak má AI pomáhať bez toho, aby používateľ písal dlhé prompty, musí vedieť pochopiť zámer z ukážok.

Najdôležitejším odkazom práce je však metodický signál pre celé odvetvie. Nestačí merať, či model vie rozpoznať objekt alebo vyrobiť pekný obrázok. Treba testovať, či vie pracovať s príkladmi, abstrahovať spoločný pojem a preniesť ho na novú situáciu. Práve na takýchto schopnostiach bude stáť ďalšia generácia multimodálnych asistentov, ktorí majú používateľovi rozumieť aj vtedy, keď zámer nevie presne opísať slovami.