Preprint skúša presnejšie riadenie kompozície pri generovaní krajiniek

Nový preprint na arXive sa venuje problému, ktorý pozná každý, kto skúšal generovať obrázky textovým promptom: model často porozumie téme, ale nie presnej kompozícii. Vie nakresliť horskú krajinu, jazero alebo západ slnka, no ťažšie sa mu vysvetľuje, kde má byť horizont, ako veľký má byť dominantný objekt, koľko priestoru má zaberať obloha a aký má byť vzťah prvkov v zábere. Práca s názvom Anchor-Conditioned Compositional Control for Landscape Image Generation preto skúša pridať k textu aj štruktúrovaný kompozičný signál.

Autori navrhujú rámec anchor-conditioned fine-tuning. Z tréningových obrázkov extrahujú štvorrozmerný kompozičný vektor, ktorý slúži ako takzvaná kotva. Vektor má zachytiť základné vlastnosti obrazovej skladby a následne sa vkladá do difúzneho modelu cez oddelenú cross-attention vrstvu s Fourierovým kódovaním. Cieľom nie je nahradiť textový prompt, ale doplniť ho o číselný signál, ktorý sa dá lepšie merať a kontrolovať než prirodzený jazyk.

Takýto prístup je zaujímavý preto, že dnešné generátory obrázkov sa zlepšili v štýle, ostrosti aj fotorealizme, no jemná režijná kontrola zostáva slabším miestom. Používatelia často obchádzajú problém dlhými promptmi, referenčnými obrázkami alebo dodatočným editovaním. To funguje pri jednotlivých výstupoch, ale je menej spoľahlivé, keď treba vyrábať série obrázkov s konzistentnou kompozíciou, napríklad pre vizuálnu identitu, storyboard, produktovú kampaň alebo herné prostredie.

Preprint sa sústreďuje na krajinné obrázky, čo je úzka, ale praktická doména. Krajina má zreteľné kompozičné prvky: horizont, oblohu, zem, vodu, dominantné prírodné alebo architektonické prvky a vrstvenie hĺbky. Práve preto je vhodná na prvé testovanie, či číselná kotva dokáže modelu poskytnúť presnejšiu predstavu o rozložení scény. Autori porovnávajú navrhovanú architektúru s baseline modelom a viacerými abláciami, teda variantmi, v ktorých odoberajú alebo menia časti metódy.

Kľúčová technická myšlienka spočíva v tom, že kompozičný signál sa nesnaží natlačiť do promptu slovami. Model dostáva vektor cez samostatnú cestu a môže ho kombinovať s textom počas generovania. Fourierovo kódovanie pomáha reprezentovať číselné hodnoty tak, aby boli pre neurónovú sieť použiteľnejšie. Trojcestný classifier-free guidance dropout má zase zlepšiť učenie vzťahu medzi textom, kompozíciou a výsledným obrazom. Inými slovami, model sa učí nielen čo má zobraziť, ale aj ako má byť scéna poskladaná.

Ak sa tento smer potvrdí, môže byť dôležitý pre profesionálne kreatívne nástroje. Dizajnér alebo fotograf často neuvažuje iba v objektoch, ale v kompozícii: čo je v popredí, čo je v pozadí, kde je ťažisko záberu a ako obraz vedie pohľad. Textové rozhranie je na takéto presné priestorové pokyny nešikovné. Číselné alebo vizuálne ovládače by mohli priniesť podobnú logiku, akú poznajú používatelia z fotoaparátov, 3D editorov alebo grafických nástrojov.

Treba však zdôrazniť, že ide o skorý preprint, nie hotový produkt. Autori prezentujú prvé výsledky a doménovo obmedzené hodnotenie. Nie je jasné, ako dobre by metóda fungovala pri portrétoch, produktovej fotografii, architektúre alebo komplexných scénach s ľuďmi. Rovnako zostáva otázkou, ako by používatelia najlepšie zadávali kompozičný vektor v praxi. Ručné nastavovanie štyroch čísel nemusí byť ideálne; oveľa prirodzenejšie môže byť kreslenie jednoduchého náčrtu, výber zo šablón alebo automatické odvodenie kotvy z referenčného obrázka.

Výskum zapadá do širšieho trendu, v ktorom sa generatívne modely posúvajú od voľného promptovania k ovládateľným systémom. ControlNet, referenčné adaptéry, maskované editovanie či kompozičné rozhrania ukazujú, že profesionálne použitie vyžaduje predvídateľnosť. Nestačí, aby model občas vytvoril pekný obrázok. Musí rešpektovať zadanie, držať konzistentné pravidlá a umožniť používateľovi opraviť konkrétnu vlastnosť bez toho, aby sa zmenil celý výstup.

Praktický dopad pre dnešok je najmä výskumný. Preprint ponúka ďalší spôsob, ako formalizovať vizuálnu kompozíciu a dostať ju do tréningu difúzneho modelu. Ak sa ukáže, že podobné kotvy fungujú aj mimo krajiniek, mohli by sa stať základom ovládacích prvkov v budúcich generátoroch obrázkov. Pre používateľov by to znamenalo menej náhodného skúšania promptov a viac práce s parametrami, ktoré zodpovedajú tomu, ako o obraze premýšľajú fotografi, ilustrátori a art directori.