Robot môže nejasný pokyn vyriešiť novým pohľadom, nielen otázkou

Dva odlišné zdroje neistoty

Keď človek povie robotovi „prines tú škatuľu“, nejednoznačnosť nemusí byť iba v slovách. Používateľ mohol svoj zámer opísať nedostatočne, ale potrebný údaj môže byť aj fyzicky skrytý: etiketa je otočená od kamery, drobný text sa nedá prečítať, predmet zakrýva iný objekt alebo sa cieľ nachádza mimo aktuálneho záberu. Práca Yiwei Liu a Luwei Yang preto rozlišuje dve situácie, ktoré sa navonok prejavujú rovnako. Chýbajúcu preferenciu človeka treba získať otázkou, zatiaľ čo chýbajúci dôkaz o stave sveta môže robot nájsť pohybom kamery. Toto rozlíšenie je podstatnejšie než všeobecné tvrdenie, že robot má pri neistote jednoducho požiadať o pomoc.

Navrhnutý rámec prepája používateľský pokyn, aktuálne aj predchádzajúce zábery a prípadný dialóg. Vizuálno-jazykový model v každom kroku volí jednu z troch akcií: získať ďalšie pozorovanie, položiť spresňujúcu otázku alebo potvrdiť cieľový predmet. Kamera je umiestnená na robotickom ramene, takže systém môže meniť uhol a vzdialenosť, získavať nové RGB-D dáta a opakovane prehodnocovať situáciu. Nový pohľad pritom nemusí otázku úplne odstrániť. Môže najprv odhaliť názvy, farby či funkčné vlastnosti predmetov a až potom umožniť konkrétnejšiu otázku, ktorej človek lepšie rozumie.

Čo ukázalo 36 pokusov

Plný text preprintu prináša podrobnosti, ktoré v jeho abstrakte neboli viditeľné. Autori použili šesťosové rameno PiPER s RGB-D kamerou DABAI DC1 a model Qwen3.7-Plus dostupný cez Alibaba Cloud Model Studio. Pripravili deväť stolových scenárov a v každom porovnali štyri postupy, spolu teda vykonali 36 pokusov. Navrhovaný systém s aktívnym pozorovaním postavili proti priamemu výberu z prvého záberu a proti dvom variantom otázok bez pohybu kamery. Hodnotili, či bol cieľ vyriešený, z akého dôkazu rozhodnutie vychádzalo, koľko otázok robot položil a koľko nových pohľadov potreboval.

Prvých päť scenárov skúšalo predmety, ktoré sa nachádzali v úvodnom zábere, ale rozhodujúci znak nebol dostatočne viditeľný. Išlo napríklad o čiastočne zakryté písmeno na škatuli, malý text na knihe, označenie zväzku alebo názov na obale. Aktívny systém vo všetkých piatich prípadoch získal čerstvý vizuálny dôkaz a vybral správne. Pasívny výber uspel iba v dvoch z piatich prípadov; oba systémy založené na otázkach našli správny predmet s pomocou používateľa, hoci scénu samy lepšie nepreskúmali. Výsledok preto nepodporuje záver, že pohyb je vždy lepší než otázka, ale ukazuje, že vie presunúť časť informačnej záťaže z človeka na robot.

V dvoch ďalších scenároch boli na stole liekové balenia a používateľova preferencia zostala neúplná aj po vizuálnom prieskume. Aktívny pohľad odhalil názvy a ďalšie atribúty, takže robot sa mohol pýtať na konkrétne lieky namiesto neurčitého „bieleho predmetu vpravo“. Otázka bola naďalej potrebná, pretože kamera nemôže zistiť, aký liek človek chce. Jeden porovnávací postup navyše po jednoznačnom pomenovaní lieku zbytočne zopakoval otázku založenú na vzhľade. Experiment tak ilustruje praktický rozdiel medzi rozpoznaním fyzických možností a získaním zámeru používateľa.

Posledné dva scenáre obsahovali cieľ mimo počiatočného užitočného záberu. Aktívny systém rozšíril prehľadávanú oblasť, našiel požadované balenie a v oboch prípadoch ho správne vybral. Metódy viazané na nemenný záber zostali pri lokálnych kandidátoch a zlyhali. To je dôležitý výsledok: otázka používateľovi sama osebe nevytvorí chýbajúci vizuálny kandidát. Ak robot nevidí celý pracovný priestor, musí vedieť preskúmať aj možnosť, že správna odpoveď sa nenachádza medzi objektmi, ktoré pôvodne zaznamenal.

Praktická hodnota a cena ďalšieho pohľadu

Princíp sa môže uplatniť v skladoch, laboratóriách, nemocniciach aj pri domácich asistenčných robotoch. Zamestnanec skladu nemusí poznať presnú polohu štítku a pacient nemusí vedieť opísať obal z perspektívy robotickej kamery. Systém, ktorý najprv prečíta označenie a následne ponúkne zrozumiteľné možnosti, môže znížiť počet komunikačných výmen aj riziko náhodného výberu. Nadväzuje tým na predchádzajúci výskum stelesnených multimodálnych modelov, ako je PaLM-E, a na rámce typu KnowNo, ktoré učia plánovač rozpoznať neistotu a požiadať o pomoc. Nová práca pridáva otázku, či informáciu nemožno najprv získať priamo zo sveta.

Aktívne pozorovanie však nie je bezplatné. V jednom scenári potreboval navrhovaný postup až 16 nových pozorovaní, kým rozlíšil dva podobné zväzky knihy; inde stačil jeden až tri pohyby. Každá zmena pohľadu predlžuje úlohu, spotrebúva energiu a pri fyzickom stroji vytvára riziko kolízie. Praktický plánovač preto nemá maximalizovať počet záberov, ale porovnávať očakávaný informačný prínos s časom a bezpečnosťou. Pri lacnej otázke môže byť dialóg vhodnejší, zatiaľ čo pri hlučnom prostredí, jazykovej bariére alebo neprítomnom používateľovi môže mať autonómne preskúmanie vyššiu hodnotu.

Pre slovenské a európske podniky je relevantný najmä dôraz na preukázateľný pôvod rozhodnutia. Robot nasadený v logistike alebo zdravotníckom prostredí by nemal iba trafiť správny objekt, ale zaznamenať, či rozhodoval podľa prečítaného štítku, nového záberu alebo potvrdenia operátora. Takýto záznam pomáha pri kontrole chýb, hodnotení rizík a nastavovaní bodov, v ktorých musí rozhodnutie schváliť človek. Pri liekoch, chemikáliách alebo nevratnej manipulácii by ani vysoká sebadôvera vizuálno-jazykového modelu nemala automaticky nahradiť bezpečnostné pravidlo alebo povinné potvrdenie.

Sľubný mechanizmus, zatiaľ nie hotový produkt

Výsledky treba čítať opatrne. Deväť scenárov predstavuje skôr demonštráciu mechanizmu než rozsiahly benchmark a tabuľky opisujú jeden zhodný pokus pre každú kombináciu scény a metódy. Práca neuvádza opakované série, intervaly neistoty ani štatistické testy, takže z nej nemožno odvodiť všeobecnú mieru úspešnosti. Predmety boli umiestnené na stole, prostredie bolo kontrolované a experiment používal jedinú robotickú platformu aj jediný cloudový model. Nie je známe, ako stabilne by postup fungoval pri meniacom sa osvetlení, pohybujúcich sa ľuďoch, reflexných obaloch, slovenskom dialógu alebo vo väčšom sklade.

Otvorená zostáva aj kalibrácia rozhodovania. Vizuálno-jazykový model môže nesprávne prečítať etiketu, spojiť dôkazy z rôznych pohľadov s nesprávnym predmetom alebo ukončiť prieskum priskoro. Naopak, príliš opatrný systém môže vykonávať množstvo nepotrebných pohybov. Ďalšie hodnotenie by preto malo merať nielen správny konečný výber, ale aj čas, energiu, počet otázok, bezpečnosť trajektórie, konzistentnosť medzi zábermi a správanie pri protichodnej odpovedi človeka. Užitočné bude tiež porovnanie s plánovačom, ktorý explicitne optimalizuje cenu otázky a cenu fyzického pozorovania.

Práca napriek týmto obmedzeniam presne pomenúva dôležitý problém stelesnenej AI: neistota nemá vždy rovnaký zdroj. Robot potrebuje rozlíšiť, či mu chýba fakt viditeľný vo fyzickom svete, alebo preferencia existujúca iba v mysli používateľa. Až potom môže rozumne zvoliť medzi pohľadom, otázkou a činom. Experimenty ukazujú, že takáto slučka je na reálnom ramene uskutočniteľná a v pripravených scenároch fungovala. Cesta k produkčnému nasadeniu však vedie cez rozsiahlejšie testy, opakovateľnosť a bezpečnostné poistky, nie iba cez presvedčivú ukážku pri stole.