Cosmos-H-Dreams prináša generatívny simulátor chirurgickej robotiky v reálnom čase

NVIDIA v spolupráci s Hugging Face predstavila Cosmos-H-Dreams, generatívny simulátor určený na vývoj chirurgickej robotiky. Systém prijíma obraz počiatočnej scény a priebežné údaje o pohybe robota, následne vytvára ďalšie snímky tak, aby sa s prostredím dalo pracovať interaktívne. Nejde teda iba o vopred vyrenderované video. Človek alebo naučená robotická politika môže vykonať akciu, dostať syntetickú vizuálnu odozvu a pokračovať v uzavretej slučke.

Takýto nástroj rieši praktický problém fyzickej AI v medicíne. Experimenty na reálnych robotických platformách sú drahé, pomalšie sa opakujú a zlyhanie môže poškodiť nástroj alebo biologický materiál. Chirurgické scény sú zároveň náročné aj pre klasické simulátory: obsahujú deformovateľné tkanivo, tenké ihly a nite, lesklé povrchy, dym, prekrytia aj jemné kontakty nástrojov. Ručne vytvoriť dostatočne verný fyzikálny model každej situácie je mimoriadne nákladné.

Cosmos-H-Dreams vychádza zo systému Cosmos-H-Surgical-Simulator postaveného na modeli Cosmos-Predict2.5-2B a dátach Open-H-Embodiment. Starší model dokázal z východiskového obrazu a budúcej trajektórie robota vytvoriť video pravdepodobného vývoja scény. To bolo použiteľné na syntetické dáta a hodnotenie zaznamenaných trajektórií. Nová verzia presúva rovnakú myšlienku do režimu, v ktorom sa akcie zadávajú priebežne a model musí reagovať skôr, než príde ďalší blok pohybu.

Autori najprv pripravili výkonný učiteľský model a potom jeho schopnosti preniesli do menšieho kauzálneho modelu, ktorý generuje scénu po časových krokoch. Pri tréningu použili aj neúspešné pokusy, napríklad spadnutú ihlu, minutý vpich alebo nevydarený uzol. To je podstatné: simulátor určený na testovanie robotickej politiky nesmie realisticky zobrazovať iba ideálne zákroky. Musí zachytiť aj dôsledky chybných akcií, inak by v hodnotení vytváral falošný pocit bezpečnosti.

Druhým problémom je hromadenie chýb. Model sa počas nasadenia opiera o vlastné predchádzajúce snímky, nie o bezchybný záznam zo skutočnej kamery. Cosmos-H-Dreams preto využíva destiláciu, pri ktorej sa študentský model učí pokračovať zo svojich vlastných výstupov a učiteľ ho vedie späť k realistickému priebehu. Výsledkom je generovanie s malým počtom odšumovacích krokov a s kauzálnou pozornosťou vhodnou na streamovanie.

Samotný model dopĺňa inferenčná knižnica FlashDreams. Podľa zverejnených údajov kombinácia priebežnej vyrovnávacej pamäte pozornosti, CUDA Graphs a kompilácie posúva systém z približne desiatich na približne 160 snímok za sekundu na jedinej karte NVIDIA RTX PRO 6000. Ide o údaj výrobcu a ešte nie o nezávislý benchmark, no rozdiel ukazuje, prečo je optimalizácia runtime rovnako dôležitá ako kvalita modelu. Bez nízkej latencie by spätná väzba pri ovládaní robota prišla neskoro.

Projekt obsahuje viac spôsobov interakcie. Webový klient môže posielať povely z klávesnice a prijímať obraz cez WebRTC. Klient pre Meta Quest dokáže preniesť pohyb ovládačov do robotických akcií a zobraziť syntetickú scénu cez WebXR. Rovnaké rozhranie možno pripojiť k naučenej politike, ktorá na základe generovaných pozorovaní vyberá ďalší krok. Tím uvádza aj integráciu s ovládačom platformy Versius od CMR Surgical, čo demonštruje prenos mimo pôvodného stolového systému dVRK.

Otvorené zverejnenie má pre výskum väčší význam než samotná ukážka. K dispozícii je kontrolný bod modelu, repozitár s kódom, FlashDreams, pôvodný chirurgický simulátor aj dátový súbor Open-H-Embodiment. Vývojári dostávajú tiež postup, ako doladiť učiteľský model na vlastné dáta a následne pripraviť rýchleho študenta. Laboratóriá tak môžu overiť výsledky, meniť robotickú konfiguráciu a porovnávať prenos medzi simulovanou a fyzickou platformou.

Práve prenos do reality zostáva najväčšou neistotou. Vizuálne presvedčivé video ešte nedokazuje, že simulácia správne zachováva geometriu nástroja, kontakt s tkanivom alebo dlhodobé následky série pohybov. Potrebné budú testy presnosti polohy hrotu, stability nehybnej scény, vernosti otvárania uchopovača, reakcie na protichodné akcie, driftu pri dlhších sekvenciách a najmä zhody výsledkov tej istej politiky v simulátore a na skutočnom robotovi.

Autori preto výslovne opisujú Cosmos-H-Dreams ako výskumnú a vývojovú platformu, nie diagnostický systém, náhradu vnútrooperačného zobrazovania ani ovládač fyzického chirurgického robota. Krátkodobá hodnota je bezpečnejšia príprava experimentov, tvorba zriedkavých chybových situácií, syntetické tréningové dáta a rýchle porovnávanie politík. Až dôkladná validácia ukáže, či sa generatívne svetové modely stanú dôveryhodnou súčasťou nácviku, plánovania zákrokov alebo kompenzácie oneskorenia pri teleoperácii.