Tag
Všetky publikované články, v ktorých sa téma multimodalita objavuje ako dôležitý kontext. Aktuálne 18 textov v archíve.
Nový paper A2RD rieši slabinu dlhých generovaných videí: model po čase stráca dej, objekty aj kontinuitu. Autori spájajú multimodálnu pamäť, segmentové generovanie a priebežné samoopravovanie priamo počas inferencie.
Nové vydanie PydanticAI 1.91.0 prináša podporu volieb pre OpenAI gpt-image-2, nové modely deepseek-v4-flash a deepseek-v4-pro a zároveň opravuje viacero chýb, ktoré zasahovali eval datasety, mapovanie odpovedí aj prehrávanie MCP histórie pri volaní nástrojov.
Výskumníci navrhli dual-stream transformer pre detekciu vzájomného pohľadu a spoločnej pozornosti v dvojkamerových videách. Na dátach interakcií medzi opatrovateľom a dieťaťom prekonal konvolučný baseline aj multimodálne LLM.
Apple v novej práci otvára alternatívu k dnešným difúznym video modelom. STARFlow-V sa vracia k normalizing flows a tvrdí, že vie spojiť end-to-end učenie, kauzálnejšiu predikciu aj paralelnejšie vzorkovanie bez úplného rozbitia časovej konzistencie.
NVIDIA uviedla multimodálny model Nemotron 3 Nano Omni a AWS ho sprístupnilo v SageMaker JumpStart v deň vydania. Zaujímavý je najmä tým, že má slúžiť ako jednotný percepčný model pre dokumenty, obrazovky, zvuk aj video v agentických workflow.
Nová práca StereoFoley od Apple sa zameriava na generovanie priestorového stereo zvuku z videa. Namiesto obyčajného „doplnenia audia“ rieši aj to, odkiaľ má zvuk prichádzať, ako sa má meniť pri pohybe objektov a ako vyhodnocovať, či obraz a zvuk skutočne patria k sebe.
Nový výskum Apple ukazuje, že pri plánovaní pohybu nemusí model skladať celé video. Stačiť môže kompaktné latentné zastúpenie trajektórií.
NVIDIA na Hugging Face ukázala demo, v ktorom Gemma 4 na malom zariadení Jetson Orin Nano Super kombinuje reč, obraz aj odpoveď syntetizovaným hlasom. Silným signálom nie je len samotné demo, ale predstava multimodálneho agenta, ktorý vie fungovať lokálne na edge hardvéri.
Nová práca o multimodálnom claim extraction posúva fact-checking bližšie k realite sociálnych sietí, kde sa tvrdenia šíria v kombinácii textu a obrazov. Pre médiá, platformy aj obranné tímy ide o dôležitý stavebný blok proti modernej dezinformácii.
Replicate sprístupnil Seedance 2.0 a ukazuje, že nová generácia video modelov už nestojí len na efektných ukážkach. Dôležitý je najmä posun v multimodálnych vstupoch, natívnom audiu a v schopnosti skladať dlhšie, riadenejšie scény.
Nová práca tvrdí, že jazykové modely môžu pomôcť s prekladom rozdielnych schém zdravotných záznamov. Cieľom je, aby model fungoval aj tam, kde sa štruktúra dát medzi nemocnicami líši.
Amazon SageMaker JumpStart rozšíril katalóg o modely NVIDIA Nemotron-3-Super-120B, Qwen3.5-9B a Qwen3.5-27B. Pre enterprise trh je dôležité, že AWS nepredáva len infraštruktúru, ale čoraz viac aj kurátorovaný výber modelov pre konkrétne úlohy.