Tag
Všetky publikované články, v ktorých sa téma video objavuje ako dôležitý kontext. Aktuálne 4 textov v archíve.
LVSum skúša, či multimodálne modely vedia sumarizovať dlhé videá nielen vecne, ale aj s presným časovým ukotvením. Benchmark obsahuje ľudské anotácie s odkazmi na konkrétne momenty vo videu.
Výskumný príspevok Apple opisuje TGPO, tréningový postup s overiteľnými odmenami, ktorý má potláčať priestorové skratky a zlepšiť časové uvažovanie vo videách z egocentrického pohľadu.
Nová práca StereoFoley od Apple sa zameriava na generovanie priestorového stereo zvuku z videa. Namiesto obyčajného „doplnenia audia“ rieši aj to, odkiaľ má zvuk prichádzať, ako sa má meniť pri pohybe objektov a ako vyhodnocovať, či obraz a zvuk skutočne patria k sebe.
Meta rozširuje open model stratégiu o multimodálny systém, ktorý kombinuje text, video aj audio. Otázkou zostáva, ako rýchlo sa okolo neho vytvorí ekosystém nástrojov a finetuning pipeline.