Tag
Všetky publikované články, v ktorých sa téma multimodálne modely objavuje ako dôležitý kontext. Aktuálne 6 textov v archíve.
ML Intern naplánuje tréning, vyžiada rozpočet, vykoná skúšobný beh a výsledok zverejní spolu s evaluáciou. Séria experimentov ukazuje potenciál lacných špecializovaných modelov, ale aj potrebu dôslednej kontroly dát a metrík.
Denný prehľad 24. augusta: efektívnejšie video uvažovanie od Apple, nové smerovanie inferencie, spravovaný Ray na AWS aj veľká dohoda Mistralu o suverénnej AI.
Kompaktný model LFM2.5-VL-3B spája OCR, lokalizáciu objektov, porozumenie obrazovkám a volanie nástrojov. Je pripravený na lokálnu inferenciu vo viacerých formátoch, jeho výkonové výsledky však zatiaľ pochádzajú najmä od výrobcu a slovenčina nepatrí medzi výslovne podporované jazyky.
Štúdia Apple oddeľuje vplyv dát, základného modelu a algoritmu pri preferenčnom ladení MLLM. Metóda BDHS znižuje závislosť od externého učiteľa, no výsledky zostávajú obmedzené na modely LLaVA a benchmarky.
Nový preprint tvrdí, že multimodálne modely vedia priestorovo uvažovať spoľahlivejšie vtedy, keď si scénu preložia do kódu s kockami, guľami a valcami, než keď majú odpovedať priamo na zdanlivo jednoduché otázky o obraze.
Apple ukazuje, že pri titulkovaní obrázkov nestačí tlačiť len na dĺžku a detail. BalCapRL kombinuje viac cieľov naraz, aby multimodálne modely menej halucinovali a písali použiteľnejšie popisy.