#benchmarky

Práca o VLM-DeflectionBench ukazuje, že veľké vision-language modely často radšej sebavedomo odpovedajú, než by priznali nedostatok dôkazov. To je dôležité preto, že v multimodálnych workflowoch dnes nestačí merať len presnosť; rovnako dôležité je vedieť, kedy má model odmietnuť odpoveď alebo si vypýtať lepšie podklady.

Nová výskumná práca navrhuje Filtered Reasoning Score, ktorý hodnotí iba najsebaistejšie reasoning trace modelu namiesto jednoduchého priemerovania všetkých pokusov. Cieľom je rozlíšiť modely, ktoré vyzerajú rovnako dobre v presnosti, no opierajú sa o rozdielne kvalitné uvažovanie.

IBM Research a Hugging Face rozobrali benchmark VAKRA, ktorý preveruje agentov v prostrediach bližších podnikovým workflowom než klasickým demo úlohám. Výsledok je nepríjemný: aj silné modely často zlyhávajú práve v reťazení nástrojov, mapovaní schém a práci s viacerými zdrojmi naraz.