#benchmarky

Výskumníci ukazujú, že vysoké Brain Score dosahujú aj modely trénované na veľmi odlišných štruktúrovaných dátach vrátane genómu či kódu. To spochybňuje jednoduché tvrdenie, že metrika automaticky znamená hlbšiu podobnosť jazykových modelov s ľudským spracovaním jazyka.

Databricks zverejnilo OfficeQA, benchmark zameraný na grounded reasoning nad veľkými podnikovými korpusmi PDF a tabuliek. Firma tvrdí, že práve tu dnešné agenty zlyhávajú výraznejšie než na populárnych olympiádových či kódovacích testoch.

AI21 opisuje nový typ skreslenia pri hodnotení coding agentov: posudzovateľ môže uprednostniť riešenie, ktoré vyzerá ako referenčná odpoveď, aj keď funkčne zlyhá. Téme dodáva váhu aj skoršie stanovisko OpenAI k obmedzeniam SWE-bench Verified.

Artificial Analysis spustil AA-AgentPerf, nový benchmark pre AI hardvér a inferenčné stacky. Namiesto krátkych dotazov používa reálne agentické trajektórie s dlhým kontextom, takže lepšie ukazuje, čo infraštruktúra zvládne v produkcii.

Anthropic uviedol Claude Opus 4.7 ako všeobecne dostupný model so silnejším softvérovým inžinierstvom, lepším videním a vyššou spoľahlivosťou pri dlhších úlohách. Dôležité nie je len skóre, ale aj posun v tom, koľko práce môžu firmy modelu reálne odovzdať bez mikromanažmentu.

ArcDeck je multiagentový systém, ktorý pri prevode vedeckého článku do slidov najprv rekonštruuje logiku argumentu a až potom skladá osnovu a vizuály. Signálom je, že lepší výsledok neprichádza len z väčšieho modelu, ale zo štruktúry workflow.

Práca na arXive tvrdí, že aj silné jazykové modely vrátane GPT-4o majú väčší problém s abstraktným významom, než sa často predpokladá. Výsledok je dôležitý najmä preto, že odhaľuje slabinu, ktorú nezakryjú bežné benchmarky ani všeobecný dojem z plynulého textu.

Nový paper pripomína, že veľké jazykové modely nemusia mať pevné chápanie abstraktných významov. Na úlohe ReCAM zaostávajú aj za staršími fine-tuned modelmi.

Práca o VLM-DeflectionBench ukazuje, že veľké vision-language modely často radšej sebavedomo odpovedajú, než by priznali nedostatok dôkazov. To je dôležité preto, že v multimodálnych workflowoch dnes nestačí merať len presnosť; rovnako dôležité je vedieť, kedy má model odmietnuť odpoveď alebo si vypýtať lepšie podklady.

Nová výskumná práca navrhuje Filtered Reasoning Score, ktorý hodnotí iba najsebaistejšie reasoning trace modelu namiesto jednoduchého priemerovania všetkých pokusov. Cieľom je rozlíšiť modely, ktoré vyzerajú rovnako dobre v presnosti, no opierajú sa o rozdielne kvalitné uvažovanie.

IBM Research a Hugging Face rozobrali benchmark VAKRA, ktorý preveruje agentov v prostrediach bližších podnikovým workflowom než klasickým demo úlohám. Výsledok je nepríjemný: aj silné modely často zlyhávajú práve v reťazení nástrojov, mapovaní schém a práci s viacerými zdrojmi naraz.