#benchmarky

Projekt QIMMA od Technology Innovation Institute tvrdí, že arabské benchmarky sú plné systematických chýb a že bez predbežnej validácie môžu leaderboardy skôr mýliť než presne merať kvalitu modelov.

Nová práca o multimodálnom claim extraction posúva fact-checking bližšie k realite sociálnych sietí, kde sa tvrdenia šíria v kombinácii textu a obrazov. Pre médiá, platformy aj obranné tímy ide o dôležitý stavebný blok proti modernej dezinformácii.

TII cez Hugging Face spustil QIMMA, arabský leaderboard, ktorý najprv validuje samotné benchmarky a až potom hodnotí modely. Signál je dôležitý pre firmy, ktoré chcú merať jazykové modely na menej pokrytých jazykoch oveľa spoľahlivejšie.

Paper „The Spectral Geometry of Thought“ tvrdí, že v skrytých aktiváciách transformerov existujú opakujúce sa spektrálne vzory rozlišujúce reasoning od faktickej odpovede a že môžu pomôcť odhadnúť správnosť ešte pred finálnym výstupom.

Výskumníci ukazujú, že vysoké Brain Score dosahujú aj modely trénované na veľmi odlišných štruktúrovaných dátach vrátane genómu či kódu. To spochybňuje jednoduché tvrdenie, že metrika automaticky znamená hlbšiu podobnosť jazykových modelov s ľudským spracovaním jazyka.

Databricks zverejnilo OfficeQA, benchmark zameraný na grounded reasoning nad veľkými podnikovými korpusmi PDF a tabuliek. Firma tvrdí, že práve tu dnešné agenty zlyhávajú výraznejšie než na populárnych olympiádových či kódovacích testoch.

AI21 opisuje nový typ skreslenia pri hodnotení coding agentov: posudzovateľ môže uprednostniť riešenie, ktoré vyzerá ako referenčná odpoveď, aj keď funkčne zlyhá. Téme dodáva váhu aj skoršie stanovisko OpenAI k obmedzeniam SWE-bench Verified.

Artificial Analysis spustil AA-AgentPerf, nový benchmark pre AI hardvér a inferenčné stacky. Namiesto krátkych dotazov používa reálne agentické trajektórie s dlhým kontextom, takže lepšie ukazuje, čo infraštruktúra zvládne v produkcii.

Anthropic uviedol Claude Opus 4.7 ako všeobecne dostupný model so silnejším softvérovým inžinierstvom, lepším videním a vyššou spoľahlivosťou pri dlhších úlohách. Dôležité nie je len skóre, ale aj posun v tom, koľko práce môžu firmy modelu reálne odovzdať bez mikromanažmentu.

ArcDeck je multiagentový systém, ktorý pri prevode vedeckého článku do slidov najprv rekonštruuje logiku argumentu a až potom skladá osnovu a vizuály. Signálom je, že lepší výsledok neprichádza len z väčšieho modelu, ale zo štruktúry workflow.

Práca na arXive tvrdí, že aj silné jazykové modely vrátane GPT-4o majú väčší problém s abstraktným významom, než sa často predpokladá. Výsledok je dôležitý najmä preto, že odhaľuje slabinu, ktorú nezakryjú bežné benchmarky ani všeobecný dojem z plynulého textu.

Nový paper pripomína, že veľké jazykové modely nemusia mať pevné chápanie abstraktných významov. Na úlohe ReCAM zaostávajú aj za staršími fine-tuned modelmi.