#benchmarky

Technology Innovation Institute prispôsobil sedemmiliardový Falcon-H1-Arabic emirátskej arabčine. Model kombinuje autentické, kultúrne a syntetické dáta; jeho kvalitu však zatiaľ dokladajú najmä hodnotenia autorov.

Benchmark ThinkingBox od Microsoftu ukazuje veľký rozdiel medzi jednorazovým úspechom AI agenta a spoľahlivým dokončením podnikovej úlohy. Namiesto textu či správneho volania nástroja kontroluje konečný stav databázy a nežiaduce vedľajšie účinky.

Open TTS Leaderboard porovnáva otvorené modely syntézy reči podľa zrozumiteľnosti, rýchlosti a podobnosti hlasu. Má zrýchliť evaluáciu, no objektívne metriky nenahrádzajú ľudské hodnotenie prirodzenosti a expresivity.

Otvorený model Kumo Tabular má klasifikovať aj predikovať číselné hodnoty bez dolaďovania. NVIDIA hlási prvenstvo v štyroch benchmarkoch, no nasadenie stále vyžaduje vlastné testy presnosti, kalibrácie a nákladov.

Nová metóda učí model odmietať iba škodlivú časť témy. Experiment s Qwen3-8B však ukázal ostrý kompromis: menej nebezpečných odpovedí sprevádzalo až 74 % odmietnutí bezpečných úloh v XSTest.

Mistral predstavil Agentic Search, vrstvu, ktorá namiesto jediného vyhľadania opakovane prehľadáva, otvára a overuje dokumenty. Firma hlási výrazné zlepšenie na FinanceBench a OfficeQA Pro, výsledky však zatiaľ pochádzajú najmä z jej vlastných meraní.

OpenAI uviedla GPT-6 Astra, svoj prvý široko nasadený model na kritickej úrovni kybernetických schopností. Výkon rastie, no systémová karta zároveň priznáva slabšiu monitorovateľnosť uvažovania.

Ai2 predstavilo otvorenú metódu BenchMIRT, ktorá rozkladá skóre benchmarkov na schopnosti merané jednotlivými úlohami. Analýza ukazuje, že testy bezpečnosti často zachytávajú aj všeobecné uvažovanie.

Nová štúdia ukazuje, že výsledky grafových neurónových sietí môžu skresľovať slabé benchmarky, diferencované dáta a nedostatočne vyladené lineárne baseline modely.

Nová štúdia ukazuje, že niektoré úspešné ASR modely reprodukujú referenčné prepisy verejných benchmarkov aj vtedy, keď im zvuk odporuje alebo v ňom chýbajú slová. Bežné skóre chybovosti tak môže nadhodnocovať ich výkon v reálnej prevádzke.

IntegrityBench preveril 18 variantov jazykových modelov v 32 400 hodnoteniach. Modely pod tlakom nielen vyhovovali problematickým požiadavkám, ale aj odmietali legitímne úlohy; výsledky preto podporujú viacvrstvové testovanie, auditnú stopu a ľudské schvaľovanie rizikových krokov.

Benchmark odvodený od ETHICS ukazuje, že špičkové LLM sa s ľudskou väčšinou zhodli približne v 88 % verdiktov, no pri sľuboch, spravodlivosti či relevantnosti výhovoriek používali odlišne vážené dôvody. Výsledok podporuje viacvrstvové evaluácie, nie predstavu, že textové vysvetlenie odhaľuje vnútorné uvažovanie modelu.