Tag
Všetky publikované články, v ktorých sa téma benchmarky objavuje ako dôležitý kontext. Aktuálne 20 textov v archíve.
ADIAS mení automatický návrh agentov na sledovaný proces opráv: uchováva dôkazy, stav chýb aj výsledky zásahov. Autori hlásia náskok na piatich benchmarkoch a po vydaní preprintu zverejnili kód, výsledky však ešte neboli nezávisle reprodukované.
EveryEvalEver zhromažďuje približne 230-tisíc výsledkov evaluácií a dopĺňa ich o jednotné metadáta. Projekt vedený tímami z IBM, Hugging Face a Technickej univerzity v Mníchove chce uľahčiť porovnávanie modelov, odhaľovanie metodických rozdielov a opätovné využitie drahých meraní.
Benchmark DeepAmbigQA skúša, či vyhľadávacie LLM dokážu rozlíšiť nejednoznačné názvy a zostaviť úplný zoznam odpovedí. Výsledky autorov ukazujú vysokú presnosť jednotlivých položiek, ale slabé pokrytie celej požadovanej množiny.
Benchmark porovnal 3D U-Net, SegResNet, Swin UNETR, SegMamba a SegMambaV2 na dvoch úlohách z kolekcií BraTS. Výsledky ukazujú kompromisy medzi presnosťou a výpočtovou náročnosťou, nie model pripravený na samostatné klinické rozhodovanie.
Hugging Face a Hume AI predstavili Real World VoiceEQ, rozsiahly benchmark pre hlasové modely. Namiesto samotnej chybovosti prepisu sleduje, či systémy zachytia emóciu, neistotu, identitu hlasu, šum a prirodzenosť reakcie v reálnom rozhovore.
Nový preprint opisuje prostredie so 420-tisíc viacskokovými úlohami a samodestilačný postup DeepSearch-Evolve. Cieľom je trénovať webových agentov bez stáleho kopírovania silnejšieho učiteľa a s výsledkami, ktoré sa dajú reprodukovateľne overiť.
Preprint Aloe-Vision predstavuje otvorenú rodinu medicínskych vision-language modelov v škálach 7B a 72B, tréningovú zmes Aloe-Vision-Data a benchmark CareQA-Vision. Dôležitý je najmä dôraz na reprodukovateľnosť a zistenie, že aj špecializované modely zostávajú zraniteľné voči zavádzajúcim vstupom.
Apple Machine Learning Research predstavilo benchmark SFI-Bench, ktorý testuje, či multimodálne modely chápu nielen polohu objektov, ale aj ich funkciu. Nový video set s viac než 1700 otázkami má odhaliť, ako ďaleko sú dnešné MLLM od prakticky použiteľnej priestorovej inteligencie pre agentov a robotiku.