Tag
Všetky publikované články, v ktorých sa téma evaluácie objavuje ako dôležitý kontext. Aktuálne 5 textov v archíve.
Komunitný experiment Hugging Face vytvoril 6 816 verejných reprodukčných záznamov k 2 226 prácam z ICML 2026. Agenti pomohli odhaliť konkrétne chyby, no protichodné verdikty, omyly v samotných auditoch a nutnosť ľudskej kontroly vylučujú jednoduché čítanie výsledkov ako rebríčka kvality konferencie.
Aktualizovaná verzia preprintu opisuje systém AEROBAT, ktorý generuje hypotézy, pripravuje kontrolované prostredia a vyhodnocuje správanie AI agentov. Pri 12 typoch správania otestoval 73 hypotéz v 22 954 simulačných kolách; výsledky sú sľubné, no závisia od modelových simulácií a automatického hodnotenia.
EveryEvalEver zhromažďuje približne 230-tisíc výsledkov evaluácií a dopĺňa ich o jednotné metadáta. Projekt vedený tímami z IBM, Hugging Face a Technickej univerzity v Mníchove chce uľahčiť porovnávanie modelov, odhaľovanie metodických rozdielov a opätovné využitie drahých meraní.
Nová práca na arXive rieši, ako kombinovať viac štatistických testov v situáciách, kde medzi dátami nepoznáme zložité závislosti. Pre AI je to dôležité najmä pri hodnotení modelov, auditoch a sekvenčných experimentoch, kde zle kalibrované dôkazy môžu viesť k príliš sebavedomým záverom.
Patronus AI oznámil 50-miliónové financovanie a prvý náhľad Digital World Model. Firma chce posunúť evaluácie agentov od statických datasetov k simulovaným digitálnym prostrediam, kde sa dajú skúšať dlhé pracovné postupy.