Tag
Všetky publikované články, v ktorých sa téma benchmark objavuje ako dôležitý kontext. Aktuálne 3 textov v archíve.
Nový arXiv preprint predstavuje Biomazon, multimodálny dataset a benchmark pre modelovanie vertikálnej štruktúry lesa a nadzemnej biomasy v Amazónii. Namiesto jedného výškového ukazovateľa učí modely predpovedať celý profil lesa.
Nový preprint Curation-Bench testuje, či môžu všeobecní kódovací agenti automatizovať opakovaný cyklus výberu a úprav tréningových dát. Výsledok je povzbudivý, ale ukazuje aj jasnú hranicu: bez metodického lešenia agenti skôr ladia lokálne varianty než robia výskum.
VAKRA chce merať agentov v prostredí, kde nestačí pekná ukážka ani jeden tool call. Benchmark kombinuje tisíce lokálnych API, databázy a dokumenty, aby bolo vidieť, kde sa agent láme pri viac-krokovom rozhodovaní a reálnom vykonávaní úloh.