Tag
Všetky publikované články, v ktorých sa téma reprodukovateľnosť objavuje ako dôležitý kontext. Aktuálne 5 textov v archíve.
Komunitný experiment Hugging Face vytvoril 6 816 verejných reprodukčných záznamov k 2 226 prácam z ICML 2026. Agenti pomohli odhaliť konkrétne chyby, no protichodné verdikty, omyly v samotných auditoch a nutnosť ľudskej kontroly vylučujú jednoduché čítanie výsledkov ako rebríčka kvality konferencie.
Autonómny výskumný agent vytvoril overiteľné hranice, štrukturálnu redukciu a nový rámec na prehľadávanie Conwayovho 99-grafu. Podrobnosti práce zároveň ukazujú výrazný ľudský dohľad, limity všeobecných riešičov a rozdiel medzi čiastkovým skóre a matematickým dôkazom.
Aktualizovaná verzia benchmarku ukazuje zlepšenie východiskového svetového modelu v 63 zo 64 behov agentov Codex-5.4 a Claude Opus 4.6. Nové kontroly zahŕňajú scenárové testy, porovnanie s automatickým ladením, opakovanie s ďalšími seedmi a audit možného obchádzania metrík; stále však nejde o dôkaz plne autonómnej vedy.
Systém pre výskum robotickej navigácie zapisuje predikcie pred spustením experimentu, oddeľuje mechanické úlohy od subjektívnych rozhodnutí a zverejnil kód aj experimentálne záznamy. Výsledky však zatiaľ platia iba pre simuláciu.
EveryEvalEver zhromažďuje približne 230-tisíc výsledkov evaluácií a dopĺňa ich o jednotné metadáta. Projekt vedený tímami z IBM, Hugging Face a Technickej univerzity v Mníchove chce uľahčiť porovnávanie modelov, odhaľovanie metodických rozdielov a opätovné využitie drahých meraní.