Audit 2 226 prác z ICML 2026 ukázal možnosti aj limity AI agentov pri reprodukcii výskumu

Audit vedeckých tvrdení vo veľkom meradle

Hugging Face zverejnilo podrobné výsledky komunitného experimentu, v ktorom sa 1 221 účastníkov s pomocou programovacích agentov pokúsilo reprodukovať práce prijaté na ICML 2026. Počas 19 dní vzniklo 6 816 verejných logbookov pokrývajúcich 2 226 článkov, čo organizátori označujú za približne tretinu konferencie. Agenti a ich ľudskí operátori skúmali jednotlivé tvrdenia, pripravovali kód, spúšťali experimenty a ukladali výsledky spolu s artefaktmi. Projekt tak nebol iba anketou o dôveryhodnosti publikácií, ale pokusom vytvoriť kontrolovateľnú technickú stopu ku každému auditu.

Rozsah treba čítať v kontexte prudkého rastu strojového učenia. Podľa údajov organizátorov experimentu dostalo ICML 2026 celkovo 23 918 príspevkov a prijalo 6 352 prác. Recenzenti pritom zvyčajne nemajú čas opakovať všetky experimenty ani preveriť každý matematický dôkaz. Agenti ponúkajú spôsob, ako vykonať prvé kolo technickej kontroly paralelne: môžu odhaliť chýbajúcu konfiguráciu, rozdiel medzi vzorcom a implementáciou alebo výsledok citlivý na dĺžku behu. Nejde však o automatizovanú náhradu recenzného konania, pretože kvalita záveru stále závisí od zadania, dostupných dát, výpočtového rozpočtu a správnosti nového kódu.

Každý účastník si vybral prácu a dostal vopred extrahované hlavné tvrdenia. Používali sa rôzne nástroje vrátane Claude Code, Codexu, Cursoru a špecializovaných výskumných agentov. Výstupom bol logbook s opisom postupu, kódom a vytvorenými artefaktmi; v 274 prípadoch bola zverejnená aj úplná stopa práce agenta. Hugging Face poskytovalo účastníkom menší kredit na cloudové výpočty a zaznamenalo 2 962 spustených úloh. Pri nedostupnom datasete alebo checkpointe mohli tímy vykonať iba zmenšený experiment na náhradných dátach, čo výrazne obmedzuje silu výsledného verdiktu.

Čo čísla potvrdzujú — a čo nie

Automatický posudzovateľ založený na open-weight modeli GLM-5.2 vyhodnotil 35 908 tvrdení. Prideľoval im kategórie „overené“, „vyvrátené“, „toy“, teda preskúmané iba v zmenšenej podobe, alebo „nerozhodnuté“. Hugging Face uvádza, že aspoň jedno tvrdenie bolo overené pri 1 103 skúmaných prácach, čo vo svojej agregácii označuje ako 51 percent. Pri 266 článkoch boli overené všetky extrahované tvrdenia a pri ďalších 632 vznikla čiastočná reprodukcia bez vyvráteného tvrdenia. Celkovo experimenty potvrdili 3 978 jednotlivých tvrdení.

Tieto percentá nemožno interpretovať ako podiel správnych a chybných prác na celej konferencii. Výber článkov nebol náhodný, populárnejšie alebo technicky prístupnejšie témy mohlo skúšať viac tímov a niektoré práce nebolo možné plnohodnotne reprodukovať bez proprietárnych dát či nezverejnených modelov. Navyše, označenie „overené“ hovorí iba o tom, že konkrétny logbook obsahoval dôkaz akceptovaný automatickým posudzovateľom. Nie je to definitívne potvrdenie všeobecnej platnosti tvrdenia ani nezávislá odborná recenzia celej publikácie.

Hugging Face zároveň uvádza 496 prác s najmenej jedným vyvráteným alebo sporným tvrdením a 242 článkov, pri ktorých rôzne tímy dospeli pri rovnakých tvrdeniach k opačným výsledkom. Práve protichodné reprodukcie sú dôležitejšie než jedno súhrnné skóre. Môžu signalizovať nejednoznačný opis metodiky, citlivosť na inicializáciu alebo hardvér, ale aj chybu v reprodukčnom kóde. Pri ďalších 502 prácach vznikli iba pokusy v zmenšenej mierke a pri 280 sa nepodarilo stanoviť jasný záver, pričom častou prekážkou boli chýbajúce artefakty.

Konkrétne nálezy a nevyhnutná ľudská kontrola

Aktualizované výsledky prinášajú konkrétnejší obraz než samotné percentá. Pri práci o learning-augmented paging našiel jeden audit rastúci člen, ktorý odporoval deklarovanej hranici algoritmu; následná opätovná implementácia organizátorov mala problém potvrdiť. Pri práci o dynamike attention tri tímy našli protipríklady, ktoré sa prejavili až po stovkách alebo tisícoch krokov. Skoršie experimenty preto mohli tvrdenie nesprávne označiť za overené len preto, že skončili priskoro. V inom prípade sa teoretická časť práce venovala opačnému smeru Kullbackovej-Leiblerovej divergencie, než aký používal predvolený zverejnený kód.

Tieto prípady sú závažné, no rovnakú pozornosť si zaslúžia omyly na strane audítorov. Organizátori opätovne preverovali 35 formálne nahlásených vyvrátení čítaním prác a logbookov, odvodením matematiky alebo novou implementáciou experimentu. Jeden údajný dôkaz, že skúmaná metóda je dvakrát pomalšia než baseline, vznikol porovnaním času jednej trajektórie s časom celého batchu. Po správnej normalizácii vlastné dáta auditu podporili deklarované zrýchlenie. Takýto príklad ukazuje, prečo dôveryhodný automatický audit potrebuje rovnakú kontrolu ako pôvodná publikácia.

Ani jazykový model použitý ako rozhodca nie je neutrálny merací prístroj. Môže nesprávne vyhodnotiť dôkaz, prehliadnuť zmenu experimentálnych podmienok alebo uprednostniť presvedčivo napísaný logbook. Všetky tímy navyše zdieľali časť infraštruktúry a rovnaký automatický spôsob konečného hodnotenia, takže počet logbookov nemožno zamieňať s rovnakým počtom úplne nezávislých vedeckých replikácií. Najsilnejšie nálezy sú tie, ktoré majú reprodukovateľný kód, viac odlišných pokusov, kontrolu človekom a reakciu pôvodných autorov.

Dôsledky pre slovenské a európske pracoviská

Pre slovenské univerzity, výskumné centrá a tímy zapojené do projektov Horizont Európa je najpraktickejším poučením potreba kvalitnej správy výskumných artefaktov. Európsky kódex výskumnej integrity od ALLEA, ktorý Európska komisia uznáva ako základný štandard pre projekty financované EÚ, zdôrazňuje transparentnosť, otvorenú vedu a zodpovednosť všetkých aktérov. Agentický audit môže tieto princípy podporiť, iba ak autori zverejnia verzie knižníc, konfigurácie, náhodné seedy, licencie, opis hardvéru a jednoznačné prepojenie medzi tvrdením, experimentom a výsledkom.

Podobný smer vidno aj v kontrolnom zozname NeurIPS, ktorý od autorov požaduje presné vymedzenie tvrdení, obmedzení, predpokladov, dôkazov a experimentálnych detailov. Slovenské pracoviská môžu tieto požiadavky zaviesť interne ešte pred odoslaním článku: oddelený člen tímu alebo agent vykoná čistú inštaláciu, spustí hlavné experimenty a zaznamená všetky odchýlky. Takýto postup môže znížiť počet neúmyselných chýb, urýchliť odovzdávanie projektov a zlepšiť dôveryhodnosť výsledkov voči partnerom, poskytovateľom grantov aj priemyselným používateľom.

Otvorenou otázkou zostáva, ako merať presnosť samotných auditov a ako dlhodobo uchovať ich softvérové prostredie. Nie je jasné, či by rovnaké výsledky vznikli pri inom modeli rozhodcu, väčšom rozpočte alebo náhodne vybranej vzorke prác. Projekt preto zatiaľ nedokazuje, že agenti vedia autonómne garantovať vedeckú správnosť. Ukazuje však, že pri otvorených artefaktoch dokážu výrazne rozšíriť počet vykonaných kontrol a nasmerovať ľudských expertov na sporné miesta. Najrozumnejším modelom nie je recenzovanie bez ľudí, ale auditovateľná spolupráca, v ktorej agent vykonáva opakovateľnú technickú prácu a človek nesie zodpovednosť za interpretáciu dôkazov.