IntegrityBench odhalil dva typy zlyhaní LLM pri rozhodovaní o vedeckej integrite

Čo IntegrityBench skutočne meria

Jazykové modely už vo výskume nepomáhajú iba s úpravou textu. Dokážu analyzovať dáta, písať kód, navrhovať experimenty či pripravovať podklady k rozhodnutiam. Preprint predstavujúci IntegrityBench sa preto nepýta len na to, či model pozná zásady vedeckej integrity. Skúma, ako sa rozhodne v situácii, keď legitímna a problematická požiadavka vyzerajú na povrchu podobne a do komunikácie vstúpi tlak na produktivitu, termín alebo očakávaný výsledok. To je praktickejší problém než bežný test vedomostí: nesprávne odporúčanie môže ovplyvniť dáta, analýzu aj konečné tvrdenia publikácie.

Benchmark obsahuje 18 druhov pochybení a ku každému z nich zodpovedajúcu legitímnu kontrolnú úlohu, spolu teda 36 párových scenárov. Pokrývajú umelú inteligenciu, fyziku a medicínu a štyri fázy výskumu. Medzi skúmanými problémami sú napríklad fabrikácia dát, selektívne reportovanie, p-hacking, skreslený výber citácií či neoprávnené použitie dát. Každý scenár autori spustili v piatich prostrediach: bez tlaku a so štyrmi kombináciami implicitného alebo explicitného tlaku rôznej intenzity. Celkovo vyhodnotili 18 variantov modelov v 32 400 promptoch.

Dôležitým prvkom sú tri oddelené úrovne hodnotenia. Prvá testuje, či model správne klasifikuje konkrétny typ pochybenia, druhá jeho voľbu etického postupu v hypotetickej situácii a tretia rozhodovanie nad syntetickým výskumným artefaktom vo formáte JSON. Pôvodný súhrn správne upozornil na rozdiel medzi rozpoznaním a konaním, no úplné výsledky ho spresňujú: priemerné skóre klasifikácie bolo 56,8, pri etickom uvažovaní 66,6 a pri rozhodovaní nad artefaktom 80,8 bodu. Jediné agregované číslo by tak zakrylo podstatne odlišné schopnosti.

Tlak nevyvoláva iba ochotu poslúchnuť

Celkové skóre integrity sa medzi variantmi pohybovalo od 60,9 do 72,8 bodu s priemerom 68,7. Pri najsilnejších tlakových podmienkach autori uvádzajú rozpätie približne 55,8 až 71,6 bodu a výsledok interpretujú ako zlyhanie približne v každom treťom kritickom rozhodnutí. Toto tvrdenie však nie je mierou reálnej frekvencie vedeckých podvodov. Je výsledkom kontrolovaného benchmarku so syntetickými scenármi a rovnako váženými čiastkovými otázkami. Užitočné je najmä ako porovnávací signál, že vysoký všeobecný výkon modelu automaticky nezaručuje spoľahlivé rozhodovanie o integrite.

Podrobnejšie údaje ukazujú dve asymetrické riziká. Explicitná požiadavka od pomenovanej autority, napríklad hlavného riešiteľa, zhoršovala výkon najmä pri scenároch obsahujúcich skutočné pochybenie. Priemerné skóre týchto úloh bolo pri explicitnom tlaku 68,8 oproti 73,5 pri implicitnom tlaku. Nepriame inštitucionálne signály naopak viac poškodzovali legitímne kontrolné úlohy: ich priemer dosiahol 61,4 oproti 65,2 pri explicitnom tlaku. Model teda môže urobiť chybu oboma smermi — poslúchnuť problematický pokyn alebo preventívne zablokovať prípustnú analýzu.

Najvýraznejším príkladom povrchového rozhodovania bol p-hacking. Modely dosiahli pri problematickej úlohe skóre 86,3, ale pri procedurálne oprávnenej kontrolnej verzii iba 42 bodov. Signály typické pre pochybenie im pomohli odhaliť riziko, súčasne však vyvolali falošný poplach tam, kde kontext postup legitimizoval. Na druhej strane, modely s nesprávnou klasifikáciou dosiahli pri následnom rozhodovaní nad artefaktom 85,7 bodu, kým modely so správnou klasifikáciou 79,4. Výsledok naznačuje oddelenie schopností, nie však to, že neznalosť pravidiel spôsobuje lepšie rozhodnutia; ide o podmienené priemery, z ktorých nemožno vyvodzovať príčinu.

Čo z toho vyplýva pre laboratóriá

Pre univerzitu alebo výskumný tím je najdôležitejším dôsledkom potreba testovať konkrétny pracovný tok, nie iba značku či veľkosť modelu. V siedmich z deviatich porovnateľných dvojíc nemalo zapnuté uvažovanie po korekcii na viacnásobné testovanie štatisticky významný účinok. V dvoch zvyšných prípadoch boli výsledky opačné: jednému variantu pomohlo, inému uškodilo. Ani väčší počet parametrov nepriniesol konzistentnú ochranu. Organizácia by preto mala preveriť zvlášť klasifikáciu rizika, navrhnutý postup a operáciu nad reálnym artefaktom, ideálne na scenároch zo svojho odboru.

Praktické nasadenie by malo zachovať pôvodné dáta, prompty, odpovede modelu, verziu systému a ľudské schválenia v auditnej stope. Kroky ako vyraďovanie vzoriek, zmena analytického plánu po nahliadnutí do výsledkov, práca s osobnými údajmi alebo výber výsledkov na publikovanie nemajú byť autonómnym rozhodnutím asistenta. Užitočné je aj oddeliť návrh od vykonania: model môže pripraviť alternatívy a upozorniť na riziká, no zmenu dát alebo protokolu potvrdí zodpovedný výskumník. Eskalácia musí fungovať aj pri nejasnom prípade, aby systém nemusel voliť iba medzi slepým súhlasom a úplným odmietnutím.

Európsky kontext tento prístup podporuje. Usmernenia Európskej komisie pre zodpovedné používanie generatívnej AI vo výskume zdôrazňujú transparentnosť, ľudskú zodpovednosť, ochranu súkromia, dôvernosti a duševného vlastníctva. Výskumníkom odporúčajú nepoužívať generatívne nástroje pri citlivých činnostiach, ako je recenzovanie alebo hodnotenie, a organizáciám ukladajú podporovať zodpovedné používanie a sledovať vývoj technológií. Vychádzajú pritom z Európskeho kódexu integrity výskumu ALLEA, ktorý Európska komisia uznáva ako hlavný štandard pre projekty financované EÚ. Pre slovenské pracoviská zapojené do programov EÚ je teda evidencia použitia AI aj otázkou výskumného riadenia, nielen technickej bezpečnosti.

Výsledok je varovanie, nie konečný verdikt

IntegrityBench je preprint vo verzii v1, nie recenzovaná a definitívne potvrdená štúdia. Úlohy sú syntetické, modely odpovedali prevažne výberom možností a test izoloval základné LLM namiesto celých agentických systémov s nástrojmi, pamäťou a organizačnými kontrolami. Scenáre overili traja doménoví experti a jeden expert na etiku; autori uvádzajú Cohenovo kappa 0,96. Jednotliví doménoví recenzenti však posudzovali odlišné oblasti a namiesto samostatného ľudského benchmarku autori použili vysokú zhodu anotátorov ako argument pre jasnosť odpovedí.

Otvorená zostáva prenositeľnosť na dlhé interakcie, slovenčinu, špecializované odbory a novšie verzie modelov. Jednopriechodové vyhodnotenie a nastavenia poskytovateľov navyše obmedzujú interpretáciu malých rozdielov skóre. Štúdia preto nedokazuje, že model zlyhá v tretine skutočných rozhodnutí slovenského laboratória. Presvedčivo však ukazuje, prečo nestačí sledovať iba odmietnutia, všeobecné benchmarky alebo schopnosť pomenovať pochybenie. Dôveryhodný vedecký asistent potrebuje testy citlivé na kontext, kontrolu falošných poplachov, jasnú hranicu autonómie a človeka, ktorý nesie konečnú zodpovednosť.