Nová štúdia audituje benchmarky LLM pomocou teórie odpovedí na položky

Benchmarky pre veľké jazykové modely často pôsobia ako pevný rebríček, podľa ktorého sa rozhoduje, ktorý model je lepší, lacnejší alebo vhodnejší na nasadenie. Nový preprint Auditing LLM Benchmarks with Item Response Theory upozorňuje na menej viditeľný problém: keď sa v teste objaví chybný alebo sporný štítok, táto chyba sa môže roky prenášať do odvodených benchmarkov, leaderboardov a tréningu hodnotiacich modelov. Autori Sander Land a Daniel M. Bikel preto navrhujú audit, ktorý sa nespolieha iba na ručnú kontrolu, ale využíva odpovede veľkého počtu modelov a štatistický model známy ako teória odpovedí na položky.

Teória odpovedí na položky, po anglicky Item Response Theory alebo IRT, sa tradične používa v psychometrii a testovaní. Jej cieľom nie je len spočítať, koľko otázok niekto zodpovedal správne. Snaží sa odhadnúť aj náročnosť jednotlivých položiek a schopnosť respondentov. V kontexte LLM to znamená, že výskumníci môžu porovnať, ako sa na rovnakých úlohách správajú rôzne modely, a hľadať položky, pri ktorých vzor odpovedí vyzerá podozrivo. Ak napríklad veľa silných modelov konzistentne volí inú odpoveď než oficiálny kľúč, nejde automaticky o dôkaz chyby, ale je to signál hodný auditu.

Autori uvádzajú, že ich indikátor dokáže v horných 200 podozrivých príkladoch dosiahnuť 95-percentnú presnosť pri hľadaní pravdepodobne nesprávnych štítkov. Analýza pracovala so siedmimi preferenčnými a viacvýberovými benchmarkmi a s odpoveďami 114 modelov. V porovnaní so supervised klasifikátorom, teda modelom priamo trénovaným na rozpoznávanie chybných položiek, mala metóda podľa autorov lepší výkon. Dôležité je, že nejde iba o ďalší leaderboard, ale o nástroj na kontrolu kvality samotných meradiel, ktorými sa leaderboardy vytvárajú.

Štúdia rozlišuje viacero zdrojov problémov. Niektoré chyby vznikajú mechanicky, napríklad pri heuristikách, ktoré automaticky priraďujú labely alebo prevádzajú dáta z pôvodných datasetov. Iné sú zdedené: ak downstream benchmark preberie úlohu z predchádzajúceho zdroja, často preberie aj jej chybu. Tretia skupina je najťažšia, pretože položka nemusí mať jedno obhájiteľné riešenie. Pri preferenčných úlohách alebo hodnotení otvorených odpovedí môže ísť o skutočne nejednoznačné prípady, kde sa formálne správna odpoveď tvári pevnejšie, než dovoľuje samotný obsah otázky.

Pre prax je tento typ auditu dôležitý najmä preto, že benchmarky dnes ovplyvňujú nákupné a technické rozhodnutia. Firma si môže vybrať model podľa skóre v teste, regulátor môže sledovať zlepšenie bezpečnostných metrík a výskumný tím môže optimalizovať systém na konkrétne úlohy. Ak sú však v dátach chyby, modely sa môžu učiť vyhrávať test namiesto riešenia úlohy. Horšie je, že pri široko používaných benchmarkoch sa rovnaká chyba objaví v mnohých odvodených porovnaniach a vytvára falošný pocit istoty.

Zaujímavou časťou preprintu je aj pozorovanie o reward modeloch. Autori píšu, že rovnaký štatistický fit odhaľuje špecializáciu hodnotiacich modelov skôr na štýlové preferencie než na faktické poznanie. Jeden frontier reward model podľa nich súhlasil s detegovanými chybnými štítkami v 78 percentách prípadov, zatiaľ čo porovnateľné modely dosahovali 38 percent. Autori to interpretujú ako správanie konzistentné buď s kontamináciou benchmarku, alebo s nadmerným prispôsobením na konkrétny benchmark. Obe možnosti sú pre hodnotenie modelov nepríjemné: výsledok môže vyzerať výborne, ale nemusí odrážať všeobecnú schopnosť.

Pre komunitu okolo evalov z toho vyplýva praktická lekcia. Nestačí publikovať nové testy a aktualizovať tabuľky. Rovnako dôležitá je údržba datasetov, audit dedenia položiek a transparentné označovanie príkladov, pri ktorých je správna odpoveď sporná. Benchmark, ktorý prizná neistotu a poskytne mechanizmus na opravy, môže byť dôveryhodnejší než test, ktorý sa tvári ako nemenný zlatý štandard. Pri rýchlosti, akou sa dnes modely optimalizujú na verejné testy, bude táto vrstva hygieny čoraz dôležitejšia.

Pre vývojárov a firmy používajúce LLM je záver menej akademický, než sa môže zdať. Ak sa model vyberá podľa verejného skóre, je rozumné pýtať sa, či daný benchmark meria presne tú schopnosť, ktorú organizácia potrebuje, a či neobsahuje známe chyby alebo nejednoznačnosti. Vlastné evaly by mali mať revízny proces, sledovanie pôvodu testovacích položiek a možnosť označiť príklady, ktoré sú po kontrole nevhodné. Metódy ako IRT môžu slúžiť ako lacnejší radar: neopravia benchmark automaticky, ale dokážu ukázať, kde sa oplatí začať ručnú kontrolu.

Preprint je zároveň pripomienkou, že éra jednoduchých percentuálnych skóre sa končí. Keď modely dosahujú vysoké výsledky na mnohých verejných testoch, rozhodujú detaily: kvalita položiek, kontaminácia tréningových dát, spôsob agregácie a schopnosť testu rozlíšiť medzi štýlovou preferenciou a skutočným poznaním. Audity benchmarkov preto nie sú vedľajšou akademickou aktivitou, ale základnou infraštruktúrou dôvery v hodnotenie AI systémov.