BenchMIRT odhaľuje, čo v skutočnosti merajú benchmarky jazykových modelov

Výskumníci z Allen Institute for AI (Ai2) predstavili BenchMIRT, metódu na audit benchmarkov veľkých jazykových modelov na úrovni jednotlivých otázok. Namiesto toho, aby celý súbor úloh reprezentovalo jediné priemerné skóre, BenchMIRT odhaduje, ktoré latentné schopnosti rozhodujú o úspechu pri konkrétnych položkách. Autori metódu použili na výsledky 100 otvorených jazykových modelov v 16 benchmarkoch obsahujúcich viac než 34-tisíc otázok. Systém bez vopred zadaných štítkov opakovane identifikoval dve dominantné dimenzie: všeobecné uvažovanie a bezpečnosť.

Novinka reaguje na problém, ktorý sa s rastúcim počtom modelových rebríčkov stáva čoraz dôležitejším. Názov benchmarku síce naznačuje, čo má testovať, jednotlivé otázky však môžu vyžadovať viacero schopností naraz. Model môže v teste zaujatosti zlyhať preto, že nepochopil vzťahy medzi postavami, nie preto, že použil stereotyp. Podobne môže dosiahnuť zdanlivo horší výsledok v teste nebezpečných znalostí práve preto, že je schopnejší a pozná správnu odpoveď. Jediné agregované číslo tieto rozdiely zakryje.

Od jedného skóre k mape schopností

BenchMIRT vychádza z multidimenzionálnej teórie odpovede na položku, teda z rodiny psychometrických metód používanej pri tvorbe testov. Tradičná teória odpovede na položku rozlišuje napríklad náročnosť otázky a jej schopnosť oddeľovať silnejších respondentov od slabších. Multidimenzionálna verzia pripúšťa, že výsledok môže súčasne závisieť od viacerých vlastností. V kontexte LLM tak otázka nemusí merať iba deklarovanú bezpečnosť, ale aj porozumenie textu, dedukciu alebo schopnosť rešpektovať inštrukciu.

Metóda pracuje s maticou úspechov a zlyhaní modelov pri jednotlivých otázkach. Z týchto vzorov odhaduje schopnosti modelov aj parametre položiek: ich náročnosť a väzbu na identifikované dimenzie. Ai2 uvádza, že pri opakovanom trénovaní analýzy vznikli stabilne rovnaké dve hlavné osi. To je dôležitý signál, nie však dôkaz, že bezpečnosť a uvažovanie sú jediné relevantné vlastnosti modelov. Výsledok závisí od vybraných benchmarkov, modelov, spôsobu skórovania aj od toho, aké správanie sa v dátach dostatočne často opakuje.

Šesť skúmaných benchmarkov bolo zameraných na všeobecné uvažovanie, medzi nimi MMLU-Pro, GPQA, MATH a BBH. Ďalších desať pochádzalo z bezpečnostného balíka Olmo 3 a zahŕňalo napríklad HarmBench, StrongReject, WildJailbreak, BBQ, WMDP a XSTest. Dôležité je, že výskumníci modelu neposkytli informáciu, ktorý test patrí do ktorej skupiny. Rozdelenie na bezpečnosť a uvažovanie sa objavilo z podobností vo výsledkoch jednotlivých modelov.

Bezpečnostné testy nemerajú iba bezpečnosť

Jedným z najvýraznejších zistení je správanie benchmarku BBQ, ktorý skúma sociálne stereotypy. V analýze BenchMIRT sa jeho výsledky viazali podstatne silnejšie na všeobecné uvažovanie než na bezpečnostnú dimenziu. Nízke skóre preto nemusí automaticky znamenať, že model prejavuje väčšiu zaujatosť. Časť chýb môže vzniknúť pri sledovaní osôb, interpretácii kontextu alebo rozlišovaní medzi informáciou v texte a nepodloženým predpokladom.

Podobné interpretačné riziko sa ukázalo pri WMDP, ktorý testuje nebezpečné znalosti z biológie, chémie a kybernetickej bezpečnosti. Výkon bol podľa Ai2 viac spojený so všeobecným uvažovaním než so samostatnou bezpečnostnou osou. Silnejšie uvažovanie pritom korelovalo s nižším bezpečnostným skóre, pretože za žiaduce správanie sa v tomto nastavení považuje odmietnutie alebo neposkytnutie nebezpečnej odpovede. Benchmark tak môže miešať znalosť, schopnosť vyriešiť úlohu a ochotu odpovedať.

HarmBench ukazuje, že rozdiely môžu existovať aj v rámci jedného testu. Štandardné škodlivé požiadavky a kontextové varianty sa viazali najmä na bezpečnosť. Otázky týkajúce sa autorských práv však podľa analýzy viac súviseli so všeobecným uvažovaním. Súhrnný výsledok benchmarku teda spája položky, pri ktorých model zlyháva z odlišných príčin. To neznamená, že HarmBench alebo ostatné testy sú nepoužiteľné. Znamená to, že ich výsledky treba čítať podrobnejšie než ako lineárny rebríček „bezpečnejších“ a „menej bezpečných“ modelov.

Praktický význam pre vývojárov a obstarávanie modelov

Pre tímy vyberajúce model do produkcie je hlavnou lekciou potreba pracovať s profilom výsledkov, nie iba s priemerom. Dva modely môžu dosiahnuť rovnaké celkové skóre, hoci prvý zlyháva pri komplikovanom uvažovaní a druhý pri rešpektovaní bezpečnostných hraníc. V klinickej, finančnej či verejnej aplikácii majú tieto zlyhania úplne odlišné následky. Audit položiek môže pomôcť určiť, či benchmark skutočne zodpovedá konkrétnemu riziku a používateľskému scenáru.

BenchMIRT môže byť užitočný aj pri tvorbe nových evaluačných súborov. Otázky, ktoré takmer vôbec nerozlišujú medzi modelmi, prinášajú málo informácií. Položky naviazané na inú schopnosť, než akú má benchmark deklarovane merať, môžu vyžadovať úpravu, samostatnú kategóriu alebo presnejší spôsob interpretácie. Namiesto odstránenia každej viacrozmernej otázky však dáva väčší zmysel transparentne uviesť, aké signály obsahuje. Reálne úlohy sú prirodzene kombináciou viacerých schopností.

Pre slovenské organizácie je to relevantné aj z jazykového hľadiska. Mnohé globálne benchmarky sú primárne anglické a pri preklade sa môžu zmeniť nároky na porozumenie, kultúrny kontext aj náročnosť otázok. Výsledok dosiahnutý v angličtine preto nemožno bez vlastného testovania preniesť na slovenskú zákaznícku podporu, právne dokumenty alebo komunikáciu verejnej správy. Rovnaká analytická logika by mohla pomôcť odlíšiť jazykovú kompetenciu od doménovej znalosti, bezpečnostného správania a schopnosti pracovať s lokálnym kontextom.

Otvorený základ, ale nie konečný verdikt

Ai2 zverejnilo kód na GitHube a súvisiace datasety na Hugging Face. Kolekcia obsahuje evaluačné dáta pre približne 34,3-tisíca položiek, štatistiky 100 modelov a položkové štatistiky. Otvorené artefakty umožňujú ostatným tímom skontrolovať implementáciu, opakovať analýzu a skúšať iné zostavy benchmarkov. V čase zverejnenia je však repozitár nový a má iba niekoľko commitov, takže kvalitu reprodukcie a použiteľnosť mimo pôvodného experimentu ešte musí preveriť komunita.

Zatiaľ tiež nevieme, ako stabilné budú odvodené dimenzie pri uzavretých modeloch, pri multimodálnych úlohách alebo pri hodnotení agentov, kde výsledok ovplyvňuje použitie nástrojov, pamäť a vykonávacie prostredie. Latentná dimenzia navyše nedostáva význam automaticky; pomenovanie „bezpečnosť“ alebo „uvažovanie“ je stále ľudská interpretácia založená na otázkach, ktoré sa na osi najviac podieľajú. Metóda preto nenahrádza odborný audit obsahu ani analýzu konkrétnych zlyhaní.

BenchMIRT napriek týmto obmedzeniam posúva diskusiu správnym smerom: od súťaže o jedno číslo k skúmaniu toho, odkiaľ číslo pochádza. Ak sa podobné položkové audity stanú bežnou súčasťou dokumentácie modelov, rebríčky môžu byť menej efektné, ale podstatne užitočnejšie. Pre dôveryhodné nasadenie AI je totiž dôležitejšie vedieť, prečo model uspel alebo zlyhal, než poznať jeho miesto v tabuľke bez kontextu.