Nový rámec hodnotí odpovede LLM hlasovaním iných modelov, nie jedinou správnou odpoveďou

Klasické benchmarky veľkých jazykových modelov často predpokladajú, že na úlohu existuje jedna referenčná odpoveď alebo jednoznačné pravidlo bodovania. To dobre funguje pri presne definovaných otázkach, no horšie pri otvorených zadaniach, kde môžu byť viaceré odpovede vecne prijateľné a rozdiel je skôr v zrozumiteľnosti, úplnosti či praktickej užitočnosti. Nový preprint preto skúša hodnotiť modely relatívne: odpovede porovnáva panel ďalších jazykových modelov bez toho, aby poznali ich pôvodcu.

Navrhnutý postup nechá päť súčasných LLM najprv vytvoriť odpovede a potom anonymne zoradiť výstupy svojich rovesníkov. Hodnotenie prebieha v niekoľkých oblastiach vrátane programovania, všeobecných vedomostí, bezpečnosti, logického uvažovania a matematiky. Jednotlivé poradia sa následne agregujú do ukazovateľa Relative Intelligence Index, teda indexu vyjadrujúceho, ako často ostatné modely uprednostnili odpoveď konkrétneho systému. Nejde teda o meranie inteligencie v absolútnom zmysle, ale o súhrn preferencií v rámci konkrétneho panelu a sady úloh.

Hlavnou výhodou je možnosť porovnávať výstupy aj tam, kde statická zlatá odpoveď nestačí. Pri vysvetlení kódu môže byť jedna odpoveď stručnejšia a druhá pedagogicky lepšia; obe pritom môžu byť správne. Podobne pri bezpečnostnej otázke nemusí binárne skóre zachytiť, či model primerane vysvetlil riziko, navrhol bezpečný postup a zostal užitočný. Relatívne poradie dokáže tieto rozdiely zaznamenať bez nákladného vytvárania referenčného textu pre každú otázku.

Výsledky podľa autorov ukázali opakujúce sa preferenčné vzory naprieč skúmanými oblasťami. Niektoré modely boli odpoveďami iných systémov hodnotené vyššie častejšie než ich konkurenti. To naznačuje, že panel vie vytvoriť stabilnejší signál než jednorazový verdikt jediného modelového rozhodcu. Samotný preprint však neposkytuje dôvod zamieňať tento signál za objektívnu správnosť. Modely môžu zdieľať podobné tréningové dáta, štýlové návyky, bezpečnostné šablóny aj systematické omyly.

Najdôležitejšie obmedzenie priznávajú priamo autori: index zachytáva súlad preferencií medzi modelmi, nie ľudské hodnotenie ani pravdivosť. Ak celý panel uprednostňuje plynulú, sebavedomú a dobre štruktúrovanú odpoveď, môže prehliadnuť nenápadnú faktickú chybu. Pri matematike či programovaní preto zostáva vhodné kombinovať relatívne hlasovanie s vykonateľnými testami, formálnou kontrolou alebo známou referenciou. Pri otvorených odpovediach je zas potrebná aspoň vzorka ľudského auditu.

Rizikom je aj zloženie panelu. Päť modelov nemusí predstavovať dostatočne rozmanitý súbor rozhodcov, najmä ak pochádzajú z podobných modelových rodín alebo boli optimalizované podľa podobných preferenčných dát. Výsledné poradie sa môže zmeniť po výmene jedného rozhodcu, po úprave inštrukcií alebo po pridaní modelu s odlišným štýlom. Pre praktické použitie bude preto dôležité zverejňovať presnú zostavu panelu, poradie anonymizácie, spôsob agregácie aj citlivosť výsledku na jednotlivých hodnotiteľov.

Pre tímy, ktoré prevádzkujú vlastné hodnotenie modelov, je metóda zaujímavá ako doplnková vrstva. Môže pomôcť rýchlo triediť veľký počet kandidátnych odpovedí, vyhľadávať sporné prípady a určiť, ktoré príklady si zaslúžia drahšiu ľudskú kontrolu. Zároveň sa dá použiť pri porovnávaní promptov alebo verzií modelu, ak organizácia sleduje nielen priemerné skóre, ale aj mieru zhody medzi rozhodcami a prípady, v ktorých sa ich poradie rozchádza.

Nasadenie bez kontrolných mechanizmov by však mohlo vytvoriť uzavretú slučku: modely by hodnotili odpovede podľa noriem, ktoré si samy navzájom potvrdzujú, a vývojári by potom optimalizovali ďalšie modely na tento signál. Rozumná architektúra preto oddeľuje modelové preferencie od faktickej kontroly a ľudských kritérií. Užitočné je merať aj neistotu, poradie po oblastiach a stabilitu pri zmene panelu, nie iba jedno súhrnné číslo.

Preprint tak neprináša náhradu benchmarkov, ale návrh, ako rozšíriť hodnotenie v situáciách s viacerými prijateľnými odpoveďami. Jeho praktická hodnota bude závisieť od následného porovnania s ľudskými preferenciami, od testov odolnosti voči spoločným predsudkom a od reprodukovateľnosti na väčšom počte modelov. Kým tieto kroky nebudú hotové, Relative Intelligence Index treba čítať presne podľa jeho významu: ako mieru toho, čo uprednostnil daný panel LLM, nie ako definitívny rebríček kvality či inteligencie.