Sem-ECE chce lepšie zmerať, či si jazykové modely veria primerane pri otvorených odpovediach

Pri jazykových modeloch sa často rieši presnosť odpovedí, no menej pozornosti sa venuje tomu, či si model verí primerane. Práve to je podstata kalibrácie: vysoká istota má zodpovedať vysokej pravdepodobnosti, že odpoveď je správna, a nízka istota má signalizovať neistotu. Nový paper o rámci Semantic-Sampling Expected Calibration Error, skrátene Sem-ECE, sa púšťa do miesta, kde doterajšie metódy narážajú najviac – do otvoreného otázkovania, v ktorom model negeneruje odpoveď z malej uzavretej množiny možností, ale voľný text.

To je prakticky dôležité, lebo väčšina dnešných produkčných nasadení veľkých jazykových modelov vyzerá práve takto. V zákazníckych nástrojoch, interných copilotoch, medicínskych asistentoch či právnych workflow nejde o výber z A, B, C alebo D. Model formuluje vlastnú odpoveď a prevádzkovateľ následne potrebuje vedieť, ako veľmi sa na ňu môže spoľahnúť. Klasické logitové metriky sú tu slabé, pretože vyžadujú interné pravdepodobnosti alebo obmedzený výstupný priestor. Verbálne sebahodnotenie typu „som si istý na 90 percent“ je zase často prehnané a málo stabilné.

Autori preto navrhujú obísť problém inak. Namiesto toho, aby model priamo deklaroval svoju istotu, nechajú ho viackrát odpovedať na tú istú otázku a sledujú, aké významovo príbuzné odpovede sa opakujú. Odpovede sa zoskupujú do semantických tried a ich frekvencie sa používajú ako odhad dôvery. Ak sa model pri opakovanom vzorkovaní vracia k rovnakému významu, možno hovoriť o vyššej istote. Ak sa význam odpovedí rozpadáva do viacerých variantov, systém zachytí neistotu aj bez prístupu k interným logitom modelu.

Práve v tom je Sem-ECE zaujímavý aj pre firmy, ktoré používajú uzavreté komerčné modely cez API. Mnohé organizácie nedostanú plný prístup k vnútorným stavom modelu, no stále potrebujú odhad spoľahlivosti. Sémantické vzorkovanie ponúka cestu, ako robiť evaluáciu zvonka na základe pozorovaného správania. Navyše sa nespolieha na úzky formát odpovedí, takže je bližšie tomu, ako sa modely skutočne používajú v praxi – pri voľne formulovaných otázkach a dlhších odpovediach.

Paper rozlišuje dva odhady. Sem₁-ECE meria sebakonzistenciu na tej istej vzorke odpovedí, kým Sem₂-ECE oddeľuje výber odpovede od samotného hodnotenia dôvery cez held-out postup. Autori tvrdia, že obe metódy sú asymptoticky neskreslené, ale pri ťažších otázkach sa začnú rozchádzať a práve vtedy je Sem₂-ECE prísnejší a informatívnejší. Tento rozdiel nemá byť chybou, ale diagnostickým signálom: ak sa obe metriky rozídu, môže to znamenať, že otázka je pre model zložitejšia a deklarovaná stabilita odpovedí je slabšia, než sa na prvý pohľad zdá.

To je podstatné aj z produktového hľadiska. Mnohé tímy dnes hodnotia modely podľa priemernej úspešnosti alebo podľa benchmarkov, ktoré nevystihujú riziko pri jednotlivých typoch otázok. Kalibrácia však ovplyvňuje rozhodovanie v systémoch, ktoré majú vedieť, kedy odpovedať, kedy si vypýtať doplnenie kontextu a kedy radšej eskalovať na človeka. Lepšie meranie kalibrácie tak neznamená len krajší eval dashboard. Znamená možnosť nastaviť prahy dôvery, fallbacky a bezpečnostné mantinely spôsobom, ktorý zodpovedá reálnemu správaniu modelu v otvorenom prostredí.

Výskum zároveň pripomína, že problém spoľahlivosti sa nedá oddeliť od evaluácie. Ak budeme merať nesprávnu vec, môžeme mať falošný pocit, že sa model zlepšil. V otvorenom otázkovaní je to obzvlášť nebezpečné, pretože dve textovo odlišné odpovede môžu niesť ten istý význam, zatiaľ čo naopak podobne znejúce odpovede sa môžu líšiť v kritickom detaile. Semantické zoskupovanie je pokus, ako túto medzeru preklenúť a hodnotiť model bližšie k tomu, ako odpovede číta človek alebo ďalší nadväzujúci systém.

Pre trh je dôležité, že sa týmto smerom posúva debata od jednoduchého „koľko percent správnych odpovedí model mal“ k otázke „ako dobre rozumie vlastnej neistote“. To je dôležité nielen pre medicínu a právo, ktoré paper spomína, ale aj pre enterprise agentov, vyhľadávanie nad internými znalosťami či AI nástroje nasadené do zákazníckej podpory. V každom z týchto režimov je cenné vedieť, či vysoká sebakonzistentnosť modelu skutočne znamená dôvod na dôveru.

Sem-ECE samozrejme nie je hotové riešenie celého problému spoľahlivosti LLM. Skôr ponúka sľubnejší spôsob, ako chybu a neistotu vidieť v prostredí, kde klasické metriky nestačia. Práve preto stojí za pozornosť: nejde o ďalší benchmark pre leaderboard, ale o návrh evaluačného nástroja, ktorý môže ovplyvniť, ako budú tímy nastavovať risk manažment pri otvorených jazykových systémoch. Ak sa framework ujme, môže sa z neho stať praktická súčasť toho, ako budú firmy overovať, či ich model nielen odpovedá, ale aj primerane vie, kedy si neveriť.