Benchmark odhalil, že väčšina testovaných LLM nezvládla logiku slov ako „možno“ a „musí“

Veľké jazykové modely dokážu plynulo používať slová ako „pravdepodobne“, „možno“ alebo „musí“, no plynulosť ešte neznamená správne logické vyvodzovanie. Nový benchmark skúma, či modely chápu dôsledky viet s odstupňovanou neistotou, alebo sa pri odpovedi opierajú o povrchové vzory. Autori pripravili 14 320 procedurálne vytvorených anglických úloh a vyhodnotili 29 modelov. Podľa ich prísnej metriky sa iba deväť dostalo nad úroveň náhodného rozhodovania.

Test sa zameriava na pravdepodobnostné operátory vyjadrené prirodzeným jazykom. Namiesto priameho výpočtu s číslami pracuje s vetami obsahujúcimi výrazy rôznej sily a pýta sa, či z nich vyplýva ďalšie tvrdenie. Takéto úsudky sú bežné v rozhovore, no majú aj vážny dopad v medicíne a práve, kde rozdiel medzi možnosťou, pravdepodobnosťou a nevyhnutnosťou mení význam odporúčania alebo záveru.

Dátová sada používa pätnásť šablón logického vyvodzovania a systematicky obmieňa podobu otázky, spôsob negácie aj povrchový obsah. Tento návrh má oddeliť skutočné zvládnutie logickej štruktúry od zapamätaných jazykových spojení. Ak model rozumie pravidlu, mal by si zachovať výkon aj po zmene mien, činností alebo formulácie. Ak sa spolieha na skratky, odpovede sa budú meniť pri úpravách, ktoré nemenia samotnú logiku.

Autori Nayera Hasan, Jack Greff a Alvin Grissom II našli pri väčšine modelov sklon odpovedať „áno“ alebo „nie“ bez ohľadu na správnu logickú formu. Bežná celková presnosť môže takýto problém čiastočne zakryť, najmä ak jedna odpoveď v konkrétnej sade prevláda. Výskumníci preto zavádzajú takzvané dno kompetencie: berú horší z výkonov na položkách, kde je správne „áno“, a na položkách, kde je správne „nie“.

Táto metrika zámerne trestá jednostrannú stratégiu. Model, ktorý takmer vždy odpovie rovnako, môže na jednej polovici úloh vyzerať dobre, ale jeho horší výsledok odhalí, že pravidlo nezvládol. Len deväť z 29 hodnotených modelov podľa abstraktu prekonalo náhodnú úroveň práve v tomto ukazovateli. Výsledok je varovaním pred hodnotením uvažovania jediným priemerným skóre bez kontroly odpovedných sklonov.

Výskumníci menili aj otázkové formulácie, slovesné činnosti a pohlavie či pôvod mien použitých v zadaniach. Odchýlky našli na každej z týchto osí. To naznačuje, že odpoveď modelu môže byť citlivá na jazykové detaily, ktoré by z hľadiska formálnej úlohy nemali hrať úlohu. Neznamená to automaticky spoločenskú diskrimináciu v každom nasadení, ale je to dôvod testovať stabilitu úsudku pri kontrafaktuálnych zmenách vstupu.

Pre agentické systémy má takýto nedostatok praktický význam. Agent môže plánovať podľa viet v dokumente, rozhodovať o ďalšom nástroji alebo sumarizovať neisté dôkazy. Ak zamieňa „môže“ za „pravdepodobne“ alebo nezvláda negáciu, chyba sa môže preniesť do ďalších krokov a pôsobiť ako istý záver. Ochranné vrstvy by preto mali oddeľovať extrakciu tvrdení, formálne pravidlá a konečné rozhodnutie pri úlohách, kde záleží na logickej platnosti.

Benchmark je preprint v recenzovaní a jeho úlohy sú procedurálne generované v angličtine. Z toho vyplývajú obmedzenia. Syntetická šablóna umožňuje presne kontrolovať správnu odpoveď, nemusí však zachytiť všetku nejednoznačnosť skutočného jazyka. Výsledky tiež nemožno automaticky preniesť na slovenčinu alebo iné jazyky, v ktorých sa modalita, zápor a slovosled vyjadrujú odlišne. Potrebné budú viacjazyčné a prirodzenejšie nadstavby.

Pre tvorcov hodnotení je najdôležitejšou lekciou párovanie príkladov. Každá úloha by mala mať varianty so zmeneným povrchom a vyváženou správnou odpoveďou. Okrem presnosti treba zverejniť citlivosť na negáciu, formuláciu a demograficky pôsobiace mená. Tak sa dá lepšie rozlíšiť kompetencia od náhodne úspešnej skratky a odhaliť model, ktorý dosahuje dobrý priemer iba vďaka preferencii jednej odpovede.

Práca neposkytuje dôkaz, že jazykové modely nedokážu vôbec uvažovať o neistote. Ukazuje však, že na kontrolovanom súbore zostáva výkon mnohých systémov krehký a závislý od formy. Pre nasadenie v oblastiach s vysokými následkami je preto rozumnejšie považovať slovné vyjadrenie istoty za údaj, ktorý treba štruktúrovane overiť, než za spoľahlivý dôkaz, že model vykonal správny pravdepodobnostný úsudok.