Nová práca ukazuje, že LLM stále slabnú pri abstraktnom význame

Nová práca s názvom LLMs Struggle with Abstract Meaning Comprehension More Than Expected pripomína jeden z často prehliadaných problémov dnešných jazykových modelov: rozumejú slovám lepšie, než rozumejú významu, keď sa význam prestane opierať o konkrétny obraz alebo jednoduchý kontext. Autori používajú úlohy zo SemEval ReCAM, ktoré cielia na abstraktné pojmy v cloze formáte, a tvrdia, že veľké modely vrátane GPT-4o v zero-shot, one-shot aj few-shot režime zaostávajú viac, než by sa pri súčasnom hype čakal. To je zaujímavé preto, že abstraktné slová sú jadrom mnohých odborných, právnych aj spoločenských textov.

Téma je podstatná aj z metodického hľadiska. Mnohé benchmarky odmeňujú najmä schopnosť modelu nájsť správnu odpoveď v prostredí, kde sa dá ťažiť z povrchových vzorov, častých formulácií alebo štatistických skratiek. Lenže abstraktný význam často vyžaduje jemnejšie rozlíšenie medzi možnosťami, ktoré nemajú jasnú vizuálnu oporu ani očividnú doslovnú asociáciu. Ak model v takomto prostredí zlyháva, neznamená to iba slabší výsledok v jednej úlohe. Znamená to, že plynulá generácia textu môže zakrývať limity v sémantickej presnosti.

Autori zároveň ukazujú, že klasické fine-tuned prístupy ako BERT a RoBERTa môžu v tejto úzkej úlohe dopadnúť lepšie než veľké univerzálne modely. To je dôležitá pripomienka pre firmy aj výskumníkov, ktorí automaticky predpokladajú, že väčší generálny model je lepšou voľbou pre každé jazykové zadanie. V skutočnosti môže byť pri niektorých typoch porozumenia výhodnejšie cielenejšie učenie alebo architektúra, ktorá je navrhnutá pre konkrétny druh rozhodovania, nie pre univerzálne chatové správanie.

Zaujímavá je aj druhá časť práce. Autori opisujú bidirectional attention classifier inšpirovaný stratégiami, ktoré by sa dali prirovnať k ľudskému porovnávaniu pasáže a kandidátnych možností tam a späť. Tento model podľa abstraktu zlepšuje výsledky o niekoľko percentuálnych bodov na oboch sledovaných úlohách. Nejde síce o univerzálny liek na jazykové chápanie, ale o užitočný signál: pri abstraktnom význame nemusí stačiť iba viac parametrov a viac dát, dôležité môže byť aj to, ako je samotná úloha štruktúrovaná a akú formu pozornosti model používa.

Pre prax je odkaz dosť triezvy. Keď firmy nasadzujú LLM do sumarizácie, právnych rešerší, HR workflowov alebo interného vyhľadávania, často implicitne predpokladajú, že model zvládne prácu s abstraktnými pojmami ako účel, zodpovednosť, zámer, záväzok, dôsledok či priorita. Ak však model pri abstraktnom význame chybuje častejšie, než sa zdá, je to riziko najmä v prípadoch, kde nesprávne pochopenie nevyzerá ako halucinácia, ale ako sebavedomé prečítanie jemne nesprávneho významu. Také chyby bývajú v produkcii zradnejšie než očividne zlý výstup.

Táto práca zároveň zapadá do širšieho trendu roku 2026: z AI evalov sa pomaly vytráca fascinácia jediným číslom a rastie záujem o to, v čom presne modely zlyhávajú. Nejde len o percento správnych odpovedí, ale o typ chyby, spôsob neistoty a o to, či model zvláda aj tie jazykové situácie, kde nestačí povrchový pattern matching. Výskum abstraktného významu je v tomto smere užitočný, pretože mierne narúša predstavu, že lepší chatový výkon automaticky znamená hlbšie jazykové porozumenie.

Ak sa tieto zistenia potvrdia aj v ďalších evaloch, môže to mať dopad na to, ako budú firmy vyberať modely pre konkrétne úlohy a ako budú výskumné tímy navrhovať benchmarky. Jazykový model môže pôsobiť presvedčivo, ale pri abstraktných pojmoch sa ukáže, či naozaj rozlišuje význam, alebo iba elegantne dopĺňa najpravdepodobnejší text. A práve tento rozdiel môže rozhodovať o tom, kde sa LLM hodia ako reálny pracovný nástroj a kde ešte potrebujú oveľa presnejšie vyhodnocovanie.