LLM majú slabšie chápanie abstraktných významov, než sa čakalo

Výskum o abstraktnom významovom porozumení pripomína jednu z najdôležitejších vecí, na ktoré sa pri súčasnom hype okolo LLM ľahko zabúda: model môže písať veľmi presvedčivo a pritom mať slabší výkon pri úlohách, ktoré vyžadujú prácu s neuchopiteľnými, vysoko úrovňovými pojmami. Autori sa pozerajú na úlohy typu ReCAM, kde má systém z textového kontextu správne doplniť abstraktný koncept, nie konkrétny objekt. A práve tam sa ukazuje, že mnohé veľké modely vrátane silných dnešných generácií nedosahujú výkon, ktorý by sme podľa ich všeobecnej jazykovej plynulosti intuitívne čakali.

To je zaujímavé aj preto, že verejná debata o LLM často mieša dve veci: presvedčivý štýl a skutočné sémantické porozumenie. Keď model elegantne vysvetlí filozofický pojem, psychologický stav alebo spoločenský koncept, používateľ ľahko nadobudne dojem, že mu „rozumie“. Táto práca však naznačuje, že pri testoch zameraných priamo na abstraktný význam sa situácia komplikuje. Jemné rozdiely medzi podobnými nehmotnými pojmami zostávajú pre modely náročné a v niektorých nastaveniach ich prekonávajú staršie alebo špecializovane fine-tuned architektúry typu BERT a RoBERTa.

Pre prax je to dôležitá správa. Mnohé knowledge workflowy vo firmách, školstve či výskume sa netočia len okolo faktických otázok alebo extrakcie konkrétnych údajov. Často ide o interpretáciu pravidiel, hodnôt, zámerov, motivácií alebo abstraktných kategórií v texte. Ak má model slabšie pochopenie takýchto vrstiev, môže pôsobiť veľmi kompetentne a zároveň systematicky zlyhávať práve tam, kde používateľ predpokladá vyššiu „inteligenciu“. To je nebezpečná kombinácia, lebo chyba nie je hlučná. Skôr sa prejaví ako jemne nesprávna interpretácia významu, ktorú si človek všimne až neskoro.

Autori zároveň ukazujú, že cielene navrhnutý klasifikátor s bidirekčnou pozornosťou vie výkon v týchto úlohách zlepšiť. To je znovu dôležitý signál proti jednoduchému naratívu, podľa ktorého stačí všetko preliať cez najnovší generatívny model. V niektorých doménach môže byť rozumnejšie použiť špecializovanejší prístup alebo hybridný stack, kde generatívny model zabezpečí interakciu a zrozumiteľnosť, ale citlivé sémantické rozhodnutie robí užšie ladený komponent. Presne takto sa dnes postupne mení aj enterprise AI architektúra: z jednej magickej API vrstvy na viacvrstvové systémy s rôznymi modelmi pre rôzne úlohy.

Práca má aj metodologický význam. Upozorňuje, že benchmarkovanie LLM by nemalo zostať pri všeobecných priemeroch a populárnych testoch, ktoré často zvýhodňujú široké jazykové pokrytie, memorovanie alebo štatistickú šikovnosť pri dopĺňaní pravdepodobných odpovedí. Ak chceme vedieť, kde model naozaj pomáha a kde iba pôsobí plynulo, musíme cielene testovať aj abstraktné sémantické schopnosti. V opačnom prípade sa môže stať, že model nasadíme do oblastí ako vzdelávanie, poradenstvo, compliance alebo hodnotenie textov s mylnou predstavou o jeho porozumení.

Pre tvorcov produktov je to aj návrhová lekcia. Ak aplikácia pracuje s vysoko abstraktným jazykom, pravidlami, psychologickými kategóriami alebo subtilnými významovými rozdielmi, nestačí sledovať len celkovú spokojnosť používateľov s formuláciou odpovede. Treba merať aj to, či model správne zachytáva významové jadro úlohy. To môže znamenať viac špecializovaných testov, viac retrieval opory alebo jasnejšie obmedzenie toho, pri akých typoch otázok sa systém má správať opatrnejšie.

Pre AI Feed je tento výskum cenný preto, že ochladzuje prehnané očakávania bez lacného skepticizmu. Nehovorí, že LLM sú zbytočné. Hovorí však, že jazyková plynulosť nie je to isté ako hlboké chápanie abstraktných významov. A to je veľmi praktická pripomienka pre každého, kto chce modelom zveriť interpretáciu komplexných textov. Budúcnosť pravdepodobne nebude patriť len väčším generatívnym modelom, ale aj lepšiemu deleniu práce medzi generovanie, klasifikáciu a špecializované sémantické komponenty.