Nová štúdia nachádza v ľudskom jazyku škálovací zákon pre pretrvávanie kontextu

Nový preprint na arXiv tvrdí, že vplyv usporiadania slov na neskoršiu časť textu klesá s odstupom približne podľa zákona 1/d. Autor Elan Barenholtz tento jav nazýva funkciou kontextovej perzistencie. Meranie zopakoval na desiatich korpusoch, ktoré pokrývajú šesť jazykových rodín, písanú aj hovorenú reč. Priemerný exponent bol 1,04 a medián kvality prispôsobenia r² dosiahol 0,96.

Známe jazykové zákony opisujú napríklad frekvenciu slov alebo rast slovnej zásoby. Nová práca sa zameriava na poradie slov, teda vlastnosť, ktorá nesie význam nad rámec samotného zoznamu výrazov. Otázka znie, ako dlho zostáva užitočná informácia o usporiadaní vzdialeného kontextu a či jej pokles sleduje podobnú pravidelnosť naprieč rozdielnymi jazykmi a typmi textu.

Autor použil veľké jazykové modely ako pravdepodobnostné sondy. Zmeral, o koľko predchádzajúci kontext zníži perplexitu cieľového úseku v porovnaní s rovnakými slovami v náhodne premiešanom poradí. Perplexita tu vyjadruje, ako prekvapivý je cieľ pre model: nižšia hodnota znamená lepšiu predvídateľnosť. Odčítaním premiešaného variantu sa má oddeliť prínos poradia od samotnej prítomnosti rovnakých slov.

Výsledná funkcia P(d) sleduje vzdialenosť d medzi kontextom a cieľom. V dátach klesala približne mocninovo s exponentom blízkym jednej. Intuitívne to znamená, že zdvojnásobenie vzdialenosti znižuje meraný prínos poradia približne na polovicu. Takýto pokles rozdeľuje vplyv kontextu pomerne rovnomerne medzi logaritmické časové mierky: blízke aj vzdialené úseky môžu niesť merateľnú informáciu, hoci s rozdielnou silou.

Dôležitú úlohu majú kontrolné experimenty. Efekt zmizol pri premiešaných a syntetických kontrolách, zopakoval sa s nezávislými modelovými sondami a neobjavil sa pri genomických ani proteínových sekvenciách hodnotených modelmi určenými pre danú doménu. Tieto výsledky podporujú interpretáciu, že meranie nezachytáva iba všeobecnú vlastnosť ľubovoľnej sekvencie alebo konkrétneho jazykového modelu.

Štúdia však zatiaľ existuje ako prvá verzia preprintu a neprešla odborným recenzovaním. Jazykový model navyše nie je neutrálne meradlo ľudského jazyka; jeho tréningové dáta, tokenizácia a architektúra môžu ovplyvniť citlivosť na vzdialený kontext. Replikácia naprieč sondami tento problém zmierňuje, ale úplne ho neodstraňuje. Budúce práce by mali overiť výsledok aj inými modelmi a štatistickými metódami.

Ak sa zákon potvrdí, môže byť užitočný pri návrhu kontextových okien a kompresie pamäte. Systém nemusí zaobchádzať so všetkými staršími tokenmi rovnako. Mocninový pokles naznačuje viacúrovňovú pamäť, ktorá uchováva detailne blízky kontext a zo vzdialenejšieho kontextu vyberá redšie, no významné štruktúry. To by mohlo byť efektívnejšie než pevné odrezanie všetkého za jednou hranicou.

Výsledok je relevantný aj pre hodnotenie dlhého kontextu v LLM. Bežný benchmark sa pýta, či model nájde konkrétny fakt v dlhej sekvencii. Funkcia kontextovej perzistencie namiesto toho meria plynulý prínos poradia naprieč vzdialenosťami. Mohla by tak odhaliť rozdiel medzi modelom, ktorý zvládne umelú úlohu vyhľadania, a modelom, ktorý skutočne využíva rozptýlenú štruktúru prirodzeného textu.

Zákon tiež neznamená, že všetky jazyky alebo žánre sú rovnaké. Uvádzaný exponent je súhrn a jednotlivé korpusy môžu mať odlišnosti v syntaxi, dĺžke viet či diskurznej štruktúre. Hodnota práce spočíva v hypotéze spoločného tvaru poklesu, nie v tvrdení o identickom správaní každého textu. Pre lingvistiku bude dôležité preskúmať, ktoré štruktúry vytvárajú odchýlky od priemeru.

Prakticky ide o sľubný most medzi kvantitatívnou lingvistikou a architektúrou jazykových modelov. Preprint ponúka jasne definovanú veličinu, kontrolné experimenty a testovateľný exponent. Zatiaľ však treba hovoriť o predbežnom výsledku, nie o definitívnom univerzálnom zákone. Najbližším krokom je nezávislá replikácia na ďalších korpusoch, tokenizáciách a modelových rodinách.