Nová hypotéza tvrdí, že schopnosti modelov neurčuje len škála, ale aj prístup k pamäti

Nový výskumný preprint na arXive kladie nepríjemnú otázku pre debatu o škálovaní jazykových modelov: ak sa reprezentácie vo veľkých modeloch začínajú podobať na spoločný obraz sveta, znamená to automaticky aj zbližovanie ich schopností? Autori práce Capability from Access Structure, Not Scale odpovedajú opatrne, ale jasne: nie vždy. Podľa nich nestačí, aby model mal bohatú vnútornú reprezentáciu. Dôležité je aj to, akú architektúru prístupu k informáciám má počas inferencie, teda či vie kombinovať stručný priebežný stav s presným vyhľadávaním relevantných detailov.

Text nadväzuje na širšiu diskusiu o takzvanej platónskej hypotéze reprezentácií, podľa ktorej sa rôzne veľké modely pri škálovaní približujú k podobným interným reprezentáciám reality. Nová práca navrhuje jej hranicu: hypotézu konvergencie schopností. Tá hovorí, že pri pevnom výpočtovom rozpočte na token sa schopnosti nemusia zbiehať iba preto, že sa zbiehajú reprezentácie. Ak model nemá správnu prístupovú štruktúru, môže síce niesť užitočný signál, ale nedokáže ho v rozhodujúcej chvíli spoľahlivo použiť.

Autori tento rozdiel vysvetľujú na svedčiacej úlohe, ktorú nazývajú Newtonovo jablko v nekonečnom prúde. Ide o situáciu, kde systém postupne vidí prúd informácií a neskôr musí presne obnoviť alebo skombinovať konkrétny údaj z minulosti. Takáto úloha je jednoduchá na pochopenie, ale tvrdá pre architektúry, ktoré si z minulosti nesú iba malý komprimovaný stav alebo pevné okno pozornosti. V praktickej reči ide o problém, ktorý dobre poznajú dlhokontextové agentické systémy: nestačí mať dojem z konverzácie, niekedy treba presne nájsť konkrétnu vetu, hodnotu alebo rozhodnutie.

Práca pomenúva tri bariéry. Shannonova bariéra obmedzuje architektúry, ktoré by chceli zakódovať príliš veľa presných informácií do príliš malého stavu. Horizontová bariéra sa týka pevných okien, ktoré z princípu nevidia za svoj kontextový limit. Tretia, obvodová bariéra, opisuje limity modelov založených iba na pevne hlbokej kompozícii pozornosti pri určitých typoch výpočtu. Hoci ide o teoretický jazyk, pre vývojárov systémov je pointa zrozumiteľná: rôzne mechanizmy pamäte a prístupu k dátam nie sú len optimalizačné detaily, ale môžu meniť triedu úloh, ktoré systém zvládne.

Navrhovaným víťazom je hybridná architektúra. Tá má zároveň kompresný kanál s malým priebežným stavom a škálovateľný verbatim index, teda mechanizmus na presný prístup k uloženým častiam vstupu. Autori hovoria o access-complete hybride: systéme, ktorý vie zhrnúť priebeh, ale zároveň sa vie vrátiť k presným detailom. V moderných produktoch sa takýto princíp podobá kombinácii jazykového modelu, dlhodobej pamäte, vyhľadávania a nástrojov, no preprint sa nesnaží predávať konkrétnu implementáciu. Skôr formuluje tvrdenie, že práve štruktúra prístupu môže byť zdrojom schopnosti, ktorú samotná škála nedodá.

Zaujímavé je, že autori oddeľujú dokázané tvrdenia od špekulatívnejších častí. Opierajú sa o informačno-teoretické dolné hranice a o predregistrované malé experimenty. V nich vopred zmrazili kritériá úspechu a následne sledovali, či sa objaví očakávaný rozdiel medzi architektúrami. V jednom teste uvádzajú ostrý nožnicový efekt: chyba presného vyhľadania bola pri 64-skalárnom stave takmer úplná, no po pridaní jednej vrstvy globálnej pozornosti klesla na nulu. Autori zároveň priznávajú aj predikciu, ktorá zlyhala a otočila sa opačným smerom, čo je dôležité pre dôveryhodnosť interpretácie.

Pre prax je význam najmä v tom, ako premýšľať o agentoch a dlhokontextových modeloch. Ak firma buduje systém, ktorý má robiť rozhodnutia nad dokumentmi, zdrojovým kódom, históriou tiketov alebo klinickými záznamami, nestačí sa spoliehať na väčšie kontextové okno. Potrebuje vedieť, či systém vie odlíšiť komprimované porozumenie od presného dôkazu, či má spoľahlivý index a či dokáže spätne citovať rozhodujúci kus informácie. Inak sa môže stať, že model pôsobí kompetentne, ale zlyhá práve pri úlohách, ktoré vyžadujú presnú pamäť.

Pre hodnotenie modelov to znamená ďalší tlak na testy, ktoré nemerajú len priemernú odpoveď, ale aj prístupové vzory. Benchmarky by mali rozlišovať, či model vyriešil úlohu preto, že si ju komprimoval do rozumného latentného stavu, alebo preto, že mal mechanizmus na presné obnovenie detailu. Pri agentoch v sandboxoch, databázach a podnikových znalostných systémoch môže byť tento rozdiel zásadný. Chyba v jednom čísle, názve alebo časovej následnosti často nie je drobná odchýlka, ale bezpečnostný alebo obchodný problém.

Práca zatiaľ nie je dôkazom, že všetky budúce špičkové modely musia mať rovnaký hybridný tvar. Je to skôr formálny argument a sada malých testov, ktoré posúvajú debatu od jednoduchého „väčšie je lepšie“ k otázke, za čo presne sa pri škálovaní platí. Ak sa hypotéza potvrdí vo väčších experimentoch, môže ovplyvniť návrh pamäťových vrstiev, retrieval systémov, dlhokontextových modelov aj evaluačných úloh pre agentov. Najdôležitejšia veta z preprintu je preto praktická: reprezentačné zblíženie môže prísť so škálou zadarmo, ale konvergenciu schopností si systém musí kúpiť správnym prístupom k informáciám.