Apple navrhuje CLaRa, RAG s kompresiou dokumentov v spojitom latentnom priestore

Apple Machine Learning Research predstavil CLaRa, výskumný rámec pre retrieval-augmented generation, teda generovanie odpovedí podporené vyhľadávaním v externých dokumentoch. Klasický RAG rieši problém aktuálnych alebo špecializovaných znalostí tak, že nájde relevantné texty a vloží ich do kontextu jazykového modelu. V praxi však naráža na dve hranice: dlhé kontexty sú drahé a pomalé a retrieval často nie je optimalizovaný spolu s generátorom.

CLaRa, skratka pre Continuous Latent Reasoning, sa snaží tieto vrstvy spojiť. Namiesto toho, aby sa do generátora posielali celé pasáže textu, systém ich komprimuje do vektorov v spojitom latentnom priestore. Tieto vektory majú zachovať kľúčovú sémantiku dokumentu, ale byť kratšie a vhodnejšie pre ďalšie spracovanie. Výsledkom má byť menší vstup do generátora bez straty dôležitých informácií.

Apple opisuje aj syntetickú dátovú zložku SCP, ktorá má zabezpečiť, aby komprimované vektory zostali významovo bohaté a spätne vyhľadateľné. Používa dohľad založený na otázkach a odpovediach a parafrázovaní, aby sa kompresia nenaučila len zmenšiť text, ale zachovala informácie potrebné na správne zodpovedanie otázok. To je podstatné, pretože pri RAG nestačí komprimovať všeobecne; treba komprimovať tak, aby sa nestratili fakty rozhodujúce pre odpoveď.

Najdôležitejší technický posun je spoločná optimalizácia rerankera a generátora. V bežných pipeline systémoch vyhľadávač alebo reranker rozhodne, čo je relevantné, a generátor sa potom snaží odpovedať z dodaného materiálu. CLaRa trénuje obe časti cez jednu jazykovú stratu, pričom gradient prechádza aj cez výber top-k dokumentov pomocou diferenciovateľného odhadu. Cieľom je zosúladiť retrieval relevanciu s kvalitou finálnej odpovede.

Výskumníci tvrdia, že CLaRa dosahuje špičkový výkon pri kompresii a rerankingu na viacerých QA benchmarkoch, a to aj pri šestnásťnásobnej kompresii textu. Ak sa výsledok potvrdí mimo akademických benchmarkov, môže to byť významné pre systémy, ktoré dnes platia vysokú cenu za vkladanie veľkých množstiev dokumentov do kontextu modelu.

Praktický dopad je zrejmý pri podnikovom vyhľadávaní, právnych dokumentoch, technickej podpore a agentoch nad veľkými znalostnými bázami. Dnešné riešenia často volia medzi dvoma zlými možnosťami: buď vložia veľa textu a zaplatia vysokú cenu, alebo vložia málo textu a riskujú vynechanie dôležitého detailu. Komprimované latentné reprezentácie môžu ponúknuť tretiu možnosť, ak zostanú auditovateľné a dostatočne verné zdroju.

Otvorenou otázkou je vysvetliteľnosť. Textová pasáž sa dá ukázať používateľovi a citovať. Latentný vektor je menej priehľadný. Pri produkčnom RAG systéme preto nestačí, aby kompresia zlepšila presnosť a cenu; systém musí stále vedieť ukázať, z ktorého dokumentu a pasáže odpoveď vychádza. Inak by sa znížila dôvera, najmä v regulovaných odvetviach.

CLaRa zároveň zapadá do širšieho trendu, v ktorom sa RAG mení z jednoduchého „vyhľadaj a vlož do promptu“ na trénovateľnú architektúru. Firmy už nechcú iba pripájať vektorovú databázu k modelu, ale optimalizovať celý reťazec od indexovania cez reranking až po odpoveď. Apple týmto výskumom ukazuje jednu cestu: preniesť časť uvažovania z dlhého textového kontextu do kompaktného spojitého priestoru.

Pre slovenské a európske podniky je téma relevantná aj ekonomicky. Ak sa podobné techniky dostanú do nástrojov pre interné znalostné bázy, môžu znížiť náklady na prevádzku asistentov nad veľkými archívmi a zároveň zlepšiť latenciu. Rizikom bude prílišná čierna skrinka. Najlepšie riešenia preto pravdepodobne spoja latentnú kompresiu s dôsledným citovaním pôvodných dokumentov a s možnosťou spätne overiť, čo sa do odpovede premietlo.

Výskum však netreba čítať ako okamžitú náhradu dnešných textových RAG systémov. Latentná kompresia si vyžiada nové nástroje na ladenie, kontrolu kvality a porovnávanie s pôvodným textom. Pre regulované nasadenia bude rozhodujúce, či systém dokáže pri chybe vysvetliť, ktorá informácia sa stratila alebo skreslila. CLaRa preto otvára sľubný smer, ale produkčný úspech bude závisieť od spojenia výkonu s transparentnosťou.