Mistral mení RAG na pátranie: Agentic Search prehľadáva a overuje celé dokumenty

Mistral predstavil Agentic Search, vyhľadávaciu vrstvu, ktorá má AI systémom umožniť pracovať s rozsiahlymi firemnými dokumentmi podobnejšie ako človek pri rešerši. Namiesto jedného vyhľadania a okamžitej odpovede môže model postupne spresňovať otázku, otvárať nájdené súbory, presúvať sa medzi stranami či sekciami a čítať konkrétne miesto. Firma tvrdí, že tento postup na finančných a dokumentových benchmarkoch výrazne zvýšil presnosť a v niektorých konfiguráciách zároveň znížil spotrebu tokenov aj latenciu. Novinka je dostupná cez Mistral Search Toolkit a ako súčasť Libraries v prostrediach Studio a Vibe.

Od jednorazového RAG k aktívnej rešerši

Klasický systém RAG najprv vyhľadá niekoľko textových úryvkov a vloží ich do kontextu jazykového modelu. Je to účinné pri jednoduchých otázkach, ak sa odpoveď nachádza v jednom z prvých výsledkov. Problém nastáva pri dlhých výročných správach, naskenovaných PDF, tabuľkách, poznámkach pod čiarou alebo otázkach, ktoré vyžadujú porovnanie viacerých dokumentov. Ak prvé vyhľadanie neprinesie správny úryvok, model často nemá mechanizmus, ktorým by si vyžiadal inú časť zdroja. Môže odpovedať z neúplného kontextu, prípadne správne priznať, že údaj nenašiel.

Agentic Search tento tok rozdeľuje na opakované kroky. Mistral dáva modelu päť nástrojov: search vyhľadáva dokumenty v indexe, open otvorí zvolený súbor, navigate sa presunie na stranu alebo sekciu, read načíta obsah daného miesta a grep hľadá konkrétny vzor v otvorenom dokumente. Model tak nemusí opakovane žiadať široké vyhľadávanie. Keď identifikuje pravdepodobný zdroj, môže sa v ňom cielene pohybovať a pred formulovaním odpovede dohľadať presný dôkaz.

Dôležité je, že nejde iba o dlhší kontext. Pri jednoduchom zväčšení kontextového okna sa do modelu posiela veľké množstvo materiálu bez záruky, že mu venuje správnu pozornosť. Agentický prístup sa snaží vybrať menšie, ale relevantnejšie časti až počas riešenia úlohy. Mistral uvádza, že nástroje nevyžadujú špeciálne doladenie modelu. Kvalita výsledku však prirodzene závisí od schopnosti modelu plánovať ďalší krok, používať nástroje a rozpoznať, či už má dostatok dôkazov.

Výrazné výsledky, ale zatiaľ najmä od výrobcu

Na benchmarku FinanceBench Mistral pracoval so 150 otázkami nad 368 podaniami pre americkú komisiu SEC, ktoré mali spolu približne 53 900 strán. Pôvodný FinanceBench vznikol ako test odpovedania na finančné otázky s otvorenými zdrojmi. Jeho autori zostavili 10 231 otázok s odpoveďami a dôkazovými pasážami, pričom verejne sprístupnili vzorku 150 prípadov. Pôvodná práca ukázala, že vtedajšie modely vrátane konfigurácie GPT-4 Turbo s vyhľadávaním mali pri finančných otázkach výrazné problémy a často odpovedali nesprávne alebo odpoveď odmietli.

Mistral porovnal jednorazový RAG s agentickým vyhľadávaním pri modeloch Mistral Medium 3.5 a GLM-5.2. Samotná opakovaná vyhľadávacia slučka podľa firmy zvýšila presnosť o 47,3 percentuálneho bodu pri Mistral Medium 3.5 a o 52,6 bodu pri GLM-5.2. Pridanie navigácie v dokumentoch prinieslo ďalších 8,7, respektíve 6,7 bodu. Plná konfigurácia pritom oproti slučke založenej iba na vyhľadávaní spotrebovala o 23,9 % menej tokenov pri modeli Mistral a o 33,7 % menej pri GLM-5.2. Mistral tiež uvádza pokles 90. percentilu latencie z 255 na 154 sekúnd a priemernej latencie zo 108 na 71 sekúnd.

Druhý test, OfficeQA Pro, je náročnejší najmä pre naskenované a tabuľkovo orientované dokumenty. Mistral použil 133 otázok nad 696 historickými bulletinmi amerického ministerstva financií s približne 89 000 stranami. GLM-5.2 dosiahol s plným agentickým tokom 51,9 % oproti 6,3 % pri jednorazovom RAG. Pri Mistral Medium 3.5 bol prírastok oproti jednorazovému postupu 27,1 percentuálneho bodu. Navigačné nástroje zlepšili výsledok nad rámec samotnej vyhľadávacej slučky, čo podporuje hypotézu, že pri komplikovaných PDF nestačí nájsť dokument – systém sa musí dostať aj k správnej tabuľke, riadku a okolitému kontextu.

Čísla treba čítať opatrne. Výsledky zverejnil dodávateľ produktu a použil vlastný nástrojový reťazec, predvolené indexovanie a hodnotenie, pri ktorom sa v prípade FinanceBench uplatnil aj LLM hodnotiteľ kalibrovaný proti ľudským anotáciám. Nejde zatiaľ o nezávislú reprodukciu všetkých experimentov. Databricks navyše v auguste predstavil OfficeQA Pro V2, rozšírený a odlišný benchmark vytvorený približne z 1 400 dokumentov a 120 000 strán. Na ňom hotoví agenti dosahovali priemerne iba 26 % a optimalizovaný systém Databricks Genie najviac 60 %. Aj tieto výsledky naznačujú, že agentický obal a spôsob práce so zdrojmi môžu ovplyvniť výkon takmer rovnako výrazne ako výber samotného modelu.

Praktický význam pre firmy a verejnú správu

Pre podniky je najzaujímavejšie oddelenie indexu od vyhľadávacieho správania agenta. Organizácia môže naďalej používať svoj dokumentový index a nad ním sprístupniť operácie na vyhľadávanie a navigáciu. Search Toolkit podľa Mistralu obsahuje moduly pre ingest, parsovanie, embeddingy, indexovanie a radenie výsledkov a dá sa prevádzkovať v cloude alebo lokálne. To môže byť dôležité pri zmluvách, účtovných dokumentoch, technických manuáloch či regulovaných údajoch, ktoré nemožno bez kontroly posielať do cudzieho prostredia.

Pre slovenské firmy a úrady je relevantná najmä práca s nerovnomernou kvalitou dokumentov. Archívy často miešajú textové PDF, skeny, tabuľky a prílohy s nejednotným označením. Jednorazové vyhľadanie môže nájsť správnu smernicu, ale nie novelizovaný článok alebo tabuľku v prílohe. Agentická navigácia ponúka cestu k presnejšej odpovedi s odkazom na konkrétne miesto. Sama však nerieši zlé OCR, chýbajúce metadáta, nesprávne oprávnenia ani neaktuálny index. Ak sa zdroj nedá spoľahlivo prečítať alebo agent nemá prístup k správnej verzii, viac krokov môže iba predĺžiť cestu k chybnému výsledku.

Nasadenie preto potrebuje limity na počet krokov, čas a náklady, záznam použitých zdrojov a pravidlo, kedy má agent odpoveď odmietnuť. Pri citlivých úlohách by mal používateľ vidieť nielen finálnu vetu, ale aj dokument, stranu a pasáž, z ktorej údaj pochádza. Zmysel má tiež oddeliť jednoduché otázky, pre ktoré je lacnejší klasický RAG, od komplikovaných rešerší. Samotný Mistral odporúča agentické vyhľadávanie najmä pri dlhých dokumentoch, práci naprieč viacerými zdrojmi, tabuľkách a odpovediach vyžadujúcich overiteľný dôkaz.

Čo ešte zostáva overiť

Zverejnené testy neodpovedajú na všetky prevádzkové otázky. Nie je jasné, ako sa systém správa pri konfliktných verziách dokumentov, viacjazyčných archívoch, nekvalitnom slovenskom OCR alebo pri zdrojoch s komplikovanými prístupovými právami. Potrebné sú aj nezávislé porovnania s inými agentickými RAG systémami pri rovnakej kvalite indexu a s rovnakým modelom. Kľúčové bude merať nielen presnosť odpovede, ale aj správnosť citácie, počet zbytočných krokov, cenu jednej vyriešenej úlohy a odolnosť proti škodlivému textu ukrytému v dokumentoch.

Agentic Search napriek týmto otvoreným otázkam pomenúva dôležitý posun. Pri podnikovej AI sa pozornosť presúva od otázky, koľko textu sa zmestí do kontextového okna, k otázke, ako systematicky model dôjde k správnemu dôkazu. Ak sa výsledky potvrdia aj mimo testov Mistralu, konkurenčnou výhodou nemusí byť iba silnejší jazykový model. Rovnako dôležitý bude vyhľadávací a nástrojový systém, ktorý modelu umožní včas zistiť, že prvý nájdený úryvok nestačí, a bezpečne pokračovať v pátraní.