AgentNLQ skúša viacagentový prístup k prekladu prirodzeného jazyka do SQL

Preklad prirodzeného jazyka do SQL patrí medzi najpraktickejšie, ale aj najtvrdohlavejšie úlohy pre jazykové modely. Nový preprint AgentNLQ opisuje viacagentový systém, ktorý sa snaží prekonať slabiny jednoduchého promptovania databázovej schémy. Autori uvádzajú, že na benchmarku BIRD dosahuje 78,1 % sémantickú presnosť. To je zaujímavé nie preto, že by problém bol vyriešený, ale preto, že práve podnikové databázy sú miesto, kde sa jazykové modely stretávajú s presnosťou, oprávneniami a kontextom reálneho biznisu.

NL2SQL vyzerá na prvý pohľad jednoducho: používateľ napíše otázku a model vygeneruje SQL dotaz. V skutočnosti musí systém pochopiť význam stĺpcov, vzťahy medzi tabuľkami, doménové pravidlá a často aj nevyslovené očakávania. Otázka „koľko aktívnych zákazníkov sme mali minulý kvartál“ môže závisieť od definície aktívnosti, časovej zóny, storno pravidiel a toho, či sa počítajú len platené účty. Čistý model bez znalosti týchto pravidiel vie napísať syntakticky správny, ale vecne zlý dotaz.

AgentNLQ preto podľa abstraktu pracuje so sémanticky obohatenou reprezentáciou schémy a s biznis pravidlami dodanými používateľom. To je dôležitý posun. Namiesto toho, aby model videl iba názvy tabuliek a stĺpcov, dostáva bohatší opis toho, čo dáta znamenajú. V podnikovej praxi je práve tento význam často skrytý v dokumentácii, v hlavách analytikov alebo v starých dashboardoch. Ak ho systém dokáže explicitne využiť, zvyšuje sa šanca, že SQL bude zodpovedať reálnej otázke.

Viacagentový prístup môže mať v tejto úlohe zmysel, pretože generovanie SQL nie je jeden krok. Jeden agent môže interpretovať otázku, ďalší môže vybrať relevantné tabuľky, ďalší môže navrhnúť dotaz a ďalší ho skontrolovať proti pravidlám alebo výsledkom. Takéto rozdelenie nie je zárukou kvality, ale umožňuje vložiť kontrolné body tam, kde jednoduchý prompt často zlyhá. Pri databázach je kontrola dôležitá aj preto, že chybný dotaz môže vyzerať veľmi presvedčivo.

Benchmark BIRD je v komunite dôležitý, pretože sa snaží priblížiť komplexnejším databázovým scenárom než staršie akademické datasety. Hlásených 78,1 % sémantickej presnosti preto stojí za pozornosť, no treba ho čítať opatrne. Sémantická presnosť na benchmarku nie je to isté ako bezpečné nasadenie nad produkčným skladom dát. Reálne systémy musia riešiť oprávnenia, audit dotazov, náklady na zle napísané joiny a ochranu pred otázkami, ktoré by nemali byť zodpovedané.

Najsilnejší praktický dopad tak môže byť v asistovanom analytickom workflow. Agent nemusí okamžite posielať SQL do produkcie bez človeka. Môže navrhnúť dotaz, vysvetliť použité tabuľky, ukázať predpoklady a nechať analytika potvrdiť alebo upraviť definície. V takom režime je aj čiastočne nedokonalý systém veľmi užitočný, pretože skracuje cestu od otázky k prvému pracovateľnému dotazu.

Pre firmy je zároveň dôležité, že NL2SQL nie je len pohodlie pre neprogramátorov. Ak sa podarí spoľahlivo prepojiť prirodzený jazyk s databázou, mení sa prístup k interným dátam. Obchodné tímy môžu rýchlejšie skúmať hypotézy, produktové tímy môžu samostatnejšie analyzovať správanie používateľov a dátoví špecialisti sa môžu sústrediť na komplexnejšie modelovanie. Slabá presnosť by však mohla priniesť opačný efekt: šírenie nesprávnych čísel s veľkou dôverou.

AgentNLQ preto treba vnímať ako ďalší krok v disciplíne, ktorá sa posúva od „model napíše SQL“ k „systém rozumie dátovému prostrediu“. Ak sa potvrdí, že obohatená schéma, biznis pravidlá a viac kontrolných agentov znižujú počet vecných chýb, môže to byť prakticky významnejšie než ďalšie malé zlepšenie v syntaxi. Najbližšou výzvou bude ukázať, ako sa podobný systém správa na živých podnikových dátach, kde sú schémy neporiadne, dokumentácia neúplná a otázky používateľov nejednoznačné.

Ďalšou otázkou je, ako sa takýto systém správa pri nebezpečných alebo drahých dotazoch. Agent môže vytvoriť správny SQL výraz, ktorý je zároveň nákladný alebo porušuje interné pravidlá prístupu. Preto by produkčné nasadenie malo spájať NL2SQL s limitmi, vysvetliteľnosťou, sandboxom a možnosťou spustiť dotaz najprv nad vzorkou. Presnosť generovania je len jedna časť bezpečnej dátovej asistencie.