BAIR tvrdí, že lacná inteligencia mení dátové systémy na infraštruktúru agentov

Berkeley Artificial Intelligence Research zverejnil rozsiahly text o tom, čo sa stane s dátovými systémami, ak sa prakticky použiteľná inteligencia stane veľmi lacnou. Autori vychádzajú z pozorovania, že schopnosti na úrovni GPT-4, ktoré v roku 2023 stáli približne desiatky dolárov za milión tokenov, dnes stoja rádovo menej a pri niektorých poskytovateľoch sa blížia k centom. Ich záver nie je, že máme hotovú superinteligenciu, ale že cena dostatočne dobrej inteligencie pre veľkú časť znalostnej práce padá tak rýchlo, že sa oplatí prehodnotiť celé dátové platformy.

BAIR rámcuje problém trojicou: dátové systémy pre agentov, dátové systémy z agentov a dátové systémy vytvárané agentmi. Prvá kategória rieši, ako sa majú databázy správať, keď používateľom nie je človek alebo dashboard, ale roj agentov skúšajúcich rôzne hypotézy. Druhá sa pýta, aká infraštruktúra je potrebná na dlhodobé udržiavanie stavu, pamäte, koordinácie a obnovy po chybách v agentických tímoch. Tretia ide ešte ďalej: ak agenti dokážu generovať špecializované systémy pre konkrétne úlohy, kto a ako overí, že výsledný systém je správny, bezpečný a udržiavateľný.

Najkonkrétnejšia časť textu sa týka agentických dotazov do databáz. Pri úlohe typu „prečo v Berkeley klesol predaj kávy“ jeden agent nevykoná jediný SQL dotaz. Bude skúmať schému, skúšať filtre, prepájať tabuľky, overovať hypotézy a vracať sa k medzivýsledkom. Ak rovnakú úlohu paralelne rieši viac agentov, vzniknú stovky až tisíce podobných dotazov. BAIR tvrdí, že v experimentoch s text-to-SQL prístupmi bolo iba 10 až 20 percent čiastkových plánov skutočne odlišných, zatiaľ čo 80 až 90 percent práce sa prekrývalo.

Tento výsledok je dôležitý, pretože ukazuje paradox agentov. Redundancia pomáha úspešnosti: viac pokusov zvyšuje šancu, že aspoň niektorý agent nájde dobrú cestu. Pre databázu je však taká redundancia plytvaním. Systém navrhnutý pre ľudských analytikov by podobný tok považoval za chaos alebo zle optimalizovanú záťaž. Systém navrhnutý pre agentov by naopak mohol prekrývajúce sa podplány rozpoznať, zdieľať skeny, opätovne použiť medzivýsledky a poskytovať približné alebo priebežné odpovede tam, kde agent nepotrebuje úplnú presnosť na každý krok uvažovania.

Z toho vyplýva iný dizajn databázového výkonu. Pri tradičných aplikáciách sa optimalizuje latencia jedného dotazu, throughput alebo náklady na pevne definované workloady. Pri agentoch bude dôležité, či systém vie obslúžiť veľa špekulatívnych, čiastočne duplicitných a často zahodených dotazov bez toho, aby zničil rozpočet. BAIR preto hovorí o agentickej špekulácii: agenti skúšajú viac ciest, z ktorých mnohé budú slepé. Úlohou infraštruktúry nie je túto špekuláciu potlačiť, ale urobiť ju lacnejšou, zdieľateľnou a kontrolovateľnou.

Druhá agenda, dátové systémy z agentov, posúva pozornosť od SQL k prevádzke samotných agentických workflowov. Dlhšie úlohy budú potrebovať stav, históriu rozhodnutí, mechanizmy konsenzu, prácu s oneskorenými alebo zlyhanými agentmi a bezpečné zdieľanie kontextu. To pripomína problémy distribuovaných systémov, nie iba prompt engineering. Ak má skupina agentov analyzovať incident, písať kód alebo pripravovať výskumnú správu, nestačí mať model s veľkým kontextom. Treba vedieť, kto čo urobil, ktoré tvrdenie bolo overené, ktoré dáta boli použité a ako sa systém zotaví, keď jeden agent vyprodukuje chybný alebo protirečivý výstup.

Tretia agenda je najambicióznejšia a zároveň najrizikovejšia. Ak agenti dokážu navrhovať a generovať špecializované dátové systémy pre konkrétne úlohy, môže to výrazne zrýchliť vývoj. Namiesto univerzálneho enginu pre všetko by podnik dostal malý, optimalizovaný systém pre úzky workflow. Lenže dátové systémy sú citlivé na správnosť: chyba v izolácii transakcií, v plánovaní dotazov alebo v obnovovaní po páde môže spôsobiť tiché poškodenie výsledkov. Preto bude potrebné automatické testovanie, formálne špecifikácie, sandboxy a ľudská kontrola tam, kde agenti generujú infraštruktúrny kód.

Pre prax je text BAIR užitočný tým, že oddeľuje lacnejšiu inferenciu od skutočných systémových nákladov. Aj keby tokeny ďalej zlacňovali, agentické aplikácie môžu byť drahé pre databázy, úložiská, sieť a ľudí, ktorí musia kontrolovať výsledky. Firmy, ktoré dnes pridávajú agentov nad existujúce dátové sklady, by preto nemali merať iba cenu modelového API. Mali by sledovať počet generovaných dotazov, mieru duplicitnej práce, náklady na medzivýsledky, chybovosť syntetizovaného SQL a auditovateľnosť rozhodnutí.

Článok zároveň naznačuje, prečo sa trh s dátovými platformami môže zmeniť. Ak sa agenti stanú hlavným rozhraním k dátam, výhodu nezískajú iba systémy s rýchlym vektorovým vyhľadávaním alebo pekným chatbotom nad tabuľkami. Výhodu získajú platformy, ktoré rozumejú agentickej záťaži ako prvotriednemu workloadu: vedia cacheovať čiastkové hypotézy, vracať priebežné odpovede, obmedzovať nebezpečné dotazy, vysvetľovať pôvod výsledkov a koordinovať viac agentov nad rovnakými dátami. Lacná inteligencia tak neznamená, že dátová infraštruktúra bude menej dôležitá. Práve naopak, môže sa stať miestom, kde sa rozhodne, či agenti budú užitoční alebo iba lacno vyrábať drahý chaos.