Notion znížil cenu vektorového vyhľadávania na desatinu pri 10-násobnom raste

Notion zverejnil technický pohľad na to, ako za posledné dva roky škáloval vektorové vyhľadávanie, na ktorom stoja jeho AI funkcie. Podľa firmy sa infraštruktúra zväčšila desaťnásobne, zatiaľ čo priebežné náklady klesli na približne desatinu pôvodnej úrovne. Na prvé čítanie to znie ako interný engineering post, v skutočnosti však ide o dôležitý signál pre celý trh: sémantické vyhľadávanie nad firemným obsahom sa už neposudzuje len podľa kvality odpovedí, ale podľa toho, či sa dá prevádzkovať v miliónoch pracovných priestorov bez ekonomického kolapsu.

Notion opisuje, že po spustení AI Q&A na konci roka 2023 čelil náporu miliónov pracovných priestorov čakajúcich na onboarding. To je typický moment, v ktorom sa rozdiel medzi pekným demom a reálnym produktom ukáže naplno. Kým pri malej vzorke je možné fungovať s drahšou architektúrou a ručnými zásahmi, pri masovom nasadení sa každé rozhodnutie o ukladaní vektorov, shardovaní, aktualizáciách indexov a embeddovaní dokumentov premieta do nákladov aj prevádzkovej zložitosti.

Firma preto podrobne opisuje, ako mala od začiatku dve cesty spracovania dát. Offline vrstva cez Apache Spark pripravovala existujúce dokumenty vo veľkých dávkach, generovala embeddingy a hromadne ich nahrávala do vektorovej databázy. Online vrstva cez Kafka naopak obsluhovala živé zmeny jednotlivých stránok. Takáto kombinácia je dôležitá, lebo enterprise AI dnes nestojí iba na jednorazovom indexovaní vedomostnej bázy, ale na schopnosti priebežne udržať čerstvosť dát bez toho, aby sa rozpadla latencia alebo rozpočet.

Notion priznáva, že pôvodná architektúra s dedikovanými klastrami viažucimi výpočtový výkon a úložisko bola pri prudkom raste čoraz drahšia a komplikovanejšia. Namiesto neustáleho re-shardovania sa firma rozhodla zakladať nové generácie indexov a smerovať nové pracovné priestory do nich. Bol to pragmatický krok, ktorý pomohol preklenúť hyperrast, no zároveň vytvoril operačnú zložitosť. A práve tu prichádza najzaujímavejší moment: v máji 2024 Notion presunul workload na serverless architektúru, kde sa výpočtová vrstva oddelila od úložiska a účtovanie sa posunulo z rezervovanej kapacity na reálne využitie.

Podľa publikovaných čísel priniesol tento krok okamžité zníženie nákladov o 50 percent oproti vrcholu spotreby a ročné úspory v miliónoch dolárov. Ani to však firme nestačilo. V texte otvorene priznáva, že aj po prvom veľkom zlepšení zostával ročný účet za vektorovú databázu v miliónoch a bolo potrebné pokračovať v optimalizácii. To je cenné aj pre ostatné firmy: ukazuje sa, že pri AI vyhľadávaní často neexistuje jedno magické riešenie, ale séria architektonických rozhodnutí, ktoré sa musia robiť v čase podľa rastu produktu.

Dôležitý je aj širší kontext. Vektorové vyhľadávanie býva v prezentáciách opisované ako takmer samozrejmý základ každého moderného AI produktu. Menej sa však hovorí o tom, že významná časť nákladov nevzniká iba samotným dotazovaním, ale celým životným cyklom dát: chunkingom, embeddovaním, indexáciou, presunom medzi generáciami indexov, správou viacerých tenantov a obnovou po zmenách v dokumentoch. Notion preto neprináša len chválu vlastnej technickej práce, ale aj nepriamu lekciu pre každého, kto chce stavať enterprise search alebo RAG nad väčšou klientskou základňou.

Pre produktový trh je zaujímavé aj to, čo z tohto textu nevyplýva len medzi riadkami. Ak Notion dokáže znížiť cenu takejto vrstvy o 90 percent, tlak sa prenáša aj na dodávateľov databáz, embeddingových služieb a cloudovej infraštruktúry. Budú musieť presvedčiť zákazníkov nielen presnosťou retrievalu, ale aj tým, že ich architektúra zvládne rast bez neúmerného rastu nákladov. Inak sa čoraz viac veľkých produktov pokúsi podobné optimalizácie robiť interne alebo agresívnejšie meniť dodávateľov.

Pre používateľov Notionu je praktický dopad jednoduchý: AI funkcie založené na sémantickom vyhľadávaní môžu byť rýchlejšie, lacnejšie na prevádzku a dostupné vo väčšom rozsahu. Pre celý trh je však dôležitejšia iná správa. Víťazmi ďalšej fázy AI nebudú iba tí, ktorí majú dobrý model, ale aj tí, ktorí vedia pretaviť náročné architektúry do služby s disciplínou bežného softvérového produktu. Notion tým pripomína, že skutočná konkurenčná výhoda často nevzniká v keynote, ale v tom, ako efektívne sa spravuje infraštruktúra pod povrchom.