Apple opisuje sémantické vyhľadávanie pre Apple Music vo viac ako 150 krajinách

Apple zverejnil výskumný opis systému, ktorý rieši jeden z menej viditeľných, ale obchodne veľmi dôležitých problémov spotrebiteľskej AI: ako nájsť správnu skladbu, interpreta alebo album, keď používateľ píše s preklepmi, v inom písme alebo v inom jazyku než katalóg. Apple Music podľa textu funguje vo viac ako 150 storefrontoch a katalóg denne rastie o stovky tisíc nových skladieb. V takom prostredí už nestačí iba presná zhoda tokenov, pretože veľká časť unikátnych otázok patrí do takzvaného dlhého chvosta, kde sa rovnaký zámer objaví v mnohých nečakaných formuláciách.

Jadrom systému je 305-miliónový siamský bi-enkóder doladený z modelu GTE-multilingual-base. Bi-enkóder znamená, že dotaz používateľa aj kandidátske položky katalógu sa premietnu do porovnateľného vektorového priestoru. Ak sú významovo blízko, systém ich vie nájsť aj vtedy, keď sa reťazce znakov nezhodujú. Apple pri tréningu použil postupne plánované viaccieľové učenie, teda kombináciu úloh zoradených tak, aby model najprv zvládol všeobecnejšie signály a potom ťažšie vyhľadávacie prípady.

Dôležité je, že Apple opisuje nasadenie ako hybridnú vrstvu, nie ako výmenu celého vyhľadávača. Husté najbližšie susedstvo sa mieša s existujúcim tokenovým indexom a výsledky sa zarovnávajú cez porovnávanie kvantilov distribúcie. Praktický význam je veľký: firma nemusí hneď pretrénovať všetky nadväzujúce rankovacie modely, ktoré rozhodujú o finálnom poradí výsledkov. Sémantická zložka tak dopĺňa recall, teda schopnosť vôbec nájsť dobrých kandidátov, zatiaľ čo staršia infraštruktúra môže ďalej robiť to, v čom je silná.

V offline meraní systém dosiahol o 69 percent lepší Hit@10 než pôvodný GTE-multilingual-base. Hit@10 zjednodušene hovorí, či sa relevantná položka dostane medzi prvých desať kandidátov. V produkcii je ešte zaujímavejší A/B test: Apple uvádza 2,28-percentné relatívne zlepšenie konverzného pomeru celkovo a 86-percentný pokles otázok bez výsledku. Pre hudobnú službu to nie je iba akademická metrika. Menej prázdnych výsledkov znamená menej prerušení v používateľskej ceste a viac šancí, že človek naozaj začne počúvať.

Najvýraznejší dopad sa ukázal pri tail queries, teda pri zriedkavých a neštandardných otázkach. Tam Apple uvádza 7,93-percentný relatívny nárast konverzie, zatiaľ čo pri stredne častých otázkach išlo o 0,89 percenta a pri najčastejších iba o 0,14 percenta. To je presne profil zlepšenia, ktorý by mal dobrý sémantický retrieval priniesť: populárne otázky už zvyčajne riešia ručne ladené pravidlá a historické dáta, no pri preklepoch, transliterácii a menej známych interpretoch tradičný index často stráca signál.

Pre vývojárov vyhľadávacích a odporúčacích systémov je zaujímavé, že Apple explicitne nerobí z vektorov samospasiteľné riešenie. Skôr ukazuje konzervatívny produkčný vzor: pridať husté vyhľadávanie ako rozšírenie kandidátskej množiny, kalibrovať ho voči existujúcej distribúcii a až potom merať dopad na reálnych používateľoch. V praxi je to bezpečnejšie než veľký jednorazový prechod, najmä v službe s množstvom jazykov, lokálnych názvov, remakov, remixov a fanúšikovských prepisov mien.

Článok má širší význam aj mimo hudby. Rovnaké problémy riešia e-shopy, interné firemné znalostné bázy, vyhľadávanie v dokumentoch aj multimodálne knižnice. Ak má používateľ zámer, ale nepozná presný názov, systém musí premostiť jazyk, prepis a chyby v zápise. Apple ukazuje, že sémantické vyhľadávanie sa dá dostať do veľmi veľkého produkčného prostredia bez toho, aby sa firma vzdala deterministických a dobre odladených častí staršieho stacku.

Treba však čítať výsledky opatrne. Apple zverejňuje agregované zlepšenia, nie plnú evaluačnú sadu ani všetky obchodné kompromisy. Nevieme, ako systém zvláda citlivé lokálne názvy, regionálne licencie alebo prípady, keď sémantická podobnosť môže byť zavádzajúca. Aj tak ide o užitočný signál: veľké spotrebiteľské služby posúvajú AI z viditeľných chatbotov do infraštruktúry, ktorá ticho rozhoduje o tom, či používateľ vôbec nájde to, čo hľadá.