Apple skúma, ako lacnejšie overovať tvrdenia nad veľkými dátami

Apple Machine Learning Research zverejnil dvojicu prác, ktoré na prvý pohľad patria skôr do teoretickej informatiky než do produktových AI noviniek. Ich spoločná otázka je však veľmi praktická: ako môže slabší overovateľ skontrolovať tvrdenie o veľkom objeme dát bez toho, aby musel zopakovať celú drahú analýzu? V ére veľkých modelov, syntetických dát a automatizovaných analytických agentov je práve táto otázka čoraz dôležitejšia. Nestačí, aby systém vyprodukoval odpoveď; prevádzkovateľ potrebuje vedieť, čo sa dá overiť lacnejšie než celé pôvodné výpočty.

Prvá práca, Interactive Proofs for General Distribution Properties, opisuje situáciu, v ktorej má používateľ iba vzorky z neznámej distribúcie a nedôveryhodný analytik tvrdí, že o nej vypočítal určitú vlastnosť. Namiesto toho, aby používateľ musel vlastnosť odhadovať sám v takmer lineárnom čase alebo z veľkého počtu vzoriek, výskumníci konštruujú interaktívny dôkazový protokol. Ten umožní overovateľovi kombinovať vlastné vzorkovanie, komunikáciu s dokazovateľom a kontrolu dôkazu tak, aby sa dostal pod náklady priameho riešenia. Výsledok je formulovaný pre vlastnosti distribúcií, ktoré sa dajú rozhodnúť obvodmi s obmedzenou hĺbkou, no motivácia je širšia: overovať tvrdenia o dátach efektívnejšie než ich znovu počítať.

Druhá práca, Doubly Sub-linear Interactive Proofs of Proximity, skúma ešte úspornejší variant. Autori zavádzajú dôkazy blízkosti, pri ktorých má byť nielen overenie sublineárne, ale aj poctivá stratégia dokazovateľa potrebuje prečítať iba malú časť vstupu. V bežnej reči to znamená, že ani jedna strana nemusí spracovať celý obrovský objekt, ak cieľom nie je presná rekonštrukcia, ale približné potvrdenie, že vstup má požadovanú vlastnosť alebo je od nej ďaleko. Takéto dôkazy zapadajú do rodiny metód známych z testovania vlastností, kde sa pracuje s náhodnými dotazmi do dát namiesto úplného prechodu všetkých položiek.

Prečo je to relevantné pre AI Feed, keď práce nepredstavujú nový jazykový model? Moderné AI systémy sa čoraz viac opierajú o externé dáta, vektorové indexy, generované datasety a agentov, ktorí nad nimi vykonávajú analýzu. Ak má agent tvrdiť, že dátový súbor spĺňa určitú podmienku, že distribúcia nie je výrazne posunutá alebo že výsledok auditu sedí, organizácia potrebuje mechanizmus, ktorý sa dá prevádzkovať aj pri veľmi veľkých objemoch dát. Interaktívne dôkazy sú jednou z ciest, ako oddeliť samotné tvrdenie od lacnejšej procedúry jeho kontroly.

Dôležitý rozdiel oproti bežnej validácii je v predpoklade nedôvery. Overovateľ nemusí veriť analytikovi, agentovi ani infraštruktúre, ktorá výpočet vykonala. Protokol má byť navrhnutý tak, aby poctivý dokazovateľ vedel presvedčiť overovateľa, ale nepoctivý dokazovateľ nemohol ľahko prepašovať nepravdivé tvrdenie. V produkčných AI systémoch to pripomína problém auditovateľnosti: model alebo agent môže byť rýchly a užitočný, no rozhodujúce je, či existuje kontrolná vrstva, ktorá zachytí aspoň triedu dôležitých omylov bez neúmerných nákladov.

Pri práci o distribučných vlastnostiach je zaujímavé najmä to, že autori rozširujú predchádzajúce výsledky za hranicu špeciálnych, labelovo invariantných vlastností. Uvádzajú protokoly pre všeobecnejšie vlastnosti rozhodnuteľné obvodmi s obmedzenou hĺbkou a dosahujú sublineárne hranice pre vzorkovanie, čas aj komunikáciu. Pre praktického čitateľa nie je podstatné zapamätať si konkrétne asymptotické členy, ale smer: overenie tvrdení nad distribúciami sa nemusí vždy správať rovnako draho ako ich priame rozhodnutie bez pomoci dokazovateľa.

Pri práci o dôkazoch blízkosti je zas dôležitý dôraz na veľmi lacného dokazovateľa. Mnohé kryptografické alebo dôkazové systémy presúvajú náklady z overovateľa na toho, kto dôkaz generuje. To môže byť dobré pri blockchainoch alebo jednorazových auditoch, no menej vhodné pri dátových pipeline, ktoré sa majú spúšťať často. Apple a spoluautori preto skúmajú režim, v ktorom aj generovanie dôkazu zostáva sublineárne voči vstupu. Ak by sa podobné princípy dali časom preniesť do praktickejších kontrolných nástrojov, mohli by pomôcť pri lacnejších priebežných kontrolách dátovej kvality.

Treba zdôrazniť, že nejde o hotový produkt pre vývojárov ani o návod, ako zajtra auditovať konkrétny model. Ide o základný výskum, ktorý rieši limity toho, čo sa dá overiť pri obmedzenom prístupe k dátam. Takéto práce sa do priemyslu dostávajú pomaly a často nepriamo, cez nové protokoly, knižnice alebo metodiky hodnotenia. Ich hodnota je v tom, že pomenúvajú triedu problémov, ktoré budú pri autonómnych AI systémoch narastať: lacné, selektívne a formálne lepšie podložené overovanie tvrdení.

Praktický dopad je preto skôr strategický. Firmy, ktoré budujú agentov nad internými dátami, dnes riešia najmä presnosť vyhľadávania, oprávnenia, logging a ľudský dohľad. Ďalšia vrstva bude otázka, či sa dá výstup agenta alebo dátovej analýzy overiť bez opakovania celej práce. Výskum od Apple ukazuje jednu z matematických ciest k takémuto svetu: dôkazové protokoly, kde sa veľké dáta nekontrolujú hrubou silou, ale cez dobre zvolené dotazy, interakciu a hranice na to, čo dokáže nepoctivý dokazovateľ.