Apple skúma, ako merať neistotu pri volaní nástrojov veľkými jazykovými modelmi

Apple Machine Learning Research publikoval prácu o kvantifikácii neistoty pri volaní funkcií veľkými jazykovými modelmi. Ide o dôležitú tému pre agentov a asistenty, ktoré už neostávajú pri generovaní textu, ale vyberajú nástroje, vypĺňajú argumenty a spúšťajú akcie s vedľajšími účinkami. Pri odpovedi v chate sa chyba dá opraviť ďalšou správou. Pri zlom volaní funkcie môže model zmazať dáta, odoslať nesprávny formulár alebo iniciovať operáciu, ktorú používateľ nechcel.

Kvantifikácia neistoty znamená snahu odhadnúť, nakoľko si model môže byť istý, že jeho výstup je správny. V klasických otázkach a odpovediach sa často skúmajú metódy, ktoré generujú viac odpovedí a merajú ich rozptyl, alebo pracujú s pravdepodobnosťami tokenov. Apple však upozorňuje, že function-calling je iný formát. Výstup nie je voľný odsek, ale štruktúrované volanie s názvom funkcie a argumentmi. Chyba môže spočívať v zlej funkcii, zlom parametri alebo v tom, že model mal radšej odmietnuť akciu.

Podľa Apple ide o prvú evaluáciu metód neistoty špecificky pre LLM function-calling. Výskumníci porovnávajú prístupy známe z prirodzeného jazyka s úpravami prispôsobenými štruktúrovaným výstupom. Zaujímavý výsledok je, že viacvzorkové metódy ako sémantická entropia, ktoré v otázkach a odpovediach často fungujú dobre, v tomto nastavení neprinášajú jasnú výhodu oproti jednoduchším jednovzorkovým metódam.

To je prakticky dôležité, pretože viacvzorkové metódy sú drahšie. Ak model musí pre každé rozhodnutie vygenerovať viac možných volaní a systém ich potom porovnáva, rastie latencia aj cena. Ak podobnú alebo lepšiu signalizáciu neistoty poskytne jednoduchší prístup nad jedným výstupom, môže byť vhodnejší pre produkčných agentov, kde sa bezpečnostné rozhodnutie robí pri každom kroku.

Apple zároveň ukazuje, že štruktúra volania funkcie sa dá využiť. Pri viacvzorkových metódach môže pomôcť zhlukovanie výstupov podľa abstraktného syntaktického stromu, teda podľa štruktúry argumentov a funkčných volaní, nie iba podľa povrchovej podobnosti textu. Pri jednovzorkových metódach zase pomáha sústrediť sa na semanticky významné tokeny namiesto toho, aby sa neistota počítala rovnako zo všetkých častí výstupu.

Pre nasadenie agentov je hlavná otázka, čo s takýmto skóre urobiť. Neistota nemá byť iba metrika v reporte. Môže slúžiť ako brzda: ak je model pri volaní nástroja neistý, systém si vyžiada potvrdenie používateľa, presmeruje úlohu na silnejší model, spustí dodatočnú validáciu alebo akciu úplne zablokuje. To je obzvlášť dôležité pri nevratných akciách, finančných operáciách, správe oprávnení a práci s citlivými dátami.

Práca tiež pripomína, že bezpečnosť agentov sa nedá riešiť iba prirodzeným jazykom. Keď model komunikuje s nástrojmi, vzniká rozhranie podobné programovaniu. Validátory schém, typové kontroly a povolené rozsahy argumentov sú nevyhnutné, ale nepovedia všetko. Argument môže byť typovo správny a stále vecne zlý. Odhad neistoty môže doplniť túto vrstvu o signál, či model vôbec rozumel zámeru.

Pre vývojárov nástrojových agentov z toho vyplýva, že by mali merať neistotu priamo na typoch akcií, ktoré ich systém vykonáva. Metóda dobrá na sumarizáciu dokumentov nemusí byť dobrá na výber API volania. Rovnako nestačí testovať iba úspešné volania; dôležité sú hraničné prípady, chýbajúce informácie, nejednoznačné požiadavky a situácie, kde správnou odpoveďou je nevolať žiadny nástroj.

Výskum Apple je zatiaľ akademický, no veľmi dobre zapadá do smeru, ktorým sa posúvajú produkčné AI systémy. Čím viac asistentov dostane oprávnenie konať, tým dôležitejšie bude rozlišovať medzi schopnosťou vygenerovať správne vyzerajúce volanie a dôverou, že volanie naozaj rieši úlohu. Kvantifikácia neistoty pri function-callingu môže byť jednou z praktických kontrolných vrstiev, ktoré rozhodnú, či agenti zostanú len pohodlným rozhraním, alebo sa stanú bezpečnými aktérmi v podnikovom softvéri.