AGOPS ukazuje, ako automaticky písať lepšie pokyny pre prompty

Veľké jazykové modely často zlyhávajú nie preto, že by nevedeli vyriešiť úlohu, ale preto, že dostanú príliš neurčité zadanie. Nový preprint Automatically Evolving Prompt Guidelines for Task-Specific Optimization tento problém pomenúva ako podšpecifikovanie promptu: používateľ neuvedie obmedzenia, kontext alebo kritériá hodnotenia, ktoré sú pre správnu odpoveď zásadné. Autori tvrdia, že všeobecné rady typu „buď presný“ alebo „uveď formát výstupu“ na takéto úlohy nestačia, pretože rôzne domény potrebujú odlišné pravidlá.

Navrhovaný systém AGOPS sa preto zameriava na automatickú tvorbu pokynov pre konkrétnu úlohu a konkrétny model. Vstupom nie je ručne napísaný manuál promptovania, ale sada existujúcich príkladov: používateľské otázky a referenčné odpovede. Práve v referenčných odpovediach bývajú podľa autorov skryté informácie, ktoré pôvodný prompt neobsahoval. Môže ísť o predpoklady, hranice riešenia, očakávaný spôsob vysvetlenia alebo o to, čo sa pri hodnotení považuje za dobrý výsledok.

Metóda používa tri role. Jeden model navrhuje alebo prepisuje pokyny pre prompt, druhý model rieši úlohy s použitím týchto pokynov a optimalizačná slučka vyhodnocuje, či nové pokyny vedú k lepším odpovediam na známych príkladoch. AGOPS teda nie je iba ďalší šablónový prompt, ale evolučný postup, ktorý skúša viac variantov pravidiel a ponecháva tie, ktoré zlepšujú následný výkon. Dôležité je, že výsledné pokyny sa majú použiť až pri písaní nových promptov, nie len pri spätnom ladení testovacej množiny.

Najzaujímavejšie číslo v práci je veľkosť straty spôsobenej neurčitosťou. Autori uvádzajú, že v matematickom uvažovaní, medicínskych otázkach a programovacích úlohách môžu podšpecifikované prompty spôsobiť pokles výkonu až o 95,3 percenta oproti dobre špecifikovaným zadaniam. To je prakticky dôležité najmä vo firemných nasadeniach, kde sa veľa energie míňa na výber modelu alebo orchestrace agentov, no kvalita vstupného zadania zostáva neformalizovaná.

AGOPS podľa preprintu dokáže časť tejto straty získať späť. Používatelia, ktorí sa riadia automaticky odvodenými pokynmi, dosahujú v testovaných úlohách priemerné zlepšenia od 15,5 do 81,7 percenta. Treba však čítať tieto výsledky opatrne: ide o výskumné meranie na vybraných benchmarkoch, nie o univerzálny dôkaz, že každý prompt sa dá automaticky opraviť. Hodnota práce je skôr v tom, že z promptovania robí merateľnú optimalizačnú úlohu.

Pre vývojárov agentických systémov je pointa ešte širšia. Ak agent dostáva nejasné inštrukcie, môže kompenzovať chýbajúce informácie vlastnými predpokladmi. Tie môžu byť nenápadné, ale v dlhších pracovných tokoch sa kumulujú: model si vyberie nesprávny formát, prehliadne doménové obmedzenie alebo optimalizuje iné kritérium, než aké očakáva používateľ. Úloha automaticky vyvíjaných pokynov preto nespočíva iba v krajšej formulácii promptu, ale aj v prevencii nesprávneho zosúladenia zámeru.

Praktický dopad môže byť najväčší v organizáciách, ktoré opakovane riešia rovnaký typ úloh: medicínske triáže, interné kódovacie asistenty, právne rešerše alebo analytické reporty. Namiesto toho, aby každý tím ručne písal vlastné pravidlá, môže systém odvodzovať doménové pokyny z overených príkladov. Takýto prístup však kladie nároky na kvalitu referenčných odpovedí; ak sú príklady skreslené alebo nekonzistentné, automaticky vyvinuté pravidlá môžu tieto chyby ešte upevniť.

Pre AI Feed je tento preprint zaujímavý aj preto, že posúva debatu od „prompt engineeringu“ ako remeselného triku k procesnej infraštruktúre. V čase, keď firmy stavajú agentov nad viacerými modelmi a nástrojmi, sa ukazuje, že dobrý systémový záznam promptov, dátových príkladov a hodnotiacich kritérií bude rovnako dôležitý ako samotná voľba modelu. AGOPS nie je hotový produkt, ale naznačuje, ako by mohlo vyzerať riadené promptovanie, ktoré sa učí z reálnych úloh a dá sa auditovať.