AWS ukazuje, ako ladiť Amazon Nova cez LLM-judge namiesto ručne písaných rewardov

Amazon vo svojom novom technickom texte detailne rozoberá reinforcement fine-tuning s prístupom LLM-as-a-judge pre rodinu modelov Amazon Nova. Nie je to produktové oznámenie v štýle „tu je nový model“, ale skôr návod, ako dostať existujúci model bližšie k produkčnej kvalite v doménach, kde nestačí len správna odpoveď. Dôležitá je aj forma, bezpečnosť, jazyk, štruktúra výstupu a schopnosť držať sa pravidiel konkrétneho workflow.

AWS vychádza z toho, že tradičné supervised fine-tuning často narazí na strop, keď treba model učiť jemnejšie preferencie. Reinforcement fine-tuning preto stavia na reward signáloch, ktoré hovoria modelu, ktoré odpovede sú žiaduce. Jedna cesta je RLVR, teda odmeňovanie cez verifikovateľné pravidlá v kóde. To funguje pri úlohách, kde sa dá výsledok zmerať mechanicky. Druhá cesta je RLAIF, pri ktorej odpovede nehodnotí človek ani jednoduchý skript, ale iný jazykový model vystupujúci ako hodnotiteľ alebo „judge“.

Práve tu AWS tvrdí, že LLM-as-a-judge dáva v mnohých podnikových scenároch väčší zmysel než holé numerické metriky. Hodnotiaci model vie naraz posudzovať správnosť, relevanciu, tón, bezpečnosť, úplnosť aj schopnosť držať sa zadania. To je dôležité najmä v prípadoch, kde by bolo drahé alebo nepresné prepisovať očakávanú kvalitu do desiatok ručne písaných pravidiel. Judge navyše môže vracať aj zdôvodnenie, takže tím lepšie vidí, prečo konkrétny výstup neuspel.

AWS opisuje šesť krokov, ktoré považuje za kritické. Prvým je voľba architektúry hodnotenia: rubric-based režim priraďuje skóre jednej odpovedi podľa vopred daných kritérií, zatiaľ čo preference-based režim porovnáva dve odpovede bok po boku. Rubric-based prístup sa hodí tam, kde sú podmienky jasne merateľné, napríklad formálna presnosť, splnenie JSON schémy či bezpečnostné obmedzenia. Preference-based režim je užitočný vtedy, keď má model skúmať širší priestor riešení a dôležitejšie je porovnanie kvality než absolútne skóre.

Druhým krokom je presné pomenovanie kritérií. AWS odporúča pri rubric-based judgeoch skôr Boolean, teda pass/fail pravidlá, než jemné desaťbodové škály. Dôvod je praktický: jemné stupnice často zvyšujú variabilitu a znižujú konzistenciu hodnotenia. Hodnotiaci prompt má preto jasne definovať, čo znamená úspech, ako sa ráta každá dimenzia a čo sa má stať v hraničných prípadoch, napríklad pri prázdnej odpovedi alebo pri nesprávnom jazyku.

Tretí a štvrtý krok sa týkajú výberu judge modelu a jeho promptu. AWS uvádza, že pre zložitejšie hodnotenie možno siahnuť po výkonnejších modeloch ako Amazon Nova Pro či veľkých modeloch od partnerov v Bedrocku, ale pri bežných doménach môže stačiť aj menší model, ak má dobre navrhnuté pokyny. Zásadná je štruktúra výstupu: judge by mal vracať strojovo parsovateľný formát, ideálne JSON, s jasne vysvetlenými pravidlami skórovania, explicitne ošetrenými edge case-mi a presne pomenovanými správaniami, ktoré má podporiť alebo potlačiť.

Piaty krok je možno najdôležitejší pre reálne nasadenie: reward funkcia sa má čo najviac podobať produkčným metrikám. Ak tím v ostrej prevádzke hodnotí úspech podľa presnosti, bezpečnosti a konzistencie formátu, rovnaké rozmery má merať aj judge počas tréningu. Inak hrozí klasický problém reward hackingu, keď sa model naučí maximalizovať tréningové skóre bez toho, aby sa zlepšilo to, čo firma v skutočnosti potrebuje. AWS preto odporúča korelovať skóre judgea s produkčnými evalmi a priebežne testovať reprezentatívne aj hraničné prípady.

Šiesty krok sa už presúva od modelov k infraštruktúre. AWS výslovne neodporúča spoliehať sa iba na drahý LLM-judge. Navrhuje skladať reward z viacerých vrstiev: najprv lacné deterministické kontroly ako validácia JSON schémy, dĺžkové penalizácie, jazyková konzistencia či jednoduché safety filtre, a až potom volať nákladnejší judge model. Pri veľkých tréningových behoch odporúča paralelizáciu, odolnosť voči rate limitom, exponenciálny backoff a návrat neutrálneho skóre pri zlyhaní namiesto pádu celej pipeline.

Text je zaujímavý aj praktickou ukážkou z právneho prostredia. AWS opisuje workflow hodnotenia zmlúv, kde model generuje komentáre k rizikám, odporúčané kroky a štruktúrovaný JSON podľa interných pravidiel. V tomto prípade podľa firmy reinforcement fine-tuning prekonal bežný supervised fine-tuning aj porovnávané modely v agregovanom skóre a zároveň udržal bezchybnú validáciu JSON schémy. Z pohľadu trhu je podstatné, že AWS tým netlačí len myšlienku „model sa zlepší“, ale aj to, že zlepšenie má mať formu, ktorú podnikový stack vie spoľahlivo spracovať.

Pre širší ekosystém je to signál, že ďalšia vlna ladenia foundation modelov sa nebude točiť iba okolo dát a benchmarkov, ale aj okolo kvality hodnotiacej vrstvy. Ak sa judge prompt stane rovnako dôležitým artefaktom ako tréningový dataset, firmy budú musieť investovať viac do evalov, reward engineeringu a robustnej infraštruktúry okolo tréningu. Amazon Nova sa tak v texte nepredstavuje len ako rodina modelov, ale aj ako platforma, na ktorej chce AWS ukázať, ako robiť doménové doladenie pre produkčné use casy, kde rozhodujú detaily a nie iba priemerné benchmarkové skóre.