EasyRL sľubuje silnejšie post-tréningové učenie aj s malým objemom označených dát

Post-tréning veľkých jazykových modelov sa dnes často zasekáva na rovnakom probléme: kvalitná spätná väzba je drahá a lacnejšie náhrady môžu viesť ku kolapsu, reward hackingu alebo k veľmi nerovnomernému zlepšeniu. Práca EasyRL vstupuje do tejto debaty s pomerne pragmatickou tézou. Namiesto predstavy, že model treba kŕmiť veľkým objemom ručne označených dát, skúša kombinovať menšiu porciu jednoduchých označených príkladov s postupným sebazdokonaľovaním na ťažších neoznačených dátach. Autori sa odvolávajú na kognitívnu analógiu: ľudia sa tiež zvyčajne neučia tým, že hneď začnú najťažšími úlohami bez opory v základných vzoroch.

Jadro prístupu je trojstupňové. Najprv vznikne warm-up model pomocou supervised RL na malom množstve „easy“ labeled dát. Potom prichádza divide-and-conquer pseudo-labeling, ktorý rozlišuje medzi nízko neistými a stredne neistými prípadmi. Jednoduchšie prípady sa vyberajú cez konzistenciu, stredne neisté sa riešia cez reflexiu a následne sa celý proces prenáša do difficulty-progressive self-trainingu. V praxi teda nejde len o to, že model dostane lacnejšie dáta, ale že sa systematicky mení typ príkladov, na ktorých sa učí, aj mechanizmus, ktorým si vytvára ďalší tréningový signál.

Táto stratégia je zaujímavá najmä preto, že sa snaží obísť falošnú voľbu medzi drahou anotáciou a úplne neriadeným self-improvement. Súčasný trh je plný tvrdení o autonómnom zlepšovaní modelov, no v praxi tieto sľuby často narážajú na to, že model začne potvrdzovať vlastné chyby alebo optimalizovať proxy metriku namiesto skutočnej schopnosti riešiť úlohy. EasyRL tvrdí, že postupné dávkovanie obtiažnosti a opatrná práca s neistotou môže tento problém zmierniť. Ak sa to potvrdí, ide o zaujímavý smer pre laboratóriá, ktoré chcú zlepšovať reasoning výkon bez extrémneho rozpočtu na ľudské označovanie dát.

Autori uvádzajú, že pri matematických a vedeckých benchmarkoch stačilo použiť iba zhruba 10 percent jednoduchých označených dát na prekonanie vtedajších baseline. Samotné benchmarkové porovnania si ešte zaslúžia širšie overenie, no signál je jasný: v post-tréningu nemusí rozhodovať len objem dát, ale aj to, v akom poradí a v akej istotnej zóne sa model učí. To je dôležité najmä pre menšie tímy a open-weight komunitu, ktorá často nemá prístup k dátovým rozpočtom najväčších laboratórií.

Z obchodného pohľadu je EasyRL zaujímavý aj preto, že reasoning modely sa stávajú drahým tovarom. Každá technika, ktorá sľubuje lepší výkon pri menšej potrebe ručnej anotácie, môže znížiť bariéru vstupu do kvalitného post-tréningu. To však neznamená, že problém je vyriešený. Stále zostáva otázka, ako spoľahlivo merať, či sa model naozaj učí lepšie myslieť, a nie len lepšie prechádzať špecifické benchmarky. Výskum AI je dnes plný techník, ktoré krátkodobo vyzerajú silno, no neskôr sa ukáže, že generalizujú menej, než sa zdalo.

Napriek tomu ide o dôležitý príspevok do širšieho trendu, kde sa post-tréning čoraz viac podobá kurikulu. Modely sa nemajú len dolaďovať na jednom masívnom sete odpovedí, ale prechádzať kontrolovanou gradáciou úloh, neistoty a spätnej väzby. Ak sa tento smer presadí, môže ovplyvniť nielen RL pre LLM, ale aj to, ako budú tímy stavať interné datasety a self-improvement pipeline.

EasyRL teda netreba čítať ako dôkaz, že modely sa už vedia spoľahlivo učiť samy. Skôr ukazuje, že medzi drahým supervised post-tréningom a riskantným samooptimalizačným chaosom existuje použiteľná stredná cesta. V čase, keď sa AI firmy snažia zlepšovať reasoning bez nekonečného zvyšovania nákladov, je práve takýto kompromis jedným z najcennejších signálov.