Self-Distillation Zero sľubuje lacnejší post-training bez externého učiteľa

V post-trainingu reasoning modelov dnes dominujú dve veľké vetvy. Prvou je reinforcement learning v overiteľných úlohách, kde model dostane na konci binárny signál typu správne alebo nesprávne. Druhou je distilácia, teda učenie z hustého tokenového dohľadu, ktorý zvyčajne pripraví silnejší učiteľ alebo draho získané kvalitné ukážky. Nová práca Self-Distillation Zero sa pokúša tieto dva svety premostiť. Jej základná téza je jednoduchá, ale ambiciózna: aj z hrubej binárnej odmeny sa dá vyrobiť jemnejší tréningový signál bez potreby externého učiteľa.

Autori stavajú jeden model do dvoch rolí. V prvej je Generator, ktorý vytvorí pôvodnú odpoveď. V druhej je Reviser, ktorý dostane k dispozícii túto odpoveď aj jej binárne ohodnotenie a skúsi ju opraviť. Následne sa z revidujúcej vetvy robí on-policy self-distillation späť do generátora. Inými slovami, model sa neučí len z toho, či bol výsledok dobrý alebo zlý, ale z toho, ako by mal jednotlivé časti vlastnej odpovede meniť, aby nabudúce dopadol lepšie.

To je dôležité preto, že klasické RLVR prístupy sú síce všeobecné, ale trpia riedkym dohľadom. Model vie, či uspel, no často nevie, kde presne sa pokazil. Distilačné metódy tento problém riešia hustým dohľadom, lenže ten býva drahý, závislý od externých demonštrácií a ťažko škálovateľný. SD-Zero sľubuje kompromis: nevzdáva sa lacnejšej binárnej spätnej väzby, ale snaží sa ju premeniť na niečo informatívnejšie vnútri samotného modelu.

Autori tvrdia, že na benchmarkoch pre matematické a kódové reasoning úlohy s modelmi Qwen3-4B-Instruct a Olmo-3-7B-Instruct dosiahli aspoň približne desaťpercentné zlepšenie oproti základným modelom a zároveň prekonali viaceré silné baseliny vrátane RFT, GRPO a SDFT pri rovnakom rozpočte otázok a tréningových vzoriek. Už samotné porovnanie s GRPO zaujme, pretože práve GRPO sa stal v poslednom roku jednou z najdiskutovanejších ciest, ako robiť lacnejší reasoning post-training bez nutnosti klasických preference dát.

Výskum je zaujímavý aj tým, že pomenúva dve vlastnosti, ktoré by mohli byť dôležité aj mimo tejto jednej metódy. Prvou je token-level self-localization, teda schopnosť revisera identifikovať, ktoré časti odpovede treba opraviť. Druhou je iterative self-evolution, čiže predstava, že zlepšujúca sa schopnosť opravovať samu seba sa dá opakovane destilovať späť do generovania. Ak sa tieto mechanizmy ukážu ako robustné, mohli by ovplyvniť širšiu debatu o tom, či model potrebuje vždy silnejšieho učiteľa, alebo si vie časť dohľadu vyrobiť sám.

Pre trh je to dôležité najmä ekonomicky. Veľká časť nákladov na posun reasoning modelov dnes neleží len v pretréningu, ale aj v tom, ako draho sa získava kvalitný post-training signál. Ak by sa podarilo znížiť závislosť od externých učiteľov a ručne kurátorovaných ukážok, otvorilo by to cestu aj menším laboratóriám a tímom, ktoré nemajú rozpočet na rozsiahlu destiláciu z frontier modelov. To je obzvlášť relevantné v open-weight svete, kde je hlad po metódach, ktoré vedia z menších modelov dostať viac bez astronomických nákladov.

Samozrejme, papier zatiaľ neznamená produkčný štandard. Bude dôležité sledovať, ako sa SD-Zero správa mimo matematiky a kódu, pri dlhších agentických trajektóriách alebo v úlohách, kde sa správnosť nedá overiť jednoznačne. Práve tam môže binárna odmena stratiť ostrosť a samorevízia môže narážať na limity. Zároveň sa bude treba pozrieť na to, do akej miery výsledky závisia od konkrétnej konfigurácie modelu, synchronizácie učiteľa a detailov tréningovej slučky.

Napriek týmto otázkam ide o prácu, ktorú sa oplatí sledovať. Nie preto, že by definitívne vyriešila reasoning post-training, ale preto, že ponúka čitateľný a praktický smer: namiesto stále drahšieho dohľadu skúsiť z existujúcej spätnej väzby vyťažiť viac. Ak sa tento prístup potvrdí aj v ďalších replikáciách, mohol by zmeniť to, ako sa budú v najbližších mesiacoch učiť open aj komerčné reasoning modely po fáze pretréningu.