Apple ukazuje, že jednoduchá self-distillation vie zlepšiť generovanie kódu

Apple Machine Learning Research zverejnil prácu o jednoduchej self-distillation pre generovanie kódu. Otázka je priamočiara: môže sa veľký jazykový model zlepšiť v programovaní iba tým, že sa dotrénuje na vlastných surových výstupoch, bez externého učiteľského modelu, bez automatického verifikátora a bez reinforcement learningu? Autori tvrdia, že áno, a metódu nazývajú Simple Self-Distillation, skrátene SSD.

Postup je zámerne jednoduchý. Model najprv generuje riešenia úloh pri rôznych nastaveniach teploty a orezania pravdepodobnostného rozdelenia. Tieto vzorky sa potom použijú ako tréningové dáta pre štandardné supervised fine-tuning. Nejde teda o to, že by iný model vybral správne odpovede, alebo že by verifikátor spúšťal testy a nechal iba prechádzajúce riešenia. SSD pracuje s tým, čo model sám vie vyprodukovať, a snaží sa z toho vytvoriť užitočný tréningový signál.

Podľa zhrnutia Apple metóda zlepšila Qwen3-30B-Instruct z 42,4 percenta na 55,3 percenta pass@1 na LiveCodeBench v6. Zisky sa koncentrovali najmä na ťažšie problémy a prenášali sa naprieč modelmi Qwen a Llama v mierkach 4B, 8B a 30B, vrátane inštruktážnych aj takzvaných thinking variantov. Ak sa výsledky potvrdia aj mimo benchmarku, ide o zaujímavý signál pre lacnejšie post-training postupy: nie každé zlepšenie kódu musí vyžadovať komplikovanú RL infraštruktúru alebo drahý učiteľský model.

Kľúčové vysvetlenie autorov sa týka konfliktu medzi presnosťou a exploráciou pri dekódovaní. Pri generovaní kódu chce model niekedy zostať veľmi presný, napríklad pri syntaxi, názvoch premenných alebo volaní API. Inokedy potrebuje skúmať alternatívne stratégie riešenia. Bežné nastavenie teploty môže jednu z týchto potrieb zvýhodniť na úkor druhej. SSD podľa Apple mení tokenové rozdelenia kontextovo: potláča rušivé chvosty tam, kde je presnosť dôležitá, a zachováva užitočnú rozmanitosť tam, kde treba hľadať postup.

Pre vývoj modelov je dôležité, že metóda je doplnková, nie náhrada za všetky ostatné formy post-trainingu. Reinforcement learning s testami, syntetické dáta od silnejších modelov alebo kurátorské datasety majú stále svoje miesto. SSD však naznačuje, že časť schopností je v modeli prítomná už pred ďalším tréningom, len nie je optimálne dostupná pri jednom pevnom dekódovacom režime. Vlastné vzorky modelu môžu poslúžiť ako spôsob, ako tieto latentné schopnosti stabilizovať.

Praktický dopad môže byť najväčší pri menších alebo špecializovaných modeloch. Ak tím nemá rozpočet na veľký učiteľský model, rozsiahle ľudské anotácie ani testovaciu infraštruktúru pre tisíce úloh, jednoduchý self-distillation postup je atraktívny. Stále však nejde o bezrizikovú skratku. Model sa môže naučiť aj vlastné chyby, posilniť nežiaduce štýly riešenia alebo sa zúžiť na typy úloh, ktoré vie dobre vzorkovať. Pri kóde je preto dôležité doplniť takéto dotrénovanie o nezávislé testy a meranie na nových úlohách.

Zaujímavé je aj to, že Apple rámuje výsledok cez LiveCodeBench, ktorý je bližšie súčasným programátorským úlohám než staršie statické benchmarky. Pass@1 je prísna metrika: hodnotí prvý pokus, nie možnosť vygenerovať veľa kandidátov a vybrať najlepší. Zlepšenie pass@1 preto naznačuje, že model nie je iba bohatší na alternatívne odpovede, ale častejšie trafí použiteľný postup hneď na prvý raz. Pre interaktívne kódovacie asistenty je to zásadné, pretože používateľ väčšinou nevidí stovky vzoriek.

Širší význam práce je v jednoduchosti. Výskum okolo post-trainingu LLM sa často spája s komplikovanými pipeline, hodnotiacimi modelmi a drahými spätnoväzbovými slučkami. SSD ukazuje, že aj elementárny postup môže odhaliť dôležitý mechanizmus: modely pri rôznych dekódovacích nastaveniach produkujú rôzne kúsky vlastnej schopnosti. Otvorenou otázkou zostáva, ako robustne sa tento efekt prenesie na bezpečnostne citlivý kód, veľké repozitáre alebo úlohy vyžadujúce integráciu s externými nástrojmi. Ako smer pre lacnejšie zlepšovanie kódovacích modelov je však práca pozoruhodná.