AWS skúša dopĺňať reasoning stopy do SFT dát cez samotný model Nova

AWS zverejnila technický blog o postupe Self-Distilled Reasoning, ktorý má pomôcť pri supervised fine-tuningu modelov Amazon Nova v situáciách, keď tréningové dáta obsahujú vstupy a výstupy, ale nie kvalitné stopy uvažovania. Pri moderných reasoning modeloch je to častý problém. Firma môže mať dobré príklady správnych odpovedí z vlastnej domény, no nemá ku každému príkladu overený reťazec medzikrokov. Ručné dopĺňanie takýchto stôp je drahé a ich automatické generovanie silnejším učiteľom zasa pridáva ďalší model, náklady a kontrolu kvality.

AWS problém opisuje ako potlačenie reasoning schopnosti počas SFT. Ak sa model doladí iba na krátke odpovede bez thinking tokenov, môže sa síce prispôsobiť cieľovej doméne, ale zároveň stratiť časť schopnosti riešiť ťažšie úlohy, napríklad matematiku, programovanie alebo viacstupňové rozhodovanie. Pri rodine Amazon Nova 2 pritom AWS zdôrazňuje, že reasoning je jadrovou schopnosťou modelu a že pri customizácii cez SFT alebo reinforcement fine-tuning je kvalita uvažovacích stôp dôležitá.

Self-Distilled Reasoning používa ako náhradu stopy generované samotným základným modelom Nova 2 Lite. Zjednodušene: model sa najprv nechá rozmýšľať nad pôvodnými dátami a jeho thinking tokeny sa potom použijú ako súčasť tréningového materiálu. Nejde teda o klasickú destiláciu z oveľa väčšieho učiteľa do menšieho študenta, ale o formu samodestilácie. AWS ju porovnáva s vanilla SFT a s model mergingom, teda spätným zlúčením doladeného checkpointu so základným modelom, ktoré má pomáhať zachovať staršie schopnosti.

Praktický význam je v tom, že mnohé podnikové tímy dnes riešia presne túto dilemu. Chcú doladiť model na vlastné incidenty, interné pravidlá, zákaznícku podporu alebo dokumentačné úlohy, ale nechcú zaplatiť za veľký proces tvorby zlatých chain-of-thought dát. Ak SDR zlepší cieľovú výkonnosť a zároveň obmedzí katastrofické zabúdanie, môže byť použiteľným kompromisom pre domény, kde úplné reasoning anotácie nie sú dostupné.

AWS uvádza validáciu na troch benchmarkoch a rámcuje postup skôr ako techniku a odporúčanie než ako hotové univerzálne riešenie. To je dôležité. Vlastné reasoning stopy modelu môžu niesť aj jeho chyby, skratky alebo neoverené predpoklady. Ak sa použijú bez kontroly, tréning môže model naučiť lepšie napodobňovať vlastné zdôvodnenia, nie nutne lepšie riešiť problém. Pri citlivých doménach preto nestačí merať finálne skóre; treba sledovať aj vernosť, konzistenciu a to, či reasoning neobsahuje nevhodné interné informácie.

Pre MLOps tímy z toho vyplýva veľmi konkrétna otázka: čo presne sa má uchovávať v tréningovej sade. Staršie SFT pipeline často pracovali s párom prompt a odpoveď. Reasoning modely zavádzajú ďalšiu vrstvu, ktorá môže byť užitočná pri učení, ale problematická pri auditovaní a zverejňovaní. Tímy budú musieť rozhodnúť, či thinking tokeny ukladať, filtrovať, anonymizovať, skracovať alebo používať iba pre tréning a nie pre bežné logovanie.

Z pohľadu cloudovej stratégie je blog aj signálom, že veľkí poskytovatelia už nepredávajú iba prístup k modelu, ale celý recept na jeho bezpečné prispôsobenie. Amazon Nova 2 sa tým dostáva do rovnakého priestoru ako iné platformové ponuky: model, fine-tuning, odporúčané dátové formáty, experimentálne postupy a metriky pre retenciu schopností. Pre zákazníka je dôležité, či tieto recepty dokáže reprodukovať na vlastných dátach a či vie porovnať SDR s jednoduchšími alternatívami, napríklad s retrieval-augmented generation alebo s menším množstvom ručne overených príkladov.

Netreba z toho vyvodzovať, že samodestilácia nahrádza kurátorov dát. Skôr ide o spôsob, ako zaplniť medzeru tam, kde by inak SFT reasoning model poškodilo. Najlepšie použitie bude pravdepodobne kombinované: model vygeneruje návrh reasoning stôp, automatické filtre a evaly odstránia zjavne nekvalitné prípady a malá ľudská vzorka overí, či sa v dátach neobjavujú systematické chyby. Takýto postup môže byť lacnejší než plná manuálna anotácia a zároveň bezpečnejší než slepé doladenie iba na odpovede.

Pre AI Feed je najpodstatnejšie, že téma posúva diskusiu o fine-tuningu od jednoduchého „pridajme viac doménových príkladov“ k otázke, ako zachovať spôsob uvažovania modelu pri špecializácii. Ak sa reasoning stane bežnou súčasťou podnikových modelov, techniky ako SDR budú rozhodovať o tom, či customizácia prinesie reálne lepší systém alebo len model, ktorý síce pozná firemné pojmy, ale pri zložitejších úlohách stráca pôvodnú robustnosť.