NVIDIA opisuje syntetické Q&A dáta, ktoré pomáhali pri tréningu Nemotronu

NVIDIA zverejnila na blogu Hugging Face technický opis toho, ako pri neskoršom tréningu modelov rodiny Nemotron používa syntetické otázky a odpovede odvodené zo štruktúrovaných úloh. Prístup nazýva task-seeded synthetic Q&A generation. V skratke ide o pipeline, ktorá ako semienka používa verejné tréningové časti úloh dostupných napríklad cez lm-eval-harness, no nesnaží sa kopírovať testovacie dáta. Cieľom je vytvoriť nové príklady, ktoré zachovajú užitočný typ úlohy, formát odpovede, dôvodové kroky a obmedzenia, ale neposkytnú modelu priamu skratku k benchmarkovým odpovediam.

Téma je dôležitá, pretože vývoj veľkých jazykových modelov sa čoraz menej točí iba okolo množstva dát. Základné webové, kódové, matematické a viacjazyčné korpusy dávajú modelu šírku, ale nemusia mu ukazovať, ako riešiť konkrétne štruktúrované úlohy: výber medzi možnosťami, overenie odpovede, vysvetlenie postupu, prácu s kontextom alebo dodržanie presného výstupného formátu. NVIDIA tvrdí, že práve takéto kompaktné a dobre opísané príklady môžu v neskoršej fáze tréningu priniesť viac než ďalšie náhodné tokeny z webu.

Podľa článku pipeline pokrývala približne 70 verejných úloh a približne 700 podúloh. Z týchto semien sa generovali podobné otázky, rozšírené odpovede a odôvodnenia alebo kontextové stopy. Následne sa dáta filtrovali pomocou kontrol schémy, formátu, deduplikácie a pri niektorých typoch úloh aj hlasovania alebo overovania odpovedí. Dôležitý detail je, že NVIDIA explicitne uvádza vylúčenie held-out evaluačných a testovacích dát. Pri syntetickom tréningu je to kritické, pretože hranica medzi zlepšením schopnosti a nechceným únikom benchmarku môže byť tenká.

Výsledky prezentované v článku pochádzajú zo 100-miliardového pokračovacieho tréningu modelu Nemotron-3 Nano. Pridanie task-seeded syntetických dát malo priniesť zlepšenie o 1,8 bodu na MMLU-Pro, o 1,9 bodu v priemere kódových úloh, o 1,6 bodu pri commonsense porozumení a výrazných 11,1 bodu na GPQA. Matematický priemer mal zostať stabilný až mierne lepší. Tieto čísla nie sú samostatným dôkazom univerzálneho postupu, ale ukazujú, prečo sa syntetické dáta stali jedným z hlavných bojísk medzi laboratóriami.

Z technického hľadiska je pozoruhodné, že NVIDIA nezdôrazňuje iba generovanie ďalších odpovedí, ale aj metadáta a rozhodovanie o dátovej zmesi. Ak model dostáva príklady s jasným typom úlohy, očakávanou štruktúrou odpovede a vysvetlením, tréningový tím vie lepšie kontrolovať, aký signál do modelu pridáva. To je odlišné od predstavy, že syntetické dáta sú len lacná náhrada ľudsky písaného textu. V lepšom prípade ide o riadený spôsob, ako doplniť konkrétne schopnosti, ktoré v prirodzenom korpuse nemusia byť dostatočne zastúpené.

Praktický príklad z článku je formátovanie odpovedí pri multiple-choice úlohách. Namiesto toho, aby sa do dát uložilo iba písmeno možnosti, napríklad B, je užitočnejšie uložiť samotný význam odpovede. Model tak nevidí len povrchovú značku, ale spojenie medzi otázkou, významom odpovede a dôvodom, prečo je správna. Ide o malý detail, ktorý dobre vystihuje celý prístup: tréningový signál má byť bohatší než len textová stopa odpovede.

Pre otvorené a open-weight modely je táto téma obzvlášť významná. Ak sa výkonnosť nedá zvyšovať iba väčším modelom alebo drahším predtréningom, dátové recepty sa stávajú rozhodujúcou konkurenčnou výhodou. Zverejnenie pipeline na Hugging Face je preto užitočné aj pre menšie tímy, ktoré nemajú rozpočet veľkých laboratórií, ale môžu experimentovať so štruktúrovanými dátami, filtráciou a opatrným oddelením tréningových a testovacích splitov.

Zároveň treba byť opatrný. Syntetické dáta môžu zlepšiť benchmarky, ale môžu tiež zosilniť chyby generátora, zúžiť rozmanitosť riešení alebo priviesť model k príliš benchmarkovej forme uvažovania. Čím viac sa tréning opiera o úlohy podobné hodnoteniam, tým dôležitejšie je dokumentovať zdroje, splitovanie, deduplikáciu a nezávislé testy mimo známych benchmarkov. Bez toho sa ťažko odlišuje skutočné zlepšenie schopnosti od optimalizácie na metriku.

Článok NVIDIA je preto cenný najmä ako pohľad do dátovej vrstvy moderného tréningu. Ukazuje, že pri modeloch ako Nemotron sa schopnosti nevytvárajú len architektúrou a výpočtom, ale aj precíznym navrhovaním učebných príkladov. Pre firmy, ktoré trénujú alebo dolaďujú vlastné modely, je posolstvo jednoduché: kvalita dátovej štruktúry, kontrola pôvodu a premyslené filtre môžu byť rovnako dôležité ako samotný počet tokenov.