AWS chce pri doladovaní LLM na SageMakeri merať FLOPs kvôli pravidlám AI Actu

AWS otvorene pomenoval problém, ktorý dnes rieši čoraz viac firiem: keď podnik doladí veľký jazykový model na vlastných dátach, nestačí už sledovať iba cenu tréningu a kvalitu výstupu. Podľa novej európskej regulácie môže byť dôležité aj to, koľko výpočtu takýto zásah reálne spotrebuje. Amazon preto zverejnil postup, ako v Amazon SageMaker AI merať FLOPs pri fine-tuningu LLM a ako z týchto metrík pripraviť auditovateľný záznam pre prípad, že sa tréning dostane do citlivejšej regulačnej zóny.

Jadro novinky nie je v tom, že by AWS priniesol ďalší benchmark alebo nový model. Dôležitý je posun smerom k prevádzkovému compliance: firma chce zákazníkom ukázať, ako prepojiť technický tréningový pipeline s pravidlami, ktoré rozhodujú o tom, či organizácia ostáva iba používateľom cudzieho modelu, alebo sa pri väčšom zásahu už približuje postaveniu poskytovateľa GPAI modelu so širšími povinnosťami. V praxi ide o typ témy, ktorá bola ešte pred rokom najmä právnickou debatou, no dnes sa presúva priamo do MLOps nástrojov a tréningových workflowov.

AWS v blogu vysvetľuje, že pri fine-tuningu veľkých modelov je kľúčové sledovať výpočtový objem vo FLOPs. Ak je pôvodný pretraining modelu známy a dosahuje aspoň úroveň 10^23 FLOPs, orientačná regulačná hranica sa odvodzuje ako 30 percent z tohto pôvodného tréningového výpočtu. Ak tieto údaje chýbajú, blog ráta s defaultným prahom 3,3 × 10^22 FLOPs. Pointa je jednoduchá: firma potrebuje vedieť, či jej doladenie zostáva relatívne malou úpravou, alebo už vyzerá ako zásadnejší zásah s iným režimom povinností.

Na to AWS naviazal open-source nástroj Fine-Tuning FLOPs Meter v repozitári Amazon SageMaker Generative AI recipes. Nástroj sa pripája do Hugging Face tréningových workflowov ako callback, ktorý počas behu počíta spotrebovaný výpočet dvoma cestami. Prvá je architektonický odhad založený na počte parametrov, počte trénovateľných parametrov a počte tokenov. Druhá je hardvérový horný odhad cez monitorovanie GPU, ktorý má slúžiť ako konzervatívnejší rámec. Výsledok sa na konci uloží do JSON výstupu a dá sa ďalej archivovať napríklad v S3 alebo DynamoDB.

Pre podnikové tímy je zaujímavé, že AWS sa nesnaží z tejto témy urobiť iba teoretické odporúčanie. Blog ukazuje aj to, ako sa meranie aktivuje jediným prepínačom compute_flops: true, ako tréningový job zapíše flops_meter.json do výstupov a ako sa z tohto súboru dá spraviť audit trail. To je dôležitý detail: vo väčších organizáciách nebude stačiť tvrdenie, že tréning "asi" ostal pod hranicou. Prevádzkové tímy budú chcieť mať opakovateľný dôkaz, ktorý prežije interný audit aj externú kontrolu.

AWS zároveň pripomína, že problém nie je iba v samotnej matematike. Pri mnohých populárnych modeloch nie sú presné pretraining FLOPs verejne známe, takže firmy musia pracovať s konzervatívnym defaultom. To môže zmeniť rozhodovanie o tom, či sa oplatí plný fine-tuning, alebo radšej parameter-efficient prístup typu LoRA. V texte je to dobre vidno na príklade Llama-3.2-3B-Instruct: pri malom demonštračnom datasete ostáva tréning hlboko pod hranicou, no AWS zároveň naznačuje, že s väčšími datasetmi a agresívnejším tréningom sa z compliance otázky môže stať reálna prevádzková téma.

Z pohľadu trhu je to zaujímavé ešte z jedného dôvodu. Doteraz sa väčšina diskusie o AI regulácii sústredila na modelové laboratóriá a na veľkých poskytovateľov. Tento AWS materiál však ukazuje, že regulačná logika sa postupne láme aj do nástrojov pre zákazníkov, ktorí si modely upravujú sami. Inými slovami, AI Act sa prestáva tváriť ako vzdialený rámec pre Brusel a veľké laby; začína sa meniť na sériu konkrétnych technických rozhodnutí v notebookoch, YAML konfiguráciách a tréningových joboch.

Pre AIFeed je podstatné aj to, že nejde o obyčajnú marketingovú landing page. AWS k blogu pridal repozitár s konkrétnym toolkitom, opis prahových hodnôt, spôsob integrácie do SageMaker Training jobs a vzorový JSON výstup s políčkami ako threshold_type, threshold_value, tokens_processed či exceeds_30pct. To znamená, že zákazník si vie nielen prečítať, čo má robiť, ale aj reálne otestovať, ako by takýto compliance layer vyzeral v jeho pipeline.

Praktický dopad je jasný: podniky, ktoré chcú stavať vlastné doménové LLM nad cloudovou infraštruktúrou, budú musieť riešiť nielen presnosť, cenu a latenciu, ale aj dôkaz o tom, čo presne počas doladenia urobili. AWS si tým pripravuje pozíciu dodávateľa, ktorý nechce predávať iba tréningové GPU hodiny, ale aj infraštruktúru pre auditovateľný tréning. Ak sa podobný prístup uchytí aj u ďalších cloudov a MLOps platforiem, compliance metriky sa môžu stať rovnako štandardnou súčasťou tréningu ako logy, checkpointy či experiment tracking.

Zdroje

• AWS Machine Learning Blog: Navigating EU AI Act requirements for LLM fine-tuning on Amazon SageMaker AI
• GitHub: Amazon SageMaker Generative AI recipes / Fine-Tuning FLOPs Meter
• GitHub: flops_meter.py implementácia v ukážkovom repozitári AWS