AWS prepája Unity Catalog so SageMakerom pre auditovateľné dolaďovanie LLM

AWS predstavuje architektúru, v ktorej sa Databricks Unity Catalog používa ako riadiaca vrstva nad podnikovými dátami a Amazon SageMaker AI ako prostredie na prípravu, tréning a dolaďovanie modelov strojového učenia. V praxi ide o dôležitý krok pre firmy, ktoré nechcú riešiť umelú inteligenciu oddelene od existujúcich pravidiel dátovej správy. Namiesto presúvania dát do izolovaných experimentálnych prostredí sa do popredia dostáva model, v ktorom sú katalóg, oprávnenia, pôvod dát a tréningové workflow previazané už na úrovni produkčnej prevádzky.

Z pohľadu enterprise architektúry je kľúčové, že Databricks Unity Catalog neprináša len centrálny zoznam tabuliek a súborov, ale aj konzistentnú správu prístupových práv, klasifikáciu a lineage naprieč analytickými a AI workflow. To je podstatné najmä pri regulovaných dátach, kde nestačí vedieť, že model bol natrénovaný, ale aj z akých schválených zdrojov čerpal, kto k nim mal prístup a akými transformáciami prešli pred vstupom do tréningu. Práve táto auditná stopa je vo financiách, zdravotníctve či verejnom sektore často dôležitejšia než samotný výkon modelu.

AWS v tomto scenári stavia Amazon SageMaker AI do role výpočtovej a MLOps vrstvy. SageMaker slúži na správu tréningových úloh, experimentov a nasadenia modelov pri zachovaní bezpečnostných mechanizmov cloudu AWS. V kombinácii s katalogizovanými dátami z Unity Catalog tak organizácia získava oddelenie kompetencií: dátové tímy spravujú prístup a kvalitu dát, zatiaľ čo ML tímy sa môžu sústrediť na prípravu datasetov, dolaďovanie modelov a vyhodnocovanie výsledkov bez obchádzania governance pravidiel.

Významnou technickou súčasťou opísaného postupu je predspracovanie dát cez Amazon EMR Serverless. Tento prístup je praktický preto, že pri príprave textových korpusov pre LLM býva potrebné čistenie, filtrovanie, deduplikácia, transformácia formátov a vytváranie tréningových inštrukčných párov vo veľkom rozsahu. EMR Serverless umožňuje spustiť distribuované úlohy bez správy vlastného klastra, čo znižuje prevádzkovú záťaž a zároveň zapadá do modelu, kde sa spracovanie deje nad dátami evidovanými v governance vrstve. Pre podnikové nasadenie je to vhodná kombinácia elasticity a kontroly.

Osobitnú pozornosť si zaslúži príklad fine-tuningu modelu Ministral-3-3B-Instruct. Nejde len o demonštráciu tréningu menšieho inštrukčného modelu, ale o ukážku, že organizácia môže prevziať otvorenejší modelový základ a prispôsobiť ho interným dátam v prostredí, ktoré rešpektuje pravidlá prístupu a dohľadateľnosti. Pri takomto postupe je dôležité, aby tréningový dataset nevznikal ako nezdokumentovaná kópia dát, ale ako kontrolovaný výstup schválených tabuliek a transformácií. Tým sa znižuje riziko, že model absorbuje obsah, ktorý nemal byť použitý na tréning, alebo že po čase nebude možné obhájiť jeho dátový pôvod.

Pre regulované workloady je najdôležitejší presun od experimentálnej AI k riadenej AI. Unity Catalog podľa oficiálnych materiálov Databricks kladie dôraz na centralizovanú governance, discovery a lineage, čo sa pri generatívnej AI stáva priamo prevádzkovou požiadavkou. Model, ktorý má byť použitý v produkcii, musí mať preukázateľný vzťah k zdrojovým dátam a kontrolovaný životný cyklus. Keď sa tieto princípy spoja so službami Amazon SageMaker AI, vzniká model prevádzky, v ktorom je možné doložiť nielen výsledný artefakt, ale aj to, aké datasety, pipeline a oprávnenia stáli za jeho vznikom.

Dôležitý je aj širší význam pre multiteamové organizácie. V mnohých podnikoch sú dátové platformy, analytika a ML platformy stále oddelené, čo vedie k duplicite dát, nejednotným oprávneniam a problémom pri interných auditoch. Prepojenie Databricks Unity Catalog a SageMaker AI naznačuje cestu, ako tieto svety zosúladiť bez toho, aby sa firma musela vzdať existujúcich investícií do AWS. Governance vrstva zostáva pri dátach, zatiaľ čo tréning a inferencia môžu využívať natívne cloudové služby AWS, ktoré sú už často integrované do bezpečnostných a sieťových politík organizácie.

Praktický prínos takejto architektúry spočíva aj v lepšom riadení rizík okolo generatívnej AI. Ak podnik dokáže presne určiť, ktoré datasety sú povolené pre tréning, aké transformácie boli použité a aký model bol výsledkom, ľahšie nastaví interné schvaľovanie, revíziu aj opakovateľnosť experimentov. To je zásadné v čase, keď sa od AI tímov očakáva nielen rýchlosť, ale aj schopnosť obhájiť rozhodnutia pred bezpečnostnými tímami, risk manažmentom a externými regulátormi.

Z redakčného pohľadu nejde o správu o novej izolovanej funkcii, ale o signál, kam sa podniková AI infraštruktúra posúva. AWS ukazuje, že fine-tuning LLM nemusí byť v rozpore s prísnymi pravidlami dátovej správy, ak je workflow navrhnuté od začiatku s dôrazom na governance. Databricks do tejto rovnice prináša katalóg, oprávnenia a lineage, SageMaker AI zas tréningové a prevádzkové zázemie v AWS. Pre firmy, ktoré chcú nasadiť vlastné jazykové modely nad citlivými alebo regulovanými dátami, je to relevantný vzor modernej architektúry, v ktorej sú compliance a AI súčasťou jedného procesu, nie dvoch oddelených svetov.