AWS ukazuje rDPO: modely Nova sa majú selektívne odnaučiť zbytočné odmietania

AWS v novom technickom článku opisuje problém, ktorý dobre poznajú firmy nasadzujúce generatívnu AI do regulovaných alebo citlivých procesov: bezpečnostné zarovnanie modelu niekedy odmieta aj legitímne úlohy. Príkladom môže byť bezpečnostný tím, ktorý potrebuje vytvoriť ukážkový phishingový e-mail na školenie zamestnancov, právny tím analyzujúci citlivé dôkazy alebo mediálna firma pracujúca so scenármi, ktoré obsahujú dospelý jazyk. Promptovanie často nestačí, pretože sklon modelu odmietnuť odpoveď je zakódovaný v parametroch po post-tréningu.

Technika, ktorú AWS predstavuje pri Amazon Nova Customizable Content Moderation Settings, sa volá Reverse Direct Preference Optimization, skrátene rDPO. Nadväzuje na známe DPO, teda priamu optimalizáciu preferencií, no používa ju opačným smerom: nie na posilnenie požadovaného správania, ale na selektívne oslabenie konkrétneho typu nežiaducej reakcie. V tomto prípade ide o over-deflection, teda prehnané odmietanie odpovedí, ktoré sú v danom kontexte oprávnené.

Dôležitý je prívlastok selektívne. AWS netvrdí, že chce všeobecne znížiť bezpečnosť modelov alebo obísť pravidlá moderácie. Cieľom je presnejšie oddeliť zakázaný obsah od domén, kde má podnik legitímny dôvod pracovať s problematickým materiálom. V kyberbezpečnosti, právnych dokumentoch alebo moderovaní obsahu sa model môže stretnúť s textom, ktorý vyzerá rizikovo, ale samotná úloha je obranná, analytická alebo compliance orientovaná. Práve v tejto medzere vzniká praktická potreba jemnejšieho nastavenia.

Z technického pohľadu je zaujímavé, že AWS rámcuje rDPO ako úpravu správania na úrovni modelu, nie ako ďalšiu vrstvu pravidiel nad výstupom. To má výhody aj riziká. Výhodou je, že model môže reagovať prirodzenejšie a menej často zastaviť legitímny pracovný tok. Rizikom je, že ak je cieľová množina príliš široká alebo zle označená, môže sa oslabiť aj časť ochrán, ktoré mali zostať nedotknuté. Preto bude pri podobných technikách rozhodujúca kvalita dát, testovanie hraníc a audit po nasadení.

Praktický dopad pre podnikových zákazníkov je najväčší v doménach, kde generatívna AI naráža na obsahové politiky nie preto, že by používateľ konal škodlivo, ale preto, že predmet práce je sám o sebe citlivý. Bezpečnostný analytik potrebuje skúmať útočné postupy, poisťovňa spracúva sporné incidenty, nemocnica môže analyzovať znepokojujúce textové záznamy a advokátska kancelária pracuje s materiálom, ktorý nemožno jednoducho očistiť. Ak model príliš často odmieta, používatelia obchádzajú systém alebo sa vracajú k menej kontrolovaným nástrojom.

AWS zároveň týmto článkom ukazuje, ako sa posúva trh s managed foundation modelmi. Nestačí mať jeden všeobecný model s pevnou bezpečnostnou politikou. Veľkí zákazníci chcú jemnejšie ovládanie, auditovateľné nastavenia a možnosť prispôsobiť hranice konkrétnej úlohe. Amazon Nova tým vstupuje do priestoru, kde sa modelová kvalita meria nielen benchmarkmi, ale aj schopnosťou zachovať pracovný tok bez nekontrolovaného rizika.

Pre vývojárov je dôležité čítať rDPO nie ako náhradu za bezpečnostnú architektúru, ale ako jednu vrstvu v nej. Aj keď model menej často odmieta, aplikácia stále potrebuje kontrolu vstupov, oprávnenia, logovanie, hodnotenie výstupov a jasné pravidlá, kto môže používať uvoľnenejšie nastavenia. V opačnom prípade by sa technika určená na legitímne doménové použitie mohla stať spôsobom, ako nepozorovane znížiť ochrany v bežných produktoch.

Zaujímavé je aj to, že AWS otvorene pomenúva konflikt medzi bezpečnostným zarovnaním a úžitkovosťou. V minulých rokoch sa tento konflikt často redukoval na debatu o tom, či sú modely príliš opatrné alebo príliš voľné. Podnikové nasadenie však ukazuje presnejšiu otázku: kto, v akom kontexte a s akou zodpovednosťou potrebuje pracovať s obsahom, ktorý by všeobecný chatbot odmietol. Odpoveď pravdepodobne nebude univerzálna politika, ale kombinácia modelovej úpravy, doménových dát a prevádzkových kontrol.

Pre slovenské firmy je odkaz praktický. Ak sa generatívna AI používa v bezpečnosti, práve, médiách alebo zdravotníctve, odmietavé správanie modelu netreba riešiť iba promptami. Treba ho merať ako samostatnú kvalitatívnu vlastnosť: koľko legitímnych úloh model zablokuje, v akých triedach obsahu a aký je dopad na používateľov. rDPO od AWS je jeden konkrétny prístup k tejto metrike. Jeho úspech sa však bude dať posúdiť až podľa toho, či si model po odnaučení zachová presnosť, bezpečnosť a jasne auditovateľné hranice.