Apple navrhuje DSO, ktoré tlmí bias modelov bez pevnej obete výkonu

Apple Machine Learning Research zverejnilo prácu Direct Steering Optimization, skrátene DSO, ktorá sa dotýka jednej z najťažších praktických otázok nasadzovania generatívnych modelov: ako znížiť nežiaduce demografické skreslenie bez toho, aby sa model stal menej použiteľným v ostatných úlohách. Téma je zvlášť citlivá pri vizuálno-jazykových modeloch a asistívnych aplikáciách, kde model rozhoduje o tom, koho označí ako lekára, manažéra alebo experta v zábere. Výskumníci upozorňujú, že aj silné modely vedia do takýchto rozhodnutí preniesť stereotypy viazané na pohlavie či ďalšie vnímané atribúty.

Jadro návrhu Apple spočíva v tom, že namiesto klasického pretrénovania celého modelu alebo hrubých pravidiel na úrovni promptov sa pracuje s riadením aktivácií počas inferencie. Steering, teda cielené posúvanie vnútorných reprezentácií modelu, je známy koncept najmä zo safety a controllability experimentov pri veľkých jazykových modeloch. Apple však tvrdí, že doterajšie prístupy narážali na problém: dokázali meniť tón či bezpečnostné správanie, ale pri férovosti často zlyhávali, pretože samotná úloha vyžaduje veľmi jemné vyrovnávanie pravdepodobností medzi skupinami, nie iba jednoduché potlačenie jedného typu odpovedí.

Preto prichádza DSO, ktoré využíva reinforcement learning na hľadanie lineárnych transformácií aktivácií. Cieľom nie je vytvoriť univerzálnu morálnu poistku, ale nájsť ovládací mechanizmus, ktorý dokáže počas nasadenia meniť pomer medzi výkonom a mitigáciou biasu. To je dôležitá zmena optiky. V mnohých produktoch totiž neexistuje jedna správna miera zásahu. Inú latku môže potrebovať asistívna technológia, inú automatizované triedenie obsahu a inú interný analytický nástroj. Apple preto stavia na predstave, že praktickejší než jednorazový fix je ovládateľný systém s jasne viditeľným kompromisom.

V texte znie podstatne aj ďalší signál: férovosť sa v AI prestáva chápať ako výlučne tréningová téma. Ak sa dá správanie modelu meniť až pri inferencii, zodpovednosť sa čiastočne presúva aj do produktovej vrstvy. To otvára priestor pre nové typy governance nástrojov, ktoré nebudú len pasívne kontrolovať výstupy, ale aktívne nastavovať mieru zásahu podľa domény a rizika. Z pohľadu praxe je to zaujímavé najmä pre firmy, ktoré nechcú pri každej úprave správania znova trénovať celý model alebo budovať zvláštnu verziu pre každý use case.

Apple tvrdí, že DSO dosahuje lepší kompromis medzi férovosťou a schopnosťami než existujúce steering prístupy pri VLM aj LLM. Aj keby sa tieto výsledky ešte len mali potvrdiť širšie v komunite, dôležitý je samotný smer. Trh sa dnes rýchlo posúva od otázky „je model schopný?“ k otázke „je model kontrolovateľný v konkrétnej prevádzke?“. Výkon bez nastaviteľnosti je pre enterprise nasadenie čoraz menej presvedčivý, najmä v oblastiach, kde rozhodnutia modelu zasahujú do reputácie, prístupu k službám alebo pracovných procesov.

Práve preto sa DSO oplatí čítať aj mimo akademickej debaty o fairness benchmarkoch. Ukazuje, že controllability už nemožno oddeľovať od kvality produktu. Ak je zásah do biasu príliš tvrdý, model môže prísť o presnosť alebo užitočnosť. Ak je príliš slabý, riziko diskriminačných odpovedí zostane v produkcii. Oveľa realistickejší je preto režim, v ktorom organizácia vie vedome voliť kompromis a tento kompromis auditovať. To je prístup bližší reálnym firemným rozhodnutiam než sľub, že model bude po jedinom doladení zároveň úplne férový aj maximálne výkonný.

Z obchodného pohľadu je zaujímavé aj to, že inference-time riadenie môže byť rýchlejšou cestou k adaptácii existujúcich modelov. Firmy dnes siahajú po open modeloch, API modeloch aj vlastných fine-tuned verziách a nie vždy majú prístup k úplnému tréningovému pipeline. Metódy podobné DSO preto môžu fungovať ako stredná vrstva medzi výskumom a produktom: namiesto kompletného prepisu modelu ponúknu riaditeľný zásah do správania. Ak sa takýto prístup uchytí, môže sa objaviť celá nová kategória nástrojov na policy tuning a audit správania modelov počas bežnej prevádzky.

Práca Apple teda nie je len ďalšou položkou v zozname safety výskumu. Je to signál, že budúcnosť modelov sa nebude rozhodovať iba v tom, koľko tokenov zvládnu alebo ako vysoko sa umiestnia v benchmarkoch. Rovnako dôležité bude, či ich bude možné jemne a transparentne usmerňovať podľa rizika konkrétnej úlohy. DSO túto predstavu posúva bližšie k praxi: namiesto abstraktného sľubu o „spravodlivejšej AI“ ponúka mechanizmus, s ktorým sa dá reálne pracovať pri nasadení.