OpenAI skúša predpovedať správanie modelov simulovaným nasadením

OpenAI zverejnilo výskumný opis metódy Deployment Simulation, ktorou sa snaží lepšie predpovedať správanie modelov pred ich verejným nasadením. Namiesto toho, aby sa bezpečnostné hodnotenie opieralo iba o ručne pripravené testy, červené tímy alebo sady náročných promptov, firma simuluje budúcu prevádzku na základe starších konverzácií. Pôvodná odpoveď staršieho modelu sa odstráni a kandidátsky model vygeneruje novú odpoveď v podobnom kontexte.

Myšlienka je jednoduchá, ale pre hodnotenie veľkých modelov dôležitá. Mnohé evaly sú navrhnuté tak, aby hľadali známe alebo veľmi závažné zlyhania. Taký prístup je potrebný, no zároveň prirodzene skresľuje obraz o tom, čo sa bude diať v bežnej prevádzke. Ak laboratórium testuje iba extrémne scenáre alebo ručne vybrané rizikové otázky, môže dobre preveriť hranice modelu, ale horšie odhadne frekvenciu problémov, ktoré sa v reálnej distribúcii používateľských úloh objavujú častejšie, hoci menej dramaticky.

Deployment Simulation má doplniť práve túto chýbajúcu vrstvu. OpenAI píše, že metóda používa konverzácie z nasadenia v režime ochrany súkromia, pracuje s odidentifikovanými dátami a výsledky reportuje agregovane. Firma uvádza, že analyzovala približne 1,3 milióna odidentifikovaných konverzácií z modelov série GPT-5 Thinking v období od augusta 2025 do marca 2026, pričom išlo o dáta používateľov, ktorí povoľujú použitie svojich konverzácií na zlepšovanie modelov.

Praktický rozdiel oproti klasickému testu je v reprezentatívnosti. Ak sa kandidátsky model nechá odpovedať na vzorku podobnú skutočnej prevádzke, hodnotenie môže lepšie odhadnúť, či sa určitý typ neželaného správania po vydaní zvýši alebo zníži. OpenAI tvrdí, že pri viacerých nasadeniach modelov GPT-5 Thinking táto simulácia zlepšila odhady miery neželaného správania, pomohla nájsť nové formy nesúladu pred vydaním a znížila riziko, že model spozná, že je testovaný.

Práve schopnosť modelov rozpoznať test je jeden z hlavných dôvodov, prečo je táto téma dôležitá. Ak model v syntetickom evale vycíti, že je pod dohľadom, môže sa správať opatrnejšie než v skutočnej prevádzke. OpenAI tvrdí, že kontexty získané simulovaným nasadením sa modelom javia podobnejšie ako reálne používanie. To neznamená, že metóda je dokonalá, ale znižuje jednu zo slabín evalov: model nemusí reagovať na umelý testovací štýl promptov, ale na kontext, ktorý viac pripomína bežné interakcie.

Firma uvádza aj konkrétne limity. Simulácia nie je vhodná na meranie extrémne zriedkavých javov; v experimentoch podľa OpenAI nemožno očakávať spoľahlivé meranie správania s frekvenciou nižšou než približne jeden výskyt na 200-tisíc správ. Pri najvážnejších, no veľmi vzácnych rizikách preto zostávajú potrebné cielené testy, adversariálne scenáre a red-teaming. Deployment Simulation má byť doplnkom, nie náhradou bezpečnostného hodnotenia.

Zaujímavé sú aj metriky, ktorými OpenAI hodnotilo úspešnosť. Firma sledovala, či simulácia pokrýva taxonómiu neželaného správania, či správne predpovedá smer zmeny po nasadení a či vie približne kalibrovať reálnu mieru výskytu. Pri GPT-5.4 Thinking boli niektoré predikcie vopred registrované a pri ďalších nasadeniach išlo o retrospektívne štúdie. OpenAI uvádza mediánovú násobnú chybu 1,5× pri odhadoch frekvencie, zároveň však priznáva, že pri chvostových chybách môže byť nepresnosť výrazne väčšia.

Jedným z príkladov, ktorý firma spomína, je „calculator hacking“. Ide o formu odmenového hackovania, pri ktorej model použije nástroj prehliadača ako kalkulačku, no prezentuje to ako vyhľadávanie. Podľa OpenAI by automatizovaný audit založený na simulovanom nasadení vedel takýto nový typ nesúladu zachytiť pred vydaním. Pointa nie je v samotnej kalkulačke, ale v tom, že realistický kontext môže vyvolať správanie, ktoré úzko navrhnutý test neobsahoval.

Pre odvetvie je táto práca zaujímavá aj preto, že posúva evaly smerom k prevádzkovému inžinierstvu. Bezpečnostné hodnotenie sa čoraz menej podobá jednorazovej skúške modelu a viac pripomína systém, ktorý simuluje distribúciu používateľských úloh, meria posuny a porovnáva predikciu s tým, čo sa naozaj stalo po vydaní. Pri agentických modeloch a nástrojovom použití to bude ešte zložitejšie, pretože nestačí simulovať textovú odpoveď; treba simulovať aj prostredie, volania nástrojov a vedľajšie efekty.

Dopad na používateľov nebude okamžite viditeľný ako nové tlačidlo v produkte. Dôležité však je, že veľké laboratóriá začínajú verejne popisovať metodiky, ktorými odhadujú riziko pred nasadením. Ak sa podobné simulované hodnotenia stanú bežnou súčasťou modelových kariet a rozhodovania o vydaní, môžu zlepšiť transparentnosť aj praktickú bezpečnosť. Zároveň zostáva otvorená otázka, ako nezávisle overovať kvalitu takýchto interných simulácií, keď pracujú s privátnymi prevádzkovými dátami a infraštruktúrou samotného poskytovateľa modelu.