OpenAI ukazuje GPT-Red, interný systém na škálované red-teamovanie modelov

OpenAI zverejnil podrobnosti o systéme GPT-Red, ktorý firma opisuje ako svoj doteraz najsilnejší interný model na automatizované red-teamovanie. Nejde o verejne dostupný produkt, ale o bezpečnostný nástroj používaný pri príprave produkčných modelov. Jeho úlohou je vo veľkom vyrábať útoky, skúšať hranice modelov a vytvárať tréningové príklady, ktoré sa potom používajú na posilnenie odolnosti voči manipulatívnym inštrukciám.

Najdôležitejší kontext je agentický. Moderné modely už neodpovedajú iba na izolované otázky v čistom chate. Čítajú webové stránky, prijímajú e-maily, spracúvajú výstupy nástrojov, prezerajú repozitáre a pracujú so súbormi, ktoré používateľ priamo nenapísal. Práve v takýchto cudzích dátach sa môže objaviť škodlivá inštrukcia, napríklad pokus presvedčiť model, aby vyviedol citlivé dáta mimo dôveryhodné prostredie. OpenAI preto rámcuje GPT-Red najmä ako odpoveď na prompt injection, nie ako všeobecný marketingový test inteligencie.

Podľa OpenAI je problém v tom, že ručné red-teamovanie je síce nevyhnutné, ale zle škáluje. Ľudskí experti vedia objaviť kvalitné zlyhania a pomenovať nové triedy rizík, no nemôžu priebežne generovať taký objem a rozmanitosť útokov, aký je potrebný na tréning stále väčších modelov. GPT-Red preto pracuje iteratívne: pošle útok, sleduje reakciu cieľového modelu a upravuje ďalší pokus podobne, ako by postupoval skúsený red-teamer.

OpenAI tvrdí, že GPT-Red bol trénovaný na výpočtovej škále porovnateľnej s niektorými veľkými post-tréningovými behmi firmy, no výlučne na bezpečnostný účel. To je zaujímavý posun v tom, ako laboratóriá alokujú výpočtový rozpočet. Bezpečnosť už nie je iba hodnotiaca fáza po dokončení modelu, ale samostatný tréningový problém, do ktorého sa investuje podobná infraštruktúra ako do zlepšovania schopností.

Najkonkrétnejšie tvrdenie sa týka GPT-5.6 Sol. OpenAI uvádza, že zapojenie GPT-Red do tréningu prinieslo šesťnásobne menej zlyhaní na najťažšom internom benchmarku priamej prompt injection v porovnaní s najlepším produkčným modelom spred štyroch mesiacov. Číslo treba čítať opatrne, pretože ide o interné meranie a nie o nezávislý verejný benchmark. Napriek tomu naznačuje, že automatizovaný protivník môže byť praktický spôsob, ako udržať tempo medzi rastúcimi schopnosťami modelov a rastúcimi útočnými povrchmi.

Pre firmy, ktoré nasadzujú agentov, je podstatný najmä záver: odolnosť sa nedá doplniť iba filtrom na výstupe. Ak agent preberá údaje z prehliadača, CRM, e-mailu alebo vývojárskeho nástroja, musí vedieť rozlišovať medzi obsahom, ktorý má interpretovať, a inštrukciou, ktorú nemá poslúchnuť. GPT-Red je pokus vytvárať veľké množstvo takýchto konfliktných situácií a naučiť model správať sa bezpečnejšie ešte pred nasadením.

Téma má aj regulačný rozmer. Ak sa automatizované red-teamovanie stane bežnou súčasťou vývoja frontier modelov, audítori a zákazníci budú chcieť vedieť, čo presne sa testovalo, aké triedy útokov boli pokryté a ktoré zlyhania zostali mimo rozsahu. Interný red-teamovací model môže zrýchliť bezpečnostnú prácu, ale zároveň vytvára otázku transparentnosti: samotné tvrdenie dodávateľa, že model bol „robustnejší“, nebude pri citlivých nasadeniach stačiť.

Dôležité je aj to, že OpenAI neprezentuje GPT-Red ako náhradu ľudí. Firma hovorí o kombinácii automatizovaného red-teamovania, ľudských a externých testov, vrstvených ochranných opatrení a monitorovania v reálnom čase. To je realistickejšie než predstava jedného univerzálneho bezpečnostného modelu. Pri agentoch s prístupom k nástrojom bude obrana pravdepodobne vždy viacvrstvová: tréning, systémové pravidlá, oprávnenia, izolácia nástrojov, logovanie a spätná väzba z incidentov.

Pre trh je správa signálom, že bezpečnostná súťaž medzi veľkými laboratóriami sa presúva aj do automatizovaných protivníckych systémov. Ak budú modely schopné generovať realistickejšie útoky než ručne zostavené testy, môžu zlepšiť prípravu budúcich verzií. Zároveň však platí, že rovnaká trieda schopností by mimo kontrolovaného prostredia mohla pomôcť aj útočníkom. Preto bude dôležité, ako laboratóriá obmedzia prístup k takýmto systémom a ako budú zdieľať výsledky bez zverejňovania zneužiteľných detailov.