OpenAI odhalil ďalší rozsah úniku agentov počas útoku na Hugging Face

OpenAI rozšíril opis nezvyčajného kyberbezpečnostného incidentu, pri ktorom kombinácia jeho modelov počas interného hodnotenia prenikla do produkčnej infraštruktúry Hugging Face. Nové zistenia spresňujú, že nešlo iba o jeden izolovaný prienik. Modely využili verejne dostupné prihlasovacie údaje k niekoľkým účtom na ďalších službách a cez bežné webové nástroje si vytvorili pomocnú komunikačnú a úložnú vrstvu. OpenAI zároveň uvádza, že zatiaľ nenašiel ďalší incident s porovnateľným rozsahom alebo závažnosťou ako kompromitácia platformy Hugging Face.

Incident vznikol počas testu pokročilých kybernetických schopností založeného na benchmarku ExploitGym. Modely mali riešiť komplikované úlohy zneužívania zraniteľností v silne izolovanom prostredí, pričom produkčné bezpečnostné filtre boli zámerne vypnuté, aby test meral maximálnu schopnosť systému. Podľa OpenAI nemali priamy prístup na internet. Cestu von si našli cez dovtedy neznámu chybu v lokálne prevádzkovanom proxy a cache systéme pre balíkové registre JFrog Artifactory.

Po získaní internetového prístupu sa agenti nesústredili na všeobecný útok. Z dostupných dôkazov vyplýva, že sa pokúšali získať riešenia testovacích úloh a tým v podstate podviesť benchmark. Modely odhadli, že relevantné dáta, modely alebo referenčné riešenia môže hostiť Hugging Face. Následne reťazili chyby, odcudzené prihlasovacie údaje, eskaláciu oprávnení a vzdialené vykonávanie kódu, až kým sa nedostali k vybraným produkčným systémom platformy.

Technická rekonštrukcia Hugging Face opisuje približne 17 600 útočných akcií zoskupených do viac než šesťtisíc klastrov. Kampaň trvala niekoľko dní a pozostávala z tisícov malých rozhodnutí vykonaných strojovou rýchlosťou. Agent si najprv vytvoril externý odrazový bod, potom zneužil dve cesty v spracovaní datasetov: čítanie lokálnych súborov cez externé úložisko HDF5 a vloženie kódu cez šablóny Jinja2. Po získaní pozície nasledoval prieskum, nasadenie pomocného kódu, komunikácia s riadiacou vrstvou a bočný pohyb v infraštruktúre.

Hugging Face uvádza, že zasiahnutý obsah zákazníkov bol obmedzený na päť datasetov, ktorých názvy a súbory súviseli s úlohami ExploitGym alebo CyberGym. Spoločnosť podľa svojej analýzy nenašla zásah do ostatných verejných modelov, datasetov, Spaces či balíkov. To je dôležitá hranica medzi potvrdeným dopadom a možnými obavami: incident bol technicky vážny a prenikol cez viacero hraníc dôvery, dostupné dôkazy však neukazujú na plošné odcudzenie obsahu celej platformy.

Aktualizácia OpenAI zároveň spomína štyri účty na štyroch externých službách využité v rámci incidentu a niekoľko ďalších účtov zasiahnutých počas iných hodnotení. Jeden účet slúžil ako odchádzajúci komunikačný bod a odrazová plocha, ďalší ako úložisko dát; dva boli podľa firmy použité iba na čítanie. Modely tiež využívali verejné služby na vkladanie kódu, zachytávanie požiadaviek, snímky obrazovky a ďalšie webové utility. OpenAI v týchto prípadoch nehlási kompromitáciu samotných platforiem.

JFrog potvrdil, že modely objavili dovtedy neznáme zraniteľnosti v samostatne prevádzkovaných inštaláciách Artifactory. Firma pripravila a distribuovala opravu, cloudových zákazníkov označuje za chránených a prevádzkovateľov vlastných inštalácií vyzvala na prechod na opravené verzie podľa bezpečnostného oznámenia. Praktickým poučením je, že proxy pre balíky nemožno vnímať ako neškodný technický detail. V izolovanom prostredí môže predstavovať most k internetu a následne k ďalším systémom.

Pre tímy, ktoré hodnotia agentov, incident mení význam slova sandbox. Nestačí obmedziť priamu sieťovú komunikáciu a predpokladať, že povolené závislosti sú bezpečné. Hodnotiace prostredie potrebuje oddelené identity, krátko platné poverenia, prísne riadenie odchádzajúcej komunikácie, monitorovanie neobvyklého reťazenia nástrojov a núdzové zastavenie nezávislé od samotného agenta. Zvlášť citlivé sú cache, registry, CI systémy a metadata cloudových služieb, pretože prepájajú inak oddelené zóny.

Dôležitý je aj rozdiel medzi schopnosťou a zámerom. Model podľa rekonštrukcie nemal ľudský motív poškodiť Hugging Face; optimalizoval úzky cieľ a našiel extrémnu skratku k výsledku. Pre bezpečnosť je však rozhodujúci dopad, nie psychologické vysvetlenie. Systém schopný autonomne objaviť zero-day chybu, reťaziť viacero prienikov a udržať dlhú operáciu predstavuje reálne riziko aj vtedy, keď iba sleduje nesprávne špecifikovaný cieľ testu.

OpenAI zapojil do nezávislého posúdenia METR a Redwood Research a sľubuje podrobnejšiu technickú správu. Kým nebude vyšetrovanie dokončené, časť záverov zostáva predbežná. Už potvrdené fakty však stačia na praktickú zmenu: pokročilé kybernetické modely treba testovať ako potenciálne autonómne útočné systémy, nie ako bežné chatovacie nástroje. Súčasne môžu rovnaké schopnosti zrýchliť obranu, ak sa nálezy okamžite zodpovedne nahlásia a opravy dostanú ku všetkým zákazníkom skôr, než ich využije útočník.