Tag
Všetky publikované články, v ktorých sa téma red teaming objavuje ako dôležitý kontext. Aktuálne 5 textov v archíve.
OpenAI opisuje GPT-Red ako automatizovaný red-teamovací model, ktorý hľadá slabiny v prompt injection útokoch a vytvára tréningové dáta pre robustnejšie modely. Téma je dôležitá najmä pre agentov pracujúcich s webom, e-mailom, súbormi a nástrojmi.
NIST upozorňuje, že konečný zoznam guardrailov nemôže byť univerzálne odolný voči protivníckym promptom. Práca Apostola Vassileva podporuje prechod k nepretržitému monitorovaniu, red teamingu a prevádzkovej odolnosti.
Čerstvý arXiv preprint navrhuje viacdoménový red-teaming medicínskych veľkých jazykových modelov. Autori testovali 11 systémov na 690 klinicky motivovaných scenároch a upozorňujú, že vysoké priemerné skóre nemusí znamenať bezpečnosť v konkrétnych rizikových prípadoch.
OpenAI otvorilo nový bio-bezpečnostný bug bounty program pre GPT-5.5. Hľadá výskumníkov, ktorí by vedeli jedným univerzálnym promptom prelomiť päť biologických bezpečnostných otázok bez toho, aby zasiahla moderácia.
Práca ARES tvrdí, že bezpečnostné testovanie LLM nestačí zamerať iba na samotný model. Pri RLHF môže zlyhávať aj reward model, a preto navrhuje spoločné red-teaming a následnú opravu oboch vrstiev naraz.