Tag
Všetky publikované články, v ktorých sa téma AI bezpečnosť objavuje ako dôležitý kontext. Aktuálne 11 textov v archíve.
NIST upozorňuje, že konečný zoznam guardrailov nemôže byť univerzálne odolný voči protivníckym promptom. Práca Apostola Vassileva podporuje prechod k nepretržitému monitorovaniu, red teamingu a prevádzkovej odolnosti.
Cloudflare po projekte Glasswing ukazuje vlastnú obrannú architektúru pre éru modelov schopných zrýchliť hľadanie zraniteľností a tvorbu exploitov. Zdôrazňuje včasné detekcie, WAF, API Shield, threat intelligence a Zero Trust kontajnment.
Snowflake na Summite 2026 predstavil bezpečnostné funkcie pre agentickú AI: identitu agentov, ochranu pred prompt injection, sandbox pre nástroje, detekciu exfiltrácie dát a nové riadenie bezpečnostnej pozície v Trust Center.
Čerstvý arXiv preprint navrhuje viacdoménový red-teaming medicínskych veľkých jazykových modelov. Autori testovali 11 systémov na 690 klinicky motivovaných scenároch a upozorňujú, že vysoké priemerné skóre nemusí znamenať bezpečnosť v konkrétnych rizikových prípadoch.
Anthropic zverejnil prvú aktualizáciu Project Glasswing. Tvrdí, že približne päťdesiat partnerov s modelom Claude Mythos Preview našlo vyše desaťtisíc vysoko alebo kriticky závažných zraniteľností v dôležitom softvéri, pričom úzkym miestom už nie je hľadanie chýb, ale ich overovanie a bezpečné zverejňovanie.
Preprint ECUAS_n navrhuje jednotnejšie hodnotenie modelov, ktoré okrem predikcie vracajú aj neistotu. Autori tvrdia, že dnešné oddelené metriky často nezachytia skutočný kompromis medzi rizikom a odmietnutím rozhodnutia.
AWS ukazuje, že Nova 2 Lite sa dá použiť na moderáciu obsahu len cez promptovanie. Tému opiera o taxonómiu AILuminate od MLCommons a porovnanie na verejných dátach.
OpenAI opisuje nový bezpečnostný režim, v ktorom ChatGPT sleduje jemné varovné signály v priebehu citlivých konverzácií a v zriedkavých prípadoch si vytvára úzke bezpečnostné zhrnutia, aby vedel reagovať opatrnejšie pri sebapoškodzovaní a hrozbe násilia.
NIST oznámil nové dohody centra CAISI s Google DeepMind, Microsoftom a xAI. Štát tak získava širší prístup k predbežnému aj následnému hodnoteniu najsilnejších modelov ešte pred ich nasadením aj po ňom.
Apple vo výskumnej práci Reinforced Agent navrhuje, aby druhý model kontroloval plánované volania nástrojov ešte pred ich vykonaním. Cieľom je znížiť počet chýb bez retrénovania hlavného agenta a merať prínos aj riziko takejto spätnej väzby priamo počas inferencie.
Práca ARES tvrdí, že bezpečnostné testovanie LLM nestačí zamerať iba na samotný model. Pri RLHF môže zlyhávať aj reward model, a preto navrhuje spoločné red-teaming a následnú opravu oboch vrstiev naraz.