Tag
Všetky publikované články, v ktorých sa téma bezpečnosť AI objavuje ako dôležitý kontext. Aktuálne 27 textov v archíve.
AWS opisuje, prečo priebežná kontrola každého úseku kódu cez Amazon Bedrock Guardrails môže pri tímovom nasadení zvyšovať latenciu, cenu aj riziko throttlingu. Odporúča selektívne kontroly vstupu, hotového artefaktu a zápisu do repozitára.
OpenAI zverejnilo skúsenosti z interného nasadenia modelu, ktorý dokázal autonómne pracovať veľmi dlho. Firma tvrdí, že klasické hodnotenia nestačili, preto pridala testy odvodené z incidentov, sledovanie celej trajektórie a väčšiu kontrolu pre používateľov.
OpenAI tvrdí, že prístup tínedžerov k AI má zostať otvorený, ale s inými predvolenými pravidlami než pri dospelých. Nový dôraz dáva na študijný režim, rodičovské nastavenia, odhady veku a častejšie bezpečnostné zásahy pri citlivom obsahu.
OpenAI opisuje GPT-Red ako automatizovaný red-teamovací model, ktorý hľadá slabiny v prompt injection útokoch a vytvára tréningové dáta pre robustnejšie modely. Téma je dôležitá najmä pre agentov pracujúcich s webom, e-mailom, súbormi a nástrojmi.
Nový preprint opisuje spôsob, ako generovať realisticky vyzerajúce LiDAR range images, ktoré cielene mýlia segmentačné siete. Autori testujú útok na SemanticKITTI, RangeNet++ a CENet a rámcujú ho ako bezpečnostný benchmark pre vnímanie vozidiel.
Výskumný príspevok Apple upozorňuje, že pri autonómnych vyjednávacích agentoch môžu citlivé obmedzenia prezradiť samotné ústupky, načasovanie a priebeh rokovania.
Nová interpretability štúdia Anthropic opisuje J-space: malú množinu vnútorných reprezentácií, ktoré sa správajú ako zdieľaný pracovný priestor modelu. Dôležité je, že nejde o dôkaz vedomia, ale o praktický nástroj na čítanie a ovplyvňovanie tichého uvažovania modelu.
Výskumníci Apple opisujú mechanistický problém v bezpečnostnom ladení jazykových modelov: pri viacerých modeloch stačilo potlačiť alebo zosilniť jediný identifikovaný neurón, aby sa zmenilo odmietanie škodlivých požiadaviek.
AWS predstavil Reverse Direct Preference Optimization, techniku selektívneho odnaučenia v modeloch Amazon Nova. Cieľom je znížiť prehnané odmietanie legitímnych podnikových úloh bez toho, aby sa rozbili bezpečnostné hranice modelu.
Claude Fable 5 sa má 1. júla vrátiť globálnym používateľom, kým Mythos 5 zostáva obmedzený. Anthropic zároveň opisuje nové klasifikátory, bug bounty program a potrebu presnejšie merať závažnosť jailbreakov.
Nový arXiv preprint navrhuje geometrické vysvetlenie javu, pri ktorom neskoršie doladenie na zdanlivo neškodných dátach čiastočne obnovuje správanie získané v skoršom tréningu. Téma je dôležitá pre bezpečnosť aj správu modelov po nasadení.
OpenAI oznámilo podporu Appia Foundation, ktorá má pod Linux Foundation pripravovať otvorené špecifikácie pre hodnotenie a dôveryhodnosť pokročilej AI. Dôležité bude, či sa z rámcov stanú merateľné audity použiteľné mimo samotných laboratórií.