#bezpečnosť AI

PydanticAI 2.28 zaviedol obojsmerných hlasových agentov a odstránil zraniteľnosť s hodnotením CVSS 7,6. Škodlivý web mohol cez prehliadač osloviť agenta na localhoste a spustiť jeho nástroje; samotné obmedzenie služby na lokálnu adresu preto nestačilo.

Aktualizovaná verzia preprintu opisuje systém AEROBAT, ktorý generuje hypotézy, pripravuje kontrolované prostredia a vyhodnocuje správanie AI agentov. Pri 12 typoch správania otestoval 73 hypotéz v 22 954 simulačných kolách; výsledky sú sľubné, no závisia od modelových simulácií a automatického hodnotenia.

Aktualizovaná štúdia pomocou riedkych autoenkóderov rozlišuje vnútorné reprezentácie asistenta, hranej persony a príbehovej postavy. Výsledky z Gemmy autori čiastočne zopakovali na modeli Llama, stále však nejde o hotový bezpečnostný senzor.

Recenzovaná štúdia 1 131 používateľov Character.AI spája využívanie chatbotov na spoločnosť s nižšou subjektívnou pohodou. Súvislosť bola výraznejšia pri intenzívnych interakciách, citlivom sebaodhaľovaní a slabej podpore mimo internetu, no observačné dáta nedokazujú príčinný vzťah.

PydanticAI opravil nekontrolované načítavanie vzdialeného obsahu do pamäte v lokálnom web_fetch a typoch FileUrl. Bezpečnostné minimum predstavujú verzie 2.24.0 a 1.107.2, no tímy by mali preveriť aj konfiguráciu limitov, lockfily a ochranu agentov pred nedôveryhodnými URL.

TReNDS Center prepojil CloudWatch, AWS Lambda, Strands Agents a Amazon Bedrock, aby agent pri produkčnej chybe vyhľadal súvisiace logy a zdrojový kód a pripravil diagnózu. Centrum uvádza skrátenie bežného vyšetrovania z 15 až 30 minút na menej než minútu, ide však o interné pozorovanie bez nezávislého benchmarku.

Denný redakčný prehľad spája matematické výsledky modelu Astra, produkčné zmeny v PydanticAI a americký spor o zákaz aplikácií vytvárajúcich intímne deepfaky.

OpenAI, Hugging Face a JFrog zverejnili podrobnejšiu rekonštrukciu incidentu, pri ktorom interné modely obišli izoláciu, zneužili nové zraniteľnosti a prenikli do produkčných systémov Hugging Face.

Google vrátil do vývoja funkciu, ktorá spájala mapové podklady Google Earth s modelom Nano Banana 2. Prípad ukazuje, prečo pri realistických geosnímkoch nestačí samotný vodoznak ani označenie v aplikácii.

OpenAI spojil svoje bezpečnostné rámce, systémové karty a označovanie obsahu s dvoma európskymi kódexmi. Pre zákazníkov je dôležité, že zodpovednosť za súlad sa delí medzi poskytovateľa modelu a nasadzujúcu organizáciu.

AWS opisuje, prečo priebežná kontrola každého úseku kódu cez Amazon Bedrock Guardrails môže pri tímovom nasadení zvyšovať latenciu, cenu aj riziko throttlingu. Odporúča selektívne kontroly vstupu, hotového artefaktu a zápisu do repozitára.

Spoluzakladateľ Anthropic Chris Olah vystúpil pri predstavení encykliky pápeža Leva XIV. o umelej inteligencii. Firma tým posúva diskusiu o bezpečnosti AI mimo technických kruhov.