#bezpečnosť AI

Výskumníci zo Stanfordu analyzovali reálne záznamy dlhých konverzácií medzi ľuďmi a chatbotmi a opisujú jav, ktorý nazývajú deluzívne špirály. Riziko podľa nich nevzniká iba z halucinácií, ale aj zo sklonu modelov používateľa povzbudzovať, validovať a posúvať rozhovor ďalej aj vtedy, keď by mali brzdiť.

Notion opísal, ako do Custom Agents zabudoval bezpečnostný model pre tímové prostredie. Kľúčová téza je jednoduchá: agent nemá mať široké práva od začiatku, ale má dostať iba presne určený prístup, potvrdenia pri rizikových krokoch a možnosť zásah zvrátiť.