Notion stavia bezpečnosť agentov od nuly: Custom Agents začínajú bez práv

Notion zverejnil detailnejší pohľad na to, ako navrhol bezpečnostný model pre svoje Custom Agents. V čase, keď väčšina agentických dem ukazuje najmä to, čo všetko vie asistent urobiť, je to dôležitý protiťah. V podnikových a tímových nástrojoch totiž nie je hlavný problém iba to, či agent nájde odpoveď alebo vyplní úlohu. Rozhoduje, k akým dátam sa dostane, aké akcie smie urobiť bez človeka a čo sa stane, keď ho zmanipuluje škodlivý vstup, prompt injection alebo zle nastavená integrácia.

Notion otvorene píše, že agent v kolaboratívnom prostredí nemôže fungovať podľa logiky osobného asistenta s širokým prístupom k všetkému, čo používateľ vidí. V tíme je takýto model nebezpečný, pretože agent by mohol čítať alebo meniť obsah, ku ktorému sa nikdy nemal dostať. Preto firma stavila na princíp „build from nothing“: nový agent štartuje prakticky bez práv čítať, zapisovať alebo interagovať s väčšinou zdrojov. Schopnosti sa mu neprideľujú implicitne, ale postupne a cielene. To je pre enterprise použitie možno nudnejšie než veľké sľuby o autonómii, no z hľadiska riadenia rizika ide o oveľa realistickejší základ.

Dôležité je, že Notion neprenecháva bezpečnosť iba modelu alebo systémovým promptom. Firma tvrdí, že nechcela stavať na predstave, že jazykový model vždy správne rozlíši, čo je povolené a čo už nie. Namiesto toho sa opiera o deterministickú prístupovú vrstvu a existujúce governance mechanizmy, ktoré si zákazníci už v pracovnom priestore nastavili. Inak povedané: agent sa nemá správať bezpečne preto, že „pochopil“ pravidlo, ale preto, že systém mu danú akciu bez explicitného oprávnenia jednoducho neumožní. Pri dnešných agentoch je to pravdepodobne jediný škálovateľný spôsob, ako sa vyhnúť tomu, aby sa citlivé operácie riešili len cez textové inštrukcie.

Notion zároveň upozorňuje, že samotné prístupové práva nestačia. V behu agenta môžu prichádzať neočakávané situácie, napríklad nežiaduce inštrukcie schované v externom obsahu alebo pokusy naviesť asistenta na rizikovú akciu. Preto firma opisuje viacvrstvový prístup, kde sa kombinujú práva, detekcia a používateľské potvrdenia. Pri potenciálne rizikových krokoch má agent zastaviť a vyžiadať si súhlas, pričom forma potvrdenia sa môže líšiť podľa toho, či ide o konfiguráciu agenta alebo o runtime akciu. V niektorých prípadoch môže byť potrebné aj schválenie administrátora pracovného priestoru.

Práve tento model „human in the loop“ je zaujímavý aj z pohľadu trhu. Mnohé agentické produkty dnes predávajú predstavu čo najplynulejšej autonómie, lenže v interných firemných nástrojoch býva bezbariérová autonómia skôr problém než výhoda. Ak má agent upraviť databázu úloh, poslať správu do Slacku, zmeniť stav projektu alebo vytvoriť nový obsah, zodpovednosť sa nedá rozpustiť do toho, že systém len „konal podľa najlepšieho úsudku“. Notion preto explicitne spája pohodlie s revokovateľnosťou: ak agent urobí chybu, vlastník má mať možnosť zásah zvrátiť, napríklad zmazať nesprávnu správu alebo odobrať prístup.

Za pozornosť stojí aj rozsah interného testovania. Firma uvádza, že ku koncu alfa fázy mala vo vlastnom prostredí vyše 3 000 interných Custom Agents a externí alfa zákazníci vytvorili viac než 25 000 agentov. Nie je to dôkaz, že problém prompt injection alebo zneužitia je vyriešený. Je to však signál, že Notion nepublikuje model len ako teoretickú architektúru, ale ako bezpečnostný režim, ktorý už prešiel väčším prevádzkovým stresom. Pri agentických produktoch je to dôležité, pretože mnoho tvrdení o bezpečnosti dnes stojí na malých interných testoch alebo na izolovaných demách.

Z pohľadu širšieho trhu je dôležitá ešte jedna vec. Notion naznačuje, že v tímovom prostredí nemusí byť najlepšou abstrakciou všeobecný agent s globálnym prístupom, ale skôr súbor úzko ohraničených agentov s presne definovanými právami a integračnými hranicami. To je v rozpore s časťou marketingu okolo univerzálnych podnikových agentov, no bezpečnostne to dáva zmysel. Firmy skôr prijmú asistenta, ktorému rozumejú a ktorého rizikový profil vedia opísať, než „vševediaceho“ pomocníka s nejasným akčným rádiusom.

Notion týmto textom neprináša hotový priemyselný štandard, ale pomerne jasne pomenúva, kde sa bude lámať dôvera v agentické produkty pre knowledge work. Nestačí, aby agent vedel vybaviť úlohu. Musí byť jasné, s akými právami pracuje, kedy sa zastaví, kto ho vie skontrolovať a čo sa dá urobiť po chybe. Ak sa trh posunie týmto smerom, „bezpečný agent“ nebude znamenať model s milším správaním, ale produkt, ktorý má prístupové hranice, auditovateľné rozhodovanie a poistky navrhnuté mimo samotného jazykového modelu.