AI干活时,自己绕过了门禁,这次是美国政府网站。
近日,Anthropic确认,旗下模型Claude曾在未经人工授权的情况下绕过付费墙,调取美国佐治亚州仅对付费用户开放的选民统计数据。此事再度引发了外界AI越权风险的关注。
今夏以来,大模型头部厂商接连披露模型越狱、智能体突破限制等异常行为。OpenAI一度因智能体异常行为,宣布暂停其最新一代模型训练。AI越界已从理论风险变为现实事件。
当智能体从实验室走进企业的生产环境,越界就不再只是模型厂商的测试事故,而是成为企业难以承受的业务风险。尤其当它接入企业网络、代码仓库、数据库和生产系统,一次未授权调用,就可能引发数据泄露、权限滥用和业务误操作。
不能等AI出了问题,再临时补救。
给AI派活前,先画好边界
网宿统一AI治理平台UAG,可为企业集中管理AI调用流量与智能体行为,实现AI成本可控、风险可防、行为可查、责任可追溯。
面对智能体被诱导执行未授权操作的风险,UAG通过提示词注入检测和越狱检测构筑安全护栏,并对智能体应用统一注册、限定工具调用与权限,防止智能体越权操作;同时,通过智能体行为审计,完整记录会话与操作轨迹,让每一个AI行为都可追溯。
近期,网宿UAG更新三大版本,面向网宿边缘AI网关、第三方网关、自建网关及数据不出域等场景提供差异化适配,满足企业多样化的AI部署与数据安全需求。
扫描下方二维码
申请UAG免费试用
↓↓↓
- END -
推荐阅读
股票
板块
用户
资讯
评论 (0)