股票
板块
用户
资讯
首页
天眼
自选
发现
开户
首页
天眼
自选
发现
我的

企业智能体应用的安全治理:身份、权限与责任

随着人工智能技术的快速发展,大模型正在推动人工智能从传统的内容生成、知识问答和辅助决策,向自主规划、工具调用和任务执行演进。

以大语言模型为核心的AI智能体,开始从“提供建议”走向“执行任务”:它能够理解业务目标、自主拆解任务、调用外部工具,并通过访问企业信息系统完成具体操作。这意味着,人工智能不再只是一个等待员工提问的辅助工具,而正在成为能够代表员工执行任务、参与业务流程的数字化执行主体。

当AI智能体开始替人做事,企业面临的就不再只是模型输出是否准确的问题,而是谁在授权、智能体能做什么、行为如何受到约束,以及出了问题由谁承担责任。 

这一变化不仅意味着,传统以员工账号、角色和系统权限为基础的安全管理体系,正在面临新的挑战。企业需要重新审视身份管理、权限控制和责任治理机制,建立与智能体自主执行能力相适应的安全治理体系。

一、智能体应用正在推动企业安全风险发生结构性变化

传统人工智能应用主要围绕信息处理和内容生成展开,其风险更多表现为内容错误、信息失真、隐私泄露等问题。而智能体具备自主执行能力后,可以通过API、插件及其他工具访问数据库、操作业务系统、处理敏感数据,甚至直接触发具有现实业务后果的操作。

这种从“回答问题”向“执行任务”的转变,使人工智能安全风险呈现出三个重要变化:一是从内容风险向行动风险转变,智能体的错误判断可能直接转化为实际操作后果;二是从单点风险向链路风险转变,单一环节的异常可能通过工具调用、任务编排和多智能体协作不断扩散;三是从模型安全向系统安全转变,风险不仅来自大模型自身,还可能产生于身份认证、授权机制、上下文管理、工具接口和执行环境等多个环节。

从当前智能体应用实践来看,主要风险包括自主行为失控、攻击者利用提示词注入劫持智能体执行目标、跨系统访问中的权限滥用,以及多智能体协作带来的风险扩散。尤其值得关注的是,即使智能体执行的任务目标本身合理,也不意味着其执行路径、访问范围和具体行为必然安全。企业不能仅依赖模型自身判断来保障安全,而需要建立独立于模型之外的安全控制机制。

二、身份管理与权限控制成为智能体治理的核心问题

传统企业信息系统的身份与权限管理,主要围绕人员身份、组织岗位以及系统资源建立。企业通过身份认证确认用户是谁,根据岗位职责授予访问和操作权限,并通过日志审计记录用户行为。

智能体的引入改变了这一管理模式。在实际运行中,智能体可能同时涉及部署企业、任务发起员工、技术服务提供方以及多个业务系统,其执行行为既受到企业组织授权的约束,也受到具体用户委托任务的影响。因此,传统以人员账号和静态角色为中心的权限管理模式,已经难以完整覆盖智能体的运行特点。

智能体身份与权限治理,可以归纳为三个基本问题:“你是谁、能做什么、做了什么”。

首先是身份管理,即明确智能体自身的独立身份、所属组织、任务委托关系以及实际执行身份和上下文。智能体应当能够被独立识别和认证,而不能简单依赖员工账号或共享凭证开展操作。身份管理还需要回答智能体由谁部署、为谁服务、接受谁的委托,以及通过何种身份访问业务资源等问题。

其次是权限控制。智能体的权限来源并非单一授权关系,而是涉及企业向员工授予岗位权限、企业向智能体授予组织级权限,以及员工向智能体授予具体任务权限等多个层次。智能体的实际执行权限,应当受到这些授权关系的共同约束,不能因为承担某项任务,就自动获得员工或企业系统的全部权限。

在具体治理措施上,需要遵循最小权限原则,结合任务目标、数据敏感程度和操作风险实施动态授权。对于重要数据访问、外部信息发送、关键系统修改等高风险操作,应当建立独立的校验、审批和阻断机制,避免智能体在缺乏有效约束的情况下自主执行不可逆操作。

最后是行为审计与责任追溯。企业不仅需要记录智能体最终完成了什么任务,还需要保存任务发起者、授权依据、工具调用、数据访问、执行路径以及关键操作结果等信息。通过全过程行为记录和审计,确保智能体的活动能够被还原、调查和追责。

三、智能体自主行为对企业责任治理提出新挑战

智能体参与企业经营活动后,其自主规划、工具调用和任务执行能力不断增强,一个重要问题是:当智能体发生错误操作、作出不当决策或对外产生法律后果时,相关责任应当由谁承担?

与传统信息系统不同,智能体并非简单按照预设指令执行固定操作,而是可能根据任务目标、上下文信息和运行环境,自主决定开展操作。这种自主性增加了行为过程的复杂程度,也使传统以员工直接操作为基础的责任管理方式面临新的挑战。

从现行法律框架来看,智能体并不具有独立的民事主体资格,其自主性并不意味着可以成为独立承担法律责任的主体。智能体参与完成的业务行为,仍然需要结合具体法律关系,判断其行为效力及相应责任归属。

在行为效力方面,需要关注智能体是否获得合法有效的授权,是否在授权范围内执行任务,以及相关行为是否满足法律规定的效力要件。智能体在技术上能够完成某项操作,并不当然意味着其在法律上具有实施该行为的权限。企业允许智能体接入业务系统,也不意味着其可以自主实施所有系统操作。对于涉及重要业务决策、敏感数据处理和对外业务承诺等事项,更需要明确授权边界、操作要求和人工监督责任。

在责任认定方面,需要综合考察企业的部署和管理责任、员工的指令与授权行为、技术服务提供方的相关保障义务,以及各方是否采取了合理的安全防范措施。对于智能体行为造成的损害,还应当结合各方的过错、因果关系和具体法律规定确定责任承担。

智能体的自主执行能力越强,企业越需要建立与之相适应的授权约束、行为监督和责任管理机制。因此,建立清晰的身份体系、授权链条和行为记录机制,既有助于预防智能体越权操作,也能够为判断行为效力、认定法律责任及处理相关争议提供重要依据。

四、从静态权限管理走向全生命周期动态安全治理

面对智能体日益增强的自主执行能力,企业安全治理不能仅停留在身份认证和初始权限分配阶段,而应当从传统的账号与资源管理,转向对智能体身份、授权关系、执行行为和责任归属的全过程管理,建立贯穿智能体部署、运行、监测和处置全过程的综合治理体系。

这一体系既要明确智能体的身份与责任归属,也要对其任务权限、执行行为和风险变化进行持续管理,形成覆盖事前预防、事中控制和事后追溯的治理闭环。

部署阶段:明确身份归属与管理责任。

智能体投入使用前,企业应明确其身份标识、组织归属、创建主体和管理责任,避免出现身份不清、责任主体缺失等问题。同时,应根据智能体的应用场景、承担任务和涉及的数据范围,确定其初始权限及使用边界。

2.运行阶段:强化动态授权与持续监督。

智能体的权限不应仅依据其所属账号或角色一次性确定,而应与具体任务、授权来源和执行范围相匹配。企业需要明确智能体可以代表谁执行任务、能够访问哪些资源、可以采取哪些操作,以及在什么情况下必须重新获得授权。

3.风险处置:完善应急响应与责任追溯机制。

当智能体出现异常行为、越权操作或造成业务影响时,企业应能够及时采取暂停任务、限制权限、终止运行等措施,防止风险进一步扩大。在事件调查过程中,应结合智能体身份、任务委托关系、授权记录和执行日志,还原行为发生的具体过程,区分智能体运行偏差、授权管理不当以及人员监督缺失等不同原因,明确相关部门和人员的管理责任。

在上述治理机制基础上,企业还应建立分类分级治理机制,根据任务的重要程度、数据敏感性和操作后果,动态配置智能体的自主执行程度。对于低风险、可逆的常规任务,可以给予较高的自动化权限;对于涉及敏感数据、重要业务决策或不可逆操作的任务,则应当加强授权校验和人工监督。

未来,企业智能体身份权限管理将逐步从传统的“账号—角色—资源”模式,向“智能体身份—组织归属—委托关系—任务权限—执行行为”的综合治理模式演进。其核心变化不仅是管理对象从人员和系统账号扩展到智能体,更是将治理重点从静态限制逐步转向风险适配、运行时控制和动态调整。

五、在安全边界内最大限度释放智能体应用价值

智能体安全治理的目标,并不是消除智能体的自主性,更不是通过增加审批和限制来牺牲应用效率,而是在风险可识别、权限可控制、行为可追溯的基础上,让智能体能够安全、高效地完成更多复杂任务。

随着智能体从单一任务辅助走向跨系统协作和业务流程执行,其自主程度和应用范围将不断扩大。企业需要建立与智能体自主能力相适应的治理机制,企业既要防止权限过度开放、管理责任缺失所带来的安全风险,也要避免因治理机制僵化、风险控制过于保守而限制技术创新和业务效率。治理要求应当与任务风险和业务场景相适应:风险越高,监督和约束越严格;风险可控、操作可逆的任务,则应为智能体保留更充分的自主执行空间。

总体而言,企业智能体治理应当实现三个目标:看得清、管得住、用得好。看得清,是能够识别智能体资产、身份关系、数据流向和行为路径;管得住,是能够对权限边界、工具调用和关键操作实施有效控制;用得好,则是在确保安全和合规的前提下,充分发挥智能体在流程优化、业务创新和效率提升方面的价值。

随着人工智能越来越深入地参与企业经营活动,身份可信、授权清晰、行为受控和责任可溯,将成为企业智能体规模化应用的重要基础。只有将安全治理能力融入智能体的设计和运行全过程,企业才能真正实现效率与安全的动态平衡,推动人工智能从技术创新走向安全、可信和可持续的企业应用。

关于作者

马兰 英国杜伦大学LLM,美国加州大学戴维斯分校LLM,奇安信科技集团首席法律顾问,中国法学会网络与信息法学会理事,中国互联网协会知识产权委员会委员。

深耕法律合规领域二十载,涵盖数据安全、数据合规、人工智能安全治理、个人信息保护等领域,就各类型网络安全与数据合规复杂场景研究并提供专业落地的法律合规建议。曾深度参与国家数据局相关政策研讨工作、全国数据标准化委员会W2组各项标准的制定以及学术界《人工智能示范法》的起草工作。

原文链接
多空观点 观点仅供交流,不构成投资建议
点赞
踩一踩
收藏
分享

评论 (0)

0/200
声明:社区内容仅代表用户个人观点,不构成任何投资建议。投资有风险,入市需谨慎。