转载来源：计算机与网络安全 《人工智能安全治理框架3.0》解读：从“回答问题”到“执行任务”，AI安全治理全面升级 http://mp.weixin.qq.com/s?__biz=MjM5OTk4MDE2MA==&mid=2655309822&idx=2&sn=21e30450e466b78d541f3ba5a0145a7c&scene=45#wechat_redirect

近日，全国网络安全标准化技术委员会发布《人工智能安全治理框架3.0》，是在《人工智能安全治理框架1.0》（2024年）和《2.0》（2025年）基础上的升级版本。文件中文正文约35页，另有英文版、附件和映射表，整体延续“风险分类—技术应对—综合治理”的核心逻辑，同时根据人工智能技术新进展更新了风险类别与治理措施。

前言指出，当前人工智能技术创新进入活跃期，基础大模型在长程任务规划、长上下文记忆、复杂任务推理等方面持续突破，智能体在任务规划、工具调用、跨应用协作等方面能力增强。人工智能正从“回答问题”向“执行任务”演进，应用形态从专业场景快速迈向大众化。与此同时，新的安全风险呈现颠覆性、跨域性、全球性特征：网络攻击自动化、规模化、智能化能力跃升；网络空间风险向物理世界传导；模型算法出现自主学习优化、自我递归提升的自加速态势，技术演进速度与方向是否超出人类预判和掌控，成为需要警惕的问题。

框架的核心理念是“以人为本、向上向善”，坚持“强化风险意识、确保安全可控”，目标是凝聚防范治理人工智能安全风险的实践共识。

01

人工智能安全治理原则

框架提出五项治理原则：

包容审慎、确保安全：鼓励创新，采取包容态度，运用“沙箱”监管等风险可控机制，为新技术新应用提供容错纠错空间；同时严守安全底线，对危害公众权益、社会公共利益、国家安全和人类生存发展的风险及时采取措施。

风险导向、敏捷治理：跟踪人工智能发展趋势，系统分析技术内生、应用赋能、衍生扩散风险；从应用场景、智能化水平、应用规模等维度进行风险分级，匹配应对措施；建立“随行伴跑”、持续优化的治理机制。

技管结合、协同应对：面向研发应用全过程，技术应对与综合治理相结合；明确模型算法研发者、服务提供者、系统使用者等不同主体的安全责任，发挥政府监管、行业自律、社会监督等作用。

开放合作、共治共享：推动国际合作，发挥世界人工智能合作组织等平台作用，加强发展战略、治理规则、技术标准对接，形成全球治理框架。

可信应用、防范失控：加强智能体行为失控等突出风险防范，凝聚国际共识，推动全球可信应用；构建法律法规、技术监测、风险预警、应急响应体系，确保人工智能始终处于人类控制之下。

02

人工智能安全风险分类

框架将风险分为三大类：内生安全风险、应用安全风险、衍生安全风险。

（一）内生安全风险

内生风险来自人工智能系统自身的技术缺陷或弱点，包括：

模型安全风险

输出“幻觉”：模型基于统计决策，可能输出与实际不符、凭空虚构或偏离上下文的内容。

安全机制不可靠：闭源模型安全机制不透明、难审计；开源模型安全机制可能被解除、削弱或绕过。

注入攻击威胁：对抗样本、恶意指令、权重篡改、后门植入等。

行为偏离预期：模型可能突破规则、自主获取权限、绕过防护，甚至欺骗评测人员、隐藏能力、拒绝指令。

算法安全风险

可解释性不足：深度学习推理不透明，难以预测、归因和追责。

算法偏见、歧视：特征选择、权重设置或数据问题导致不公平结果。

鲁棒性不强：易受复杂环境或恶意干扰，导致性能下降、决策错误。

数据安全风险

训练数据内容不当、来源不清、标注不完善。

数据投毒污染：篡改训练数据、知识库、文档库、网页数据源、智能体记忆模块等。

数据处理不规范：违规收集使用数据和个人信息，敏感信息可能泄露。

输出个人不实信息、合成数据缺陷：合成数据质量控制不足，可能放大错误、导致敏感数据泄露。

算力设施与运行环境安全风险

算力安全：芯片、调度平台、跨域算力网络存在缺陷、漏洞、后门。

组件安全：开发框架、计算框架、算子库、通信库、插件、服务接口等存在风险。

供应链安全：技术垄断、出口管制等带来芯片、软件、工具、服务断供风险。

（二）应用安全风险

应用风险是人工智能在应用过程中被误用、滥用、恶用产生的风险，包括：

智能体安全风险

身份和权限滥用：凭证劫持、身份仿冒、过度授权。

推理规划风险：意图理解偏差、路径偏离、目标劫持。

调用执行风险：工具劫持、工具投毒、应答数据污染、资源过载。

记忆存储风险：记忆留存不当、失真、污染、窃取。

具身智能安全风险

环境感知安全：对抗样本、传感器干扰、信号欺骗导致感知失真。

物理执行安全：幻觉决策、识别偏差、控制缺陷、硬件故障导致生产紊乱、自损、伤人。

人机交互安全：身份误认、身体边界突破、情感依赖与操纵、责任归属不清。

群体协同安全：单体失控、协议漏洞、群体行为涌现、恶意节点渗透、级联故障。

冲击网络安全风险

网络攻击能力扩散：自然语言即可实施复杂攻击，甚至构建自主攻击武器。

网络防御能力滞后：传统静态规则防护体系面临结构性失效。

自主化网络攻击威胁：智能体可能自发产生攻击意图并执行攻击。

溯源和追责困难：攻击痕迹可被篡改，难以区分人类意图与AI自发行为。

信息内容安全风险

文件还专门列出“智能体社交平台安全风险”和“GEO投毒操控大模型推荐内容”两个专栏，强调新兴应用中的黑箱特性、内容操纵和商业推广包装为客观答案的风险。

输出违法信息：欺诈、暴力、色情、极端主义等。

混淆事实、误导用户：深伪技术、未标识生成内容影响判断。

污染网络内容生态：低质不良信息经扩散和模型循环引用造成内容污染。

加剧“信息茧房”：精准定制推送加剧信息局限性。

产生价值观偏差：训练语料中的偏见被强化，潜移默化影响用户。

侵害个人信息权益风险

违规记录个人行为信息。

合规保障措施不足：未制定制度、未审计、未做影响评估。

个人行使权利渠道不畅通。

现实安全风险

关键信息基础设施稳定运行风险。

应用需求错配风险。

被违法犯罪活动利用“作恶”。

核生化导武器知识失控风险。

操纵社会认知风险：认知战、社会动员、制造对立、侵蚀社会信任。

（三）衍生安全风险

衍生风险是人工智能对人类社会结构、生态环境、文化范式和伦理规范带来的更深层影响：

社会风险：冲击劳动就业结构、冲击教育抑制创新、社交异化、扩大智能鸿沟。

环境风险：挑战资源供需平衡、影响绿色低碳发展。

文化风险：破坏文化多样性、文化重塑和入侵。

伦理风险：加剧社会偏见、加剧科研伦理风险、情感依赖风险、“自我意识”觉醒并脱离人类控制。

03

技术应对措施

框架针对三大风险提出技术应对措施。

（一）内生安全风险应对

模型安全：改进架构、扩充数据、人类监督、外挂知识库、检索增强生成、多模型交叉验证；加入注入攻击样本；红队测试；部署安全护栏；强化安全对齐。

算法安全：提升可解释性、透明性；引入公平性约束、对抗性去偏；建立安全开发规范；上线前多维评估；运行中风险监测。

数据安全：全环节合规；使用真实、准确、客观、多样、来源合法数据；规范标注；强化数据安全管理；推动合成数据替代个人特征数据；建立合成数据质量评价；加强知识产权保护。

算力设施与运行环境：建立安全规范、跟踪漏洞、定期检测、修补加固；完善冗余设计与容灾；关注供应链安全，提高多元化、稳定性。

（二）应用安全风险应对

智能体：唯一身份标识、最小权限、动态凭证；多层检测与拦截、关键节点人工审批；验证外部工具、插件、技能；运行监测、行为记录，确保可感知、可追溯、可审计。

具身智能：全场景攻击模拟、传感器抗干扰测试；仿真测试、极端条件测试、安全失效保护、紧急停机；定期巡检、故障预警；提升群体通信安全、异常节点隔离、全局安全熔断。

冲击网络安全：对齐训练、安全微调；设置网络安全护栏，识别自主攻击意图，阻断异常访问、高频探测、漏洞利用；建立服务降级机制；加强AI在防御中的赋能。

信息内容安全：建立安全防护机制；动态过滤与人工复核；生成合成内容标识；防范关联分析滥用；健全应急处置与熔断机制。

个人信息权益：依法告知、取得同意；建立内部制度、合规审计和影响评估；建立便捷权利申请受理和处理机制。

现实安全：披露原理、能力、适用场景和风险；设置能力边界；建立决策校验、容错纠偏；引入“人在回路”“熔断”“一键管控”；加强平台权限管理；部署前细化场景；加强源头管控；研发自动化账号、虚假身份、生成合成内容检测技术。

（三）衍生安全风险应对

社会风险：监测、识别、预警易受冲击职业；优化“人工智能+教育”；强化婚恋、家庭、情感场景中的AI身份提示。

环境风险：科学规划算力中心、数据中心；推行集约化、规模化、标准化；研发低功耗芯片、轻量化算法、智能算力调度。

文化风险：加强文化偏见检测与纠偏；通过数据增强、迁移学习提升小语种模型能力。

伦理风险：数据筛选、价值观对齐、输出校验；重点领域AI系统具备应急管控；鼓励透明决策逻辑和可解释算法；拟人化互动服务具备过度依赖预警、情感边界引导。

04

综合治理措施

框架提出五方面综合治理措施：

完善顶层设计

推动人工智能安全立法，完善基础设施安全防护、分类分级监管、安全测试评估、最终用途管理、网络安全能力管理、重点场景安全应用等制度。

发挥技术标准引领作用，研制模型安全、数据安全、系统安全、应用安全、测试评估等标准，跟踪智能体、具身智能等领域。

构建安全风险快速发现与应对体系，加强监测、预警、处置、信息共享、风险通报。

加强科技伦理治理，规范伦理审查，将科技伦理要求贯穿全过程。

提升治理能力水平

建设人工智能安全测评体系：模型算法安全测评、应用通用安全测评、具体场景安全测评。

促进重要行业规范应用：制定政务、金融、教育、广播电视、卫生健康、应急管理等行业应用安全指南。

加大安全人才培养力度，形成基础教育到高等教育的培养链条。

构建柔性、动态、可控的沙箱监管环境

建立行业分类与风险分级相结合的沙箱监管规则。

实施动态测试和弹性准入，向初创企业、中小微企业和公共服务项目适当倾斜。

探索规范责任豁免制度，但危害国家安全、侵犯人身权益、造成重大损害或故意违法不豁免。

加强数据资源保障和成果转化，建立沙箱测试数据共享平台。

强化安全管理举措

实施应用分类及安全风险分级管理，关键信息基础设施AI系统登记备案，建立智能体风险管理框架。

推广人工智能生成合成内容可追溯管理，覆盖制作源头、传播路径、分发渠道。

加强研发应用安全管理，建立覆盖模型全生命周期的安全治理体系。

强化开源生态安全和供应链安全管理，明确开源模型下载使用的“禁止性”行为。

共享安全风险信息，建设漏洞信息库。

完善人工智能驱动的网络安全防护体系，推动从被动防御转向预测性主动防御。

深化治理共识

增进协同应对人工智能失控风险的共识，加强最终用户、用途管理，推广可信人工智能基本准则。

提升全社会人工智能安全意识。

促进国际交流合作，支持联合国发挥主渠道作用，发挥世界人工智能合作组织等平台作用，推进APEC、G20、上合组织、金砖国家等机制合作，增强发展中国家代表性和发言权。

05

人工智能安全指引

框架第5章面向不同主体提出具体安全指引：

模型算法研发安全指引
包括：提升算法可靠性、可信度、透明度、容错性、隐私保护；确保训练环境安全；构建安全训练数据集；规范标注；重视数据安全和个人信息保护；加强训练过程安全验证；定期安全测试评估；制定测试规则；评估外界干扰容忍度；定期披露安全评估；做好版本管理；合理设定智能体行为边界；二次开发安全评估；开源模型来源和完整性校验；积极参与开源社区。

应用建设部署安全指引
包括：评估目标场景必要性及长期影响；增强供应链安全；安全检测软硬件、第三方工具、插件；访问控制层面禁用非必要端口和服务；应用管理层面身份识别和权限控制；数据安全和隐私保护；采用安全护栏；加强检索增强生成、知识库管理；具身智能、人形机器人部署时开展安全评估，配备故障自检、碰撞防护、紧急停止。

应用运行管理安全指引
包括：建立安全管理和监督机制；严格权限管理；建立运行监测和应急预案；生成内容标识和溯源；信息内容交互规范；日志留存不少于6个月；实时风险监控；提升透明度、公平性；向使用者说明目标实现度和偏离度；维护知情权、选择权、监督权；明确数据归属和责任主体；落实数据安全管理；评估异常条件抵御能力；加强从业人员培训；合同中明确误用滥用纠正措施；面向未成年人、老年人设置防沉迷、防过度依赖；建立安全事件报告处置机制；更新升级安全评估和回退；拟人化互动服务健全身份提醒、时长提醒和危机干预。

应用访问使用安全指引
包括：提高风险认识，选择信誉良好应用；阅读合同和隐私政策；保护个人信息；了解数据处理和权限；关注网络安全；注意对儿童青少年影响；根据标识识别生成内容，警惕深伪，不轻信、不传播未经核实信息。

06

附件解读

附件1：人工智能安全风险分级原则

风险分级主要考虑三个要素：

应用场景：应用目的、行业领域、使用环境、服务对象及社会、经济、安全影响。

智能化水平：从辅助建议到全流程自主决策，人工介入程度递减。

应用规模：用户范围、覆盖广度、是否深度嵌入关键行业。

风险分为五级：低安全风险、一般安全风险、较大安全风险、重大安全风险、特别重大安全风险。
风险定级推动国家标准、行业细则和分类分级工作，指导有关单位准确识别、及时防范重大和较大风险。

附件2：智能体风险管理框架

智能体风险贯穿设计研发、安装部署、指令输入、推理规划、调用执行、记忆存储、结果输出、停用下线等全生命周期。
主要风险包括：设计研发风险、安装部署风险、指令输入风险、推理规划风险、调用执行风险、记忆存储风险、结果输出风险、停用下线风险、其他安全风险。
防范措施包括：风险预防前置、身份与权限管理、加强人工审批、供应链与工具管理、运行时动态管理、持续监测与审计、停用安全管理。
该附件特别强调：智能体应配备唯一身份标识、最小权限、动态凭证；关键决策节点强制人工审批；工具、插件、技能需安全性与完整性验证；记忆管理要隔离、加密、最短保存期限；运行环境隔离；全链路日志审计；停用后全面关停服务、备份必要数据、清理部署环境。

附件3：可信人工智能基本准则

提出八条准则：

人类最终控制。

尊重国家主权。

价值观对齐。

提升系统透明度。

促进可客观验证。

强化安全防护。

前瞻预防应对。

全球协同共治。

07

核心亮点与趋势判断

从“回答问题”到“执行任务”：框架高度关注智能体、具身智能带来的自主行为、权限滥用、工具调用、记忆存储等新风险。

全生命周期治理：覆盖设计研发、部署、运行、访问使用、停用下线全过程。

分类分级与风险导向：以应用场景、智能化水平、应用规模为分级要素，匹配差异化措施。

技管结合：技术应对与法律法规、标准、沙箱监管、行业规范、国际合作相结合。

沙箱监管与责任豁免：为创新提供容错空间，同时守住安全底线。

内容标识与可追溯：强调生成合成内容标识、溯源管理，防范深伪和GEO投毒。

开源与供应链安全：关注开源模型被解除安全机制、供应链断供、后门植入等风险。

国际治理共识：支持联合国主渠道，推动全球治理框架和可信AI准则。

防范失控：将“确保人工智能始终处于人类控制之下”作为重要底线，提出人类最终控制、熔断、一键管控、人在回路等机制。

总结

《人工智能安全治理框架3.0》是一份系统性、动态性、实践性很强的治理文件。它既延续了1.0和2.0的“风险分类、技术应对、综合治理”主线，又针对智能体、具身智能、自主网络攻击、信息内容操纵、GEO投毒、智能体社交平台等新风险进行了更新。其核心精神是：在鼓励创新发展的同时，坚持安全底线，通过分类分级、技术与管理结合、全生命周期治理、沙箱监管、国际合作和可信AI准则，推动人工智能健康、规范、可控、可信地发展。

对研发者、服务提供者、使用者、监管者而言，该框架既是风险清单，也是操作指引和治理路线图。

立即加入AI安全社群

-