股票
板块
用户
资讯
首页
天眼
自选
发现
开户
首页
天眼
自选
发现
我的

检测误报率降至零样本大模型的七分之一:清华姜进磊团队推出覆盖检测、验证与修复的AI安全技术方案

AI编程工具正在走进日常研发流程,代码安全随之成为新的瓶颈。传统静态应用安全测试(SAST)以规则匹配为主,覆盖不足、误报率高;用生成式大模型逐条判断,推理成本高、输出不稳定,也难以承担默认判定。在有限算力下同时控制误报与漏报,是函数级漏洞检测必须解决的问题。

在清华大学 鲲鹏昇腾科教创新卓越中心支持下,清华大学计算机系高性能计算研究所姜进磊团队联合当地企业,完成基于代码安全大模型的安全代码生成与检测技术研究,取得三项核心成果:研制MonkeyCode AI安全开发系统一套;训练微调漏洞检测判定模型与配对补丁验证模型各一个;研发判定引导修复智能体一个。在此基础上,团队用公开基准与真实漏洞数据完成了评测,覆盖漏洞检测、补丁验证与修复三方面,检测在PrimeVul官方切分的1:4子集2745条函数级样本上进行,修复在CVEfixes的100个真实CVE上进行,函数级检测准确率84.48%、误报率5.0%,41个可对齐子集中严格口径修复成功率68.3%。

从技术构成看,三项成果中MonkeyCode AI安全开发系统是平台,两个模型和判定引导修复智能体构成运行其上的模型能力层。方案整体技术架构按入口、平台、模型、算力四层支撑:用户入口层覆盖Web、IDE、移动端与Git Bot,全端任务数据互通。平台层编排“任务输入—执行—改动—验证—评价”的闭环,改动可回流至GitHub、GitLab、Gitea与Gitee。模型能力层提供代码补全、漏洞检测、补丁验证与修复,判定以轻量判别模型为主、生成模型按需介入;算力底座层则由鲲鹏CPU承担数据预处理、昇腾NPU承担训练与推理。

图1 总体技术架构:入口、平台、模型、算力四层支撑

第一项关键技术是漏洞检测判定模型,解决有限算力下的误报与漏报控制。团队把检测建模为函数级判别任务,而非生成任务:以预训练代码大模型做语义编码,通过参数高效微调注入判定知识,由轻量分类头直接输出连续风险分。连续风险分让同一个模型能在不同误报预算下复用,收紧阈值降低误报,放宽阈值提高召回,低置信样本再交由大模型复核。在PrimeVul官方切分的1:4子集上(共2745条,正样本549条、负样本2196条,阈值只在验证集上选定、原样用于测试集),本方案在5.0%误报率下F1为52.9%;零样本大模型在35.1%误报率下F1为51.6%;本方案误报率约为零样本大模型的七分之一;开源SAST工具Flawfinder的误报率为9.9%。全判良性的基线本身就有80.0%的准确率,函数级筛选的价值应看F1与误报率这一组指标。

第二项关键技术是配对补丁验证模型,要判断的是“这个补丁有没有真的把风险降下来”。绝对风险阈值会随项目、语言与漏洞类型漂移,单点分类难以回答这个问题。补丁验证因此被转化为相对判别:同一模型共享编码器做双输入打分,分别编码修复前与修复后的函数,学习“修复后风险应低于修复前”的序关系,替代全局绝对阈值。前后版本在同一表征空间内比较,对项目分布与语言的依赖明显降低。该判据在域内用于筛选候选,跨域不轻易外推。

第三项关键技术是判定引导修复智能体,直接决定修复结果的可靠性。单次生成的补丁方向不稳定,生成模型也难以判断补丁修得是否正确,修复因此成为一次验证驱动的候选搜索:生成器一次给出多个候选,验证器提供方向性评分并排序,编排器择优采用,或在失败反馈后触发重生成,轮次与候选数都设了预算上限。一次采样的方向风险被分散到多候选选择上,单次失败不再决定最终结果。修复评测在CVEfixes的100个真实CVE上开展;其中41个可与官方补丁方向对齐,在这41个样本中严格成功28个,修复成功率为68.3%。

第四项关键技术是MonkeyCode工程系统,也就是前述AI安全开发系统的工程实现,负责智能体在真实仓库中的执行保障。安全编码智能体要执行长任务、调用工具、修改真实代码,单进程执行很难同时保证隔离、审计、复现与资源回收。系统采用控制面与执行面分离的架构:控制面负责任务状态机、模型路由、权限与审计,执行面通过gRPC调度,每个任务独占一次性沙箱并按TTL回收,配合请求级审计与RBAC。隔离、审计与资源回收由此从模型逻辑中剥离,多任务与多模型接入更为可控。

训练、评测与消融全流程测试均于鲲鹏、昇腾平台上完成。硬件侧基于鲲鹏CPU和昇腾NPU,软件栈采用CANN 9.0、PyTorch 2.7.1与torch_npu 2.7.1高效协同,全链路运行稳定,未出现平台性故障。在政务场景中,系统已在鲲鹏920环境完成部署并投入实际运行,私有化版本部署于客户内网,审查效率较原有流程大幅提升。这套安全系统从数据预处理、模型训练到推理服务,已经在自主算力上完整跑通。

图2 检测误报率对比(数据来源:项目结题汇报·测试结果)

MonkeyCode已在GitHub与GitCode双平台开源,截至2026年11月16日,GitHub仓库获得5.2k Star、782 Fork、103个Release、137个tag,配套20个官方插件与monkeycode-cli命令行工具,AI安全数据集持续开放。现阶段,修复环节的成绩取得于CVEfixes中可与官方补丁方向对齐的样本;真实研发中的改动往往横跨多个文件与多个chunk,这部分尚未纳入当前评测。未来,依托清华大学 鲲鹏昇腾科教创新卓越中心,团队将继续推进关键技术的优化,推动这套方案走向更真实的研发场景。

?? 仓库地址如下:

https://github.com/chaitin/MonkeyCode

https://gitcode.com/chaitin/MonkeyCode

◆往期推荐◆

昇腾上跑出跨会话记忆能力:清华张超团队构建全双工语音对话模型PERSIST,回答准确率较主流检索方案提升26.58%

原文链接
多空观点 观点仅供交流,不构成投资建议
点赞
踩一踩
收藏
分享

评论 (0)

0/200
声明:社区内容仅代表用户个人观点,不构成任何投资建议。投资有风险,入市需谨慎。