在进行算子开发过程中,有时会遇到一种“幽灵”Bug——算子输出结果偶现精度异常,但代码逻辑看上去完全正确。这类偶发精度异常,很多时候是数据竞争导致的,前面我们也介绍过相关问题;但本次排查后,已经排除了数据竞争这个诱因。经过反复排查最终发现,原来是算子读取了一段从未被写入的内存,拿到了残留的脏数据。
这就是典型的“未初始化读取”问题。由于昇腾NPU上的内存空间(GM、UB、L1等)在分配后并不会自动置零,未写入就读取,会读到上一次运算残留的随机值,导致算子精度异常。更棘手的是,这类问题往往偶现——取决于内存中恰好残留了什么数据,极难复现和定位。
而MindStudio Sanitizer(msSanitizer)异常检测工具的未初始化检测功能,恰恰可以帮你精准定位这类问题。对一般算子完成分钟级扫描,告警精确到代码行。你可以快速定位到"哪里读了未初始化的内存",让隐蔽的脏数据问题无处遁形。
msSanitizer异常检测工具主要包括内存检测、竞争检测、未初始化检测、同步检测四大功能。本文将从未初始化检测入手介绍工具原理,并通过一个实际算子案例帮你快速掌握工具的使用方法。
什么是未初始化读取?
内存初始化原理
在昇腾AI Core上,算子运行时涉及多种内存空间:
这些内存空间在分配给算子使用时,不会自动清零。也就是说,分配后内存中存储的是上一次使用后残留的“脏数据”——可能是全零,也可能是任意随机值。只有当算子对某块内存执行了写入操作后,该内存中的数据才是确定的、可预期的。
未初始化读取的后果
来看一个简单的例子C=A+B。这是一个基础的向量加法算子:
对应算子源码:
正常执行算子,应该能看到终端显示:
如果我们不小心漏掉了第109行的初始化操作,直接执行计算,那么 d_B 中保存的就是GM上残留的脏数据,计算结果和golden不一致,最终精度校验失败,终端显示如下:
这类问题的典型表现是:
算子输出偶现精度异常——每次运行结果可能不同
特定输入下才出现——当脏数据恰好不影响计算时,结果看起来正常
调试时难以复现——内存残留值依赖于之前运行的算子状态
msSanitizer的未初始化检测功能,正是为解决这类问题而设计的。它通过影子内存(Shadow Memory)技术,在算子运行时追踪每字节的初始化状态,当检测到读取未初始化内存的操作时,立即报告异常位置。
工具检测原理
msSanitizer未初始化检测的原理是影子内存,可以理解为实际内存的镜像。为每一字节的实际内存维护一个对应的"影子字节",用于记录该内存的初始化状态。有以下四种状态:
当算子申请内存时,根据申请内存的起始地址和内存大小可以确定一片区域,这片区域上每个字节的状态被标记为 UNDEFINED,用来表示这块内存已分配,但还没有写入有效数据。当算子对某块内存执行写入操作时,影子内存对应区域被标记为 DEFINED,用来表示这块内存已写入,可以安全读取。
当算子执行读取操作时,工具会检查影子内存的状态:
如果是 DEFINED → 正常,无异常
如果是 UNDEFINED → 报告未初始化读取异常,精确定位到发生读取的代码行
通过这种“先写后读”的追踪机制,msSanitizer能够在算子运行时实时检测到所有未初始化读取行为,并给出精确的代码位置信息。
工具使用方式
我们以Atlas 800I A2 推理服务器和Atlas 800T A2 训练服务器产品为例,这个系列的产品在算子编译时,需要增加检测编译选项以支持msSanitizer检测功能。在CMakeLists.txt中添加“-g --cce-enable-sanitizer”:
然后重新编译算子,并在算子执行时,在命令行使用检测工具拉起算子:
mssanitizer -t initcheck vector_add_c_api可以看到异常告警的打屏:
这个告警提示用户存在8192字节的未初始化读,读行为出现在GM的0x12c041402000这个地址上,错误发生在核函数add_kernel(float*, float*, float*, long, long, unsigned char*)中,对应vector核和device卡的序号都是0,代码的pc值为0x23c,工具日志对应的序号为22(用于进一步debug),调用栈是cann-samples/Samples/0_Introduction/vector_add_c_api/main.asc文件的第74行。查询代码可以发现,这一行做的事情是搬入数据,即从GM读取数据并写入UB:
而我们此前遗漏了本应出现在109行的GM初始化步骤:
因此这里y所指向的GM地址都是没有初始化过的,属于未初始化读。通过向前追溯该地址,就能发现遗漏了初始化步骤。补上109行的初始化操作并重新编译算子,再次用检测工具拉起算子,可以看到打屏如下:
工具没有再检出未初始化问题了,并且算子精度也正常了。
总结
未初始化读取问题由于偶现的特性,非常隐蔽,手工排查费时费力。使用msSanitizer的未初始化检测功能,可以快速定位到读取未初始化内存的代码位置,帮助开发者精准修复问题。
回顾一下使用流程,只需三步:
添加编译选项:在CMakeLists.txt中添加-g --cce-enable-sanitizer选项
重新编译算子:重新编译以使能检测桩代码,添加调试信息
运行检测:mssanitizer -t initcheck your_kernel
此外,msSanitizer还提供了内存检测(memcheck)、竞争检测(racecheck)、同步检测(synccheck)三大核心功能,建议的检测顺序为:先内存检测 → 再竞争检测 → 再未初始化检测 → 最后同步检测,层层递进,全面保障算子运行安全。
?? msSanitizer链接:
https://gitcode.com/Ascend/mssanitizer
?? 昇腾AI Core 基础架构文档:https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/latest/programug/Ascendcopdevg/docs/zh/guide/programming_guide/advanced_programming/hardware_implementation/basic_architecture.md
?? Vector Add C API文档:
https://atomgit.com/cann/cann-samples/tree/master/Samples/0_Introduction/vector_add_c_api
扫描二维码一键直达msSanitizer开源社区
扫描二维码加入MindStudio技术交流群
股票
板块
用户
资讯
评论 (0)