股票
板块
用户
资讯
首页
天眼
自选
发现
开户
首页
天眼
自选
发现
我的

异构计算的软硬件协同优化:北京邮电大学团队依托昇腾实现SpMM算子最高20.55倍加速,成果入选PPoPP 2027

稀疏矩阵-稠密矩阵乘法(SpMM)是图神经网络(GNN)、科学计算与稀疏大模型推理的核心算子。在实际落地昇腾NPU时,SpMM面临两方面架构挑战:一是AI Cube(AIC)与AI Vector(AIV)物理解耦、各自拥有独立访存带宽,单一计算引擎难以兼顾高吞吐与不规则访存,而多核协同易引发原子写冲突;二是NPU采用单线程标量单元(Scalar Unit)显式分发指令,多级缓存延迟差异与硬件8个同步标志(8-flag)限制易导致访存流水线停顿。针对上述问题,北京邮电大学邵蓥侠教授团队提出了面向昇腾NPU解耦架构的Ascend-SpMM框架,在SuiteSparse 820个矩阵评测中较NPU基线取得12.70×~20.55×的几何平均加速,端到端GNN训练性能提升达3.5×~6.8×。相关研究成果已被并行计算领域国际顶级会议PPoPP 2027录用。

图1 Ascend-SpMM整体架构:异构任务映射+AIC/AIV双子内核运行时

该方案围绕昇腾NPU物理解耦架构与单线程显式指令流水线特性展开协同优化,包含冲突有界的密度感知任务映射、AIC层次感知软件流水线、以及AIV基于环形缓冲区的隐式同步三项关键技术,如图1所示。


面向昇腾解耦架构的关键优化
异构任务映射:密度感知划分,将跨核写冲突收敛至单个窗口

在昇腾达芬奇架构中,AIC适合处理规则稠密块,AIV适合处理细粒度非零元。若仅按非零元数量均分或按细粒度块切分任务,AIC与AIV在同时累加输出矩阵同一行时会触发大量原子写操作(实测地址重叠会带来约14.9%的额外写回延迟)。

团队构建了以访存为中心的代价模型,按匹配Cube行维度的行窗口(W=16)统计有效密度并排序。理论证明(阈值最优性定理),在连续松弛下存在最优切分阈值:高密度窗口以W×1 BSR格式交由AIC计算,低密度长尾窗口以CSR格式交由AIV计算,全矩阵至多只有1个边界行窗口需要拆分为AIC与AIV共享,在保障双引擎负载均衡的同时严格限制了原子写冲突,如图2所示。

图2 按密度排序的跨核任务映射,仅唯一边界窗口被离散切分

AIC子核优化:层次感知流水线,掩盖跨级数据搬运延迟

AIC包含GM→L1→L0A/L0B→L0C多级显式缓存,其中MTE2(GM→L1)搬运延迟大于100ns,而内层MTE1与Cube计算仅需数纳秒至二十纳秒。如图3所示,传统逐块(Tile-by-tile)调度中,穿插的内层指令会推迟后续MTE2请求的发射,造成访存通道闲置。

Ascend-SpMM固定最小块高m=16以减少补零冗余,在L0B双缓冲容量约束下最大化特征维度n(FP16下n=1024,FP32下n=512);同时解耦内外层调度粒度,如图3所示,在MTE2层级按批次(g=6)连续提前下发多个数据块传输至L1缓存,使长延迟的GM访存与内层MTE1/Cube指令的分发和执行充分重叠。

图3 AIC 流水线对比:(a) 传统逐块调度;(b) 层次感知批量流水线

AIV子核优化:环形缓冲区隐式同步,突破硬件8-Flag限制

AIV按行处理不规则非零元时,频繁的细粒度随机访存对流水线并发度要求较高。传统多缓冲机制需为每个缓冲区配置前向(MTE2→Vector)与后向(Vector→MTE2)同步标志,受限于硬件最多8个同步标志(8-flag limit),在途访存请求数量受限,实测Naive CSR有效带宽利用率仅16.17%。

团队利用Vector指令队列按序完成及队列满载(深度Qv=32)自动阻塞Scalar指令发射的硬件机制,在片上UB中构建了包含L=64个槽位的轮询环形缓冲区(L ≥ Qv+1)。当MTE2绕环复用同一槽位时,硬件队列深度天然保证了此前使用该槽位的Vector指令已执行完毕,从而消除了显式后向同步开销,仅需复用1个硬件Flag维护前向依赖,将离散随机读取转化为连续的MTE2访存流。如图4所示,隐式同步策略相比传统多缓冲和批处理策略,可以更有效的利用MTE2带宽。

图4 三种缓冲机制下的 MTE2 访存时间线:(a) 多缓冲;(b) 多缓冲+批量;(c) 隐式同步


性能评估与GNN训练实践

实验基于昇腾Atlas 800I A2与Atlas 800T A2(CANN 8.5.0)开展,评测集涵盖SuiteSparse中820个真实稀疏矩阵及6个典型GNN基准图数据集,并与NVIDIA A100(40GB)上的主流GPU方案进行横向对比。

算子吞吐与硬件利用率表现

表1展示了Ascend-SpMM相对现有方案的加速比。在820个矩阵上,相较于为每个矩阵单独选取的最强NPU基线(涵盖Naive CSR、Moustafa及NeutronSparse),Ascend-SpMM在所有测试矩阵上均取得正加速,四个测试配置下的几何平均加速比达12.70×~20.55×。以典型矩阵mip1为例,AIC与AIV的MTE2硬件搬运利用率分别从基线的24.0%和34.8%提升至94.6%与93.4%。在与A100 GPU方案对比中,Ascend-SpMM较cuSPARSE取得2.48×~4.46×的几何平均加速,并在N=256、FP16配置下超过GPU端方案FlashSparse(3.61× vs. 2.96×)。

表1 Ascend-SpMM在820个SuiteSparse矩阵上的加速比统计

典型GNN图数据集算子性能对比(Atlas 800T A2)

为进一步检验算子在真实图负载上的代表性,团队在昇腾Atlas 800T A2上选取了6个常用GNN基准图数据集(非零元规模覆盖0.5M~79M,设置N=128、FP16),与NPU上的NeutronSparse以及NVIDIA A100上的FlashSparse、cuSPARSE进行算子执行时间对比。如表2所示,Ascend-SpMM在6个图数据集上较同平台NeutronSparse取得10.39×~38.33×的显著加速;同时在Flickr、ogbn-arxiv、Yelp、Amazon Computers及IGB-HOM small等5个数据集上,其执行耗时均低于A100上的FlashSparse(最高提速3.44×)与cuSPARSE(最高提速8.71×),展现出优异的跨规模图算子加速能力。

表2 典型 GNN 基准图数据集上的 SpMM 算子执行时间对比(单位:ms,N=128,FP16)

端到端GNN模型训练加速

团队将Ascend-SpMM通过PyTorch C++扩展集成至PyG框架,替代原有的Scatter消息传递算子。如图5所示,在Flickr、ogbn-arxiv与Yelp三个图数据集上运行两层GCN训练(200轮,含预处理耗时),端到端训练速度较原生PyG提升3.5×~6.8×,较昇腾MindSpore-GL提升1.4×~2.4×,其中Yelp数据集训练耗时由206.5秒缩短至30.5秒,并有效避免了大规模图上的显存溢出(OOM)问题。

图5 Flickr、ogbn-arxiv、Yelp上两层GCN端到端训练耗时(含预处理,200 轮)


总结与开源信息

本次研究面向昇腾NPU物理解耦架构与指令分发机制,通过软硬件协同设计实现了SpMM算子的高效执行,验证了昇腾平台在图计算与不规则稀疏负载上的算力潜力。相关方法也为后续稀疏注意力(Sparse Attention)、剪枝大模型推理等稀疏算子在昇腾架构上的优化提供了参考。

?? 论文题目:

Ascend-SpMM: Accelerating Sparse Matrix-Dense Matrix Multiplication on Ascend NPUs (PPoPP '27)

?? 开源仓库/论文链接:[Ascend-SpMM] (https://github.com/IDMG-Lab/Ascend-SpMM) / (https://arxiv.org/pdf/2611.01936v1)

原文链接
多空观点 观点仅供交流,不构成投资建议
点赞
踩一踩
收藏
分享

评论 (0)

0/200
声明:社区内容仅代表用户个人观点,不构成任何投资建议。投资有风险,入市需谨慎。