近年来大模型训练对算力的需求的爆炸式增长持续推动训练方法和硬件架构的演进。其中,对低精度训练的支持是新一代模型训练系统实现提升训练效率的关键途径。本报告介绍基于昇腾 950 超节点完成的openPangu低精度训练实践:训练loss误差小于0.16%,MFU达到51%,FP8训练性能相比BF16加速24%。相关技术后续将陆续开源,欢迎关注。
细粒度低比特精度控制,实现openPangu低精训练稳定收敛
大模型训练面临算力与显存开销高等挑战,低精度训练可有效降低资源开销、提升训练效率,但也因数值误差影响收敛稳定性。针对上述挑战,通过细粒度精度控制,结合MXFP8与BF16混合精度计算、量化精度优化等技术,兼顾训练效率与数值稳定性,实现openPangu低精训练稳定收敛。
MXFP8与BF16混合精度方案:在当前的方案中,我们将线性层及MoE专家矩阵乘启用MXFP8低精度计算,LM-Head等其他线性层保持BF16精度计算。
混合精度方案
量化舍入优化解决上溢风险:在缩放因子的舍入方式上,我们识别到OCP (Open Compute Project ) v1.0的向下舍入会带来数值的饱和和截断,从而带来精度风险。我们充分验证了向上舍入方式能够避免动态范围被压缩和上溢的问题,有效提升训练中的数值稳定性。
两级精度控制机制实现精度混合灵活配置:按Transformer层序号和模块名称两级粒度启用低精度计算的能力,从而实现更加精准的混合精度控制,同时采用的低精度使能白名单管理方式在保证灵活性的同时,从源头杜绝了低精度计算范围的意外扩大。
精度监测实现训练稳定:以模块中的矩阵乘为观测单元,在不引入额外集合通信的前提下,支持从不同模块、计算阶段和并行范围分析量化误差,为低精度训练的精度问题定位与模块级精度配置调整提供依据。
模型收敛观察及精度验证结果:如下图所示,BF16与MXFP8的训练loss均在初期快速下降,随后逐渐进入平稳收敛阶段,未观察到loss分层、spike等精度异常现象,一万亿Token训练数据的训练过程中loss平均偏差约为0.16%,下游评测指标平均偏差0.28%~0.83%。
模型训练loss曲线
下游任务模型评测结果对比
openPangu昇腾950超节点性能优化,MFU达到51%
大模型训练规模持续扩大,训练周期与算力成本压力日益突出。低精度计算加速后,数据搬运、通信等待及算子调度等开销进一步凸显。针对这些挑战,我们依托昇腾950超节点,围绕显存优化、通信与计算重叠、优化器计算、算子融合及内存池化等维度协同优化,提升端到端训练效率。
低精度权重驻留-实现激活显存优化:在每次优化器更新后将权重量化为 MXFP8 格式,并在后续多个 microbatch 的前反向计算中复用。与此同时,我们通过融合量化算子一次生成前向反向两个方向的数据,减少 kernel 调用次数,并及时释放高精度激活值,从而降低激活显存占用。
低精度权重驻留
双向量化分流通信-解决低精通信传输陷阱:由于 MXFP8 的两个方向均需保存量化数据及缩放因子,若直接对其中的两组量化结果进行通信,其数据量相较单组 BF16 数据会增加约 1/32,性能反而劣化。在序列并行场景下,按前向及反向的计算需求分别传对应方向的数据,避免了序列并行线性层中激活的重复 All-Gather 通信。在计算梯度时则利用权重和激活梯度计算不共用输入的特点,采用一组数据异步传输从而实现传输-计算重叠来掩盖通信延迟。
双向量化分流通信
逐参数通信-减少数据搬运:利用超节点高带宽,HyperParallel FSDP 对参数 All-Gather 和梯度 Reduce-Scatter 采用逐参数通信,跳过参数合并与批量拷贝,减少冗余搬运。
HyperParallel FSDP 逐参通信优化
分布式Muon计算-去冗余,降低七成耗时:面对Muon 的 Newton–Schulz 正交化需要完整动量矩阵,我们按参数矩阵分配任务,各 rank 仅对自身负责的完整矩阵执行正交化,再通过 Broadcast 分发结果,各 rank 按原分片布局提取本地切片更新参数,从而降低约 70%的计算耗时。
AutoFuse 入图-缓解 Host Bound:AutoFuse 是昇腾 950 上基于 Ascend C 的自动融合框架,将多个小算子合并下发,减少 kernel launch 和中间数据搬运,MoE Router 启用 AutoFuse 后,相较未入图的对照配置,整网 kernel 下发数量减少 7.7%,端到端性能提升3%。
Engram 池化优化-实现模块提速1.5-2.3倍:超节点池化统一管理 CPU 侧 DRAM 与 NPU 侧 HBM,并提供单边通信能力。根据本地哈希索引定位嵌入向量所在的 rank 及地址,并发直接读取,无需在本地汇聚完整表,从而省去表分片 All-Gather,减少 All-to-All 交换和重复取数。相较非池化方案,Engram 模块前向耗时由 0.93 ms 降至 0.39 ms,加速 2.38 倍;反向由 1.5 ms 降至 1.0 ms,加速 1.5 倍。
Hyper MegaMoE-实现整网提升吞吐提升10.9%:低精度计算缩短矩阵乘耗时后,MoE 中的通信等待更加突出,MegaMoE 将 Dispatch、专家矩阵乘、激活和 Combine过程组织在单个 kernel 中统一调度通信与计算,并将大块任务拆分为细粒度流水线减少等待,实验表明整网吞吐可提升 10.9%。
昇腾950亲和细粒度多流融合算子:昇腾950新增了片内Cube Core与Vector Core之间的高速数据交换通道,可以实现更细粒度的CV多流并行策略,例如下图所示,我们针对mHC Pre 反向使能 L0C->UB、UB->L1 两条通路,连接 C0->V2->C1 这三个计算阶段,减少 GM 中转实现2-3倍的性能提升。此外,基于新增的集合通信专用硬件单元 CCU 通信引擎,可以实现通信任务下发与调度开销显著降低,达成整网性能3%的提升。
mHC_Pre算子细粒度流水优化提高 CV 并行度
并行策略和整网性能测试:我们基于 openPangu-2.0-Pro 505B MoE 模型,在1024 Rank集群上采用EP64+FSDP并行策略:EP64 将专家计算分布到64个Rank;FSDP对Dense参数采用 16 路分片,对路由专家参数采用 2 路分片,TP、PP、CP 均为 1。在相同并行配置下,昇腾950集群 MXFP8 训练方案相比 BF16 吞吐提升24.0%,整网 MFU 达到51.0%。
端到端训练性能结果
*注:MFU统计方式:硬件峰值算力统一以BF16算力为基线,且包含Muon优化器的耗时,但在模型计算量统计中未包含优化器计算耗时
Step快恢技术,实现分钟级业务恢复
大规模训练集群下,检查点保存、故障感知与恢复等面临更大挑战,针对硬件故障中占比较高的UCE(不可纠正错误),基于UCE故障可硬件隔离复位的特性构建了进程无需退出的STEP级快恢技术,采用“健康副本恢复状态、训练步起点对齐、原进程重试”的方法实现分钟级快恢效果。
Step 快恢方案
总结
基于昇腾950超节点,openPangu的低精训练实现了训练Loss误差低于0.16%的长稳训练,并达成51%的MFU。昇腾950超节点系统为大模型训练提供了完整的算力支撑,我们在此算力基座实现的低精训练端到端实践也将为人工智能之路上的同行者提供极具价值的参考。本报告中涉及的技术源码均将陆续在openPangu社区开源,欢迎持续关注,也祝愿同行者基于此实践实现更大的技术突破。
openPangu开源仓:https://gitcode.com/ascend-tribe
昇腾950超节点openPangu高性能低精训练系统:https://gitcode.com/ascend-tribe/openPangu-training-system/tree/main/docs
昇腾950超节点openPangu高性能低精推理系统:https://gitcode.com/ascend-tribe/openPangu-inference-system/tree/main/docs
股票
板块
用户
资讯
评论 (0)