股票 
板块 
用户 
资讯 随着大模型规模持续扩张，单一数据中心算力难以承载完整训练任务，多数据中心联合训练已成为行业主流路径。异地机房之间广域链路传输能力有限，容易产生通信耗时过长、梯度更新滞后、网络资源争抢等问题，难以平衡训练速度与模型最终精度。对此，北京大学计算机学院刘古月助理教授团队依托北京大学 鲲鹏昇腾科教创新卓越中心算力支持，完成基于昇腾AI基础软硬件平台的DCWeave延迟更新网存算协同框架的研发，提出了一种将跨数据中心通信从“显性等待项”转化为训练流水线核心组件的创新架构。
团队通过多组并行策略对比分析，选定DP（数据并行）作为跨数据中心场景的适配并行维度，将 TP、EP等高通信开销并行策略约束在单机房内部执行，从源头大幅削减跨地域传输的数据总量。在分布式训练体系中，张量并行、专家并行会产生大量高频参数交互，若跨广域部署会成倍放大通信延迟，因此团队统一将两类并行约束在本地机房内网运行，仅保留数据并行负责跨机房样本分发与梯度同步，从架构源头控制跨域数据流量规模。
整套DCWeave框架依靠三层核心机制协同完成通信优化，各模块分工明确、联动调度。Overlap-AwareProfiler性能感知分析模块会在训练预热阶段自动采集、测算每一轮计算与梯度通信的耗时数据，根据链路带宽实时动态划分梯度传输单元，让计算任务与梯度传输尽可能重叠执行，充分利用训练空闲窗口消化梯度数据，减少算力空等；PAU分区异步更新机制不再等待全部节点梯度完成传输再统一更新模型，而是采用细粒度分批梯度更新逻辑，只要局部分区梯度回传完成即可参与权重更新，有效缩短梯度更新滞后间隔，缓解异步训练普遍存在的精度下滑问题；PAC梯度对齐压缩模块聚合多批次待传输梯度数据，统一完成压缩对齐后再推送至异地机房，批量传输模式大幅降低远距离链路的数据传输压力，缓解多节点并发传输带来的网络拥堵。
本次DCWeave全部工程适配工作依托昇腾平台完成落地实现。昇腾软硬件分别承载不同环节的开发与调度需求。MindSpeed 适配项目DP跨域并行架构，可直接作为分布式训练基础底座，内置分布式并行调度能力，有效降低三大自定义调度模块的二次开发成本；TorchNPU打通PyTorch训练代码与昇腾硬件的适配通道，保障团队新增的梯度分区、异步调度等自定义模块能够直接在NPU环境中完成调试、运行；CANN提供硬件优化融合算子与高效集合通信能力，保障多节点之间梯度传输、梯度归约等高频通信流程高效顺畅执行，充分释放硬件算力。
依托整套昇腾软硬件生态，团队搭建多机房对照训练场景，完整开展多组大模型对比实验，并从训练迭代时间、模型精度、收敛效果三大核心维度开展实测验证，量化评估框架优化收益。
迭代时间层面，DCWeave相较多数主流训练方案，单轮迭代耗时能够降低 34.5%-67.7%，直接削减每一轮训练的通信等待时长，训练整体吞吐效率得到明显提升；模型精度层面，完整跑完5000轮标准训练流程后，DCWeave训练得到的模型损失数值与标准同步训练基线基本持平，经过长周期训练后模型精度无明显衰减，解决传统异步训练精度损失的痛点；收敛效果层面，框架依托三层模块协同调度从机制上缓解异步训练梯度滞后缺陷，模型达到预设目标精度所需的整体训练时长大幅缩短，整体收敛表现显著优于传统异步训练方案，真正实现训练提速与保障模型训练质量双向兼顾。
在完成当前版本框架验证后，研发团队规划多维度持续迭代优化DCWeave框架。一方面推进异构算力集群适配调整，适配不同硬件配置、不同组网规格的异地机房；另一方面探索存储网络与训练通信协同方案，进一步分摊跨域链路传输压力；同时结合各类成熟通信优化技术融合迭代，持续削减跨机房梯度传输开销。除此之外，团队还将拓展框架适配边界，完成 MoE 混合专家模型、多模态大模型等多种主流模型形态的适配开发，覆盖更多产业实际训练场景。
团队将依托开发者社区开展常态化技术交流，同步分享跨域分布式训练落地经验，面向全行业跨地域算力协同训练场景提供轻量化、易部署的调度解决方案，持续推动分布式大模型训练技术在产业端落地实践。
◆往期推荐◆
基于鲲鹏的Agentic AI Infra与应用技术创新研讨会成功举办
评论 (0)