在大模型规模化推理场景中,集群吞吐能力与硬件资源利用率是决定应用落地效率的核心指标。UBS Core Mem与SGLang的深度融合,打破AI超节点的“内存墙”,创新性引入全量片上内存的统一编址思想,从内存消减、传输性能、加大并行三大维度实现突破,为昇腾推理集群注入高效动能,推动大模型推理从“可用”向“高效”跨越。
UBS Core Mem将全量片上内存统一编址,驱动全链路优化
UBS Core Mem是亲和昇腾硬件的内存池组件,基于片上内存的全局统一编址思想驱动的集合通信优化,能够消除通信buffer、降低通信时延,为昇腾推理集群带来了多维度的实践价值,完美适配大模型规模化推理的需求。其基本原理如图1所示。
图1. 基本原理图
该方案完美兼容昇腾CANN生态,依托UBS Core Mem加速实现深度适配;支持Qwen、DeepSeek等主流大模型,SGLang少量适配即可快速对接。
E2E模型性能
主流大模型实测中得到充分验证,以DeepSeek V3.2、Deepseek V3.1、Qwen3-235B两款经典成熟模型为例体现了片上内存占用优化对批处理能力的提升,以及集合通信性能改善对整体吞吐的拉动作用,完美适配两款模型的规模化推理需求。
图2 折合单卡Decode性能
注:
DeepSeek V3.2基于4*Atlas 800I A3 PD分离,约束条件2.1k/0.9k@46.9ms;
DeepSeek V3.1基于2*Atlas 800I A3 PD分离,约束条件3.5k/1.5k@46.0ms;
Qwen3 235B基于1*Atlas 800I A3混布,约束条件2k/2k@50.5ms。
Dispatch/Combine Normal性能
图3 Dispatch/combine normal性能
注:图3表示Dispatch/Combine normal算子处理不同数据量性能耗时比较
总结与展望
UBS Core Mem与SGLang协同方案,通过全局统一编址持续优化昇腾大模型推理性能与内存效率。未来我们将深化协同、拓展场景,全力释放昇腾算力价值,助力AI产业高质量发展。计算软件平台部和计算机网络与协议实验室联合创新,诚邀加入共建UBS Core Mem,共筑AI推理性能新高度。
股票
板块
用户
资讯
评论 (0)