股票
板块
用户
资讯
首页
天眼
自选
发现
开户
首页
天眼
自选
发现
我的

Atlas 150加速卡支持GLM-5.3-Flash!四卡部署,支持百万上下文,吞吐性能领先

基于vLLM Ascend高性能推理引擎,昇腾已完成GLM-5.3-Flash、GLM-5.3在Atlas 150标卡(昇腾950PR)上的深度适配与调优。本文将为您介绍,基于生产环境完成GLM-5.3-Flash的系统性实测:四卡即可部署320B旗舰,输出吞吐最高1397 tokens/s。

GLM-5.3-Flash:320B稀疏MoE,

百万上下文普惠基座

GLM-5.3-Flash是智谱面向长文档分析、代码库理解、Agent长任务打造的效率旗舰,包含以下核心特性:

  • 超大稀疏容量:总参数320B,MoE架构每token仅激活18B——以5.6%的激活计算量承担旗舰级模型能力;

  • 百万级上下文:原生支持1M token上下文窗口,单请求即可装载整部代码库、数百页文档或长程Agent任务历史;

  • 混合注意力架构:采用线性注意力+稀疏注意力混合架构,KV cache占用仅为同规模稠密模型的零头,让1M上下文第一次变得“装得起、算得快”;

  • 多模态原生:图文双模态输入,文本场景可独立部署。

深度调优:发挥Atlas 150硬件优势,把320B压进四张卡


mxFP4/mxFP8混合量化:Atlas 150原生低精加速

基于昇腾官方HybridMXFP8-MXFP4量化方案,路由专家采用MXFP4、共享专家与稠密层采用MXFP8,权重总量从328G压缩至~200GB,在兼顾模型精度的同时,降低模型存储和计算访存开销。

Atlas 150加速卡,支持mxFP4、mxFP8精度的原生推理,量化模型可最大化发挥Atlas 150标卡的硬件算力,达到更高的推理性能。

在分模块权重与激活量化的基础上,vLLM Ascend进一步采用C8注意力缓存量化,降低缓存显存占用,为大规模模型与长上下文推理提供支持。


EP专家并行:4卡UB 318GB/s带宽,高效专家并行推理

将不同Expert分布至多NPU协同执行,降低单卡模型权重与计算压力。并结合MoE通算融合,围绕Token Dispatch、Expert Compute与Combine等关键阶段进行通信与计算协同,减少通信等待和Host侧调度开销,提升专家并行场景下的执行效率。

Atlas 150 支持多卡灵衢互联,多卡共享高速带宽,4卡Fullmesh互联带宽达到318GB/s,相较普通PCIe互联,大幅降低专家并行的通信时延,达到高吞吐和低时延要求。


Prefix Cache页级对齐:共享前缀,亚秒级首响

当新请求与历史请求共享前缀时,系统可直接复用已有KV Cache,跳过重复的Prefill计算,显著降低首Token时延并提升整体吞吐。该机制适用于长序列、多轮对话、RAG模板化请求及热点前缀复用场景,对AI Agent场景至关重要。


Atlas 150开箱部署指南
硬件要求:
镜像与启动(实测配置)

docker run -itd --net=host --privileged --shm-size=16g --name glm53 \  --device=/dev/davinci_manager --device=/dev/hisi_hdc --device=/dev/devmm_svm \  --device=/dev/ummu --device=/dev/uburma \  --device=/dev/davinci0 --device=/dev/davinci1 \  --device=/dev/davinci2 --device=/dev/davinci3 \  -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \  -v /etc/hccl_rootinfo.json:/etc/hccl_rootinfo.json \  -v /etc/ascend_install.info:/etc/ascend_install.info \  -v /path/to/GLM-5.3-Flash-w4a4:/model:ro \  quay.io/ascend/vllm-ascend: v0.32.0rc-a5-openeuler \  vllm serve /model \    --served-model-name glm-5.3-flash \    --tensor-parallel-size 4 --enable-expert-parallel \    --quantization ascend --kv-cache-dtype fp8 \    --max-model-len 528000 --max-num-seqs 32 --max-num-batched-tokens 4096 \    --gpu-memory-utilization 0.95 \    --enable-prefix-caching --enable-chunked-prefill \    --limit-mm-per-prompt '{"image":0,"video":0}' \    --speculative-config '{"num_speculative_tokens":3,"method":"deepseek_mtp","enforce_eager":true}'

(1M上下文场景将“--max-model-len”调至1048576,将“--max-num-batched-tokens”调至16384。)

实测性能:全场景基线(Atlas 150四卡,W4A4+EP+MTP×3)

最优性能场景:Agent对话/RAG短交互场景(4K输入、64并发)吞吐峰值1397 tokens/s;共享前缀的长文档场景(256K输入、98%命中、32并发)吞吐583 tokens/s——以128K场景对比,开启前缀命中后吞吐提升逾6倍、可服务并发从4路扩展至16路;百万上下文多轮服务(1M输入、99%命中、16并发)吞吐215 tokens /s。


即刻体验

GLM-5.3-Flash + Atlas 150的组合,用四张卡实现320B旗舰模型、百万token上下文、千级token吞吐。白天跑高并发Agent交互,夜间跑长文档异步批处理,一机双场景。

完整部署工程、启动脚本与调优手册已在社区开源,欢迎下载体验,共建自主AI生态。

GLM5.3 Flash模型部署链接:

https://docs.vllm.ai/projects/ascend/zh-cn/main/tutorials/models/GLM5.3-Flash.html

GLM5.3 Flash W4A4量化指导:

https://gitcode.com/Ascend/msmodelslim/pull/1119/discuss

原文链接
多空观点 观点仅供交流,不构成投资建议
点赞
踩一踩
收藏
分享

评论 (0)

0/200
声明:社区内容仅代表用户个人观点,不构成任何投资建议。投资有风险,入市需谨慎。