基于vLLM Ascend高性能推理引擎,昇腾已完成GLM-5.3-Flash、GLM-5.3在Atlas 150标卡(昇腾950PR)上的深度适配与调优。本文将为您介绍,基于生产环境完成GLM-5.3-Flash的系统性实测:四卡即可部署320B旗舰,输出吞吐最高1397 tokens/s。
GLM-5.3-Flash:320B稀疏MoE,
百万上下文普惠基座
GLM-5.3-Flash是智谱面向长文档分析、代码库理解、Agent长任务打造的效率旗舰,包含以下核心特性:
超大稀疏容量:总参数320B,MoE架构每token仅激活18B——以5.6%的激活计算量承担旗舰级模型能力;
百万级上下文:原生支持1M token上下文窗口,单请求即可装载整部代码库、数百页文档或长程Agent任务历史;
混合注意力架构:采用线性注意力+稀疏注意力混合架构,KV cache占用仅为同规模稠密模型的零头,让1M上下文第一次变得“装得起、算得快”;
多模态原生:图文双模态输入,文本场景可独立部署。
深度调优:发挥Atlas 150硬件优势,把320B压进四张卡
mxFP4/mxFP8混合量化:Atlas 150原生低精加速
基于昇腾官方HybridMXFP8-MXFP4量化方案,路由专家采用MXFP4、共享专家与稠密层采用MXFP8,权重总量从328G压缩至~200GB,在兼顾模型精度的同时,降低模型存储和计算访存开销。
Atlas 150加速卡,支持mxFP4、mxFP8精度的原生推理,量化模型可最大化发挥Atlas 150标卡的硬件算力,达到更高的推理性能。
在分模块权重与激活量化的基础上,vLLM Ascend进一步采用C8注意力缓存量化,降低缓存显存占用,为大规模模型与长上下文推理提供支持。
EP专家并行:4卡UB 318GB/s带宽,高效专家并行推理
将不同Expert分布至多NPU协同执行,降低单卡模型权重与计算压力。并结合MoE通算融合,围绕Token Dispatch、Expert Compute与Combine等关键阶段进行通信与计算协同,减少通信等待和Host侧调度开销,提升专家并行场景下的执行效率。
Atlas 150 支持多卡灵衢互联,多卡共享高速带宽,4卡Fullmesh互联带宽达到318GB/s,相较普通PCIe互联,大幅降低专家并行的通信时延,达到高吞吐和低时延要求。
Prefix Cache页级对齐:共享前缀,亚秒级首响
当新请求与历史请求共享前缀时,系统可直接复用已有KV Cache,跳过重复的Prefill计算,显著降低首Token时延并提升整体吞吐。该机制适用于长序列、多轮对话、RAG模板化请求及热点前缀复用场景,对AI Agent场景至关重要。
Atlas 150开箱部署指南
硬件要求:
镜像与启动(实测配置)
docker run -itd --net=host --privileged --shm-size=16g --name glm53 \--device=/dev/davinci_manager --device=/dev/hisi_hdc --device=/dev/devmm_svm \--device=/dev/ummu --device=/dev/uburma \--device=/dev/davinci0 --device=/dev/davinci1 \--device=/dev/davinci2 --device=/dev/davinci3 \-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \-v /etc/hccl_rootinfo.json:/etc/hccl_rootinfo.json \-v /etc/ascend_install.info:/etc/ascend_install.info \-v /path/to/GLM-5.3-Flash-w4a4:/model:ro \quay.io/ascend/vllm-ascend: v0.32.0rc-a5-openeuler \vllm serve /model \--served-model-name glm-5.3-flash \--tensor-parallel-size 4 --enable-expert-parallel \--quantization ascend --kv-cache-dtype fp8 \--max-model-len 528000 --max-num-seqs 32 --max-num-batched-tokens 4096 \--gpu-memory-utilization 0.95 \--enable-prefix-caching --enable-chunked-prefill \--limit-mm-per-prompt '{"image":0,"video":0}' \--speculative-config '{"num_speculative_tokens":3,"method":"deepseek_mtp","enforce_eager":true}'
(1M上下文场景将“--max-model-len”调至1048576,将“--max-num-batched-tokens”调至16384。)
实测性能:全场景基线(Atlas 150四卡,W4A4+EP+MTP×3)
最优性能场景:Agent对话/RAG短交互场景(4K输入、64并发)吞吐峰值1397 tokens/s;共享前缀的长文档场景(256K输入、98%命中、32并发)吞吐583 tokens/s——以128K场景对比,开启前缀命中后吞吐提升逾6倍、可服务并发从4路扩展至16路;百万上下文多轮服务(1M输入、99%命中、16并发)吞吐215 tokens /s。
即刻体验
GLM-5.3-Flash + Atlas 150的组合,用四张卡实现320B旗舰模型、百万token上下文、千级token吞吐。白天跑高并发Agent交互,夜间跑长文档异步批处理,一机双场景。
完整部署工程、启动脚本与调优手册已在社区开源,欢迎下载体验,共建自主AI生态。
GLM5.3 Flash模型部署链接:
https://docs.vllm.ai/projects/ascend/zh-cn/main/tutorials/models/GLM5.3-Flash.html
GLM5.3 Flash W4A4量化指导:
https://gitcode.com/Ascend/msmodelslim/pull/1119/discuss
◆往期推荐◆
股票
板块
用户
资讯
评论 (0)