昇腾0Day支持Kimi K3.1 Pro推理部署，2.8万亿级MoE模型能力再进阶

2026年11月4日，月之暗面正式公布Kimi K3.1 Pro完整模型权重。昇腾基于vLLM Ascend、SGLang同步实现0Day推理适配，支持昇腾Atlas 800 A3、Atlas 900 A3 SuperPod超节点以及昇腾950超节点系列产品进行Kimi K3.1 Pro的推理部署。围绕模型新增的稀疏注意力、百万级上下文及推理服务需求，昇腾开展算子与框架协同优化，支持用户及开发者在模型发布首日开展部署与应用验证。

Kimi K3.1 Pro：架构升级，

百万上下文与多模态能力支撑复杂任务

Kimi K3.1 Pro是K3.1系列的首个模型，拥有2.8万亿参数，原生支持视觉理解，具备百万token上下文窗口。模型在K3基础上进一步扩大后训练规模，在代码开发、3D创作、金融研究、事实准确性和长程智能体任务等方面实现能力提升。

借助百万级上下文，模型可综合利用长篇文档、代码和多轮交互中的任务信息，结合视觉理解与工具调用完成多步骤任务，支撑软件研发、企业知识处理等复杂场景。

在计算架构上，K3.1 Pro采用混合线性注意力，结合KDA线性注意力层和DSA稀疏注意力层。发挥这一架构的计算优势，需要对算子执行、缓存管理与跨卡通信进行协同优化。

昇腾0Day支持，模型与服务能力同步适配

昇腾推理团队依托Kimi K3的适配经验，提前开展模型分析，协同推进模型接入、算子开发与服务验证。在已有KDA与MoE支持的基础上，完成K3.1 Pro新增稀疏注意力路径与多模态推理适配，并同步支持推理框架的既有服务能力。

本次适配围绕核心算子优化与推理特性支持展开，覆盖历史信息筛选、稀疏注意力计算、预处理与残差计算，并结合分布式缓存和框架能力叠加，支撑长上下文推理与服务部署。

算子优化
QLI量化索引器：优化历史信息筛选

QLI量化索引器从历史token中筛选候选，为后续稀疏注意力计算提供索引。针对分布式场景，昇腾将因果边界判断下沉至索引算子，使其直接确定当前查询可访问的历史范围，减少框架侧的辅助操作。

在数据准备阶段，融合量化与缓存写入，减少中间数据读写；通过不同设备流组织可独立执行的查询（Q）与键（K）计算分支，为计算重叠创造条件。多个DSA层共用的QLI元数据按组生成、跨层复用，避免逐层重复准备。在Model Runner V2（MRV2）的相应执行路径中，进一步通过独立设备流提前生成元数据，并在首次使用时完成依赖同步。

QSFA量化稀疏注意力：减少无效计算与数据整理

QSFA量化稀疏注意力基于索引器选出的候选完成注意力计算。昇腾针对模型实际使用的注意力头数与输入布局优化算子，减少额外的数据填充、拆分和拼接。同时，优化有效候选范围的处理，减少无效候选带来的开销，并对无有效候选的查询跳过相应计算。

MLAPO注意力预处理：融合计算与缓存写入

针对注意力预处理中的投影、归一化与量化计算，昇腾接入MLA预处理融合算子（MLAPO），将关联操作合并执行，并将有效KV直接写入分页缓存，减少独立算子启动、临时缓冲区使用和二次写入开销。

AttnRes注意力残差：优化多核任务分配

针对注意力残差（AttnRes）的评分计算，昇腾优化多核任务分配，使多个计算核协同处理评分任务，提高小批量解码场景下的计算资源利用率。

特性支持

DCP分布式缓存：支撑1M超长序列部署

随着上下文增长，历史缓存占用的显存持续增加。昇腾通过解码上下文并行（DCP），将主注意力的KV缓存与索引器的K缓存按token分片存放到多张卡上，降低单卡缓存显存开销，支撑K3.1 Pro的1M超长序列部署。

各卡先基于索引器的本地K缓存筛选候选，再交换候选信息、确定全局Top-K，并协同完成稀疏注意力计算，无需为候选筛选汇集索引器的完整历史K缓存。在此基础上，融合候选排序与打包，并优化注意力输出的批量打包和流式合并，减少跨卡计算前后的数据整理开销。

框架能力叠加：衔接现有推理服务体系

在适配模型结构的同时，vLLM Ascend、SGLang继续支持前缀缓存（Prefix Cache）、分块预填充（Chunked Prefill）、预填充／解码分离（PD分离）及内存池化等框架能力，并叠加MRV2、异步调度与DSpark投机推理等优化能力。开发者可沿用熟悉的框架服务接口、调度配置和参数使用方式，将K3.1 Pro接入现有推理服务体系。

量化部署支持，降低模型资源开销

面向Kimi K3.1 Pro推理部署，vLLM Ascend、SGLang支持加载原生权重，并提供分模块量化部署方案。在量化方案中，Attention线性层与MoE共享专家采用W8A8（MXFP）动态量化，MoE路由专家采用W4A8（MXFP）动态量化，通过低比特权重与动态激活量化，降低模型存储与计算访存开销。

在分模块权重与激活量化的基础上，vLLM Ascend、SGLang进一步采用动态C8注意力缓存量化，降低缓存显存占用，为大规模模型与长上下文推理提供支持。

Kimi K3.1 Pro推理部署指导

用户及开发者可访问以下链接获取Kimi K3.1 Pro基于昇腾的部署指导（实际商业性能与部署方案、参数配置及软硬件环境等因素相关，并将持续优化提升）：

vLLM Ascend部署指导：

https://docs.vllm.ai/projects/ascend/en/latest/tutorials/models/Kimi-K3.1-Pro.html

SGLang部署指导：

https://github.com/sgl-project/sglang/issues/48348