股票
板块
用户
资讯
首页
天眼
自选
发现
开户
首页
天眼
自选
发现
我的

昇腾支持MiniMax M3.1 Flash,释放多款产品推理潜能

2026年10月23日,MiniMax正式开源MiniMax M3.1 Flash的模型权重,总参数428B,激活参数23B,昇腾Atlas 800系列产品、Atlas 900 A3 SuperPod超节点、Atlas 950 SuperPoD液冷超节点基于vLLM推理引擎实现了部署支持,并围绕模型架构与硬件特性实现了高效推理优化。

MiniMax M3.1 Flash:模型能力全面升级

相较于上一代M3模型,M3.1 Flash的模型能力全面升级,在Agentic任务、编程、Computer Use及网络安全能力等方面实现了代际提升。

MiniMax M3.1 Flash与主流前沿模型在Benchmark上的数据对比

通过全模型稀疏注意力、量化感知训练等优化工作,M3.1 Flash进一步提升了推理效率: 

  • 全模型稀疏注意力:前三个全注意力层替换为稀疏注意力;

  • QAT:路由MoE专家迁移到W4A4(共享专家除外),稀疏注意力索引器和主分支从Q8KV8迁移到Q8KV4。

昇腾:软硬协同优化,释放多款产品推理潜能

昇腾基于vLLM Ascend围绕M3.1 Flash的模型架构与硬件特性协同优化,基于昇腾多款产品构建高效的推理优化方案。从Ascend C与Triton融合算子,到多流并行、计算空泡优化,再到DSpark投机解码、NPU Graph图执行,持续打通模型、算子和推理框架之间的优化链路,为新一代大模型部署提供高效算力支撑。

算子优化:Ascend C与Triton协同,兼容极致性能与开发效率

针对MiniMax M3.1 Flash的稀疏注意力、模型连接结构与混合专家网络,昇腾适配方案深入核心计算链路,结合CANN算子能力与Triton编程,将分散的计算和数据处理整合为更高效的执行过程。

Index score算子:通过KV分块多核并行、尾部分块并行加速,叠加流水掩盖、多级预取以及 FP8 量化方案释放硬件算力,算子性能提升1.3倍,同样实现17%的整网性能增益,进一步夯实模型高效推理能力。

Generic Block Sparse Attention算子:面向Prefill、Decode 不同推理阶段定制 QKV gather 访存策略,依托动态负载划分、Flash Decoding KV 分块计算与 FP8 量化等多项底层优化,算子性能提升 1.2 倍,带动整网推理性能提升 17%,有效缓解长序列注意力场景下的访存压力。

Triton融合Kernel加速:将Attention Projection到Index Score中的Split、Gemma RMSNorm、 RoPE、Cache Insert等算子深度融合,大幅减少Kernel启动开销;支持main Q/K与index Q/K的双路并发处理,优化数据流通路径,实现数十倍加速。

从核心注意力到专家路由,从融合计算到数据搬运优化,多层次算子协同使MiniMax M3.1 Flash的架构特点与昇腾硬件能力更紧密地结合。

框架优化:减少重复操作,序列并行、多流并行、Tiling下沉与图执行协同

推理效率不仅取决于算子的执行速度,也取决推理框架如何最大程度减少重复操作,将没有数据依赖的计算并行,通过图模式和异步调度,减少计算单元的等待,让各阶段衔接得更紧密。

MXFP8量化:昇腾950超节点硬件单元实现了MXFP8的反量化,借助该特性,通过重新量化权重为MXFP8格式,在精度几乎无损的情况下,最大化发挥950超节点的硬件算力。

NPU Graph图执行优化:将解码阶段的计算纳入图执行,结合持久化缓冲区和输出复用,减少重复调度、临时分配与数据拷贝,使高频解码过程更紧凑。

多token预测优化与tiling下沉:适配DSpark投机机制,提升单步生成效率。通过attention算子的tiling下沉,将主模型与草稿模型、每步推理之间的断流消除,从而减少device空泡,提升运行效率。

通过算子执行、图运行与调度策略的协同设计,适配方案从多个层面压缩推理过程中的非计算开销,持续挖掘硬件与模型的性能潜力。

从算子融合到通信优化,再到框架优化,昇腾将持续深化模型、框架与硬件的协同,推动MiniMax M3.1 Flash的推理能力向实际应用转化,为长上下文、多模态与智能体场景提供高效算力支撑。

昇腾开箱部署MiniMax M3.1 Flash指南

用户及开发者可访问以下链接获取MiniMax M3.1 Flash基于昇腾的部署指导,进行体验尝鲜(实际性能与部署方案、参数配置及软硬件环境等因素相关,并将持续优化提升):

镜像地址:

https://quay.io/repository/ascend/vllm-ascend?tab=tags

(基于硬件不同,可选用minimax-m3.1-flash-a5、minimax-m3.1-flash-a5-openeuler、minimax-m3.1-flash-a3、minimax-m3.1-flash-a3-openeuler、minimax-m3.1-flash和minimax-m3.1-flash-openeuler镜像。)

vLLM Ascend部署指导:

https://docs.vllm.ai/projects/ascend/en/latest/tutorials/models/MiniMax-M3.1-Flash.html

注:文中性能比例来自对应算子或局部链路的专项对比测试,实际收益随硬件配置与业务负载变化。

◆往期推荐◆

基于昇腾的OmniNFT后训练实践,音视频生成效果提升30%

原文链接
多空观点 观点仅供交流,不构成投资建议
点赞
踩一踩
收藏
分享

评论 (0)

0/200
声明:社区内容仅代表用户个人观点,不构成任何投资建议。投资有风险,入市需谨慎。