昇腾0 Day支持百灵Ling-3.0-flash！CANN PyPTO重磅登场，重塑算子开发范式

8月5日，蚂蚁百灵正式开源新一代原生混合推理模型Ling-3.0-flash，主打极致智能密度、全链路Agent闭环与低成本规模化落地，昇腾同步完成0 Day适配。昇腾在适配百灵Ling-3.0-flash的过程中，首次引入CANN PyPTO算子编程框架，大幅缩短复杂融合算子交付周期，高效完成算子接入、推理框架性能调优，同步开放完整部署工程，为开发者、政企行业提供自主创新、高性能的一体化落地方案，持续壮大国内大模型生态版图。

Ling-3.0-flash：
新一代高效混合推理模型，

重构AI落地效率上限

Ling-3.0-flash是蚂蚁百灵Ling系列全新迭代力作，彻底跳出单纯堆叠参数的传统路线，以智能密度为核心实现范式升级，核心硬件适配优势清晰突出：

原生混合线性架构，算力消耗大幅降低

模型总参数量124B，推理激活参数仅5.1B，相较上代1T级旗舰Ring-2.6-1T，计算开销仅为其8.1%；采用原生混合线性注意力架构（5:1交替堆叠KDA与MLA），搭配1/64 稀疏MoE专家路由，从预训练阶段完成架构协同优化，长文本计算线性降本。

越级性能表现，兼顾强能力与低成本

以极小激活参数实现对标甚至超越万亿级旗舰模型的综合能力，在逻辑推理、长文本理解、指令遵循维度全面越级；创新定义智能密度、智效比双指标，单位算力、单位显存产出更高AI能力，大幅降低线上高并发服务硬件门槛。

原生支持超长上下文与Agent闭环

内置256K上下文窗口，可扩展至1M，专项优化了Agent场景，使模型在真实系统中的任务执行能力得到增强。原生适配多智能体协同任务，支持复杂任务拆解、自主校验迭代，适配办公自动化、文档分析，代码生成等生产场景。

昇腾0 Day深度适配，
充分释放Ling-3.0-flash极致推理性能

Ling-3.0-flash的0 Day适配，是昇腾AI在模型生态建设上的又一重要里程碑。此前昇腾已完成对Ling-2.6-flash（104B参数）的适配，此次对Ling-3.0-flash的快速响应，进一步验证了昇腾在大模型推理场景下的生态成熟度与工程效率。昇腾依托开源社区生态，快速完成模型基础推理能力适配。

推理引擎深度适配，实现秒级生产部署

昇腾基于vLLM Ascend高性能推理引擎，完成Ling-3.0-flash模型的深度适配与专项调优。目前已在GitHub社区提交完整适配PR(https://github.com/vllm-project/vllm-ascend/pull/13529)，提供轻量化Patch部署方案，无需复杂改造即可快速适配生产环境，实现模型秒级上线部署，大幅降低开发者落地门槛。

创新算子开发范式，带来低门槛、高效率的全新算子编程体验

Ling-3.0-flash搭载的KDA（Kimi Delta Attention）算子是模型的核心结构，融合了矩阵向量运算、递推累积、状态更新等多段复杂计算逻辑，对核内数据复用、多核并行调度要求较高，传统手写Kernel的开发模式难以兼顾开发效率与性能。

本次适配首次将CANN PyPTO编程框架落地百灵大模型，该编程框架基于PTO ISA（虚拟指令集）构建Tile编程范式，开发者通过Tensor级API精准定义计算逻辑，由框架自动完成分片调度、数据搬运、代码生成全流程工作。

PyPTO 框架分层架构

结合CANNBot PyPTO Agent智能生成与自动调优能力，将KDA等复杂融合算子的开发调优从传统手工模式，升级为系统化、自动化的Agent工作流模式，打造了全新的算子编程范式。

CANNBot PyPTO Agent构建了多智能体框架，将整个算子开发分解7个阶段（Stage）自动推进，每个阶段由职责分明的子智能体协同执行。所有调度由统一编排器pypto-op-orchestrator负责，子智能体间通过记忆机制与机器可读状态进行信息交换，确保上下文无缝传递。整个流程从自然语言算子需求输入开始，历经自动化的生成、验证与调优，直至产出精度达标、性能优化完成的可上板算子，全程无需人工介入各阶段交接。这一工作流不仅完成了算子编程体验的全面跃升，更显著缩短了算子交付周期，各阶段逻辑如下图所示：

CANNBot PyPTO Agent 7-Stage工作流

全硬件适配+容器化部署，开箱即用高效落地

本次适配全面兼容昇腾A2、A3系列产品，配套官方标准化部署方案，开发者可通过官方镜像快速拉起推理服务，实现Ling-3.0-flash模型高性能、低成本、零门槛快速落地。

Ling-3.0-flash的0 Day适配再次表明，昇腾AI已具备支撑前沿大模型从发布到规模化部署的全流程能力。昇腾始终致力于为世界提供新选择，以极致的算力与开放的生态，加速AI产业的繁荣。

昇腾开箱部署Ling-3.0-flash指南

硬件要求：昇腾A2系列产品：8卡，昇腾A3系列产品：4卡

代码版本：（和镜像中代码一致）

vllm==v0.20.2vllm-ascend==v0.20.2rc

容器启动：

# Atlas A2: export IMAGE=quay.io/ascend/vllm-ascend:nightly-releases-v0.20.2rc-openeuler#官方镜像源export IMAGE=m.daocloud.io/quay.io/ascend/vllm-ascend:nightly-releases-v0.20.2rc-openeuler#国内镜像源# Atlas A3: export IMAGE=quay.io/ascend/vllm-ascend:nightly-releases-v0.20.2rc-a3-openeuler#官方镜像源export IMAGE=m.daocloud.io/quay.io/ascend/vllm-ascend:nightly-releases-v0.20.2rc-a3-openeuler#国内镜像源docker run -it --privileged --rm \ --name vllm-ascend \ --shm-size=1g \ --net=host \ --device /dev/davinci0 \ --device /dev/davinci1 \ --device /dev/davinci2 \ --device /dev/davinci3 \ --device /dev/davinci4 \ --device /dev/davinci5 \ --device /dev/davinci6 \ --device /dev/davinci7 \ --device /dev/davinci_manager \ --device /dev/devmm_svm \ --device /dev/hisi_hdc \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \ -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \ -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \ -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \ -v /etc/ascend_install.info:/etc/ascend_install.info \ -v /root/.cache:/root/.cache \-it $IMAGE bash

一键Patch部署

百灵3.0适配的PR变更已经预先提取为.patch文件，通过脚本直接注入社区开源镜像，跳过编译环节，实现秒级部署。

获取适配工具

下载并解压百灵3.0适配包：

(https://github.com/userattachments/files/30741268/bailing_v3_adpater.zip)

unzip bailing_v3_adapter.zipbailing_v3_adapter/├── patch_bailing_v3.sh # 自动化注入脚本├── bailing_v3_vllm.patch # 由 vllm PR 生成└── bailing_v3_vllm_ascend.patch # 由 vllm-ascend PR 生成

应用补丁

直接执行脚本，程序会自动探测当前镜像环境中的 vLLM 与 vLLM-Ascend 安装路径并完成注入：

bash patch_bailing_v3.sh

备注：一键Patch部署只支持vllm-ascend社区0.20.2开源镜像（镜像源参考容器启动部分），其他镜像需要cherry-pick 百灵3.0适配PR自行编译安装。

安全回退

如需恢复原始环境，执行反向操作即可干净卸载：

bash patch_bailing_v3.sh --reverse

模型获取：

https://modelscope.cn/models/inclusionAI/Ling-3.0-flash

在容器环境内部署推理服务：

#!/bin/bashexport MODEL_PATH=""export VLLM_USE_V1=1export VLLM_VERSION=0.20.2export HCCL_BUFFSIZE=400vllm serve ${MODEL_PATH} \ --port 8000 \ --trust-remote-code \ --served-model-name auto \ --max-num-seqs 32 \ --max-model-len 131072 \ --max-num-batched-tokens 65536 \ --block-size 128 \ --gpu-memory-utilization 0.85 \ --mamba_cache_dtype "float32" \ --chat-template ${MODEL_PATH}/chat_template.jinja \ --data-parallel-size 1 \ --tensor-parallel-size 8 \ --enable-expert-parallel \ --compilation_config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \ --speculative-config '{"method":"mtp","num_speculative_tokens":1}'

单条推理验证：

curl http://0.0.0.0:8000/v1/chat/completions \-H "Content-Type: application/json" \-d '{"model": "auto","messages": [ {"role":"user","content":"who are you"}],"max_tokens": 100,"temperature": 0}'

切换PyPTO的部署方式指导

环境前置准备

PyPTO当前作为独立组件发布，旨在让先行者能够第一时间体验MPMD范式与类 Torch语法带来的效率飞跃，自CANN 9.1.0起，PyPTO的全部能力将作为标准组件内置于CANN软件栈中，届时以下手动安装步骤将不再需要，实现真正的开箱即用。在当前过渡期内，请按以下步骤在容器中安装PyPTO算子包，完成PyPTO环境部署：

硬件要求：昇腾A2/A3系列产品

驱动要求：hdk版本>=25.5.x

下载pto-isa包并安装:

# arm64安装包下载

wget --no-check-certificate https://cann-ai.obs.cn-north-4.myhuaweicloud.com/cann/cann-pto-isa_linux-aarch64_9.1.0_20260723142436.run

# x86_64安装包下载

wget --no-check-certificate https://cann-ai.obs.cn-north-4.myhuaweicloud.com/cann/cann-pto-isa_linux-x86_64_9.1.0_20260723142436.run

#安装

bash cann-pto-isa_linux-*.run --full

下载pypto whl包并安装：

# arm64安装包下载

wget --no-check-certificate https://cann-ai.obs.cn-north-4.myhuaweicloud.com/cann/pypto-0.2.1-20260723142436-cp311-cp311-linux_aarch64.whl

# x86_64安装包下载

wget --no-check-certificate https://cann-ai.obs.cn-north-4.myhuaweicloud.com/cann/pypto-0.2.1-20260723142436-cp311-cp311-linux_x86_64.whl

#安装

pip uninstall pypto && pip install pypto-0.2.1-20260723142436-cp311-cp311-linux_aarch64.whl或pip uninstall pypto && pip install pypto-0.2.1-20260723142436-cp311-cp311-linux_x86_64.whl

模型启动

在模型启动将ENABLE_PYPTO设置为1；其他参数无需修改

#!/bin/bashexport ENABLE_PYPTO=1 # PyPTO使能环境变量export MODEL_PATH=""export VLLM_USE_V1=1export VLLM_VERSION=0.20.2export HCCL_BUFFSIZE=400vllm serve ${MODEL_PATH} \ --port 8000 \ --trust-remote-code \ --served-model-name auto \ --max-num-seqs 32 \ --max-model-len 131072 \ --max-num-batched-tokens 65536 \ --block-size 128 \ --gpu-memory-utilization 0.85 \ --mamba_cache_dtype "float32" \ --chat-template ${MODEL_PATH}/chat_template.jinja \ --data-parallel-size 1 \ --tensor-parallel-size 8 \ --enable-expert-parallel \ --compilation_config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \ --speculative-config '{"method":"mtp","num_speculative_tokens":1}'

参考链接：

百灵3.0适配包：

https://github.com/user-attachments/files/30741268/bailing_v3_adpater.zip

PyPTO 框架：

https://gitcode.com/cann/pypto

PyPTO 算子库：

https://gitcode.com/cann/pypto-gym

CANNBOT PyPTO Agent：

https://gitcode.com/cann/cannbot-skills

昇腾0 Day支持百灵Ling-3.0-flash！CANN PyPTO重磅登场，重塑算子开发范式

评论 (0)

相关文章