昇腾 × vLLM：开源共建持续深化，官网启动入口正式上线

vLLM官网首页Quick Start已上线Ascend选项。从官网获取指引、拉取集成镜像，到在昇腾上开启推理，开发者有了更直接的上手路径。

01

易用性升级 从官网出发，更便捷地用上昇腾

从开源框架到算力平台，开发者期待清晰的上手路径，也期待持续完善的模型支持与推理能力。此次官网入口上线，让昇腾更直接地出现在开发者的视野中，也让昇腾与 vLLM 社区长期协作形成的技术成果，更便于获取和使用。

从官网开始

访问vllm.ai，在Quick Start的Platform中选择Ascend，即可查看对应硬件的Docker镜像启动指引。

如图所示为 vLLM 官网启动选项 · Ascend / Docker / A5

软件包与镜像：从分别获取到集成交付

采用分步安装方式时，vLLM主版本与vLLM Ascend插件作为两个独立项目发布，开发者需要分别获取软件，并核对兼容的版本组合。

如今，从官网Ascend入口即可找到同时包含vLLM主版本和vLLM Ascend的集成镜像。昇腾团队与社区共同维护这一镜像，让匹配的软件组合随镜像一起交付，减少用户自行组装环境的工作。

下载方式：统一入口，一次拉取

从“获取主版本、获取插件、核对版本并安装”，到“在vLLM官网选择Ascend，按指引一次拉取集成镜像”，开发者能够把更多时间用在模型验证和应用开发上。

02开放协同 一条持续深入的合作时间线

从硬件插件机制共建，到大规模推理、全模态接入与缓存池化实践，昇腾与vLLM社区的协作持续深入。官网启动入口上线，让这份长期协作的成果更便于开发者发现和使用。

2024.12

从RFC开始，探索硬件插件化

2024年12月13日，vLLM社区发起Hardware Pluggable RFC（vllm#11162），讨论通过插件方式接入硬件后端，减少硬件专属逻辑在框架主体中的分散实现。

为不同硬件后端提供可扩展、易维护的接入路径。

资料来源：https://github.com/vllm-project/vllm/issues/11162

2025.02

社区创建项目，昇腾进入协同开发体系

vLLM社区创建vLLM Ascend项目，以社区维护的硬件插件方式承载昇腾适配，面向开发者开放代码与协作入口。

从技术方案走向社区项目，让适配成果在开放协作中持续演进。

资料来源：https://github.com/vllm-project/vllm-ascend

2025.04

动态加载实践落地，昇腾完成端到端接入

昇腾社区公开介绍双方围绕动态加载接入机制的实践：通过 Python Entry Point，将执行、注意力计算和通信等硬件相关模块接入框架，并在vLLM Ascend中完成端到端实践。

将插件化设计转化为开发者可使用的昇腾适配能力。

资料来源：https://www.hiascend.com/developer/techArticles/20250403-1

2025.05

共同完成硬件插件机制，推动多硬件解耦接入

5月12日，vLLM官方博客介绍昇腾团队与社区共同完成的 Hardware Pluggable机制，并明确肯定昇腾成员在机制设计与实现中的贡献。该机制已通过Ascend与IBM Spyre后端验证。

从完成昇腾适配，进一步参与建设可供多种硬件复用的框架机制。

资料来源：https://vllm.ai/blog/2025-05-12-hardware-plugin

2025.09

昇腾联合伙伴贡献大EP，深化vLLM社区协作

昇腾联合伙伴落地大规模专家并行（大EP）技术，并于9月将相关成果贡献至vLLM社区。同期发布的vLLM Ascend v0.9.1正式版，包含大EP场景增强及多机部署实践指南。

以技术贡献方和生态共建方的角色，将伙伴实践转化为社区可共享的推理能力。

资料来源：https://www.hiascend.com/activities/dynamic-news/660https://docs.vllm.ai/projects/ascend/en/v0.9.1/user_guide/release_notes.html

2025.11

昇腾后端获社区合入，拓展全模态推理能力

昇腾NPU后端获vLLM-Omni社区接纳并随版本发布，支持语音输出、图像生成等推理场景，推动昇腾能力向全模态推理拓展。

从大语言模型推理延伸至全模态与扩散模型推理，昇腾后端实现被社区项目接纳并随版本交付。

资料来源：https://github.com/vllm-project/vllm-omni/releases/tag/v0.11.0rc1https://vllm.ai/blog/2025-11-30-vllm-omni

2026.05

昇腾KV Cache池化实践获vLLM社区采纳

基于昇腾已验证的Mooncake Store接入实践，相关KV Cache池化方案获vLLM社区采纳并合入主仓库，支持跨实例缓存共享与复用，减少相同前缀的重复计算。

将昇腾上的工程实践贡献为社区可复用能力，携手Mooncake与vLLM完善推理缓存生态。获得vLLM官博的明确肯定。

资料来源：https://docs.vllm.ai/en/latest/features/mooncake_store_connector_usage/

2026.10

官网出现Ascend，让体验路径更直观

截至2026年10月，vLLM官网Quick Start的Platform选项已出现Ascend，并提供面向不同昇腾硬件的镜像启动指引。

从架构协同走向使用入口，让社区成果更容易被发现、获取和使用。

资料来源：https://vllm.ai/

03

深耕技术 让昇腾算力更好服务推理

便捷的入口，背后是持续积累的技术能力。vLLM Ascend围绕模型适配、推理优化与多机协同，持续完善昇腾上的推理体验。

模型与框架协同通过硬件插件机制衔接 vLLM 与昇腾 NPU，并提供模型支持矩阵与适配指南，帮助开发者选择部署方案。

推理加速与资源优化支持分块预填充、自动前缀缓存、投机解码、图模式和 W8A8 量化等特性，为模型调优提供选择。

集群部署与持续验证提供专家并行、PD 分离等能力与多机实践指南，结合真实 NPU 上的持续测试，支撑适配能力随社区迭代。

具体模型、特性及其组合的支持范围，以对应版本文档为准。

感谢每一份开源贡献

感谢vLLM社区及维护者在架构设计、技术讨论、代码评审与生态建设中的持续投入，感谢vLLM Ascend的每一位贡献者，以及参与适配、测试、反馈和文档完善的开发者。

从一个插件机制，到一份可复用的实践，再到一个更便捷的官网入口，开放协作让技术成果惠及更多开发者。

昇腾期待与vLLM社区一起，持续完善开发体验，让更多开发者使用熟悉的开源工具，在昇腾上探索和实现自己的应用。

从vLLM官网出发

开启你的昇腾推理实践

??官网入口：

https://vllm.ai/

??部署文档：vLLM Ascend Quick Start：https://docs.vllm.ai/projects/ascend/en/latest/getting_started/quick_start.html

??开源项目：

github.com/vllm-project/vllm-ascend