股票 
板块 
用户 
资讯 在大模型推理迈向百万级长上下文的今天，PD分离部署和KVCache复用已成为提升资源利用率和部署弹性的重要架构。Mooncake新一代传输引擎TENT（Transfer Engine NEXT） 携手昇腾MemFabric共同使能SGLang PD传输和L3Cache，此次集成联动了SGLang推理框架、Mooncake KV系统、MemFabric内存加速等部件，为推理内存加速优化特性协同与竞争力构建奠定了基础。
架构分层：三个组件的协同与分工
SGLang、Mooncake TENT与MemFabric集成架构如下：
SGLang：负责顶层推理请求调度、推理、KVCache管理等。
Mooncake TENT：用于异构AI集群中点对点数据传输的运行时环境，旨在更好地处理异构互连、动态拓扑和部分故障。
MemFabric：对接昇腾硬件，执行跨卡、跨节点的高性能数据搬运。
性能实测：吞吐提升 187.8%，时延降低 65.2%
测试Case：Atlas 900 A3 SuperPoD超节点 + DeepSeek V4-Flash + PD 分离 + SGLang L3。
对比未使能与使能 Mooncake TENT + MemFabric 两种配置下的时延和 Token 吞吐表现实测结果如下：
后续计划
后续将围绕MemFabric统一编址使能Mooncake社区，持续构建相关竞争力：
推进统一编址：构建跨节点统一编址DRAM与片上内存底座，提供卡侧直驱访问的基础能力。
拓展KV Offload场景：持续使能Decode KVCache、Engram、MoE专家权重卸载等场景，降低显存占用，提升推理性能。
源码地址 & 诚邀体验
基础设施的完善离不开真实业务场景的检验，欢迎测试使用并在社区分享性能数据与调优建议，共同完善 KV Cache 加速方案。
项目地址与文档
Mooncake源码：
https://github.com/kvcache-ai/Mooncake
MemFabric源码：
https://gitcode.com/Ascend/memfabric_hybrid
Mooncake TENT设计说明：
https://github.com/kvcache-ai/Mooncake/blob/main/docs/source/design/tent/overview.md
Mooncake MemFabric Quick Start官方文档：
https://kvcache-ai.github.io/Mooncake/getting_started/quick-start.html
Mooncake Memfabric使用指南:
https://memfabric-hybrid.readthedocs.io/zh-cn/latest/wiki/user_guide/integration/Mooncake-MemFabric-Guide
Release地址
Mooncake-Memfabric:
https://pypi.org/project/mooncake-transfer-engine-memfabric
MemFabric:
https://pypi.org/project/memfabric-hybrid
◆往期推荐◆
评论 (0)