紫山龙霖GLFS数据操作系统与江原科技D20?AI加速平台完成兼容性认证｜多场景性能跃升，释放国产AI推理性能

点击蓝字，

 关注我们 

近日，苏州紫山龙霖信息科技有限公司(简称“紫山龙霖”，国芯科技参股公司)与深圳江原科技有限公司(简称“江原科技”，国芯科技参股公司)完成GLFS数据操作系统与D20 AI加速平台的兼容性测试验证。双方围绕大模型推理、KV Cache分层缓存与复用、多请求并发及本地NVMe数据加速等场景开展联合测试，各项测试顺利完成，并在推理响应速度、Token吞吐及存储性能等方面取得优异表现。

测试结果显示，在并发缓存复用场景下，Token输出吞吐量提升约6.8倍，端到端时延降低83.9%；GLFS Tier0读写带宽达到本次测试所用NVMe SSD理论聚合性能的98%以上。

紫山龙霖GLFS与江原科技D20系列AI加速平台兼容互认证证书

软硬件协同，构建高效AI推理数据底座

本次测试采用1台江原科技D20 AI加速服务器，部署Qwen3.8-27B大模型，结合vLLM、LMCache与GLFS数据操作系统，构建三级KV Cache缓存架构：

• L0：显存，提供高速KV Cache访问。

• L1：主机内存，通过LMCache承接缓存数据。

• L2：GLFS Tier0，利用服务器本地4块3.84TB NVMe SSD，构建高性能外部缓存层。

通过分层缓存与上下文复用，让已经计算过的KV Cache得以保留和重复利用，减少重复 Prefill计算，提高推理效率。

多场景性能验证，释放AI算力价值

1. 首Token时延降低49.3%

在Qwen3.8-27B、TP4、PP1的请求测试中，输入1024Tokens，首Token时延(TTFT)降低约49.3%。

验证了GLFS Tier0可复用已保存的上下文，减少重复计算。

2种缓存路径的TTFT对比

2.并发缓存复用，Token输出吞吐量提升约6.8倍

在Qwen3.8-27B、TP4、PP1、并发8、输入6656 Token、输出512 Token的缓存复用测试场景中：

• Token输出吞吐量提升约6.8倍。

• 平均端到端时延降低约83.9%。

测试表明，通过复用已计算的上下文，可以显著减少重复推理开销，提升并发请求处理效率，为降低单位有效请求的推理成本创造条件。

8并发，GPU计算与GLFS Tier0缓存回放输出吞吐量对比

8并发，GPU计算与 GLFS Tier0平均端到端时延对比

3.激活NVMe SSD，提供额外性能，构建高性能数据加速层

GLFS Tier0将AI加速服务器已有的NVMe SSD组织为高性能数据层，在本次FIO测试中实现：

• 读取28.22 GB/s，达到理论聚合读性能的98.33%。

• 写入18.10 GB/s，达到理论聚合写性能的98.91%。

无需额外经过外部存储网络，即可充分发挥本地NVMe性能，为KV Cache卸载、上下文复用及AI数据访问提供高效支撑。

本次测试环境的GLFS Tier0聚合读写带宽

本机NVMe SSD型号及厂商公开性能参考

深化生态合作，共建国产AI数据基础设施

此次兼容性测试验证了江原科技D20 AI加速服务器与GLFS数据操作系统在大模型推理场景中的协同能力，也展示了国产AI加速算力平台与高性能数据基础设施融合创新的应用潜力。

未来，紫山龙霖与江原科技将持续深化技术适配与生态合作，围绕大模型训练与推理、KV Cache加速、数据编排及AI/HPC融合等方向，探索更高效的软硬件协同优化方案，推动联合解决方案在智算中心、企业私有化AI平台及行业智能化应用中的落地。

求点赞

求分享

求喜欢