11月20日,以“计算万物 湘约未来——打造智能经济新形态”为主题的2026世界计算大会在长沙开幕。大会由湖南省人民政府主办,会上发布了CLink系列标准及一批计算产业成果。本次大会海光参展,并集中展示CPU+DCU双芯算力方案。
会议期间,清程极智联合海光信息发布《PD分离异构混推技术白皮书》,推出基于海光深算三号DCU与高端算力卡的异构混合推理方案。方案通过预填充与解码阶段的算力分工协同,破解长上下文大模型推理的性能与成本挑战,为大模型规模化运营提供兼顾效率与性价比的国产算力方案。
▍异构分工协同调度,释放算力资源最大效能
随着智能体、AI编程、长文档分析等应用落地,大模型推理正向高并发、超长上下文的在线服务演进,单次请求输入规模已达数十万Token。传统同构方案中预填充与解码两类任务共享芯片资源,既因调度干扰导致延迟波动,也因硬件能力与负载需求不匹配推高成本;同时,单一算力选型还面临供应链波动的潜在风险。
联合方案采用PD分离架构,将两阶段部署于独立资源池:海光深算三号DCU承载长上下文场景预填充计算;高端算力聚焦解码环节,实现两类算力各展所长、资源高效利用。清程极智自研推理平台实现了任务智能调度与KV缓存全生命周期管理。预填充阶段生成的KV缓存经高速RDMA网络跨池传输复用;多平面组网设计实现计算、存储、业务、管理流量物理隔离,保障通信稳定性。同时,海光DTK全栈开发平台兼容PyTorch、vLLM等主流AI框架,支持CUDA代码平滑迁移,大幅降低方案落地的开发适配成本。
▍端到端性能跃升3倍,异构混推解锁推理成本优势
白皮书披露了基于国内顶尖模型的多场景测试结果,方案全链路时延满足在线业务服务等级目标,模型推理精度与官方基准保持一致;同等建设成本下,端到端推理性能可达纯高端算力同构方案的3倍以上,性价比优势突出。方案可面向智算中心与算力服务商,构建高性价比Token工厂,通过弹性调度提升集群利用率;面向存量算力场景,可实现新旧算力组合复用,盘活既有资产、支撑平滑扩容;面向边缘推理场景,可构建跨层级PD分离架构,兼顾部署成本与低时延交互。
此次联合发布的异构混推方案,为国产算力深度参与大模型推理基础设施建设提供了可复制的技术路径。未来,海光将持续深化DCU产品技术迭代,携手更多生态伙伴拓展算力协同的应用边界,推动国产算力在AI全场景的规模化落地。
扫码领取白皮书
股票
板块
用户
资讯
评论 (0)