股票
板块
用户
资讯
首页
天眼
自选
发现
开户
首页
天眼
自选
发现
我的

海光DCU Day0完成商汤SenseNova Loop-9B推理适配

11月
17日,商汤科技正式发布并开源
SenseNova Loop-9B。海光
DCU基于新一代全栈
AI算力平台,在模型发布当天即完成
Day0推理适配与深度调优,为这一
“小参数、高有效深度
”的开源模型提供坚实的国产算力底座。

▍SenseNova Loop-9B:用循环计算重构效率边界

模型采用Looped Transformer架构:32个独立解码器层中,第4至第27层共享权重循环执行两遍,一次前向传播完成56次层计算,而显存只需存储32组层权重——存储约9B、推理等效约14.6B,官方定位是在9B参数规模下取得27B级模型的表现。同时得益于Loop的高效循环结构,模型官方4bit量化后权重仅约4.9GB,部署显存需求低至10GB内,能显著拓宽可部署的硬件范围,有效激活小显存卡的价值。

模型以双流流形约束超连接(mHC)管理循环模块内两条残差流的信息路由与融合,注意力按每四层"三线性 + 一全注意力"混合排布;支持文本与图像输入,训练上下文最长262K token,面向文档理解、编程与外部工具交互等智能体场景,以Apache 2.0协议开源。官方评测中,模型在BIRD-Dev(72.34)、AIDABench(65.31)、AutomationBench(36.67)等多项基准上,领先参数规模三倍的对比模型。

SenseNova Loop-9B核心评测结果(8项基准,来源:官方开源仓库)

▍海光DCU:支持存9B+算1.75倍的新架构

海光团队依托DTK异构计算平台与全栈AI软件栈,在发布当天完成适配与深度调优:新一代海光DCU把新增的24层循环计算压进更短的执行时间,显著提升每Token 能效比,同时进一步收窄权重与中间激活的显存占用;大显存设计为262K级上下文的KV Cache、mHC双残差流驻留与多轮工具调用缓存留足空间;软件侧针对循环模块的权重复用路径完成调度优化,补齐Sinkhorn规约与线性注意力高效算子,接入主流推理框架并支持MTP推理加速,开发者开箱即用。9B的显存门槛叠加27B级的任务能力,意味着原本需要27B级算力预算才能支撑的文档理解、数据分析与智能体任务,如今可以在更小的机器规格上稳定运行——“高效架构 + 国产算力”的组合,正是企业私有化部署成本曲线的新拐点。

智能体正从Demo走向生产环境,成本与稳定性取代参数规模成为第一约束。海光DCU将以持续进化的软硬件协同能力,跟进SenseNova系列模型的每一次迭代,以“发布即适配、适配即高效”的全栈算力保障,与商汤等生态伙伴一道,把高效架构的创新,真正落到可部署、可负担的国产算力之上。

原文链接
多空观点 观点仅供交流,不构成投资建议
点赞
踩一踩
收藏
分享

评论 (0)

0/200
声明:社区内容仅代表用户个人观点,不构成任何投资建议。投资有风险,入市需谨慎。