点击招商研究小程序查看PDF报告原文
招商电子团队近日参加了在北京举办的ODX 2026大会,AI上下游产业链各公司专家做了非常详细的主题演讲,大会对当前AI产业发展现状深刻剖析,各论坛板块探讨火热,我们整理了本次大会部分演讲的核心观点,供投资者参考。
Token经济与大模型:终端应用与模型范式是硬件迭代的第一性驱动力,硬件升级要落到有效Token产出。生成式AI走向Agentic AI,单Agent走向多Agent协同等,这些变化依次重写了算力类型、访存模式、通信拓扑、存储层级、CPU/GPU配比和功耗曲线。GPU仍是算力核心,但新增价值量越来越多地流向CPU调度、HBM/DRAM/SSD多级内存、Scale Up网络、KV Cache服务、800V供电、液冷以及整机柜系统工程。行业评价标准更关注Token/s、Token/W、单用户Token/s、TTFT、资源利用率及单Token成本等。
超节点与散热:液冷与800V、高速互连和机柜结构协同设计,整机价值要以Token/s等衡量。MoE、PD分离、长上下文和训推一体要求更大的Scale Up域,同时单芯片功耗持续提升,使传统8卡服务器、风冷机柜及按部件独立设计的模式同时失效。超节点因此演进为以机柜为最小交付单元,将CPU/GPU/XPU、内存和存储池、交换芯片、Cable Tray/正交背板、供电母线、液冷管路及管理单元统一设计。关于超节点架构,行业正朝着由模块化、三总线盲插和全液冷提升单柜密度及可维护性;更长期则与800V HVDC、NPO/CPO、全光互连及算电协同共同重构机柜几何形态。整机价值最终要以有效GPU卡时、Token/s、Token/W及可用率衡量,而非单纯比较理论峰值算力。1)超聚变:从2017年三总线液冷整机柜出发,已完成核心部件自研和百万级XPU规模商用,并把下一代目标推向672 GPU、1MW供电/制冷和全光互连;2)百度:一条线做计算节点模块化,另一条线推进天池1.0→3.0整柜演进,并已积累万卡级国产集群交付与运维数据;3)新华三:以UXM标准化解决异构XPU整机碎片化,同时探索正压与负压两条液冷路线。UXM把类PCIe、BFX和OAM三类模组纳入共同体系,统一54V供电、机械、液冷和高速接口,并允许不同Scale Up协议、正交或分布式整机架构并行。面对单芯片2kW并向5kW演进、交换芯片功耗超过3.5kW,公司同步推进800V Power Shelf、VPD和液冷方案。
网络与互连:互连复杂度持续提升行业光铜并进,业界对NPO重视度有所提高。当前互连行业呈现多轨并行、双轨并进的发展方向,Scale up、Scale out与Scale across同步扩容,以实现更高算力密度,互连的方式也从传统的GPU-GPU通信扩展为GPU-CPU-内存-SSD的全系统互连。1)互连方案上,依旧遵循“能用铜就用铜,必须用光再用光”的原则,产业趋势呈现出光铜并进的格局。Scale up作为智算互联中带宽压力最大的互连架构,目前含有铜、光两种技术路径,但随着互连规模的扩大,单机柜面临物理承载极限,因此需要跨机柜互连,进一步催生光互连需求。铜互连方面,随着传输速率的持续提升,为降低损耗同时延长铜缆生命周期,从传统的Cable Cartridge铜线缆方案进一步延伸出NPC以及最终的CPC方案;光互连方面,我们观察到业界普遍对NPO的重视程度提高,尽管其并非最终技术演进路线,但却是在兼顾技术落地进度、性能、功耗以及可维护性下的阶段性最优解。2)具体应用上,立讯技术遵循光铜并进的发展思路,在224G速率下具备完整的互联解决方案,覆盖从GPU到交换芯片、从板内到板间、从柜内到柜间的完整端到端链路,包括高速连接器、线缆组件、NPO/CPO连光板组件,同时配套散热、电源方案等。同时立讯已在开展448G速率完整方案预研,CPC方案实物样品已经产出,完全满足PAM6要求,PAM4还会迭代新版本,预计今年内可以推出;腾讯与阿里在光互连领域联合发起UPO标准制定,产业链上下游大量合作伙伴共同参与,共三种形态适配不同应用场景,与主芯片集成可采用多种集成方案,UPO标准采用LGA Socket连接方案,实测指标可满足224G应用需求,也可平滑演进至448G。当前UPO标准制定速度加快,预计年底推出Type1 XD Socket产品,明年启动448G UPO标准制定。
存储:KV Cache带来存储容量与传输两大难题,超节点形态或从连接算力走向连接存力。KV Cache逐步成为推理场景新瓶颈,随着上下文长度、并发数量提升,KV Cache占用容量会快速扩张,给推理系统带来压力。针对KV Cache,除了解决存储容量,还需要解决传输速度、数据复用两大问题,当缓存利用率超过95%时,系统会从计算密集型转变为I/O密集型,KV Cache传输瓶颈会凸显。因此,如何合理有效的管理KV Cache对于推理工作负载至关重要,内存层级架构的精细分工与紧密互连重要性凸显。当前内存层级主要包含L1-GPU HBM→L2-CPU DRAM→L-本地SSD→L3.5-ICMS池→L4云存储,针对L1与L2之间的传输GAP,1)腾讯:提出L1.5解决方案,在现有超节点架构中接入独立内存池,直接在Scale up Switch接入专用DDR内存池,可为单颗GPU提供约500GB访问容量以及400-800GB/s访问带宽,可显著提高batch size,带动TPS提升,大幅提高模型性能。腾讯推出的Memory Switch Fabric项目顺利开展,支持DRAM、NAND、HBF,9月启动软件层开发,明年会有Memory Connect芯片,将原Scale up网络从算力互连演进为内存互连。2)三星:针对L1.5层级,三星推出zNAND-O,采用SLC架构,与NPU合封,推出适配端侧与服务器端架构,极大程度提高整体运行性能,预计2028年起深度赋能AI创新。
电源:800VDC为兆瓦级机柜升级的物理必然,算电协同与源网荷储为行业持续演进趋势。GPU单芯片功耗由数百瓦走向3.6-5kW、单柜功率由数十kW走向300-600kW乃至1MW后,供电系统需要同时完成四项重构:一是以800V HVDC降低长距离输电电流和铜损;二是把DC/DC、VRM持续推近负载,解决芯片“最后一英寸”的数千安培供电;三是通过超级电容、BBU/储能、分层控制消化GPU毫秒级动态功率;四是把供电与算力调度、液冷、电网和微电网统一设计。当前主线仍是先以800V→50/54V兼容既有服务器生态,再逐步演进至12V/6V中间母线、800V进板、VPD/IVR;更长期则由SST推动中压直连和原生直流。电源由服务器配套部件升级为贯穿“源-网-荷-储-芯”的机架级能源平台。1)麦格米特:把Sidecar定义为可扩展、可管理的机架级能源平台。公司将数据中心电源分为Shelf内分布式、机架内集中式和机架级能源平台三类;2)晶丰明源:聚焦“最后一英寸”,以6V母线、TLVR、Co-Pack LDMOS和VPD解决4000A级Vcore供电。
投资建议:本次大会中行业内知名公司对自身所处领域以及未来技术发展做了深度解析与前瞻判断,产业链上下游公司共同推动技术升级,建议关注ODCC AI生态:服务器整机、高速互连、电源、机柜电源线、液冷、算力芯片和交换芯片、存储、配套芯片、滑轨、机箱等细分领域公司。
风险提示:宏观经济及政策风险;存储价格下滑风险;AI资本开支不及预期的风险;行业竞争加剧的风险。
一、ODX大会部分现场展览图
ODCC AI工厂合作生态:2026开放数据中心大会暨首届算博会(2026 ODX)重点聚焦计算、网络、存储、设施、液冷、算电、边缘等热点算力领域,基于大模型训练和推理等应用场景进行研讨。其中ODCC特设的AI工厂生态系统围绕机架与托盘标准化设计、整机柜集成方案、液冷散热技术、高速互联网络架构等核心模块进行展示,以开源设计为起点,致力于加速中国AI基础设施从规划走向规模部署。AI工厂联合NVIDIA、美团、小红书、新华三、远图、立讯、澜起科技、天数智芯等成员,覆盖互联网、芯片、服务器、网络设备、电源供应、液冷方案等全产业链关键环节,推动构建开放、协同、互信的产业生态。
立讯技术覆盖高速互连、热管理、电源等领域完整产品布局:立讯技术作为全球领先的ICT核心零组件解决方案商,集中展示覆盖高速互连、热管理、电源管理等关键环节的全栈产品能力,为下一代AI基础设施提供高效、可靠、可扩展的底层支撑。高速互连方面,立讯技术已形成从GPU节点、交换机节点到机柜内及跨机柜互连的完整产品布局,并围绕Chip-to-I/O、Chip-to-BP等关键链路构建高速铜互连能力,同时,DAC、ACC、AEC及AOC等高速互连产品持续演进,为AI集群提供端到端的高速连接支撑。
热管理方面,立讯技术构建覆盖冷板、CDU、Manifold以及快速流体连接器等产品的液冷技术组合,并进一步延伸至液冷双卡、四卡模组等核心计算单元。“芯片侧”到“机柜侧”的协同设计,提升了高热密度场景下的散热效率、温控稳定性和系统可维护性。
电源管理方面,立讯技术Power Shelf产品已覆盖33kW、90kW、110kW等不同功率等级,并延伸至Rack Power Whip等机柜级供电组件,以模块化产品组合适配不同AI机柜架构,在提升供电能力的同时兼顾效率、可靠性与后续扩展。
二、主论坛
1、华为:星河AI数据中心网络,算力满载,业务永续
演讲嘉宾:张白,数据通信产品线数据中心网络领域总裁
会议要点
AI是第四次工业革命核心,大模型持续成熟,头部企业探索AGI,多数企业落地AI推理业务;AI推理成本快速下降,受杰文斯悖论影响,Token应用扩大,算力需求持续走高。
国家层面对算网做前瞻性布局,算网定位为智能经济五大基础设施核心,需协同算、数、网、安、电要素;数据中心已经从传统应用中心、多云中心,进入算力中心时代。
算力中心网络待攻克三大问题:构建超10万卡算力集群、降低大规模集群算力损耗、保障集群稳定运行。华为从大规模组网、高算效互联、高可用机制三个方向解决上述难题。
1、大规模组网:
行业从万卡走向十万卡集群,传统51.2T交换机三层组网,存在成本高、转发跳数多、负载不均衡问题,行业转向两层扁平化架构。华为自研100T交换机,采用两层多平面架构,相较三层组网,交换机、光模块数量减少70%,建网成本降低40%。
网络带宽向800G、1.6T演进,传统可插拔光模块遭遇功耗墙、信号完整性墙、端口密度墙三重物理天花板。CPO尚未大规模商用,NPO兼顾功耗、散热、可维护性、成熟度,成为主流落地方案。华为推出自研51.2T NPO交换机,搭载3.2T OE光引擎,整机功耗降低20%。
2、高算效互联:
1)AI训练场景:稠密模型向MoE稀疏大模型演进,通信开销、通信复杂度大幅增长,传统逐流负载均衡不再适配。逐包负载均衡可与上层通信模型解耦,实现各场景网络吞吐最优。华为自研NPLB逐包网络负载均衡算法,可将集群训练因网络拥塞带来的性能损耗降低2%-7%。应用逐包负载均衡后会出现包流混合调度,容易引发拥塞抖动,华为通过ART流混合流量动态调度技术,实现网络零抖动。
2)AI推理场景:长序列、多轮对话带来KV Cache带宽需求暴涨近8倍,现有架构8张算力卡仅共享两条200G带宽,带宽缺口超80%,产生计算 存储瓶颈,TPS受限。
存算合一成为方向:存储直连参数面网络、GPU直通,KV带宽提升8倍;公司实验室测试TPS可提升50% 4.8倍,但该架构下计算、存储流量混跑,互相干扰损伤业务性能。公司对此进行优化,OpenCM算网协同主动侧控制,P99长尾时延降低20%;网存联动IO智能调度,存储IO性能提升30%,推理TPS再提升约20%。
3、高可用机制:
从设备、链路、光模块三个维度构建全层级高可用,保障训推业务连续不中断。1)设备层面:推理业务中断阈值从训练的28秒收窄至7秒,公司发布闪启2.0技术,设备重启时间由10秒压缩至5秒,保障训推业务无中断。2)链路层面:原有链路故障可毫秒级切换;新增LLR链路级重传,针对万卡集群光模块频繁闪断问题,实现链路误码、故障微秒级重传,减少算力损失。3)光模块层面:自研星联光模块搭配短距光回损定位技术,1分钟内排查光纤松动、脏污故障,提前消除集群调试阶段隐患。多重机制保障AI Fabric集群训练业务不中断。
4、行业展望:
华为联合产业输出多项标准、技术与测试规范,2025 2026年入选Gartner、Forrester领导者象限。2019年ODCC峰会首次提出AI Fabric构想,七年时间完成技术从萌芽到快速迭代。呼吁产业同仁深耕AI Fabric,共建AI Fabric智能算网新底座,推动行业智能化。
2、三星:Beyond the memory wall, Rearchitecting the data path for agentic Al
演讲嘉宾:玄在雄,三星电子副总裁
会议要点
(1)人工智能演进阶段
人工智能正在进入全新演进阶段。第一阶段为生成式人工智能,主要完成文本、图像训练;当前正在迈向代理式人工智能,系统按照规划、执行、反馈的循环完成运行。该演进正在从根本上重塑人工智能基础设施,记忆与灵感成为驱动变革的关键要素。实体AI工作流运行逻辑为:模型完成规划,多个智能体并行执行,评估输出结果,再次开展规划,循环往复,直至输出高质量结果。
(2)代理式人工智能的性能要求
代理式人工智能正将性能提升到一个全新的高度。在训练方面,Frontier AI 模型使用的数据量几乎每年翻三倍。计算资源方面,增长速度更是惊人——过去两年间,推理环节的增长尤为显著,其token使用量增长了近100倍。而这仅仅是由局部上下文窗口和思维链驱动的。这不仅仅是对性能提出更高要求,实际上还创造出了行业前所未有的性能规模。
(3)代理式人工智能数据处理规模
2026年,中国每日token消耗量为140万亿。这是中国国家图书馆AI算力构建的案例,该机构藏书超过4000万册,相当于大约6万亿个token。在中国,AI仅用一天时间就能处理超过20倍于中国国家图书馆全部馆藏的数据量,这几乎是人类有史以来所写所有书籍总量的六倍。
风险在于GTA的规模:KV cache增长极快,而仅KV cache就需要大量重复利用。与用户数据不同,KV cache的存留时间非常短暂,却占据了巨大的存储容量。这就是为什么这里需要专用存储的原因。
SSD需要具备什么特性?高容量和耐用性。在大多数情况下,如果数据寿命为一天或更短,则使用SLC;如果持续数天或更久,则使用QLC。
2、PM 1763:
下面介绍三星为KV Cache共享存储设计的SSD。三星去年推出了一款 PCIe Gen 6 SSD,并承诺相比上一代实现性能大幅提升,相关产品已经达成预期。PM 1763实现了全球顶尖的性能表现。无论是顺序读写还是随机读写,所有参数都表现卓越。内部构造:采用V9 TLC 闪存芯片,搭配 4 纳米制程的控制器,通过 PCIe Gen 6 接口,并配备了液冷系统。此外,我们计划在今年第四季度推出这款产品,敬请期待。
3、E3.S 256TB QLC SSD:
这是全球最小的256 TB SSD也是一款256 TB的硬盘,体积极其紧凑,却对数据中心极具价值。内部结构:搭载了V9 QL C闪存芯片,采用5纳米控制器,容量范围从16 TB到56 TB不等。我们在性能和可靠性方面实现了全面提升,堪称完美无缺。凭借这两款SSD,我们将同时推动性能和容量的双重提升。
4、zNAND-O:
zNAND-O基于V10 BV-NAND架构,凭借TSV技术,其性能和能效比传统NAND高出7倍。zNAND-O控制器通过TSV与核心裸片相连。该产品在基底芯片上堆叠了多个核心芯片,并完全集成于单一系统之中。该产品通过UCIe标准接口实现芯片间连接,兼具高性能与低功耗特性。zNAND-O支持通过增加堆叠层数实现纵向扩展,并支持横向扩展,满足TB级模型规模需求。2028年起,zNAND-O将深度赋能AI创新。
要点总结:核心芯片采用SLC架构,使用TSV硅通孔技术,将NPU与zNAND-O集成封装;芯片之间依靠UCIe标准接口互连,同时支持纵向扩展、横向扩展。
三星提出适配zNAND-O的全新设备端架构。三星全新MPU优化内存架构,将语音、KV Cache保留在DRAM内部,规模大、计算密集的模型存放至zNAND-O。凭借该套成本优化 AI内存架构,zNAND-O可以为设备端AI承载万亿级参数模型。
过去十年间,三星发布了一系列技术规范和白皮书,这些资料不仅推动了技术发展,还为中国数据中心行业注入了动力。不仅如此,三星还为业界带来了技术洞见,并在中国建立半导体晶圆厂方面迈出了重要一步。特别是在西安,三星投资建设了一座120万平方米的NAND闪存晶圆厂,另外两处NAND生产基地也已投入运营。三星已准备好参与任何形式的技术合作,这将推动中国人工智能产业的发展。
3、博通:AI at Scale:以太网作为通用互联底座
演讲嘉宾:Mohan Kalkunte,博通架构与技术副总裁
会议要点
1、行业变化:
AI已经从集群计算走向分布式计算,网络本身成为计算架构的组成部分,以太网伴随AI负载持续迭代。以太网是通用化互联架构,三层内涵:适配任意规模场景(机架内、跨机架、跨数据中心、跨地域);对接任意XPU/GPU;承载训练、推理、分布式推理各类业务。
行业重大变化:以太网从传统scale out场景,向scale up、scale out、scale across三大领域扩张;scale up过去长期被私有互联主导,基于以太网的scale up生态正在形成。
相关规范与组织:ESUN 1.0规范正式发布,配套SUE T协议;OCI光计算互联组织成立,用于突破单机架铜缆传输距离限制;同时UEC、MRC、字节、Meta的RoCE等多条传输协议路线并行发展。
硬件迭代:交换芯片Tomahawk6带宽自Tomahawk5(51.2T)提升至102.4T,带宽与端口基数翻倍;端点速率从400G演进至800G,未来向1.6T演进;scale up域不再局限单数据中心,支持多数据中心互联。
架构判断:现有问题已经不再是“以太网能否成为通用网络架构”,而是“以太网到底可以扩展到什么程度”。以太网在架构层面不存在硬性上限,可以持续承接不断演进的AI工作负载。
2、AI工作负载演进及三大特征:
AI负载从传统训练,拓展至强化学习、推理、分布式推理,具备三大特征:1)通信量大幅增长,张量并行、流水线并行带来大量实体间通信需求;2)流量异构性增强,除集合通信外,新增大量内存事务、存储事务、控制信令流量;3)业务部署物理空间不断扩张,由单机架走向多机架、大型集群,网络成为计算架构的一部分。
3、三大场景技术解析:
1)Scale up(高带宽低延迟紧耦合计算域):是过去一年发生最大变革的领域。Scale up场景下XPU之间通过以太网执行类似内存Load/Store操作,需要对以太网做专项增强;协议栈分为XPU端点传输层、域内互联架构层。底层以标准以太网为基础,UEC定义链路层增强:链路级重传、基于信用的流量控制CBFC、优化报头格式。
行业存在多条自研scale up传输协议路线,但行业共识:不同传输协议需要一套统一底层互联架构,这也是ESUN组织成立初衷,ESUN 1.0让不同传输协议可跑在同一套通用架构。
规模演进目标:scale up域向128、256、512乃至1K 2K颗XPU/GPU发展。受铜缆距离限制,超大scale up域无法容纳在单个物理机架内。OCI组织目标融合铜互联优势、拓展传输距离,实现scale up域跨机架部署,重塑AI系统架构形态。
2)Scale out(多个scale up组成更大集群):行业从51.2T向102.4T迭代,博通芯片从Tomahawk?3迭代到Tomahawk?6,带宽大约提升34倍,端口基数相对上一代51.2T芯片实现翻倍。Tomahawk6芯片可搭建128K XPU扁平化两级拓扑,对比三级拓扑,整机功耗、时延、光模块成本降低40%,性能可靠性同步提升。
MRC(Multipath Reliable Connection)传输协议推出,解决传统RoCEv2 RC单路径、重传效率低、拥塞调优难的痛点,核心特性:1)自适应路由+数据包喷射,充分利用对分带宽,配套乱序数据放置机制;2)选择性重传,丢包仅重传对应数据包,而非整段序列;3)交换机侧数据包裁剪,拥塞时通知发送方。
3)scale-across(跨数据中心长距离互联):算力超出单数据中心能力时使用,scale-across互联多个数据中心,支撑百万级GPU规模。博通Jericho?4芯片面向该场景开发,高容量、高端口基数,支持长距离互联,集成深缓冲区吸收流量突发,长距离场景优先做延迟转发,规避丢包。
4、全协议栈创新总结:
1)应用层:集合通信、MoE混合专家模型、解耦计算等创新;2)传输层:UET、SUE T、MRC、Meta RoCE等多条路线;3)网络侧:自适应路由、报文裁剪、BTS拥塞信号、遥测技术;4)链路层:链路级重传、CBFC信用流量控制、帧格式优化;5)交换侧:102.4T交换机、高低延迟交换机、深缓冲区交换机;6)端点侧:端点速率400G→800G;LPO、CPO、NPO等光互联技术并行演进。
以太网依托开放标准,实现一套统一开放架构,适配任意XPU、任意规模、任意AI业务负载。
4、超聚变:架构跃迁,超节点创新之路
演讲嘉宾:孙恪,超聚变数字技术股份有限公司智算中心领域副总经理
会议要点
十年整柜与液冷演进:
公司自2017年开始布局三总线盲插液冷整机柜,用电、水、网三个维度同时解决高密服务器的供电、散热和互联问题。
通算时代风冷机柜约15—20kW,公司液冷整柜做到66kW、单柜128颗CPU;2022—2023年智算阶段,液冷整柜提高至102kW,可部署8台8模组机型。
超节点阶段风冷不再适用,液冷整柜功率继续向200kW、500kW和1MW演进;升级不只涉及电源,还要求冷板、管路、连接器和高速线缆同步迭代。
“0—3”:三类核心部件自研
液冷侧覆盖冷板材料、加工工艺、快接头、二次管路和TIM导热材料,目的在于使整个散热链路可控,而非只采购标准冷板。
电源侧由板级DC-DC延伸到整柜Power Shelf,把效率、功率密度和可靠性作为系统能力。
高速侧与产业伙伴联合开发Cable Tree和连接器,速率由25G演进至112G、224G。
公司认为超节点整机厂的差异化不只是集成GPU,而在上述三类功能部件及系统工程能力;同时通过硬件架构兼容不同交换芯片和Scale Up协议,给客户保留选型空间。
“1—N”:规模复制与业务数据
超节点已从首个客户扩展到互联网、金融、运营商和科研院所,并建立全球供应与服务体系。进入新行业、区域并非简单复制,需要针对机房条件、运维和法规重新验证。
公司披露年交付超过200万xPU、液冷节点年产能超过30万台;按单节点4—8颗xPU估算,已由万级样机进入数十万节点的规模商用。
规模带来三项反哺:更大采购量可推动液冷接头、冷板、电源等部件降本和良率提升;即便万分之一故障率也会形成大量故障样本,倒逼定位与修复体系;约200万设备运行数据可反向优化下一代架构。
5、阳光电源:从源到芯,算电协同:基于SST的AIDC供电解决方案新变革
演讲嘉宾:张迪,AIDC电源事业部总裁
会议要点
1、阳光电源产业布局与AIDC领域进军思路:
企业基础:1997年成立,深交所上市;光伏逆变器全球第一,储能系统全球前三;业务覆盖光、风、储、电、氢五大板块,2025年营收892亿元。
技术与研发实力:2025年研发投入42亿元;8000+研发工程师,硕士占比超70%;参与140余项行业标准制定,专利11000余件,全球7大研发中心。
制造交付:拥有波兰、印度、泰国、合肥四大生产基地;电力电子设备累计交付1000GW,电力电子产能450GW,储能产能100GWh,具备全球交付能力。
切入AIDC底层逻辑:依托电力电子核心技术,业务从发电侧、电网侧延伸至大型用电负载场景(AIDC、智慧矿山微电网);掌握微电网、构网技术、电力电子变换、热管理、场景化应用等底层能力。
行业大背景:行业由传统IDC向AIDC演进,算力基地向大型集中基地转移,催生算电协同需求,公司具备大型基地工程实施与运维经验。
2、算力发展相关政策、行业趋势与现存痛点:
政策层面,算电协同写入十五五规划,AI与能源双向赋能是未来五年重要课题。行业发展趋势方面,单机柜走向1MW成为确定性方向;制冷完成风冷向液冷迭代,供电即将由交流向原生直流演进。
AIDC电力侧三大现存痛点:电力需求缺口大,算力建设快于电力配套;并网周期长,与数据中心建设节奏错配;AI带来负载剧烈波动,对供电系统提出挑战。
现实挑战:电力短缺、项目交付速度要求提升,算 电、电 冷交织加深,前期仿真验证成为必备手段,规避投运故障。
公司研究思路:采用“以终为始”,先研判终局架构可行性,再倒推技术演进路径。
3、公司解决方案、产品能力与生态共建:
1)三类AIDC与电网融合典型场景及挑战:①离网起步、延迟并网场景:前期依靠微电网,后期并网;需要解决构网、黑启动、新能源配比,保障AI负载稳定。②电网配额受限场景:本地电网条件有限,项目具备自发电、限制峰值功率可优先并网;储能与算力深度融合,实现对负载、电网双向友好。③弱电网场景:部分新能源富集区域电网系统强度偏弱,大算力集群负载剧烈波动,存在断电风险,需要储能与关键电源融合保障系统稳定。
2)SST固态变压器EnerNeo产品方案:供电架构变革方面,传统变压器技术迭代缓慢,AIDC单机柜可达数百千瓦至1MW,传统供电架构占用机房空间占比过高,亟需革新。SST固态变压器把大量设备集成,适配行业从交流向直流演进的大趋势,实现中压直连高频化,解决占地难题。
核心产品参数:首款面向AIDC的SST固态变压器EnerNeo,功率密度312kW/㎡,相比传统供电系统占地面积减半;中压到800V低压全链路效率98.5%,较传统方案提升2个百分点以上。
架构适配:针对IDC场景做专项优化,可覆盖分布式(可按照超节点单元分阶段上架算力)、2N(A/B路替换)、4:3等主流AIDC供电架构。
配套能力:公司输出完整整套解决方案,兼顾负载平滑、备电、交流负载、短时储能缓冲等过渡阶段需求,实现开箱即可在数据中心部署使用。
数字分身模型:同步发布硬件对应的数字分身,可接入仿真系统,完成电网架构、动态负载、全链路能量流验证,保障场站交付效果。
产品路标:已规划完整SST产品序列,后续推出不同电压等级、不同颗粒度产品,推动行业中压直流直连演进;SST还可作为微电网能量路由器,落地算电协同。
6、中兴通讯:“Token经济”时代,全栈协同引领TCO最优解
演讲嘉宾:陆威,中兴通讯股份有限公司智算产品规划总工
会议要点
Token经济的三项指标:
训练时代主要看算力规模;推理时代首先看系统每秒可生成Token数,决定总服务能力。
第二项是每瓦Token数,反映电能转化效率和长期运营成本;第三项是单用户每秒获得Token数,直接影响应用时延和用户体验。
三项指标共同指向TCO:既不能只追求单卡峰值,也不能只看采购价格,而要看部署、供电、网络、运维和软件优化后的持续产出。
能力一:多芯协同
供应链和业务需求决定单一GPU难以覆盖全部场景,平台需兼容多款CPU、GPU、DPU、网卡和大容量交换芯片。
传统方式先确定通用网络再集成芯片,可能无法释放芯片性能。中兴先通过软件仿真模型在不同芯片上的算力、带宽和通信需求,再定制互联拓扑,实现“芯片—模型—网络”协同。
多芯平台既用于供应安全,也可按训练、推理及成本目标选择不同组合,目标是在相同硬件预算下实现更高有效Token产出。
能力二:OEX正交无背板架构
OEX中垂直板卡为交换板、水平板卡为计算托盘,GPU与交换芯片直接正交对插,缩短112G/224G信号传输距离,并实现电、水、网络三线无线缆盲插。
架构此前已在中高端路由器规模商用,并于2025中国算力大会获评重大突破成果,说明其并非仅停留在实验室阶段。
三项收益:无线缆释放风道和板卡空间,单柜支持32/64/128卡;短链路降低损耗并提高信号完整性;通过增加计算和交换部件继续扩展规模。
基于OEX可构建预制算力集装箱,在工厂完成硬件、软件和监控调试,现场连线后快速开通。计算托盘盲插、统一监控电/水/网,可降低部署和物理维护复杂度。
能力三:连接增强
MoE、PD分离和集群扩张显著增加GPU通信。商用阶段强调成熟与可靠:小规模超节点在柜内使用电交换和电互联;十万卡场景由多个万卡资源池通过光网络连接。
前沿方向是把OEX与dOCS分布式光交换结合。dOCS可按业务动态改变物理拓扑,减少光电转换环节和光模块数量,并实现百纳秒级低时延。
能力四:持续演进及全栈产品
整机层面推进算、存、网、供电和制冷协同;集群层面推进Scale Up与Scale Out融合,用更少交换机和光模块获得更高带宽;软件层面开展算电协同和算网协同调度。
产品分为芯片层、OEX硬件基础设施层、软件基础设施层和推理服务层,软件覆盖推理引擎、KV Cache、算力调度、服务网关和服务调度。
公司称该开放架构可承接未来6—10年的芯片和软件升级,长期通过全栈协同持续改善Token TCO。
7、新华三:以标准化共建开放超节点技术生态
演讲嘉宾:刘新民,新华三集团副总裁、技术委员会副主席
会议要点
1、行业现状与现实挑战:
算力需求高速增长,主流大模型性能约每3.5个月翻倍,国内两年新增1400个万亿级参数大模型,AI驱动数据中心建设提速,基础设施承压。
行业痛点:1)算力碎片化:新建、扩容集群硬件容易不一致,业务迭代、硬件升级进一步加剧异构碎片化,服务器、CPU型号多元。2)集群外部大互联技术成熟,但超节点节点内部互联呈现百花齐放的发展现状,同样存在不少问题。3)工程层面:过去只需要解决单设备内部问题,规模化时代,缺少标准化会抬高全行业成本,制约产业发展速度。
2、超节点标准化系统工程思路:
倡导行业共同攻克技术难题,沉淀软硬件货架式共享能力,核心方向包含三点:1)多元算力协同:多方协同项目不可避免出现碎片化,国内高端CPU成本偏高,需要标准化实现协同。2)互联走向开放:打破封闭“全家桶”方案,底层组件标准化,既可以使用“全家桶”整套方案,也可选用标准化组件,扩大技术选择空间、降低成本。3)供电、散热配套约束:单节点功率持续抬升,但受空间、冷却、模组体积限制,硬件无法无限做大,需要在有限空间实现高密度硬件设计。
各类模组标准出台:通过推进UXM标准化工作,完善模组标准层、整机柜技术底座;依托模块化、集成化,实现快速迭代、低成本落地。UXM体系以统一供电、统一接口、统一高速互联实现开放,底层标准化组件之上,厂商仍可打造自有整套方案。分层架构支持分阶段迭代,便于行业形成统一技术语言、达成共识。
3、互联协议与物理连接:
互联协议层面,集群外部网络(节点外部的网络)成熟,但超节点节点内部网络尚处于发展阶段。机柜内横向Scale out网络面临带宽、时延极限挑战,多个组织推进公开标准,各家解决底层问题一致。
新华三提出覆盖物理层、链路层、网络层、传输层的开放协议架构,协议开放,可交由第三方芯片厂商实现,部分接入芯片可封入GPU内部,部分交换协议芯片外置,构建Scale up开放网络,同时支持定制化开发。
物理连接演进:连接形态由设备间连接走向芯片到芯片;传输距离从厘米级向毫米、微米级演进。到达性能边界后电信号难以满足需求,以光代电成为高速高可靠连接重要方向。
NPO接口标准:NPO技术本身并不完美,但从工程可行性看是现阶段最合适方案,可靠可用、承前启后;国内其他光互联方案落地挑战较大,NPO具备现实可行性与演进潜力,已被行业接纳。新华三积极参与NPO多场景标准制定,推动配套工艺、光引擎规范建设。
4、互联架构路线:
正交架构、分布式架构均在落地,各有适用场景,更多体现工程实现能力,不存在绝对技术优劣。在224G、448G速率分界点,两种架构性能表现存在差异;未来工艺提升,二者性能差距存在不确定性。公司坚持标准化层面正交架构、分布式架构多路线并行,新工艺突破会重塑技术格局,公司内部有多条硬件平台,同步配套光轨标准层。
5、供电架构:
芯片功耗快速抬升,部分芯片功率突破2000W。芯片功耗动态波动,对供电稳定性提出二次设计要求。整机功率从200kW向500kW、兆瓦级演进。除高压直流供电外,供电垂直化成为重要方向,多年前公司和字节合作过小批量产品,当前供电距离从数厘米压缩至毫米级,仍有大量技术挖掘空间
6、散热技术:
过去设备内部散热压力相对有限,行业仅需持续提升风扇转速、风量、风道、散热片设计。当前单芯片功耗突破2000W,未来可达5000W;交换芯片功耗突破3500W,散热压力显著增大,散热体系层级下探至毫米、微米级,涉及多学科交叉,公司正在为高功耗交换芯片匹配散热方案。
当前行业主流为正压液冷(正压散热)路线,液冷部件、方案标准化是重点。国内已有负压液冷样机,运维层面具备潜在优势;极高功率密度场景效果尚待验证,现有功率条件下前景较好,负压降低对液体本身要求,有望提升散热效率。
新华三在多条技术方向开展研究,期待产业广泛研讨,协同创新共建多元开放AI生态。
8、晶丰明源:面向AI高密度算力集群,“最后一英寸”电源解决方案的演进
演讲嘉宾:张博一,晶丰明源高性能计算事业部中国区销售总经理
会议要点
1、功耗趋势:
2024年全球数据中心耗电约415TWh,接近英国全年用电;演讲保守预测2030年达到945TWh、接近日本全年用电,激进口径可能达到2024年的3倍。
中国数据中心2025年耗电约196TWh,2030年可能达到500—700TWh;全球占比可能由2024年的约25%升至2030年的约50%。上述均为演讲引用/测算口径。
通算机柜2021年约7kW,AI机柜则可能由2023年的40kW提高至2027年的600kW;按该口径,四年增长约15倍。
以NVIDIA芯片为参考,TDP由2020年约400W提高至2024年约1,000W,行业已出现3.6kW规划,并讨论4—5kW产品。按0.8V核心电压估算,Vcore电流可能由约450A升至4,050A。
2、四条供电技术路径:
母线降压:由12V向6V演进,使低压MOS获得更低RDS(on),并缩小电感等外围器件,有利于末级效率、动态响应和模块小型化;该路线可与其他方案叠加。
空间架构:由分立SPS转向模块化VRM,布局从水平供电LPD、背面供电,进一步演进至垂直供电VPD和GPU下方内嵌供电。演讲称PDN阻抗可改善一个数量级,VPD电流密度有望达到3A/mm2。
TLVR:通过跨导电感改善瞬态响应,减少外围电容,并将响应由毫秒/微秒级推进到纳秒级。
高频化:提高开关频率可缩小无源器件、提高功率密度,但会增加开关损耗,因此需与6V等低压母线配合。
3、公司产品与技术平台:
BPS为2008年成立、2019年科创板上市的Fabless公司,聚焦Vcore多相控制器和DrMOS,不直接生产整机电源模组,而与模组厂商共同服务GPU和服务器客户。
LDMOS合封方案将上管、下管和续流管以不同Die实现,可分别优化工艺;单颗Die可独立迭代,并通过金属层和基板封装在性能、良率、成本间灵活调整。
新一代DrMOS已量产,同时支持6V和12V母线,开关频率最高2MHz,并集成电流检测和保护功能。
实测中,新器件自15A负载起较老产品具有效率优势,25A重载效率优于海外竞品;50A连续5分钟测试温升更低,强调高电流场景的热可靠性。
面向VPD,器件可在同一平台从两相扩展至四相,并支持不同尺寸、长条外形和更薄封装;控制器兼容行业主流协议。量产产品覆盖当前需求,下一代产品面向未来2—3年的GPU升级。
9、庆虹电子:AI超节点高速互连方案的实践与思考
演讲嘉宾:陈衍冲,庆虹电子市场部总监
会议要点
1、架构与产业变化:
国内头部厂商已推出磐久、大禹、银河、天池等多种超节点,不同产品在背板、正交、飞线和光互联上各有侧重,互联部件不再是整机定型后的标准采购件。
芯片迭代由过去3—5年一代缩短为一年小版本、两年大版本,互联厂商需要同步支持不同芯片数量、封装和拓扑,研发与交期明显收紧。
主流形态包括背板式单面横插、无背板正交及无中板正交。随着信号由112G、224G向448G演进,PCB链路裕量下降,行业由板级互联转向Cable Tray、飞线等线缆化方案,长期是光铜共存。
2、五类互联硬件与NPC形态:
节点及整柜互联大致分为线缆背板、NPC近芯片线缆、OTB板外线缆、CPC共封装铜互联和板级连接器。
NPC/CPC必须前置参与芯片和封装布局;板级及客户定制产品则需与终端客户、ODM协同,单一连接器厂商无法独立完成系统优化。
国产芯片在先进工艺和封装空间上约束更强。公司提供4×4规格、单缆16对差分通道的小型化方案,以及8×8规格、单缆64对差分通道的高带宽方案,在宽度、深度和出线空间之间权衡。
3、ARK 224G及448G预研:
自研方舟ARK 224G高速背板接口单通道密度为2.2×2.7mm,目标是在高密度下保留足够带宽。
224G设计需缩短公母端子接触长度,同时解决冲压强度和制造良率;采用更低DK、更低损耗材料,并缩小连接器屏蔽腔,避免磁场能量堆积造成S参数谐振。
面向448G的初步仿真已把原224G方案约86GHz的谐振点推迟到110GHz,但尚需完成详细设计、制样和实测,不能等同于量产产品。
围绕ARK规划前置I/O、OTB、板对线、线对线及连接器对连接器等端到端无源方案,同时储备低损耗、耐弯折的224G/448G Raw Cable。
4、Cable Tray量产与质量控制:
单柜Cable Tray可能包含数千至上万个接口,必须使用XY方向浮动实现对位自纠偏,并以2—4mm Z向浮动吸收装配落差和插拔力,降低连接器损伤。
设计验证包括极限插拔角度、偏位工况、高温老化、混合布线和长期可靠性。不同客户可能因质量风险放弃理论性能更高的方案,因此工程一致性比单次实验室结果更重要。
量产要求每根线缆、每条通道100%执行无源S参数测试,关键尺寸进行100% AOI,焊接工序检查尺寸和焊点强度;装配后再做全通道线序和TDR阻抗检测,排查断线、压伤和阻抗不连续。
公司后续将继续优化ERL、ERPS、SCC等指标的仿真与频域加权方法,联合上游开发异形铜材和Raw Cable,并突破注塑、冲压等制造工艺。
三、服务器分论坛
1、安费诺:AI算力底座的互连与供电:超节点、NPO与HVDC
演讲嘉宾:Roy Wu,技术总监
会议要点
1、超节点:
已实现大规模量产的超节点大多采用Cable Tray方案。GB200、GB300,以及未来将要量产的VR200均采用Cable Tray架构实现GPU集群互联。除英伟达外,北美多数厂商超节点以同机互联作为基础互联协议。国内各类超节点方案大多采用同机互联实现scaleup网络扩展。
架构差异:NV、AMD超节点GPU与CPU部署在同一计算节点,无需PCIe;国内已落地超节点GPU、CPU分属独立节点,带来PCIe互联机会;GPU与交换单元之间scale网络通道数量大、架构复杂。国内两大主流架构为Cable Tray线缆背板、正交飞线架构,行业尚未形成单一主流,多路线并行。
安费诺对应产品方案:1)cable cartridge模组化设计,解决传统线对板线缆可维护性差痛点,大量采用大范围浮动设计,适配整机对接的高要求。2)飞线架构两套方案:芯片侧飞接背板侧,节点之间依靠飞线完成互联;芯片侧飞接IO/光模块侧,实现跨机柜scale out扩展。
速率与密度演进:国内当前量产速率112G,后续向224G、448G演进;集群规模扩张,互联密度要求持续提升,面积密度目标由5.76向4、2.4演进;安费诺推出3.2T、3.6T、6.4T、7.2T带宽等级NPC、CPC共封装互联方案。
技术进度与链路实测:224G北美已大批量量产;448G安费诺已完成初步设计并产出实物样品,覆盖背板连接器、线缆对接、芯片侧飞线连接器完整链路;90GHz条件下SDD21参数35dB,电源串扰55dB,具备PAM6下448G应用潜力,若用PAM4还需进一步优化。
2、NPO:
Cable cartridge、飞线架构逐步逼近传输物理极限,铜基互联随服务器规模扩张可传输距离缩短;光互联与电互联并行是技术趋势,铜、光互联在超节点不同场景均有落地选项。
行业进展:OFC、海内外AI大会多次讨论CPO/NPO;OCA、ODCC、OIF等标准化组织正在制定NPO相关标准,当前是规范NPO接口的关键窗口期。
安费诺产品方案:1)自研NPC、CPC方案已获北美大量客户使用,可提供兼容的NPO配套方案。2)配合ODCC?UPO工作组开发NPO方案,包含LGA socket插座形态,覆盖6.4T?7.2T场景,224G70GHz条件下仿真性能优异,目标支持448G,PAM6可满足需求,PAM4仍需优化。
形态路线观点:NPO技术路线、外形规格多,socket形态更利于标准化,规避两片式连接器跨厂商对接风险,同时公司也在开发两片式Mirror Mezz方案。
3、HVDC:
行业趋势:单卡功耗、超节点规模持续提升,HVDC成为必然趋势;海内外HVDC架构形态不同,但核心互联环节大体一致:AC取电→ACPDU输出800V直流→Sidecar/Power Rack→FDA配电单元→分发至各计算节点。
核心风险:连接器电流等级大幅提升,可靠性至关重要,需验证接触电阻漂移、热插拔电弧、震动、插拔松动等长期可靠性风险。
设计理念:行业厂商指标激进程度不一,安费诺采用保守设计,优先保障工业系统安全,重视长期稳定性、插拔寿命、安规要求。
产品布局:安费诺提供全链路电流分配完整解决方案,AC侧覆盖32 200安培,DC侧覆盖power shelf等环节;产品包含PSU输入输出连接器,800V器件,节点、交换、计算设备取电连接器,覆盖110 220安培,适配客户差异化架构。
4. 高速互联与800V HVDC供电领域观点与产业需求:
技术布局:安费诺同时跟进超节点、NPO光电两条路线,HVDC海外推进节奏靠前,公司具备完整解决方案;作为本土化程度很高的美资企业,希望依托ODCC和国内伙伴共建高速、大电流互联生态。
可靠性重要性:高速互联领域AI训练场景下,高速互联误码会造成训练任务整体重启;供电领域HVDC多级转换、多环节分配,供电故障会对AI业务造成重大影响,高速、大电流新产品需要大量实验验证可靠性。
落地节奏判断:224G、448G高速连接器国内落地尚需时间,448G国内落地周期更长。北美或更快落地,336V?448V方案未来1?2年处于研发与部署阶段。
产品价值:国内设备能力存在一定滞后,安费诺高密度高速产品适配未来场景;448G在阻抗、串扰层面仍存在性能缺口;下一代高密度产品可改善国内224G场景下的ISI码间干扰问题。
2、天翼云:面向Agentic AI应用的超节点硬件架构创新
演讲嘉宾:白秀杨,中国电信天翼云研发专家
会议要点
1、Agentic AI带来的硬件变化:
Agent应用正从单一Agent走向任务规划、任务协调、结果确认等多个Agent协同;当输出不符合预期时,系统还会重新规划和执行,因此底层资源需求比传统单轮推理更复杂。
第一类瓶颈是KV Cache。长上下文和并发量提升会快速占用HBM,压缩Batch Size并降低吞吐;RAG、多轮对话又包含大量重复前缀,既要解决容量,也要解决高速传输和跨请求复用。
原纪要记录:70B模型单Token KV Cache约0.5MB、13B模型约0.78MB、采用GQA的70B模型约0.31MB;并记录上下文达到1.28K时,A100/4090显存可能被KV Cache基本占满。后两项数字与常见口径存在疑点,建议结合演讲PPT复核,但不影响“长上下文使KV Cache成为瓶颈”的方向判断。
缓存利用率超过95%后,系统可能从计算密集型转为I/O密集型,KV Cache搬运而非GPU计算成为吞吐制约。
第二类变化是CPU负载。传统业务中CPU主要做预处理和简单调度,CPU/GPU常见配比为1:4或1:8;多Agent需要工具调用、资源协调、结果同步,部分业务中CPU处理占总时延可达90%以上,配比可能转向1:2甚至1:1。
2、紫金超节点架构:
核心设计原则为开放生态、资源解耦、高速互联和极致能效。统一硬件平台兼容多款国产AI芯片,可按业务性能和成本选择最适合的芯片组合。
整机柜模块化设计打破固定CPU/GPU配比:Agent业务可增加CPU模块,传统推理可增加GPU模块,并通过整柜交付简化部署和运维。
高速互联兼容多种Scale Up协议物理层及不同国产GPU技术路线,支持224G速率。部分国产GPU单卡功耗已经超过1.6kW,因此采用直流入柜、高效率双输入电源模块和冷板液冷,并在机柜、节点两级部署漏液监控。
机柜统一监控GPU状态、互联链路及供电单元。集群包含XPU算力节点、CPU通算节点、内存池节点,以及面向L3/L4不同层级SSD的混合存储节点;Scale Up网络同时承载GPU互联与KV Cache流量,前端网络负责业务流量。
整体思路是将算力、通算、内存和存储由资源孤岛转为统一资源池,按任务动态调度,提升多Agent场景的资源利用率。
3、HPKV多级KV Cache服务:
HPKV将KV Cache从GPU HBM扩展至CPU内存和高性能存储,扩大预取与缓存复用范围。
长文本场景中,将无法容纳于显存的KV Cache卸载至KV存储,业务全局复用后TTFT最高可下降80%。
智能客服、AI助手、在线教育等多轮对话场景包含大量重复系统提示词,HPKV可使缓存命中率提升至90%以上,减少重复计算和Token成本。
云API等高并发场景中,缓存下沉可解除显存对并发量的限制;演讲实测64并发吞吐提升2倍,部分场景每秒吞吐最高提升10倍。
4、后续方向:
提升互联密度,并配套800V HVDC与全液冷,解决更高单卡功耗和机柜密度。
探索Scale Up、Scale Light等网络的同平面带宽共享,缓解不同业务下带宽利用不均。
从CPU/GPU灵活配比进一步走向内存和存储全面池化,解决多机KV Cache共享。
Agent场景不能只看MFU,需同时关注整数、浮点和通算资源的综合利用率,推动通算与智算融合。
3、锐捷网络:800V高压直流机柜供电演进
演讲嘉宾:李武,锐捷网络电源专家
会议要点
1、AI算力功耗爆发背景下,50V架构的局限性:
AI芯片功耗快速抬升:从早期几十W,提升至H100的700W、B200的1kW,未来GPU单芯片功耗可达5kW;单机柜最多144颗GPU,单芯片功耗突破5kW,机柜整机功率可达600kW 1MW。
传统50V架构四大制约:1)配电容量触顶,功率上限约300kW;2)PSU功率密度存在瓶颈,实现1MW供电需占用30U设备空间,空间成本高;3)母线损耗随功率平方级激增,600kW机柜50V架构电流约12000A,切换800V后电流下降15倍,回路损耗降至原有1/225;4)散热能力触顶,传统架构6次电能变换,变换损耗全部转为热量,风冷无法匹配。
2、800V HVDC成为物理必然及产业共识:
两种实现方案:800V直接架构、正负400V架构,本质都是800V;正负400V为三线架构,存在中线不平衡风险。800V架构带来多方面系统收益,端到端变换效率提升3?5个百分点;铜材使用量减少45%;机房电能变换环节由6级缩减至3级。
产业共识:英伟达Rubin平台采用800V HVDC;OCP推进对应标准,80余家MGX生态伙伴共建生态,头部厂商均选择800V路线。
3、数据中心三代供电架构演进以及50V、12V、6V三条母线迭代路径:
三代供电架构:1)第一代12V分布式供电:整机柜功率上限约30kW;2)第二代50V架构:整机柜功率上限约250kW;3)第三代800V,分两个演进阶段:①第一阶段:800V转50V集中供电。800V经Power Shelf降压,沿用原有50V铜排与服务器板载方案,生态兼容性好;占用8?10U机柜空间,整机柜功率可达700kW。英伟达采用1U 90kW架构,由6台15kW PSU组成,同时支持风冷、液冷;国内厂商方案差异化,普遍选择液冷,搭配ATS器件,功率覆盖50kW、70kW、100kW。
②第二阶段:800V直入服务器节点。取消50V变换,高压转低压在节点内部完成,供电路径大幅压缩;英伟达Kyber机架采用该方案;预计未来两年商业推广,整机柜功率上限可达1MW。
800V落地后三条中间母线技术路线:1)800V转50V,再转12V/6V给XPU供电。三级变换,整体效率约85%;复用成熟50V体系,成熟度最高,有望率先落地。2)800V直接转12V给XPU供电。母线电流大、12V VR转换效率偏低,大功率机柜适用性有限,大概率不会成为主流。3)800V先转6V,再由6V VR供电。效率提升1 2个百分点;短板为单节点大功率工况下,6V母线传输电流可达数千安培。
4、800V进柜、进板的核心挑战:
以英伟达Kyber机架为标杆,整机功率600kW?1MW, 800V直入节点带来多重难题:EMC、高功率密度PDB设计、器件生态不成熟、800V节点安规标准缺失。
对应解决路径:1)EMC治理:源头抑制干扰,RC吸收电路把电压变化率控制在300V每纳秒以内;采用三点分离接地与EMI滤波。2)PDB功率密度:采用多颗全砖电源模块并联;锐捷推出800V输入50V输出PDB,输出功率24kW,峰值效率97.5%,整机尺寸350×180×34毫米,功率密度水平较高。3)器件生态:高压连接器、熔断器、第三代半导体、热插拔控制器等产业链产品加速成熟。4)安规设计:分级选材,选用CTI>600的FR?5板材,严格管控爬电距离、电气间隙;大电流采用多路并联、线传变针传。计算板节点内部,多相模组扩容,引入IVR;高动态工况做EDPp专项处理;采用垂直供电、供电堆叠方案。
垂直供电演进逻辑:VRM不断贴近负载,缩短功率传输路径,降低损耗、提升功率密度。横向供电I2R损耗可达8%?10%;VRM置于PCB背面,系统净效率提升约10个百分点;第三代VRM内嵌PCB内部,功率密度提升至3A/mm2;终极形态为IVR,适配未来5kW GPU。
EDPp(GPU动态脉冲功率)治理:EDPp幅值可达GPU TDP的120%?175%,管控不当会造成宕机、电网跳闸。1)800V架构下,储能电容、超级电容迁移至800V母线或sidecar;2)采用芯片?板?PSU?机房侧分级协同抑制;3)分频率治理:低频扰动在机房供电侧处理,高频扰动在机柜内部处理;4)当前缺少统一标准,需要产业链协同制定边界规范。
5、行业展望:
演进分为三维度:标准上OCP标准落地,国内同步对标推进;器件上第三代半导体、连接器、超级电容持续迭代;架构上800V转50V成为规模商用主流,12V、6V中间母线持续验证。
产业时间节奏:2026年800V转50V进入出货阶段;中间母线技术为未来两年演进方向;VPD、IVR为量产终极方案。
核心结论:800V是物理必然和产业共识;800V转50V是未来2?3年工程落地主线;PDB、EDPp、IVR是未来数年产业链重点研究方向。
4、百度:Agent时代的计算节点模块化设计
演讲嘉宾:盛永,百度技术专家
会议要点
1、超节点行业现状:
(1)超节点的重要性
AI时代到来,超节点作为AI基础设施的核心产品,正在推动数据中心发生深刻技术变革。
(2)超节点面临技术挑战
超节点实现规模化批量交付之后,会遇到多方面技术挑战,主要归纳为三点:
第一,规模跃迁,超节点规模化上线交付,会带动数据中心基础设施发生变革与演进。
第二,计算节点层面产品方案多元化。GPU领域,除英伟达持续迭代产品之外,国内昆仑芯等多款GPU产品同步发展,算力供给呈现多元化,产品需要实现多方案兼容。CPU领域,除英特尔、AMD主流平台,还有海光等国产算力平台持续迭代。CPU与GPU各类组合,每一类组合都需要全新的系统研发设计。
第三,不同硬件组合会带来研发资源投入、开发周期方面的挑战。从业务需求看,新兴算力迭代背景下,客户对新产品导入速度要求提高,传统计算服务器开发周期较长,现阶段要求产品在一年之内完成上线。
(3)百度的解决方案
将计算节点服务器拆分为硬件、结构、供电、散热、网络、管理六大模组,采用模块化设计。
模组可以像积木一样自由组合堆叠,快速完成产品开发迭代,不再需要针对每一套硬件组合做完整系统级验证。研发工作从整机系统级别下沉至模组级别,能够大幅压缩开发周期,减少资源投入。模块化设计同时需要兼顾不同客户业务场景需求,I/O层面保留充足扩展弹性。从供应链角度,各模组均支持国产化替代方案,保障多路径供应能力。在AI集群高密度算力场景中,如果设备可维护性较差,故障会造成算力损失,设备可运维性也是重要设计考量。
2、百度天池超节点系统:
(1)系统架构
系统包含计算节点、GPU节点、电源板、风扇模组、液冷模组、高密连接器等13项关键核心部件。
(2)分模组设计思路
第一,硬件模组,核心理念是实现多元化兼容,支持平滑向下一代产品迭代。
主板模组实现多平台兼容,不同平台主板物理尺寸统一,支持主板模块化迭代。GPU模组兼容主GPU方案,昆仑芯等各类国产GPU,在统一结构下完成模组兼容。背板、转接卡、交换板等其余部件实现通用化,搭配不同模组灵活组合,以此加快平台研发迭代速度。
第二,结构模组,重点关注极致 I/O 扩展能力、弹性网络、极简可运维性。
机箱采用标准21英寸1SU设计。机箱前窗划分为五个功能区域:第一区域布置管理网卡,支持普通网卡、双宽智能网卡等多类硬件,适配不同业务场景;第二区域设置10个RDMA网卡位;中间区域支持SSD设备;右侧布置系统盘。传统服务器设计为追求非热插拔,一般将系统盘布置在机箱内部。面向AI集群,运维要求提升,百度将系统盘布置在前窗,在有限空间内实现I/O能力最大化扩展。机箱后窗全部采用热插拔设计,包含液冷冷板快接头、高密连接器、供电卡扣接口,以此提升整机可维护性。
第三,供电模组。超节点场景不再适用传统分布式供电方案,线缆密度、传输路径损耗会大幅上升,无法满足超节点产品发展。百度采用集中供电方案,节点后侧通过卡扣接口对接母排,实现快速运维接口,降低供电管理复杂度,简化线缆管理,实现统一电源管理。节点内部设置电源分配板,向各个模组分配电力,依靠高密度供电方案释放单机柜算力密度,避免供电成为算力瓶颈。
第四,散热模组。当前部分芯片功耗已经超过1.2kW,传统风冷无法满足散热需求,行业普遍采用冷板式液冷散热方案。CPU、GPU等高功耗核心芯片采用冷板液冷散热,其余低功耗部件保留传统风冷方案,整机功耗显著下降,散热能力得到提升。液冷快接头采用浮动盲插结构,支持热运维快速操作。冷板散热方案可将CPU温度降低25℃以上,GPU温度降低20℃,充分释放GPU算力,避免因高温降频限制算力输出。
第五,管理模组,核心目标是保障设备交付之后模组对应的算力不会因为单机故障长时间无法对外提供服务。
超节点属于高密度算力产品,传统故障报修处理时效无法满足业务要求。管理模组设计核心要求为实时感知、自动响应,支撑快速故障处置,保障算力尽快交付业务使用,算力直接对应业务成本。整机沿用传统BMC带外管理架构,重点强化实时智能监控。冷板式液冷大规模部署场景下,液冷漏液监控与故障管理是核心设计要点。百度拥有长达十年冷板液冷线上部署运维经验,相关运维经验落地到超节点产品,实现液冷故障精准预测与维修。同时实现告警精准性管控,依靠准确告警提升维修效率。所有接口遵循行业标准接口,支持不同产品快速兼容。
总结:百度已经推出AI超节点相关产品,当前行业多家企业都在开发超节点高密度算力产品,百度呼吁行业协同推进模块化标准制定,减少多家企业并行开发带来的资源重复投入,助力AI行业发展。
四、超大规模集群分论坛
1、百度云:百度智能云AI全栈体系赋能超大规模集群建设
演讲嘉宾:李丁,百度云 百度混合云解决方案专家
会议要点
1、超大集群的基础设施约束:
单卡设计功耗已接近1kW。十万卡仅GPU功耗就达到百MW,叠加CPU、内存、网络和供电配套后可能达到200—300MW,需直接从220kV主干电网取电并配套建设变电站。
GPU训练负载不同于通用服务器,TP/DP并行时仍有较高空载基线,业务功耗波动可达约30%;映射到机房可能形成几十至上百kW的瞬时变化,因此不能只按设备标称功耗设计配电。
十万卡集群约需6栋、每栋约2万平方米且承载50MW的建筑。单栋楼宇、园区取电和跨楼网络必须从项目早期统一规划,普通园区很难直接满足条件。
RDMA当前较优通信距离约150m,超出后衰减和时延压力增加;百度正尝试将有效距离扩展到200—300m,以适应楼内及跨楼互联。
风冷机柜约30kW后效率、噪声和风量均接近上限,万卡/十万卡项目需前置规划风液混冷或液冷。随着单柜功率由4.4kW、20kW继续上升,变配电和制冷设施占用的建筑空间将明显超过IT设备本身。
2、百度AI全栈产品:
P800板卡服务器是百度全国产集群的主要硬件,3万卡级集群均使用同型号,减少异构带来的运维和性能波动。
超节点可在单柜部署32卡或64卡,相比4台独立8卡服务器,GPU距离更短、互联效率更高,更适合十万卡集群和Token产出优化。
百度希望在千卡、万卡项目早期参与楼宇、机柜及网络拓扑设计。虽然不是传统弱电集成商,但具备大规模智算集群系统集成和运行经验。
自研百舸平台负责集群纳管、训练/推理任务下发、资产登记和故障分域,可同时兼容百度自研、NVIDIA、寒武纪、海光等多种硬件。
开源模型和框架更多追求普遍可用,云厂商可针对客户模型和业务做训推优化;同一套硬件的Token产出差异由软件栈、并行策略、资源调度和故障恢复共同决定。
3、集群运营与案例:
对政府、城投和大型企业自建集群,百度可通过多云管理平台提供运维、计费和业务分发,解决“建成后不会运营”问题。
10,240卡稳定性测试连续运行84小时,故障率0.1%;期间共记录40张故障卡,平均恢复时间20分钟。核心在于将故障现象、历史统计和处置策略固化至平台,实现自动自愈。
宁夏中卫3.2万卡全国产集群全部采用P800,CPU为海光四代7490系列,总算力约16,000P、PUE接近1.2,并配套并行存储,主要承载训练任务。
集群规模扩大通常会使训练有效率由千卡时接近99%下降至三千卡时约70%—80%;百度称其万卡训练有效率仍可维持80%以上,并经过第三方评测。
五、大模型算力分论坛
1、海光信息:大模型推理时代,国产算力与开放生态的双轮答卷
演讲嘉宾:杜夏威,总裁助理兼智能计算产品部总经理
会议要点
1、 产业现状与软硬协同必由之路:
行业进入效率优先的迭代周期,芯片迭代以年为单位,模型迭代速度快,软硬件迭代周期存在天然鸿沟,弥合该鸿沟是Token经济发展的关键。
产业共识:软硬件协同优化是必由之路,是缩小与国际先进水平性能差距的关键。1)软件侧:需要完成从上层模型算法、推理引擎到底层算子、汇编层的全栈软件栈工程化优化。2)硬件侧:芯片定型后改动适配软件迭代难度高,采用shift left左移设计理念,强化与模型侧联动;同时拓展超节点、万卡/十万卡大规模集群等系统层面工作,实现与软件侧衔接。
2、 产业四大关键挑战:
1)内存显存挑战(内存墙):受容量、访存带宽约束凸显;PD分离架构不同场景下P、D部件价值不同;倡议产业理性研判,避免一窝蜂式技术路线选择,防止衍生新产业问题。
2)通信墙:MoE大模型对全局通信带宽需求提升;不能只追求纸面性能,要关注性价比,最终落脚到单Token成本合理化,才可以实现商业化落地。
3)MFU算力利用率:不仅取决于芯片设计,还和大模型稀疏化(MoE)强相关;需要构建覆盖算力、访存、通信、IO的完整适配系统。
4)能耗约束:单机柜功耗、土地、电力、机架(LPS)成为算力中心硬性约束;需要全局一体化设计,算电协同、绿电、储能成为大算力产业必备课题。
3、海光信息芯片与软件栈产品落地:
硬件芯片矩阵:覆盖边缘轻量设备、高性价比PCIe设备(双卡/四卡桥接);主力产品基于HSL高速互连域,推出8卡、16卡、40卡超节点。下半年超节点需求上涨,驱动因素:①大模型参数量提升,需要更大HSL域、显存支撑推理与PD分离切分;②训推一体诉求,波峰跑业务、波谷回收算力做训练,超节点是Token工厂基础单元。
三层软件栈:1)DTK底层基础软件栈:支撑编译层,对接各类框架算子,实现极致性能优化。2)DAS中层AI软件栈:算子、推理引擎整合,开箱即用,逐步开源,构建开发者生态飞轮。3)DAP顶层平台层:覆盖对话、Agent智能体、DAP?Token,实现Token监控、统计、运营,打通算力?Token?业务。
4、算力交付模式与生态:
全域协同算力交付:1)大规模公有云侧:超算/算力互联网云化交付,用户便捷获取Token,免去重资产运维。2)私域部署:兼顾数据边界,释放自有数据价值,迭代垂类模型、垂类Agent。云上+私有化协同,实现从底层算力到上层Token由“可用”迈向“好用”。
生态共建:开放镜像仓库、模型仓库、开发者开源社区、Agent与Token管控工具;依靠用户反馈驱动产品迭代,联合大模型、基础设施伙伴共同把算力转化为可交付业务能力。
2、壁仞科技:异构并行分发架构下大模Token负载协同优化
演讲嘉宾:高瑞阳,研发高级经理
会议要点
1、 PD异构设计背景:
上一代国产芯片HBM2E带宽存在瓶颈,单设备460G/s,四层堆叠仅1.8T;而旗舰大模型Decode阶段带宽需求达到2T?10T,无法满足SLA要求,但该类芯片Prefill算力充足。
PD异构方案:存量HBM2E国产芯片作为Prefill(P)节点,发挥算力优势;下一代国产芯片或英伟达GPU作为Decode(D)节点。复用存量AIDC硬件资源,支撑前沿大模型服务。
底层通信基础:依托RDMA;规避NCCL仅适配英伟达GPU的限制;采用网卡直连通信,完成不同架构GPU内存映射,高性能、可跨服务器扩展,支撑异构推理。
2、三类KV Cache传输实现策略:
1)P2P直连方案:P节点生成KV Cache直接传给D节点做解码;路径短易优化;缺点P、D节点预先绑定,无法解耦,其他节点感知不到缓存。
2)共享存储方案:P把KV Cache写入store集群(CPU?DRAM/SSD),全系统广播,D节点查询读取;优势P、D完全解耦,由store统一管理。
3)生产环境主流?混合路径:P节点一方面直接把Cache下发D节点;同时写入本地store;新会话请求到来,其他PD节点可从store读取历史KV Cache,兼顾时延与解耦能力。
3、 存储资源需求测算:
以1000用户、每用户20个session、单session上下文32K token,经过GLM5模型KV Cache压缩后,单token缓存90.5KB,整体需要55.2TB存储,无法全部放在HBM显存。多级缓存合理分层:HBM承担热缓存,存储高频访问session对应的cache,容量规模约500GB-800GB;分布式CPU DRAM承担11TB?13TB;SSD承担43TB?52TB。
4、 国产芯片作为Prefill节点的商业可行性:
单机P节点收入计算公式:单机月收入=单机时长×单机吞吐×Token定价×利用率。虽然Agent任务可以持续运行,但用户请求存在波峰波谷,夜间存在业务波谷,集群无法始终跑满单机吞吐,因此必须引入利用率参数。
单月总时长换算为30×24,等价于2.592百万秒。Token定价参考智谱官方对外报价:cache命中的Token,对应实际Prefill计算,每百万Token定价8元;cache未命中Token,每百万Token定价2元。基于上述参数,可以得到单机月收入计算表达式。
公式包含两个核心变量。第一个变量为cache命中率hit rate,多轮对话场景中,如果cache已经在系统内完成计算,就可以直接复用缓存,不需要重新执行计算。该部分Token单价更低,同时不占用单机吞吐资源,仅完成检索读取即可,对业务收益影响极大。第二个变量为利用率。
代入单卡500Gps、单机4000Gps的吞吐参数进行测算,得到单机月收入8万元。该测算结果属于保守基线,公式中多个变量都会对最终收益产生影响。
进一步分析,基线单机月收入为8万元。1)开展性能优化,若单卡吞吐由500Gps提升至1000Gps,根据公式,单机收入将实现翻倍,因此性能优化具备极高业务价值。2)利用率:商业落地过程中提升利用率,收益呈正比例变化,利用率由0.5提升至1.0,单机月收入可以提升至33万元。3)cache命中率,该变量操作空间最大,与系统技术实现深度相关。可以通过系统层面多项手段提升cache命中率,例如多轮对话场景下对长Decode做处理、对Prefill结果做存储等。若cache命中率从0.8提升至0.9,单机月收入可以从33万元提升至53万元。对比基线8万元,收益提升幅度十分显著。
以上就是上一代国产芯片承担Prefill任务能够算清经济账的底层原因,通过各个环节精细化优化,输出高质量、有效Token。
六、百度智能云基础设施分论坛
1、百度云:Token工业化时代:超节点架构重构与智算底座演进
演讲嘉宾:武正辉,百度智能云系统部资深工程师
会议要点
1、超节点为何需要重构:
大模型参数量由线性转为指数增长,单机8卡已难以支撑MoE、PD分离、长上下文和多种并行策略,集群规模由千卡向万卡、十万卡扩展。
传统CPU+GPU逐步变为CPU+GPU+XPU/ASIC的异构融合架构;硬件需要在同一系统内完成多类算力协同,而不是为每种组合重新定制服务器。
超节点的直接价值是提高单位空间卡数、缩短GPU距离并增加Scale Up带宽,但随之产生供电、散热、信号完整性和维护挑战。
2、四类关键瓶颈:
散热与功耗:天池第一代单柜约33kW,后续提高到70kW、140—300kW乃至500kW以上,54V供电难以长期支撑,需转向800V;高密GPU则要求液冷和更精细的功耗稳态控制。
互联:速率由112G向224G、448G演进。机柜内铜互联仍具优势,长距离逐步由光承担;CPU、GPU、ASIC等异构部件也需统一通信。
模块化:固定配置无法匹配多样模型,应让电源、计算、网络和互联单元按需组合、独立迭代。
带宽:Scale Up带宽要由十余TB级提高至百TB级,才能减少GPU孤岛和通信等待,并支持更大模型及KV共享。
3、天池1.0—3.0路线:
天池1.0于2024年启动研发、2025年7月上线并已规模落地;2.0已进入部分客户试点和批量部署准备;3.0为下一代规划。
单柜卡数由32卡、64卡走向128卡和256卡;单柜功耗由33kW、约70kW提高至规划的140—300kW。
Scale Up域由第一代256卡、第二代512卡,进一步规划至1,024卡及以上。
互联方面,1.0使用Cable Tray,2.0继续提升其传输与可靠性;3.0将结合Cable Tray、正交背板和光互联/CPO/NPO,面向448G解决串扰、损耗及系统集成问题。
供电方面,前期采用54V,3.0在128/256卡阶段可能使用54V与800V共存、即800V入柜后转54V;生态成熟后再走向800V直入节点。
4、整柜与计算节点设计:
天池整柜由电源、计算、网络、机柜本体、Cable Tray和RMC管理单元六大模块组成,彼此解耦;单一模块故障可独立更换,减少对其余计算资源的影响。
节点内部继续拆分CPU、存储、交换和GPU模块。天池3.0计划取消部分柜内线缆,实现更高程度的无线缆连接,并推动CPU、GPU及其他部件全液冷。
2.0较1.0显著提高节点I/O带宽;机柜维持46U、21英寸规格,并进一步支持硬件热插拔和快速维护。
5、Scale Up网络、内存池及Token工厂:
64卡规模可使用Cable Tray或正交架构;128卡以上逐步引入光。单柜或双柜256卡通过多类交换/高速互联芯片扩展,之后以NPO实现单层1,024卡全互联,服务10万亿参数及更大模型。
针对PD分离和长上下文显存不足,天池利用Scale Up域做KV Cache池化,并预研CXL Memory Pool:通过Fabric Switch连接Memory器件,使内存与显存共享,扩展有效缓存容量。
Token工厂第一阶段以铜互联天池超节点为基础,第二阶段随NPO成熟扩大光互联域,目标形成数百TB级内部带宽。
软件侧结合模型、推理和资源调度优化,提高同一套硬件的Token产出和性价比;架构按训推一体设计,可在业务需求变化时切换训练与推理。
3.0计划依次实现单柜64卡、光铜混合256卡、512卡,最终以NPO扩至1,024卡。关键待攻克项是光方案能否达到Cable Tray接近的低功耗、高可靠,以及高密机柜的供电和散热。
七、算电协同分论坛
1、麦格米特:面向兆瓦级AI 机柜的800 VDC Sidecar 供电架构
演讲嘉宾:施恒亮,麦格米特AIDC电源产品经理
会议要点
演讲关注的五项问题:
功率扩展:随着GPU和机柜功率提升,以模块方式增加供电能力,而不是整体替换。
高压安全:800V系统需要完备的隔离、保护和状态监控。
动态负载:电源需适配GPU快速阶跃及高峰值功率。
能量管理:协调超级电容、电池和电网,降低负载波动对电网的冲击,并提供掉电穿越。
系统控制:将上述功能纳入统一实时控制和监控平台。
1、从分布式电源到机架能源平台:
数据中心电源可分为IT Shelf内部分布式、IT机架内集中式,以及独立机架级能源平台三类。
Sidecar把前端功率变换和能源管理从IT柜中解耦,可应对毫秒级负载阶跃,并在电网故障时延长供电时间。
GPU及服务器迭代速度快,而供电基础设施寿命更长。解耦后,IT侧可更换新GPU,供电侧则按功率需求增加模块、储能或控制功能,无需同步重建整柜。
2、800VDC Sidecar产品形态:
过渡方案在IT机柜内部配置90kW Power Shelf,将PFC和AC前端放入Sidecar,IT柜只承担DC/DC转换,从而释放IT空间。
800V进行机柜间传输,到IT柜附近再转为50V,缩短低压大电流路径,减少铜缆用量和配电损耗;多个Power模块可并联,按实际上架功率扩容。
在800V机柜铜排成熟前,Sidecar内部110kW Power Shelf可直接连接DC/DC电源架,一台Sidecar供2—3台IT机架。
兆瓦级机房成熟后,形态将转为一台Sidecar对应一台IT机架;最终由中高压直流远距离传输,经SST直接输出800V进入IT Shelf,再由PDB向GPU供电,尽量减少中间变换级数。
八、AI工厂分论坛
1、小红书:万卡AI集群稳定与智能运维实践
演讲嘉宾:张艺龄,小红书网络产品专家
会议要点
1、稳定性指标与口径:
单点故障会使其他Rank在Collective阶段等待,最终造成任务Hang、Fail或超时。一个包含1,000余张卡的Pod若停顿10分钟,约损失170 GPU卡时。
结果指标包括有效训练率和无效GPU卡时。有效训练率=有效GPU卡时/已分配GPU卡时;只有Global Step、Step Time及性能处于合理基线的时段才计为“有效”。
无效卡时按受影响GPU数量×无效持续时间累计;过程指标则分别记录故障发现、响应和恢复时长,便于定位损失发生在监控、决策还是维修环节。
2、五步稳定性闭环:
统一数据底座:把GPU、网络、存储和作业作为业务对象,汇总Metrics、Logs、Events及业务/网络拓扑,再将原始数据收敛为标准事件。
判断GPU是否真正有效:同时观察GPU利用率、功耗等资源信号,Global Step/Step Time等业务进展,以及MFU、I/O等待、TTFT等性能指标,避免把降频或慢节点误算为有效卡时。
从面到点定位:先看Pod、网络平面和作业拓扑,再下钻至时间段、端口、模块、线缆或单卡,通过增量和峰值识别异常对象。
固化证据:对XID、GPU、网络和业务异常做持久化、去重和标准化;原始证据纳入SLO,供人工及AI复盘,而不是只保留最终结论。
受控重建:事件上报后先隔离节点/故障域并保留现场,再检查Checkpoint,选择回滚或重建策略;通过Global Time和时延指标确认业务真正恢复。
3、三类故障案例:
NVLink瞬时Inactive:驱动出现XID 149/145,作业中断或重启。通过不同Pod和层级灰度,开启NVLink恢复及链路负载均衡,降低瞬态故障影响。
GPU ECC:累积不可纠正ECC直接隔离下线;Row Remap Pending可在维护窗口Reset。维修后需压力测试,通过后才重新回池。
RDMA:800G CX-8网卡通过双400G链路上联两个网络平面,Bond整体失效时,结合两台Leaf报错排除上联交换端口,再通过替换模块、线缆、直通组件交叉定位。
4、多Agent智能运维:
主Agent解析事件上下文并派生子Agent,并行查询Metrics、Logs和Events;部分子Agent按预定义意图执行带内、带外GPU及RDMA取证脚本,最终生成证据包。
工作台输出五类工件:事件卡、证据包、按置信度排序的根因假设、处置/回退动作、验收报告;每个完成RCA的Case会自动进入知识库和规则迭代。
安全边界包括默认只读、事实与推断分离、按风险等级选择自动执行或人工审批,以及对回退和止损动作实施权限隔离。
自动取证覆盖率接近100%,人工约30分钟的工作压缩至约3分钟;P1故障响应自动化率98%,线路/端口/卡自动隔离累计执行2,000余次。
演讲披露:机器宕机等显性故障场景有效训练率约99%,降频和慢节点等隐性故障约94%;硬件维护平均少于4小时,P90少于12小时。
九、网络分论坛
1、立讯技术:AI Rack高速互连方案介绍及448G高速铜互连可行性探讨
演讲嘉宾:金龙,技术产品经理
会议要点
1、当前互联方案的发展趋势:
当前整个互联行业呈现多轨并行、双轨并进的发展大方向。无论是Scale Up、Scale Out,还是Scale Across,本质都是实现系统扩容,以此获取更高的算力密度。
不同的技术路线,对应的互联方案选型也存在差异。Scale Up为单机柜内部纵向扩容,传输距离通常在10米以内。在224G速率时代,铜互联依然可以很好地满足该场景需求。从传统DAC无源铜缆,再到AEC有源铜缆,铜互联的可达距离也在持续延伸。该场景是铜介质的主力应用场景,遵循行业“能用铜则用铜”的选型原则。
Scale Out属于横向扩展场景,传输距离达到10米以上。该场景中,可插拔光模块凭借部署灵活、支持长距离互联的特性,成为方案主力。Scale Across面向更远距离互联场景,主要依靠光技术实现。
业界很多观点提及“光进铜退”,但从产业实际发展来看,更贴切的趋势是光铜并进。业界各类基于铜介质的PHY接口技术,也在持续延展铜互联的可达距离。铜介质凭借短距离、高密度、低成本的核心优势,在未来互联体系当中,依然会占据重要的一席之地。
英伟达各代互联目标演进趋势:无论是Rubin、Rubin Ultra,还是Feynman架构,单机柜内部Scale Up场景,均以铜互联作为主力。随着速率持续迭代,铜互联也从112G、224G,持续向448G演进。从技术路标可以看出,不管是节点内部还是机柜内部,铜互联都是主力,也印证了行业“能用铜则用铜,必须用光再用光”的发展思路。
2、立讯技术224G完整互联解决方案:
目前主要有两类主流架构,体现立讯技术光铜并进、端到端的产品布局。
第一类是全光互联前向架构,采用NPO、CPO组合方案,主要解决跨节点长距离连接,通过NPO跳线搭配Shuffle box,构建高带宽、低损耗的光信号互联通道。
第二类为前向光+后向铜的混合架构,更贴合当前业务落地形态。机柜内部Scale Up互联,采用Cable Cartridge全铜无源线缆模组,完成GPU之间的短距互联;对外横向扩展则采用光互联方式,实现更高的部署密度。
可以看到,现在的方案覆盖从GPU到交换芯片、从板内到板间、从机柜到机柜的完整端到端链路。过去的模式一般是先完成系统整体设计,再去挑选适配的互联零部件。但现在,互联方案本身的瓶颈,会在一定程度上影响整体硬件架构的实现。因此在项目设计最早期,就需要定义各类互联部件,零部件的性能上限,直接决定硬件系统的性能天花板。这也是立讯提出端到端解决方案能力的背景。客户选用立讯技术产品时,从连接器到线缆,再到整套系统布局,我们提供完整产品矩阵,帮助客户降低系统集成复杂度,实现一次对接完成全链路打通。
立讯技术部件级完整产品布局:覆盖高速连接器、线缆组件、CPO/NPO连光板组件,同时配套机柜节点内部散热、电源方案,实现全场景端到端覆盖。从底层零部件开始,帮助客户在性能与成本之间取得平衡;同时针对硬件系统的性能天花板与短板,输出对应的产品方案。
3、立讯技术在448G技术上的研究现状:
随着速率不断提升,铜互联的有效传输距离持续被压缩。从56G到112G,再到224G,无源铜互联的有效距离持续缩短:56G可以达到3米;224G无源铜互联标准距离约1米;到448G时代,可能仅为0.5米,这是介质物理特性决定的客观趋势。
想要延续铜缆方案的生命周期,就需要更极致的设计,降低整条链路的信号损耗,提升链路整体性能。另一个核心挑战来自奈奎斯特频率,这是物理第一性原理约束。虽然可以通过提升调制阶数,例如从PAM4升级到PAM6、PAM8,以此降低对奈奎斯特频率的要求,但会带来非常明显的影响:高阶调制对整个互联链路的信噪比要求会显著提高。
带宽压力虽然得到缓解,但时延、光电调制不匹配、额外器件带来的成本上升,都会成为新的瓶颈。除此之外,接口界面、substrate封装基板部分带来的stub残桩问题,也会成为互联方案的重要制约因素。传统连接方案受stub影响,带宽大致处于80?90GHz区间,目前做到80GHz问题不大,但面向PAM6、PAM4这类更高标准,会面临巨大挑战。以上是448G互联面临的各类挑战。针对这些问题,立讯技术已经开展448G完整方案预研,2026年已经完成多轮448G技术探索。
铜互联链路当中,线缆与连接器是两大核心组件。例如在1米线缆组件链路中,两端连接器带来的损耗约3?4dB,绝大部分损耗集中在线缆本体,裸线的性能至关重要。公司裸线缆已经完成产品开发,测试带宽可以达到100GHz以上。在110G的测试条件下,整体带宽表现可达110GHz以上,可以很好适配PAM4、PAM6。
想要构建低损耗链路,传统NPC近板铜互连方案会逐步向CPC共封装铜互连演进。也就是将距离芯片较远的连接器向芯片侧迁移。当下行业更多听到NPC方案;面向448G时代,行业将不得不考虑CPC共封装铜互连,把连接器和芯片substrate基板集成在一起,降低整条链路的信号损耗。
解决CPC链路之后,还有另外两大模块:第一是背板连接方案,立讯技术已经开展对应的产品规划。仿真条件下带宽大于90GHz,实测带宽达到100GHz不存在明显障碍。
最后是可插拔IO部分,用于节点之间、设备之间互联。IO层面,立讯针对Lane?channel方案,以及外部互联DAC、AEC、AOC都做了对应的产品规划。由此形成从母线、CPC、BP背板连接器,再到IO的全场景互联方案。
下面展示448G裸线实测结果。立讯已经具备27-30 AWG规格的448G cable开发能力,仅从基础裸线缆层面,实现448G铜互联不存在瓶颈。
CPC方案将连接器集成至芯片substrate基板,依托零短截stub连接技术,消除互配界面stub对带宽的负面影响,带宽可以满足448G业务需求。链路实测整体带宽大于100GHz,实物样品已经产出。CPC方案可以完全满足PAM6要求;面向PAM4还会迭代新版本,PAM6场景下已经完全可用。
IO部分的设计,我们创新采用非金属接触连接方案,规避金属接触stub带来的带宽影响,同时保留可插拔特性,接口密度与现有可插拔IO保持同一水平,带宽上限为90GHz,支持PAM6场景;面向PAM4的迭代版本正在加速开发,预计今年内可以推出。
背板端连接器产品,延续立讯Intrepid?系列设计风格,在互配可靠性、pin针防护上做大量优化,规避公母头互配时的单pin损伤问题;整体采用全屏蔽设计,当前带宽约90GHz,可以支持PAM6;迭代版本持续向PAM 4448G目标优化。
前面为仿真测试结果,下面展示完整链路demo实测:实现CPC→IO,通过IO线缆、DAC再回到IO→CPC的完整闭环链路场景。
链路实测带宽可达100GHz,单点、双点实测结果均验证PAM6 448G铜缆方案具备可行性。实际落地还需要结合客户业务场景、互联长度做方案取舍,但可以看到铜互联方案在支持448G上具备实现条件。
另外一套demo为背板链路,实现CPC→BP、BP→BP连接链路,实测带宽表现同样达标,完成CPC→BP、CPC→IO节点内全铜互联验证,具备448G互联支撑能力。
2、腾讯/阿里:UPO(Ultra Performance Optics)定义智算光互连新范式
演讲嘉宾:杨光、黄一元,腾讯网络硬件架构师/阿里
会议要点
1、Scale UP互联趋势:
智算互联场景中,带宽压力最大的是超节点Scale UP互联架构。超节点Scale UP包含铜互联、光互联两条技术路线,机柜内部目前主要采用铜互联。当超节点规模持续扩张,扩展至128卡乃至256卡以上规模之后,单机柜会面临散热、供电、整机重量、cable tray架构制造难度等多重上限约束,业务必然走向跨机柜互联,跨机柜场景需要采用光互联,光互联领域有多条技术路线并行推进。
国内已经实现产品落地的第一条路线为LPO,U2级别LPO已经实现一定规模部署。当速率提升至224G之后,LPO会遇到应用层面的挑战,后续会做详细说明。第二条路线为CPO,海外已经有部分部署案例,但CPO存在明显短板:封装难度大、良率偏低;整体生态封闭,光芯片、光引擎与电芯片深度绑定,不利于短期大规模落地。NPO综合继承两类方案的优势:光引擎靠近芯片排布,光链路、电链路整体路径短,传输性能优异;通过标准化模组接口,实现光引擎与电芯片解耦,支持多款电芯片适配多家模组厂商产品,具备良好的产业化落地条件,因此预期NPO在未来会获得更多应用。
2、腾讯NPO领域实践:
腾讯较早识别NPO的应用前景,开展相关产品研发,自研3.2T NPO模组、配套NPO计算节点、102.4T NPO交换机,依靠整套产品可以实现最大512卡Scale Out。当前产品已经完成互联调通,BER指标符合预期,预计不久之后将开展规模化部署。
产品开发过程中,NPO计算节点、NPO交换机均遇到现实技术问题。交换芯片单芯片带宽巨大,单颗芯片需要扇出大量模组,交换机硬件设计复杂度随之显著提升,主要面临三项挑战:
第一,NPO模组安装一致性问题。单排模组数量多,需要保障压接可靠,保证各个位置压力均匀,这是设备调试阶段遇到的首要难题。
第二,机柜内部光纤理线挑战。单颗NPO模组引出6根光纤,32个模组合计接近200根光纤。光纤带有保护套,线缆外径较粗,理线设计既要规避光纤应力损伤,同时兼顾安装便利性与后期可维护性。
第三,NPO模组靠近芯片摆放,会挤占电源布局空间,同时带来光电耦合散热难题。以上问题已经在这一代产品完成解决。
NPO交换机和传统可插拔光模块设备差异很大,需要模组与整机系统协同设计,无法依靠单一部件独立解决全部问题。面向下一代200T产品直驱光引擎,腾讯提出多项优化方向。NPO模组层面,滤波器选型除性能指标之外,还需要重点关注安装可靠性、安装便捷性;探索下一代模组支持可插拔FAU、内置光源,简化光纤布线,改善模组维护难度。整机层面,推进模块化引线设计、整机垂直供电技术,该代产品已经落地,下一代将应对更大规模带来的新增挑战;产品升级液冷方案,开展协同冷板设计。
3、224G LPO技术:
112G时代LPO已经实现批量商用,产品路线选择取决于整机架构设计以及芯片service的能力。224G速率下,可插拔方案会面临巨大挑战。我们判断,224G时代,如果NPO技术成熟,对比LPO会拥有更多性能与成本优势。基于三代产品研发经验,腾讯、阿里以及行业多家厂商,共同定义3.2T、6.4T下一代NPO模组规范。
4、6.4T UPO标准:
该标准自去年年底启动,由阿里、腾讯联合发起,美团、快手等国内互联网企业,以及产业链大量上下游合作伙伴共同参与制定。
UPO标准制定确立三项核心原则:第一,灵活性,定义三款不同产品形态,覆盖多样应用场景与系统需求;第二,高性能,标准原生支持224G速率,可平滑演进至下一代448G;第三,可靠性与可维护性,这是UPO实现大规模量产、大规模上线的关键条件。
UPO主要应用场景分为四类:交换机、GPU、MPU存储扩展、网卡。不同场景对单卡密度、空间约束、执行条件的需求差异较大,单一模组形态无法适配全部场景,因此定义UPO Type1 XD、UPO Type2 HD、UPO Type3 SD三款形态。
UPO Type1 XD密度最高,性能上限最高,但设计实现挑战较大,适合系统空间紧张、性能要求高的场景,需要配套高密度封装光器件实现。
UPO Type2 HD为前期重点落地的形态,在密度、性能、工程实现难度上最均衡,适配现有各类硅光方案,系统适配范围最广。
UPO Type3 SD外形尺寸更大,便于实现内置光源,适配传统2D硅光方案、对整机空间约束不苛刻的场景,可以采用该模组简化部署,同时降低成本。
UPO模组与主芯片集成具备多种实现方案。On-PCB为经典方案,UPO模组与主芯片通过高速主板完成互联。Over-Substrate属于较新集成方式,可以获得更优通道性能。On-Substrate、On-CoWoP属于互联密度、集成度更高的方案。UPO标准定义非焊接连接方式,可以适配以上多种主芯片集成方案。
性能层面,UPO标准采用LGA Socket连接方案,该方案具备两项特征:连接高度低,可以实现很短的连接距离;仅设置两处接触点,采用非焊接结构,插损、回损、串扰指标表现优异。实测指标可以满足224G应用需求,经过评估可以平滑演进至448G。
可靠性与可维护性方面,UPO标准充分吸收腾讯3.2T NPO模组与系统的设计验证经验,做了多项优化。XY方向增加定位销,提升对位精度;Z轴推荐独立压块加背板固定方案,保障多模组连续压接的接触可靠性;采用无焊接连接器,规避焊接带来的污染风险;模组装配至Socket无需额外辅助工具。
UPO标准内部正在评估、验证可分离FAU方案,实现NPO尾纤与模组本体分离,便于系统适配,同时支持光纤、光接头单独更换维修。
下面介绍UPO技术路标。2026年NPO受到行业广泛关注,多家标准组织、厂商推进相关标准。本套UPO标准推进速度较快,V1.0版本已于8月提交至ODCC;8月底Type2 HD Socket完成送样;6.4T UPO模组与6.4T UPO系统预计10月可以开展联调。标准制定、关键连接器组件研发验证、模组系统验证多项工作并行推进。今年年底目标推出Type1 XD Socket产品;明年启动448G UPO标准制定。
3、腾讯:IO-NET:Scale Up内存池构建内存互联超节点
演讲嘉宾:张潍丰,腾讯星脉网络高级架构师
会议要点
1、问题与系统方案:
现有层级中,L1 HBM速度高但容量小,L2存储容量大但带宽低,两者之间存在明显GAP。Fabric Memory作为L1.5层,主要服务稀疏KV和流式KV访问。
在原GPU超节点之外增加独立内存池,通过Scale Up Switch接入专用DDR;交换侧配置Memory Connect/协议转换芯片,以统一字节读写语义连接不同DRAM DIMM。
演讲口径为单GPU增加约500GB访问容量和约400—500GB“访问带宽”;原文未标注是否为GB/s,建议回看PPT确认。
2、性能收益及适用边界:
上下文大于32K时,建模显示Batch Size中位数提升至原来的5.3倍,单卡TPS中位数提升至2.8倍;长上下文越大,释放HBM后可容纳的并发越多。
上下文大于30K时Batch Size可提高4—5倍;256K—1M区间可超过5倍,TPS约提高至2.7倍。
收益受三类条件约束:业务SLO、上下文长度、模型注意力结构。方案更适合DeepSeek、GLM、混元等稀疏注意力/长上下文模型,而非所有推理任务。
SLO为30—100ms且上下文超过32K时,建模性能可提高2倍以上;30ms SLO长上下文适合Agent任务,强化学习在1M上下文、70—100ms条件下吞吐可提高3—5倍。
1M上下文模拟中,GLM 5.2中位性能提高9倍,DeepSeek V4 Pro、V3.2及Flash约提高3倍,均为演讲建模口径。
3、成本与样机数据:
不同模型每GPU需额外配置约300—600GB DRAM:DeepSeek V4 Pro约300—400GB,GLM 5.2和混元约300—600GB。
额外内存使单GPU TCO提高20%—30%,因此必须通过TPS提升覆盖硬件成本,不能只比较峰值性能。
公司已在多款平台完成GLM、DeepSeek V3样机测试。GLM在32K—64K上下文下TPS提升5.15倍;依靠高带宽缓存落盘,每Token耗时TPOT增加不足10%。
4、PD分离软件栈:
Prefill阶段生成的主KV直接写入Fabric Memory,Decode实例的HBM只保留索引KV;Decode每生成一个Token,再从内存池拉取所需数据。
新增两类通信:P节点向内存池写KV,D节点逐Token读取KV。软件需增加Fabric Memory控制面,负责实例预留、注册、分配和释放。
通信层新增重写、聚集和分散等算子,统一称为FMIO(Fabric Memory I/O),要求网络、内存和推理引擎联合优化。
5、下一代产品形态与路线图:
2025年的重点是通过Scale Up Switch连接GPU、CPU等算力;2026—2027年进一步把Scale Up Switch升级为Memory Switch,向上接入随机读写DDR及顺序读写NAND/HBF等L1.5介质。
形态上可由左右两个64卡GPU机柜加中间交换/内存柜,构成128卡、带独立内存池的超节点;Memory Switch Fabric一侧连接CPU/GPU/TPU/CPS,另一侧连接DRAM和SSD。
项目计划2026年9月启动Memory软件层产品化、10月开展业务验证,2027年推进Memory Connect芯片、IO-NET及IO DIE相关产品。
团队介绍
鄢凡:北京大学信息管理、经济学双学士,光华管理学院硕士,18年证券从业经验,08-11年中信证券,11年加入招商证券,现任研发中心董事总经理、电子行业首席分析师、TMT及中小盘大组主管。
团队成员:程鑫、谌薇、涂锟山、研究助理(王焱仟、汤云鹏)。
团队荣誉:11/12/14/15/16/17/19/20/21/22年《新财富》电子行业最佳分析师第2/5/2/2/4/3/3/4/3/5名,11/12/14/15/16/17/18/19/20年《水晶球》电子2/4/1/2/3/3/2/3/3名,10/14/15/16/17/18/19/20年《金牛奖》TMT/电子第1/2/3/3/3/3/2/2/1名,2018/2019 年最具价值金牛分析师。
投资评级定义
股票评级
以报告日起6个月内,公司股价相对同期市场基准(沪深300指数)的表现为标准:
强烈推荐:公司股价涨幅超基准指数20%以上
增持:公司股价涨幅超基准指数5-20%之间
中性:公司股价变动幅度相对基准指数介于±5%之间
回避:公司股价表现弱于基准指数5%以上
行业评级
以报告日起6个月内,行业指数相对于同期市场基准(沪深300指数)的表现为标准:
推荐:行业基本面向好,行业指数将跑赢基准指数
中性:行业基本面稳定,行业指数跟随基准指数
回避:行业基本面向淡,行业指数将跑输基准指数
重要声明
特别提示
本公众号不是招商证券股份有限公司(下称“招商证券”)研究报告的发布平台。本公众号只是转发招商证券已发布研究报告的部分观点,订阅者若使用本公众号所载资料,有可能会因缺乏对完整报告的了解或缺乏相关的解读而对资料中的关键假设、评级、目标价等内容产生理解上的歧义。
本公众号所载信息、意见不构成所述证券或金融工具买卖的出价或征价,评级、目标价、估值、盈利预测等分析判断亦不构成对具体证券或金融工具在具体价位、具体时点、具体市场表现的投资建议。该等信息、意见在任何时候均不构成对任何人的具有针对性、指导具体投资的操作意见,订阅者应当对本公众号中的信息和意见进行评估,根据自身情况自主做出投资决策并自行承担投资风险。
招商证券对本公众号所载资料的准确性、可靠性、时效性及完整性不作任何明示或暗示的保证。对依据或者使用本公众号所载资料所造成的任何后果,招商证券均不承担任何形式的责任。
本公众号所载内容仅供招商证券客户中的专业投资者参考,其他的任何读者在订阅本公众号前,请自行评估接收相关内容的适当性,招商证券不会因订阅本公众号的行为或者收到、阅读本公众号所载资料而视相关人员为专业投资者客户。
股票
板块
用户
资讯
评论 (0)