收录于话题
#算力#服务器#电线电缆#数据中心#AI
引言
兆龙 LONGSPEED 高密低耗布线解决方案
在上一篇介绍的NVIDIA GB200 NVL72架构中,NVIDIA GB200 NVL72架构通过单机柜72个GPU的超高密度设计,实现了每秒数PB级的数据吞吐与亚微秒级跨机柜延迟,但其物理层互联复杂度呈指数级上升——单机柜需部署超过5000根铜缆(总长度达2英里),同时跨机柜需支持800G甚至未来1.6T光模块的CLOS网络扩展,机柜顶部部署 Spectrum交换机(52端口,含4×QSFP28 100 Gb/s端口)用于网络聚合。这些端口需要转换为更高密度的连接方式,或者与其他交换机堆叠,形成更大的网络拓扑。
在超大规模AI计算场景中,NVL72机柜常通过NVLINK Switch Tray模块化扩展组成多机柜集群(典型配置为8-64个机柜),以满足千亿参数模型的训练需求;而对于推理场景,则可选择NVL36半柜配置(36 GPU/机柜),通过Spectrum-X网络实现低至微秒级延迟的推理服务部署。因此,需要考虑如何选择适合超高密度环境的布线产品。
面对这一挑战,高效、低时延、高可靠性的物理层布线方案成为释放算力潜力的关键。兆龙凭借多年布线行业的技术积累,推出针对NVL72多机柜系统(DGX GB200)的LONGSPEED布线解决方案,助力用户构建可靠的AI计算底座。
NVIDIA DGX GB200集群连接方案
DGX SuperPOD(集群)由多个可伸缩单元(Scalable Units,简称SU)构成,每个节点包含多个节点(服务器)。此配置决定了每个POD的GPU总数。可扩展单元不仅构成了超级端口的基本模块,也支持系统的灵活扩展。
例如,GB200 NVLink 可以同时连接 576 个 Blackwell GPU,组成GB200 NVL576。NVL576是通过扩展16台NVL36单元实现的, NVL36是NVL72的变体,每个compute tray从原来的NVL72的1U变成了2U,内部依旧是2颗grace的CPU和4颗B200芯片。单个rack的算力减半,但总算力一致,从而更好地满足单机柜的功率环境要求(由原来的120kW降低至66kW),能够应用于更广泛的数据中心。
图1. GB200 NVL576 拓扑图(来源semianalysis)
NVIDIA的DGX GB200系统采用液冷机架,每个机架包含36个GB200超级芯片,每个芯片由1个Grace CPU和2个Blackwell GPU组成。多个机架与NVIDIA Quantum InfiniBand连接,可扩展到数万个GB200超级芯片。GB200可以在单机柜内搭建包含36个或者72个GPU的NVLink domain。机架内配备18个计算节点和9个L1 NVLink交换机,每个交换机提供144个100GB NVLink端口,合计提供1.8TB的NVLink带宽。
GB200 NVL72采用定制化的铜缆模块,实现机架内9个L1 NVLink交换机与18个计算节点之间的连接。NVIDIA表示,GB200 NVL72可在一个NVLink域内连接576个GPU。目前,GB200 NVL72配置了72个CX7网口(OSFP 400Gb/s InfiniBand),尚未采用最新的CX8网卡。
在此类机柜集群中,为区分和管理构建SU时所采用的不同电缆组件,建议采用两类连接,提供拓扑布线解决方案——Server-Leaf Switch服务器-叶交换机连接和Leaf -Spine 叶交换机-脊交换机连接。
01 服务器-叶交换机连接
每个SU内的服务器节点与叶交换机之间采用点对点直连的方式实现数据互联。例如,一组机柜集群由8个服务器机柜和1个交换机机柜组成,之间通过OSFP/MPO连接完成互联。具体连接场景及产品方案请参见下图。
图2. NVIDIA 机柜组示意图
图3. Leaf Switch-server连接示意图
02 叶交换机-脊交换机连接
要将叶层交换机连接到脊层交换机,推荐采用结构化布线的方法进行连接,这些端口需要转换为更高密度的连接方式,或者与其他交换机堆叠,形成更大的网络拓扑。因此,需要选择适合超高密度环境的布线产品。涉及到的产品包括MPO适配器模组、光跳线、高密配线架、主干光缆等。
图4. Spine-Leaf Switch 拓扑示意图
图5. 结构化布线方案产品
如拓扑图所示,脊-叶结构中,每个叶交换机都连接到每个脊交换机,这种设计显著降低了数据中心网络的跳数和延迟。在这种架构下,任意两台服务器之间的通信路径固定,通常需要经过一个叶交换机、一个脊交换机,再到另一个叶交换机。这种固定路径的设计使得网络延迟可预测,且避免了传统三层架构中可能出现的带宽浪费和复杂的路径选择问题。脊-叶网络架构通过其全网状连接、固定通信路径和卓越的扩展性,显著提高了数据中心网络的性能和可维护性。
相关LONGSPEED布线解决方案产品
根据GTC大会的介绍,Blackwell平台将引入第五代NVLink、第六代PCIe和第八代InfiniBand网络应用。然而,当前早期交付的产品仍采用800G和400G光模块。例如,DGX B200服务器通过4个800G OSFP光模块提供8个400G端口,与DGX H100服务器配置相同。有推测认为B200 GPU与800G光模块的配置比例与H100 GPU保持一致。而GB200 NVL72则需要配置72个OSFP 400G光模块,以通过InfiniBand网络实现万卡集群。
由此推理,基于数据中心环境对高效、低时延、高可靠性的布线方案的需求,光模块、MPO搭配高密配线架的结构化布线方案往往是必要的。
超高密度配线架通常用于管理大量的光纤连接,而MPO(Multi-fiber Push-On)连接器因其多芯光纤设计,适合高密度和高带宽的应用场景。MPO-8/16或MPO-12/24可以支持多路光纤传输,适用于400G/800G的光模块。此时,超高密度配线架可以帮助管理和组织这些光纤连接,减少线缆混乱,提高维护效率。同时,考虑到未来的扩展性,选择支持更高带宽的产品,如800G或1.6T的光模块和光纤,以适应未来的升级需求。
单模光纤的应用距离受制于光模块的具体类型和参数;多模光纤的应用距离受到光纤色散特性的制约,也与光模块的类型和技术相关。
光网络拓扑优化
1)CLOS架构:
Leaf-Spine分层:Spectrum交换机作为Spine层,通过MPO光缆连接多个Leaf交换机(机柜内NVLink交换机)。
多路径冗余:每个机柜配置 双上行链路,分别接入不同Spine交换机,避免单点故障。
2)HBD超节点扩展:
通过MPO-24光缆连接多个HBD超节点,实现32~512GPU的Scale-Up互联。
结合Ethernet Scale-Out,利用400G QSFP-DD光模块构建64K节点集群。
实施步骤与验证
1)规划光缆路由:
使用MPO光缆直连机柜顶部Spectrum交换机,避免弯曲半径过小(建议≥ 20倍光缆外径)。
2)部署预端接系统:
工厂定制MPO光缆长度,现场即插即用,减少部署时间。采用牵引保护组件,提升作业效率,避免施工过程的故障。
3)测试与认证:
使用OTDR检测光纤损耗(要求单模≤0.35 dB/km@1310nm,多模≤3.0 dB/km@850nm),确保MPO链路端面清洁度(IEC 61300-3-35标准)。
4)冗余设计:
每个机柜配置双路径MPO光缆,分别接入不同配线架,实现物理层冗余。
成本与维护建议
1)成本优化:
短距离优先选用OM4多模光纤+MPO预端接方案,降低光模块成本。
中长距离采用单模光纤+相干光模块(如800G ZR)。
2)运维管理:
清洁MPO连接器光纤端面,避免灰尘导致信号衰减。
结语
本文解析了NVIDIA DGX GB200集群的互联方案及光网络拓扑优化措施。从集群架构的可伸缩单元到各类节点的点对点直连,以及通过CLOS架构实现的叶脊层次冗余设计,再到利用MPO光缆和预端接系统确保高效、低延时传输,构建了一个既高密度又具备可靠性保障的数据中心互联方案。
接下来,《未来算力:从万卡集群到AI计算的无限可能》 一文中,我们将进一步探讨如何基于该互联架构,推动万卡级别算力集群的构建,并探索其在AI计算领域的无限应用前景。
注:本方案基于NVIDIA GB200 NVL72架构设计,需结合实际机房布局与供应商资源调整。
END
股票
板块
用户
资讯
评论 (0)