一线故事 | 三个不相信：他们在零下20度建起万卡集群

一线，是离问题最近的地方，也是离答案最近的地方。这里从来没有旁观者。图纸上的每一笔，都是较劲；设备旁的每一晚，都是死磕；数据里的每一关，都是硬仗。中国软件开设《一线故事》专栏，讲述一线团队深耕技术、攻克难关的鲜活故事。他们没有豪言壮语，只用行动作答，把底气写进每一次技术攻关的刻度里，把担当融进每一个重大项目交付的脉动中。

2024年11月，内蒙古高原寒风透骨。和林格尔项目办公区内，一面鲜红的党旗挂在墙上最显眼的位置。党旗一侧，三幅红色标语格外醒目：

“不相信有完成不了的任务”

“不相信有战胜不了的敌人”

“不相信有解决不了的困难”

这支由技术骨干组成的团队进驻之初，谁也不曾想到，墙上的这几句话，会在此后四个月里，成为大家共同坚持的精神支撑。

项目开始阶段，气温骤降至零下二十度，室内冷如冰窖。尽管配发了保暖服，大家工作时仍手脚发僵，呼出的白气在设备外壳上凝成薄霜。有人拍了张合影发回北京。照片里，工程师们穿着厚重的军大衣挤在一起，脸上却都带着笑容。有人回忆：“苦，当时真不觉得，大家在一起就还好。”

GPU服务器的散热系统启动后，机房冷热通道温差达到几十度：冷通道内寒气逼人，热通道则近四十度。“冷通道穿羽绒服，进热通道就得换短袖。”一位工程师说，“来回几十趟，身体再好也吃不消。”

噪声更加难熬。数千台服务器的散热风扇轰鸣声叠加，整个机房仿佛置身飞机引擎旁。噪声最大时，大家戴着工业耳罩，只能用手势交流。

作为万卡级GPU集群项目，该智算中心承载了大模型训练的重要算力需求。彼时，国内能够支撑万亿级参数级训练的集群极为罕见，项目压力可想而知。

最难的一关，是布线。串联万卡的近7万只光模块、4万余条光缆，任何一个端口、任何一条光路都不能出错。最终形成的布线表装订后，厚厚一大本。“一个端口接错，后面就全错了。”一位工程师说。

线表刚梳理出头绪，光模块检测又接了上来。灰尘、弯折、损耗，任何细小问题都可能导致丢包，而客户要求只有两个字：无损。

压力最大的时候，团队负责人把大家带到党旗下，指着墙上的标语说：“想想三个不相信，有啥过不去的？”四个月里，没有人请假。有人发烧，在宿舍休息一天，第二天又回到现场。大家心里都明白，这时候少一个人，其他人的担子就会更重。

经过数月连续奋战，项目最终顺利通过终验。他们谈到：“最好的奖赏，就是让兄弟们好好睡一觉。”

短暂休整后，这支队伍又奔赴下一个项目：四个机房、三千张卡、三家厂商组网调试，又是一次从零起步。

回头看这段经历，大家印象最深的，还是那句朴素的话：“只有动手干，才能闯出新路子。”组网架构、光模块参数、线缆规划，纸面上看得再多，终究只是理论。只有真正站在零下二十度的机房里，把一根根光纤插上、把一条条链路打通，才能真正理解什么是“无损网络”，什么是“万卡集群”。

标语还挂在墙上，人员会更替，但“三个不相信”会一直传下去。

点赞！转发！在看！