公众号记得加星标??,第一时间看推送不会错过。
多年来,应对日益增长的人工智能和高性能计算需求,主要依靠增加GPU数量。但这种方法还能持续多久?尤其是在我们迈向泽级计算的时代?处理器和内存之间的数据传输已经存在诸多问题,随着系统规模的扩大,这些问题的解决难度只会越来越大。
在 SC26 上,来自英伟达、AMD、Cerebras、微软、理研和劳伦斯利弗莫尔国家实验室 (LLNL) 的专家小组讨论了这些挑战,以及随着人工智能和高性能计算系统的持续发展,可能需要做出哪些改变。
各位专家对如何解决这些问题持有截然不同的观点。Cerebras 倾向于采用晶圆级处理器,将大容量内存集成在芯片上。英伟达则另辟蹊径,利用 NVLink 技术大幅提升 GPU 间的通信速度。AMD 认为 CPU 和 GPU 都将发挥作用,而研究人员正在探索 CPU 是否能够承担更多目前由 GPU 完成的工作。
尽管他们在应对挑战的方式上有所不同,但在将数据保存在需要的地方的重要性上却达成了共识。
苏黎世联邦理工学院和微软的托斯滕·霍夫勒主持了本次会议。他认为,未来可能更多地取决于系统的设计方式,而不是CPU和GPU之间的区别。毕竟,矩阵引擎、向量单元和高带宽内存并非GPU独有。真正的挑战在于如何让所有这些组件高效地协同工作。
霍夫勒提出的一个问题是:GPU 真的有必要吗?或者说,同样的工作是否也能在其他类型的处理器上同样出色地完成?他与松冈聪和杰克·东加拉合著了一篇题为《我们还需要 GPU 吗?》的论文,对此进行了更深入的探讨。
霍夫勒认为,人工智能可能会让开发者更容易摆脱英伟达的CUDA生态系统,而CUDA生态系统长期以来一直是该公司最大的优势之一。如今,人工智能可以帮助开发者编写和调整代码,将应用程序迁移到不同的硬件上可能会变得更加容易。这也意味着,任何一家厂商都更难让客户继续使用其架构。
Cerebras公司的Rob Schreiber提出了另一种看待这个问题的方式。为什么一定要在处理器和外部存储器之间传输数据呢?Cerebras将大量的SRAM直接集成到其晶圆级芯片上。数据离使用位置越近,节省的时间和能源就越多。
但需要注意的是,施赖伯承认,为这些机器编写程序并非易事。然而,鉴于人工智能如今已发展成为如此庞大的市场,他认为市场需求足以支撑开发与传统加速器工作方式不同的专用系统。
Cerebras致力于在单片晶圆上存储更多数据,而Nvidia则采取了不同的策略。Nvidia的Jeff Hammond分享了他对GPU仍有很大改进空间的看法,尤其是在GPU之间通信速度方面。
哈蒙德以NVLink为例,指出它能显著提升GPU之间的数据交换速度。对于诸如快速傅里叶变换(FFT)和分子动力学等科学计算任务而言,速度的提升至关重要。哈蒙德展示了更快的连接速度如何帮助研究人员在更多GPU上运行相同的问题,并更快地获得结果。如果没有这种连接能力,增加硬件数量也未必能带来多大帮助。
AMD的史蒂夫·斯科特也认为GPU仍有发展前景,即便CPU处理AI工作负载的能力日益增强。他预计CPU将承担更多工作,但他表示,专用GPU仍然具有优势,尤其是在需要大量内存带宽和计算能力的大型AI模型方面。
斯科特还谈到了芯片制造商必须做出的一些决定。例如,增加FP64运算能力会占用芯片空间。即使它能带来一定的性能优势,这也是一个需要考虑的重要因素。同样的空间也可以用于人工智能处理。鉴于人工智能领域的巨大需求,不难理解为什么芯片制造商会将更多资源投入到人工智能领域。
劳伦斯·利弗莫尔国家实验室的塔尔·本-努恩则关注另一个挑战:如何对这些日益复杂的系统进行编程。他指出,新型架构正朝着多处理单元、本地存储器和高速片上网络的方向发展。
人工智能可以帮助开发者处理这些设计,但仅仅生成更多代码并非解决之道。他认为,人工智能应该帮助开发者做出更高层次的决策,例如如何在硬件上分配任务,而不仅仅是编写底层代码。
理研的松冈聪研究了基于CPU的系统在人工智能工作负载方面能否与GPU竞争。他的分析表明,CPU在推理方面可以与GPU相媲美,但训练仍然是一个更大的挑战。
他还探讨了重新设计的 CPU 系统最终是否能够达到泽塔级 AI 性能,并提出了一个问题:为什么至今还没有人制造出这样的系统?
(来源:编译自hpcwired)
*免责声明:本文由作者原创。文章内容系作者个人观点,半导体行业观察转载仅为了传达一种不同的观点,不代表半导体行业观察对该观点赞同或支持,如果有任何异议,欢迎联系半导体行业观察。
END
今天是《半导体行业观察》为您分享的第4594期内容,欢迎关注。
推荐阅读
加星标??第一时间看推送~
求点赞
求分享
求推荐
股票
板块
用户
资讯
评论 (0)