股票 
板块 
用户 
资讯 公众号记得加星标??，第一时间看推送不会错过。
当整个AI芯片行业都在追逐更高的算力、更大的GPU集群时，一家英国AI芯片初创公司却提出了一个不同的判断：制约大模型推理效率的，可能早已不是芯片的计算能力，而是内存带宽。
近日，AI芯片公司Fractile创始人兼CEO Walter Goodwin在接受20VC播客采访时，谈到了他对AI芯片发展方向的判断。在他看来，过去25年，芯片计算能力与内存带宽的发展已经出现严重失衡，这种失衡正在成为大模型推理的核心瓶颈。
他给出了一个颇为惊人的数字：过去25年，AI芯片的浮点计算能力增长了约100万倍，而内存带宽仅增长了约40倍。两者之间的差距，按照他的计算，已经达到约2.5万倍。
这也是Fractile押注新型AI芯片架构的出发点。
计算能力增长100万倍，内存带宽只增长40倍
为什么内存带宽会成为AI推理的瓶颈？
Goodwin用一个简单的比喻解释了这个问题：可以把DRAM看成仓库，把处理器看成办公室。办公室需要不断从仓库取出数据进行计算，但仓库和办公室之间的通道有限，即使办公室里的工作人员越来越多，也无法解决数据运输速度跟不上的问题。
这正是当前AI芯片面临的困境。
随着大模型规模不断扩大，推理过程需要频繁访问模型权重和上下文数据。即使GPU拥有很强的计算能力，如果无法及时从内存中获取数据，计算单元也只能等待。
Goodwin举例称，一个大型前沿模型可能只能以每秒80个Token的速度生成内容，原因并不一定是芯片缺乏计算能力，而是内存带宽不足以支持如此大规模的数据访问。
目前，行业主要通过两种存储方式解决这个问题。
一种是DRAM，包括HBM。它的优势是容量大、单位比特成本较低，但由于内存与逻辑芯片分离，数据传输受到物理连接和带宽的限制。
另一种是SRAM。它可以直接集成在逻辑芯片内部，访问速度非常快，但容量有限，而且单位面积成本较高。
这意味着，现有架构始终需要在容量、速度和成本之间做取舍。
Fractile希望改变这种局面。
把DRAM直接堆叠在逻辑芯片上
Fractile的核心技术路线，是将DRAM直接堆叠在逻辑芯片上，试图同时获得SRAM级别的访问速度和DRAM级别的存储容量。
Goodwin认为，传统处理器与DRAM之间主要通过有限数量的铜线进行数据传输，进一步增加连接数量会受到物理空间的限制。
而如果将DRAM堆叠在逻辑芯片上，就可以利用垂直互连，将原本受限于芯片边缘的连接方式转变为大量垂直连接。
按照他的说法，这种架构可以将原本几千条横向连接扩展为数百万条垂直连接，从而大幅提高内存带宽。
他强调，这并不是完全从零开始创造一种新技术，而是利用已经存在多年的3D集成技术，将其应用于AI推理所面临的内存带宽问题。
当然，这仍然是Fractile提出的技术路线和性能目标，其真正的优势还需要经过后续产品验证和规模化生产检验。
除了内存架构，Goodwin还对当前AI数据中心越来越流行的异构计算模式提出了质疑。
目前，AI推理正在出现更加细分的硬件分工。例如，英伟达在Groq相关技术布局之后，开始探索将不同推理任务分配给不同类型的芯片。
其中，Prefill阶段以及共享模型权重的处理，可以由一类芯片承担；而与用户独立上下文相关的Attention计算，则可以交给另一类芯片处理。
这种分工背后的逻辑是，模型权重可以被多个用户共享，因此可以使用昂贵的高带宽内存；而用户上下文各不相同，需要更大的存储容量和不同的成本结构。
Goodwin认为，这种方式虽然能够针对不同任务优化硬件资源，但也会带来新的问题。
数据中心一旦部署了固定比例的不同类型芯片，未来模型规模和上下文长度发生变化，就可能导致部分计算资源无法得到充分利用。
换句话说，数据中心可能出现一种尴尬局面：某些芯片资源已经不够用，另一些芯片却处于闲置状态。
他认为，异构架构及其背后的调度软件，可能只是当前缺乏一颗能够兼顾不同推理任务的芯片时所采取的过渡性方案。随着单芯片能力提升，这种复杂的调度和编排层，其价值可能逐渐下降。
他对完全依赖SRAM的快速推理芯片也持保留态度。以Groq和Cerebras为例，Goodwin认为，SRAM虽然能够提供很高的访问速度，但容量不足、成本较高，而且对长上下文任务存在明显限制。对于需要长时间运行的智能体应用，这种架构并不一定适用。
绕开Broadcom，Fractile选择自己做芯片
在定制AI芯片领域，Fractile还有一个不同的选择：尽可能自己掌握物理设计和晶圆厂合作关系。
Goodwin提到，目前不少定制AI芯片项目都被认为采用了Broadcom作为后端设计合作伙伴，包括谷歌TPU、Meta MTIA、OpenAI Jalape?o，以及Etched和MatX等项目。
他的判断是，这些项目在一定程度上共享相似的制造平台，包括台积电工艺节点、HBM模块以及部分平台技术。
他还提到，Broadcom高管Charlie Kawwas曾在一次会议上展示下一代平台的乐高模型，并表示该平台将在2028年服务六家大型客户。Goodwin认为，这意味着不同客户可能使用的是建立在相同底层平台上的定制芯片。
相比之下，Fractile希望自己掌握更多芯片物理设计和供应链资源，以便开发差异化的技术模块，尤其是其核心的DRAM堆叠架构。
Goodwin表示，公司已经从晶圆厂拿回了芯片样品，目前正在进行进一步试验，预计几个月内完成正式产品流片。
不过，他也强调，流片并不意味着产品已经成功。之后还要解决良率、冗余设计、故障修复、可制造性，以及在完整服务器机架上运行实际工作负载等问题。
Fractile对内存带宽的押注，也获得了资本市场的支持。
据Goodwin在采访中透露，公司完成了7.2亿美元C轮融资，估值达到70亿美元。本轮融资由Thrive、Founders Fund、Lightspeed和Radpoint等参与。
值得注意的是，这笔资金并不主要用于支付芯片本身的固定研发成本，而是用于扩大公司的供应链布局，包括提前锁定长期供应协议、推进多代芯片研发、加强内部机器学习研究，以及扩充系统和网络团队。
公司近期还从Meta引入了Dan Rabinovich，负责系统业务建设，并在美国和中国台湾地区设有团队。
Goodwin认为，未来AI基础设施的价值分配也将发生变化。他更看好专业推理服务商，而不是单纯提供算力租赁的新型云服务商。
在他看来，未来推理服务市场不会长期维持大量玩家竞争，而是可能出现几家规模达到数千亿美元的企业。
他还预测，英伟达未来五年市值可能达到10万亿美元。
写在最后
Goodwin提出的观点，实际上指向了AI芯片产业一个越来越重要的变化：算力不再是唯一的竞争维度，数据如何更快、更高效地进入计算单元，正在变得同样重要。
从HBM到先进封装，再到DRAM与逻辑芯片的3D堆叠，整个产业链都在围绕存储与计算之间的距离、带宽和容量展开新一轮竞争。
不过，Fractile的技术路线能否真正实现其宣称的性能，还需要等待产品流片、良率和系统级验证。尤其是将DRAM直接堆叠在逻辑芯片上，如何兼顾带宽、容量、制造成本和规模化生产，仍有不少工程问题需要解决。
但至少有一点已经越来越清晰：AI芯片的竞争，正在从单纯比拼TOPS和GPU数量，转向计算、存储、互连与系统架构的综合较量。下一轮AI芯片创新，未必只发生在计算核心内部。
*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。
END
今天是《半导体行业观察》为您分享的第4591期内容，欢迎关注。
推荐阅读
加星标??第一时间看推送~
求点赞
求分享
求推荐
评论 (0)