股票
板块
用户
资讯
首页
天眼
自选
发现
开户
首页
天眼
自选
发现
我的

大模型下沉撞上“内存墙”, 这颗国产3D TPU尝试给出解法

成熟制程+3D堆叠,实测吞吐近80 Tokens/s。
作者 |  陈骏达
编辑 |  漠影
智能体、AI PC、AI Box和机器人等应用,正在推动大模型推理从云端走向终端。但与云端服务器不同,终端设备的功耗、散热和空间都十分有限,如何在有限的资源下跑动参数规模越来越大的模型,成为端侧AI芯片需要解决的问题。
大模型推理需要频繁读取模型权重和KV Cache,存储带宽不足会让计算单元陷入等待。单纯增加峰值算力,并不一定能带来更快的Token生成速度。如何让数据以更高的带宽、更低的功耗抵达计算单元,成为端侧芯片设计的重要方向。
11月18日,深圳端侧AI芯片创企迈特芯在北京亦庄举办MEGA188芯片点亮发布会。这款面向端侧大模型推理的3D TPU协处理器,采用国产28纳米工艺和3D DRAM方案,可提供600GB/s带宽。它并不取代主控芯片,而是通过PCIe、M.2等接口与主控连接,为终端补充大模型推理所需的高带宽能力。
发布会披露的信息显示,MEGA188已于10月完成回片点亮,随后完成多类模型测试。目前,其样品交付与工程验证正在推进,预计2027年第一季度实现量产。
发布会后,我们与迈特芯创始人余浩教授进行了深入交流,讨论了这颗芯片为何选择3D堆叠、如何组织数据与计算,以及一颗独立协处理器如何进入终端市场。

▲迈特芯创始人余浩教授


01.
大模型下沉
端侧芯片先要跨过“内存墙”
过去几年,AI芯片的性能提升,很大程度上依赖先进制程、更大规模的计算阵列和更高带宽的存储系统。在云端,HBM与GPU通过先进封装紧密结合,已经成为大模型推理的重要硬件组合。但这套方案对先进制程、封装工艺和制造成本都有较高要求,直接移植到成本敏感的端侧设备并不容易。
与此同时,传统2D芯片主要通过封装接口连接逻辑芯片与内存,数据需要经过接口和互连线路传输。如果要持续提高带宽,往往需要增加接口数量和外围电路,也会带来额外的传输功耗与成本。如何在不完全依赖先进制程和高成本HBM的情况下,提升芯片内部的数据传输效率,成为另一条值得探索的技术路线。
对于迈特芯而言,这背后首先是一个产品定位问题:端侧芯片究竟需要怎样的性能,以及应该为此付出多少功耗和成本?
余浩认为,端侧芯片需要同时满足三个条件:首先,Token生成速度要能够支撑实际交互;其次,功耗要适应笔记本、AI Box、机器人等设备的供电与散热条件;最后,硬件成本不能高到让终端厂商和消费者难以承受。
这三个目标相互约束。提高性能通常需要更高带宽和更多计算资源,也可能带来功耗与成本上升。迈特芯选择的路径,不是单独提高某一项指标,而是通过架构与存储方案调整三者的关系。
这一路线在此前的FPGA验证中已有雏形。余浩回忆,团队于2023年开始围绕端侧大模型推理组织研发,2024年在算力约1TOPS的FPGA平台上运行60亿参数模型,输出速度达到70—80 Token/s,并将架构利用率做到约80%。
这次验证让团队确认端侧TPU架构可以运行大模型,也暴露出继续提升性能所需的高带宽条件。HBM能够提供高带宽,但成本较高。调研国内供应链后,团队转向成熟工艺下的3D DRAM与晶圆键合方案,于2025年推进芯片研发,2026年完成流片和回片点亮。
02.
把DRAM堆到逻辑芯片上
MEGA188如何跑出600GB/s带宽
MEGA188的芯片级技术方案可以拆成两个环节:首先,通过3D堆叠缩短存储与计算单元之间的物理距离,提供高带宽、低功耗的数据通路;其次,通过3D IO和分布式TPU架构,让各处理单元并行访问存储,提高存储带宽利用率。
在传统2D方案中,计算芯片与内存通常通过板级接口连接。MEGA188则通过Hybrid Bonding、TSV等技术,将3D DRAM垂直堆叠在逻辑芯片上,使存储与计算单元之间的互连缩短至芯片内部。
这一设计缩短了数据搬运的物理距离。3D堆叠能够在一定功耗预算下提供更高的存储带宽,让计算单元持续获得模型推理所需的数据。
余浩也谈到,3D芯片的工程难点不只在堆叠本身。Hybrid Bonding和TSV都会占用芯片面积,还会影响逻辑电路的布局布线。MEGA188的芯片面积约为100平方毫米,平均功耗为5—10W,散热、翘曲和良率压力相对容易控制,但3D结构带来的物理设计问题,仍需要通过多轮调整解决。
有了高带宽,还需要让计算阵列能够充分利用这些带宽。MEGA188采用迈特芯自研的3D分布式TPU架构,处理单元通过3D IO与内存直接互联,形成网格化的分布式访存结构。数据被切分后送入不同处理单元,各单元完成计算,再汇总结果。
在计算过程中,张量脉动阵列会对输入数据进行复用,让同一份数据参与多次运算,减少重复读取。针对Transformer模型中大量存在的矩阵乘和矩阵向量乘运算,这种数据流设计能够提高存储带宽与计算阵列之间的匹配程度。
迈特芯称,其分布式张量脉动架构可实现约80%的带宽利用率。按这一比例估算,600GB/s峰值带宽对应约480GB/s有效带宽。在权重读取成为主要限制的解码阶段,提高有效带宽能够直接改善Token生成速度。
从发布会披露的测试结果看,MEGA188已经支持运行语言模型、视觉语言模型和MoE模型。这些模型虽然输入和输出形式不同,但主体仍包含大量Transformer计算。迈特芯以张量脉动TPU作为统一计算底座,再针对不同模型的算子和精度需求进行软件及硬件适配。
以视觉语言模型为例,分布式张量脉动架构可在FP16×INT4与FP16×FP16两种计算模式之间切换,分别适配FFN层和MHA模块。团队还为位置编码、激活函数等操作设置了非线性算子引擎,并采用统一压缩向量数据格式,减少不同算子之间的数据重排。
回片之后,MEGA188已依次完成全芯片启动、标准高速接口建链与设备枚举、核心算子功能及精度测试,以及3D DRAM读写测试。这四项验证分别确认了芯片启动、主控通信、核心计算和堆叠存储读写能力。
其中,芯片在10月14日回片当天约半小时内完成SoC点亮,随后于10月19日打通PCIe链路,并在当月底完成堆叠存储读写验证。
在此基础上,团队开始测试完整模型。高性能模式下,MEGA188运行面壁智能MiniCPM5-2B的输出速度约为293 Token/s,运行Qwen3-8B的速度接近80 Token/s;低功耗模式下,两者分别约为92 Token/s和26 Token/s。官网还披露,MEGA188运行Qwen3-8B时,首字生成延迟低于200毫秒。
视觉语言模型Qwen3-VL-2B在高性能和低功耗模式下的测试结果分别约为290 Token/s和32 Token/s。对于MoE模型Qwen3-30B-A3B,单卡方案测得约19 Token/s,多卡并联方案约为80 Token/s。
上述测试覆盖了芯片启动、存储读写、核心算子和完整模型运行,MEGA188的验证工作正从单项硬件功能测试推进到端到端推理测试。
03.
探索AI Box等场景
独立协处理器商业化路径怎么走?
芯片点亮和模型跑通,只是MEGA188走向实际应用的第一步。接下来,迈特芯需要把带宽、功耗和推理速度等技术指标,转化为可部署、可量产、客户愿意采购的终端方案。在商业化方向上,AI Box和PC是迈特芯当前较为明确的切入点。
这些设备已经具备x86或ARM主控、操作系统和应用生态。MEGA188可以通过M.2、PCIe等接口接入,与主控共同完成大模型推理。
对于存量设备,迈特芯希望以标准接口加速卡的方式进行升级,减少重新设计主板的工作;对于下一代PC和笔记本,则可以在板级集成一颗或多颗MEGA188。
余浩将客户的主要采购驱动力概括为:在增加约1000—2000元成本的情况下,让终端具备运行本地智能体的能力。与重新配置整套高性能计算平台相比,这种主控与协处理器组合的方案更容易控制整机成本。
MEGA188与SSD结合的方案,则为其提供了更大的模型适配空间。这类方案由主机SSD存放完整的MoE专家权重,3D DRAM保存每层的激活专家;推理时,如果所需专家不在3D DRAM中,系统就从SSD读取相应专家并载入3D DRAM,再完成计算。3D DRAM在其中承担高带宽缓存的角色,SSD则补足模型容量,无需将全部参数都装进成本较高的片上存储。
目前,MEGA188+SSD的单卡方案已经跑通30B级MoE模型。面向120B及更大规模模型,团队正在进一步验证多卡和分布式SSD方案。
除AI Box外,迈特芯披露,MEGA188已在具身智能、智慧教育、工业边缘计算和车载电子等领域实现首批客户导入。这些场景对实时性、本地数据处理和功耗有不同要求,也需要针对具体设备进行联合验证。
余浩称,MEGA188走向量产还需要推进PCIe与主控适配、主控调度和工具链协同。软件方面,其推理引擎需要适配LLM、VLM、MoE和VLA等模型形态,并支持分布式并行。
按照迈特芯的规划,后续工程工作包括存储与接口的全覆盖测试、稳定性和可靠性评估,并将已测功能固化为可交付规格;生态工作则包括完善编译工具链与运行时支持、扩展多平台兼容和端到端模型验证。
未来,迈特芯还计划向更先进工艺演进,并针对手机、车载和具身智能等场景优化未来芯片产品的功耗、带宽与算力。
04.
结语:让更多终端跑得起大模型
迈特芯开始接受市场检验
当大模型走向每一个终端,竞争的关键或许不再是谁拥有最高的TOPS,而是谁能以最低的系统代价,持续产出更多可用的Token。迈特芯选择的3D分布式TPU路线,正是围绕带宽利用率、功耗和系统成本展开。
MEGA188已经跨过芯片点亮和模型验证的节点,接下来仍需完成量产与生态适配。若这些工程环节顺利推进,迈特芯有望将架构上的差异化转化为产品和成本优势,在端侧大模型芯片市场获得更有利的位置,并推动本地智能体进入更多终端。

原文链接
多空观点 观点仅供交流,不构成投资建议
点赞
踩一踩
收藏
分享

评论 (0)

0/200
声明:社区内容仅代表用户个人观点,不构成任何投资建议。投资有风险,入市需谨慎。