芯人必读 | 大模型的心脏：AI 芯片到底是什么

1、什么是 AI 芯片

广义上，只要能运行 AI 算法的芯片都可以叫 AI 芯片。但产业语境里说的 AI 芯片，特指为人工智能工作负载做了专门架构加速的芯片——它针对深度学习里海量矩阵乘法、向量运算做了硬件级优化，能在同等功耗下提供远超通用 CPU 的算力。

AI 芯片的主要任务是两类：

训练（Training）：用海量数据把大模型的参数"喂"出来，对算力、显存带宽、芯片间互联要求极高。

推理（Inference）：训练好的模型部署到数据中心、手机、汽车、摄像头，对请求做实时响应，对能效比和成本更敏感。

AI 芯片在整个半导体产业链里的角色——它不是某一种加速器，而是算力供给侧的"电力公司"：AI 模型训练和推理需要算力，AI 芯片决定了算力的成本、效率与可获得性。

2、AI 芯片的四大技术路线

按技术架构，AI 芯片主要分四类：

GPU（图形处理器）：原本为游戏渲染设计，因为拥有大量并行计算核心，意外成为训练大模型最成熟的选择。英伟达 H100/H200/B200 是当前行业标杆。2023 年之前，国内 AI 芯片市场 GPU 占比约 90%。
FPGA（现场可编程门阵列）：可以反复重新编程，适合需要快速迭代原型、验证新算法的场景，但能效比和大规模部署成本不如专用芯片。
ASIC（专用集成电路）：针对特定 AI 模型或算子量身定制，能效比最高、成本最低，但灵活性差、前期投入大。Google TPU、华为昇腾、寒武纪思元、亚马逊 Trainium 都属于这一类。
类脑芯片：模拟人脑神经元脉冲信号，尚处早期研究阶段，面向超低功耗智能感知场景。

3、AI 芯片用在哪里

云端数据中心：大模型训练集群、推理服务（ChatGPT、文心一言、DeepSeek 等）。一个万卡 GPU 集群投资动辄上百亿元。
自动驾驶：自动驾驶域控芯片（英伟达 Orin/Thor、地平线征程、黑芝麻华山）在车端实时处理摄像头、雷达数据。
端侧设备：手机（苹果 A 系列、高通骁龙内置 NPU）、AI PC、智能音箱、AI 摄像头、扫地机器人、AR/VR 眼镜。
行业智能化：智慧安防、工业质检、医疗影像分析、机器人。

需要注意的是，AI 芯片市场正在出现两个分化。第一个分化是训练与推理的分化。训练芯片要求高吞吐、高精度（HPC）、大规模集群互联（NCCL/RDMA 优化），英伟达的 H100、H200、Blackwell 系列几乎垄断了这个市场。TrendForce 2024 年数据显示，英伟达在 AI 训练芯片市占率超过 90%，这是一个接近垄断的格局。

推理芯片要求低延迟、低功耗、高并发，对精度的容忍度更高（INT8/FP8）。这是国产 AI 芯片厂商的主要战场——华为昇腾、寒武纪、海光信息、燧原科技、摩尔线程等都在做推理芯片。2024 年中国 AI 推理芯片市场规模约 300 亿元人民币（IDC 中国数据），国产芯片已经占据其中相当比例。

第二个分化是云端与端侧的分化。云端 AI 芯片（数据中心）是算力主战场，单卡售价高（几万到几十万美元），节点路径相对清晰——拼制程、拼 HBM、拼互联。端侧 AI 芯片（手机、汽车、IoT）是另一条逻辑——单卡售价低（几十到几百美元），但节点路径要差异化——拼能效比、拼模型适配、拼软件栈。

值得注意的一个现象是英伟达的"超节点"演进。2024 年 GTC 大会上，英伟达推出 NVL72——72 颗 GPU 通过 NVLink Switch 互联成一个超节点，理论上单节点算力超过 100 PFlops（FP16）。这种"超节点"路线实际上是在用系统级集成对抗 AMD、Intel 的单芯片路线，也是在用带宽优势掩盖制程劣势。

4、技术趋势

Chiplet、3D 堆叠与先进封装

AI 芯片的技术演进正在被三个变量重塑。

第一个变量是 Chiplet。AI 芯片的算力增长已经撞到了单芯片面积的天花板——一颗 H100 的 die size 接近 800mm2，几乎是掩模版能够经济化的上限。Chiplet 是必然路径——把多个小 die 拼装成一个 package，通过硅中介层（Interposer）实现高带宽互联。AMD 的 MI300、英伟达的 Blackwell B100/B200、华为昇腾 910B/C 都是这一类。Chiplet 对 EDA 工具、IP 公司、封装测试厂商都提出了新要求。

第二个变量是 HBM 与先进封装。AI 芯片的瓶颈不在算力，而在带宽与内存。H100 用 HBM3，单卡带宽 3.35TB/s；Blackwell 用 HBM3e，带宽提升到 8TB/s；下一代 Rubin 预计用 HBM4。这种带宽增长依赖 HBM 供应商（SK 海力士、三星、美光）的产能扩张，也依赖台积电的 CoWoS 封装产能。CoWoS 产能是当前 AI 芯片出货量的核心瓶颈——台积电 2024 年 CoWoS 产能约为 30K wpm，2025 年规划扩到 70K wpm，但仍供不应求（台积电法说会披露）。

第三个变量是能效比。AI 芯片的能耗已经成为关键约束。一颗 H100 的 TDP 是 700W，一个万卡集群的功耗是 7MW，对数据中心散热、电力供给都构成巨大压力。降低每瓦算力是 AI 芯片竞争的核心——AMD 的 MI300X 用更小的制程（5nm）+ HBM3 实现类似算力但更低的功耗；国产 AI 芯片如寒武纪、海光都在能效比上对标英伟达。

5、边界与代价

算力军备赛的另一面

AI 芯片看似高景气，但该赛道企业的发展也面临多重挑战。

第一重是"客户集中度风险"。AI 芯片公司的下游高度集中——英伟达的主要客户是 AWS、Azure、Google Cloud、Meta、Oracle 这五大云厂商，前五大客户占比超过 40%（英伟达 10-K 披露）。这意味着任何一家云厂商的资本开支调整都会直接影响英伟达订单。

第二重是"先进制程依赖"。AI 芯片依赖台积电、三星的先进制程（5nm、3nm），这是高度敏感的供应链。台积电产能调度、地缘政治风险都会影响 AI 芯片出货。英伟达 2024 年出现 H100 交付延迟，部分原因是 CoWoS 产能不足。

第三重是"软件栈护城河"。CUDA 是英伟达最深的护城河——它不只是软件库，而是一个完整的编程框架。十年来积累的开发者生态、客户代码、调试工具构成了巨大的切换成本。AMD 的 ROCm、华为的 CANN、寒武纪的 NeuWare 都还在追赶。

-END-

本文系科普，整理自公开资料，如有任何问题，敬请与我们联系。

今日芯闻

服务内容

推荐阅读

倒计时5天！芯片测试数据分析实战沙龙来了！