未经许可,不得转载或者引用。
投资要点
投资要点:
数字AI已实现在语言、视觉与多模态任务中通用底座模型的跑通,但其难以实现物理世界的建模闭环;物理AI将在连续、实时、安全约束的真实世界中建立"感知—行动—反馈—优化"闭环,并在一段时间内与数字AI并列成为"任务通解",成为物理世界场景的AI解决方案。考虑二者的技术同源性,我们认为复盘数字AI有助于理解与预测物理AI的演进。
Transformer推动数字AI技术发展从专用架构到统一底座。 AI第一次爆发以CNN、RNN等专用架构分别攻克视觉与语言任务,归纳偏置强、通用性受限;AI第二次爆发中,Transformer以"注意力+位置编码"提供跨领域通用的关系建模,叠加Scaling规律,统一模型在能力迁移、研发效率与工程复用上的优势持续扩大;语言、视觉、生成与多模态逐步收敛于统一基础模型范式,Transformer亦转变为通用计算底座。
物理AI正从复用数字AI能力转向补齐自身底层能力。早期主要迁移Transformer等架构理念(BEV、UniAD);当前VLM、VLA进一步建立在LLM及多模态基座之上(Waymo EMMA基于Gemini、车端VLA)。但数字AI红利或已接近阶段性瓶颈,根本原因在于,物理AI面临三类差异:一是缺少天然Token,需自主构建物理世界表征;二是长尾、极端场景稀缺且采集成本高,难以直接复制互联网数据Scaling;三是模仿学习受限于人类驾驶上限,必须依赖强化学习持续试错;就三点差异来看,我们认为世界模型或更契合物理AI发展方向。
我们认为,数字AI底座模型发展路径已逐渐清晰,价值在于确定性;本轮AI发展未来更大的增量在物理AI,智能驾驶是其最先跑通闭环的代表场景。物理AI从表征到部署的闭环路径与数字AI差异明显,将形成独立而统一的发展路径。随着世界模型与强化学习闭环走向成熟、云车部署逐步兑现,物理AI有望由能力展示走向大规模落地,成为AI发展当前阶段最具成长弹性的方向。
风险提示:技术迭代不及预期的风险;大模型厂商 ARR 增速放缓的风险;云服务商资本开支不及预期的风险;智能驾驶及机器人商业化落地不及预期的风险
1
主线三问:怎么看AI、数字AI如何崛起、物理AI如何落地
AI系列深度报告围绕三个递进的问题展开:怎么看AI——理解AI需要哪些概念工具?数字AI如何崛起——Transformer为何成为通用底座模型?物理AI如何落地——能力如何迁移到物理世界并形成真实闭环,增量将在哪里落地?对应三问,系列分为开篇、数字AI、物理AI三大部分。
开篇部分以十二篇概念科普铺设底座,从研究目标、表征机制、骨干架构到训练范式,为全系列提供统一的概念坐标系。数字AI部分复盘两次爆发的驱动差异:第一次爆发中CNN、RNN等专用架构分别攻克单点任务,第二次爆发中规模化学习使Transformer收敛为通用底座,语言、视觉、生成、多模态四大智能由分立走向统一。数字AI与物理AI在表征、数据与学习范式上存在系统差异,能力迁移的边界由物理闭环决定,构成两部分之间的衔接。物理AI部分以智能驾驶为主线,沿架构、表征、数据、训练、部署五问研究真实世界闭环:VLA完成从端到端到动作生成的范式升级,世界模型承担表征训练与数据制造,强化学习从可选增强走向闭环关键,时延约束决定部署工程。我们认为,物理AI有望由能力展示走向大规模落地,成为AI发展当前阶段最具成长弹性的方向。
2
数字AI:Transformer 为何成为通用底层模型
AI 1.0主要提升了单点任务的识别精度;Transformer开启的AI 2.0则同时提升了任务的广度、复杂度和链条长度。Transformer已演进为能够统一学习知识、迁移任务和执行复杂指令的通用基础模型,是目前通向AGI最重要、且得到最大规模工程验证的一次跨越。
Transformer 是一种通用模型架构,是数字 AI 迈向大模型的核心技术底座之一;物理 AI 则是在这一底座上,叠加对物理世界感知、预测和行动能力形成的系统。因此,在当前发展阶段,数字AI与物理AI具有一定的技术同源性,Transformer是其共同的核心技术底座。
在AI2.0时代,Transformer于数字AI场景首先落地,发展速度也快于物理AI场景,考虑二者的技术同源性,我们认为通过对数字AI发展的复盘可以更好的理解和预测物理AI的发展。
2.1
AI 第一次爆发:CNN与RNN以专用架构分别攻克任务
AI第一次爆发是传统机器学习到深度学习的跨越。传统机器学习通常先由工程师设计边缘、纹理、形状等特征再交由分类器识别;深度学习则直接从原始数据逐层学习表示,底层捕捉边缘、中层学习部件、高层形成对完整物体的抽象刻画,即表示学习。
深度学习的成功并非单一变量驱动,而是大数据、强计算能力与可训练深层网络算法三项条件同步成熟的结果。从技术演进看,反向传播(1974)、梯度消失与爆炸的系统论证(1991)、LSTM门控(1997)、无监督预训练(2006)、ReLU(2010)、Dropout(2014)、注意力机制(2015)、ResNet残差连接(2016)等成果具有较强跨架构适配性,共同构成深度学习技术体系的公共底座;其中重要成果在2010年后密集出现。
2012年,AlexNet在ImageNet上将ILSVRC口径的top-5错误率由约26%降至约15%,成为深度学习在视觉任务上实现代际跃迁的标志性拐点,此后CNN快速确立其在图像识别、目标检测、图像分割与人脸识别等任务中的核心地位。该突破来自GPU并行训练、ReLU激活、Dropout正则化与数据增强的协同,也是算法、算力与数据长期积累后在2012年形成技术共振的结果。
以论文为锚,我们认为深度学习架构演进可划分为七个阶段,并归并为范式确立、成长与扩展、成熟与高峰三大阶段。其分析价值在于给出一条判据:当某一架构的高引用论文向成熟与高峰阶段(轻量化与部署、复兴性改进)集中、且新增高引用基础架构论文减少时,通常意味着该架构进入短期学术瓶颈,一方面产品落地窗口开启,另一方面需关注下一代架构。
CNN高引用的基础架构与训练类论文集中在2012—2016年,2017年后论文重心明显向轻量化/部署与复兴/后继迁移、引用量整体回落,意味着CNN在2016—2017年前后进入短期学术瓶颈:一方面走向成熟并推动人脸支付、安防、手机影像等应用密集落地,另一方面2017年Transformer出现,提示下一代架构成为新的关注重点。
2.2
AI第二次爆发:从人工设计到规模化学习,Transformer成为通用底座
AI第二次爆发的标志,是Transformer成为通用的数字任务底座;语言、视觉、生成与多模态四个典型任务领域的技术路径革新各不相同,但在发展过程中均把Transformer作为其技术底座之一。
AI2.0的本质,是能力来源由人工设计的强任务先验转向规模化学习。AI1.0时代的主流架构具有较强的归纳偏置,如CNN、RNN;CNN绑定局部性与平移等变的强空间先验,RNN绑定递归与时序依赖的强序列先验,二者样本效率较高但通用性与可扩展性受限;Transformer以“注意力+位置编码”承载较弱先验,更多依赖数据、算力与训练目标形成能力,因而可并行、可充分利用大算力与大数据。
Transformer成为数字AI通用底座,可归纳为三重机制。其一是表示与接口趋同:文本天然可表示为token序列,代码、工具调用与软件状态能够被序列化,ViT将图像划分为patch token,音频与视频经编码进入统一上下文,token化与多模态表示使不同模态具备共享模型接口的前提。其二是规模化训练与后训练叠加:自注意力允许序列位置直接交互、缓解递归结构的串行计算与长距离依赖问题,自监督预训练与Scaling Law建立规模扩展框架,SFT、RLHF、DPO提升可用性,RAG、工具调用与测试时计算将能力增量延伸至运行时系统。其三是交互与任务收敛:自然语言逐步成为调用文本生成、代码、知识问答、工具与多模态能力的统一入口。
结合核心论文,我们认为大模型演进框架可以总结为:一条核心发展主线搭配两条并行优化支线。主线为模型能力升级重心持续向外转移,分为三个递进阶段;两条支线分别对应能力拓展广度、训练推理使用效率。该划分标准区分能力优化所处层级,分为架构设计、预训练、规模扩张、对齐调优、推理增强、智能体系统等各类技术进展。
扩展规律(scaling law)回答的是“规模如何转化为能力”。这一规律伴随大模型发展不断被修正与拓展,逐步形成覆盖训练、数据、对齐、推理与多模态的全链条框架。
大模型Scaling规律经历了从“规模扩展有效”到“资源配置优化”再到“推理阶段扩展”的演进过程:早期研究验证模型性能随数据、参数和计算量增加呈幂律提升;GPT-3时期Scaling Law正式确立,证明大规模预训练可持续提升模型能力;随后研究由训练Loss转向下游能力表现,并探索模型涌现现象;Chinchilla进一步提出计算最优Scaling,强调参数与Token的协同增长;随着数据资源约束增强,数据质量与训练流程成为新的优化方向;近年来,Scaling边界进一步拓展至推理时计算,通过强化学习和额外推理算力提升复杂任务能力。
2.3
语言智能:Transformer诞生的原生应用场景
自然语言处理任务是Transformer架构的原生场景。在Transformer之前,循环网络以隐藏状态承载上下文,通过LSTM/GRU门控缓解梯度消失、经Seq2Seq与Attention-RNN突破固定向量瓶颈,定义了语言任务的能力上限,但其信息交互沿时间步递归、难以并行,两位置关联路径随距离增长。
Transformer以自注意力取代循环,将序列建模由递归状态传递转向全局信息交互,打开并行训练、规模扩展与任务统一空间;预训练、指令微调、RLHF、CoT、RAG、工具调用与测试时计算沿同一主干逐层叠加,使语言模型从特征提取器和专用任务模型走向通用交互入口。需要说明的是,循环与状态压缩思想并未消失,仍在端侧、流式、长上下文与成本敏感场景延续。
基于相关论文与代表成果复盘,我们将Transformer在语言任务中的演化归纳为七个阶段,并进一步归纳为三个大阶段。三个大阶段分别为:架构确立,即自注意力替代递归,确立可并行的序列建模架构;范式统一与规模化,即预训练—微调成为主流,理解与生成任务统一为文本到文本,自回归模型经规模扩展获得通用能力;对齐与推理,即指令微调与人类偏好对齐提升模型可用性,复杂推理、工具调用与测试时计算进一步拓展能力边界。
2.4
视觉智能:正在从CNN主导转向Transformer主导
在视觉基础模型领域,基于Transformer形成的ViT及其变体架构已经成为主流路线之一。CNN凭借局部性、权重共享与平移等变三项视觉归纳偏置,在Transformer进入视觉之前已把图像识别、检测与分割推进至较高工程水平。ViT确立“图像patch即token”的表示方式,CLIP、DINO与SAM等推动视觉基础模型形成;与此同时,Swin、PVT等重新吸收局部性、层级与多尺度先验,ConvNeXt等现代CNN亦吸收Transformer时代的训练经验。
综合来看,视觉领域任务已多以Transformer为技术基座:ViT带来统一接口与规模化潜力,卷积思想则以现代化形式回归。视觉能力本身仍以感知型中间能力为主,是否作为独立终端产品仍取决于与下游系统的结合方式。
从技术角度看,Transformer通过“图像patch即token”的思路实现了从序列任务向图像任务的切入。CNN通过卷积操作利用局部连接和权重共享,将空间结构先验直接编码进网络;ViT则将图像切分为Token,通过自注意力机制实现全局信息交互,更多依靠数据学习图像中的空间关系。
基于相关论文与代表成果复盘,我们将Transformer在视觉任务中的演化归纳为三个阶段:1)图像被token化,Attention机制首先作为CNN增强模块引入视觉任务,随后ViT将图像Patch转化为Token序列,DETR进一步引入Object Query重构检测任务;2)视觉Transformer走向通用骨干,Transformer逐步融合CNN的局部性、层级结构和多尺度能力,成为适用于分类、检测和分割等密集任务的视觉架构;3)视觉模型由封闭标签分类迈向视觉基础模型,自监督预训练、视觉语言对齐和可提示分割推动视觉模型具备可预训练、可迁移、可提示和多模态融合能力。
我们认为,Transformer之于CNN的核心意义并非仅在于提升视觉任务精度,更在于通过Token化表示和自注意力机制,构建了一种统一、可扩展、能够建模全局关系的信息处理框架,使视觉模型能够接入大规模预训练、跨任务迁移以及多模态语义对齐。
2.5
生成智能:Transformer伴随生成范式演进逐步渗透
与语言和视觉理解任务中Transformer快速成为主流骨干不同,生成式视觉由于涉及表示方式、生成机制和条件控制等多个环节,其技术范式持续迭代。因此,Transformer并非一次性替代某一固定模块,而是伴随自回归生成、扩散生成和多模态生成的发展,逐步从Token建模、条件交互向生成骨干和统一架构演进。Transformer是在多个生成范式中逐渐成为统一计算骨干。
第一阶段(2020—2021年),Transformer首先进入图像Token生成环节,推动视觉生成由连续像素建模转向离散序列建模。以VQ-VAE/VQGAN和DALL-E为代表的方法,通过将图像压缩为离散Token,并利用Transformer进行自回归预测,使图像生成具备类似语言模型的序列建模能力,为后续大规模视觉预训练奠定基础。
第二阶段(2021—2022年),Transformer进一步参与文本条件控制,实现视觉生成与语言语义的结合。CLIP等视觉语言模型通过构建图文共享语义空间,为生成模型提供更强的文本理解能力;Imagen、Stable Diffusion等扩散模型则通过文本编码器与Cross-Attention机制,将语言条件注入去噪过程,使文本驱动图像生成成为主流路径。
第三阶段(2022—2023年),Transformer开始从条件模块进入生成核心,逐步替代传统卷积式生成骨干。DiT(Diffusion Transformer)将Transformer引入扩散模型主干网络,以全局注意力替代U-Net中的卷积操作,证明Transformer具备处理高分辨率视觉生成任务的扩展潜力,并推动扩散模型进一步向大规模Scaling发展。
第四阶段(2024年至今),生成式视觉进入多模态统一建模阶段,Transformer成为连接文本、图像和视频等不同模态的重要基础架构。以Sora、Veo、Emu等为代表的新一代模型,通过将不同模态信息统一Token化,并结合扩散模型或自回归生成方式,实现跨模态理解与生成能力融合,推动视觉生成从单一图像合成向通用世界建模方向演进。
总体来看,Transformer在生成式视觉中的作用并非简单替代GAN或扩散模型,而是逐步成为生成系统中的通用计算框架:从最初负责Token序列建模,到承担条件交互,再到替代生成骨干并实现多模态统一。
2.6
多模态智能:Transformer 从外挂对齐到统一骨干
与语言、视觉理解中 Transformer 较快确立为主流骨干不同,多模态的核心难点在于多种异质模态的对齐与融合。Transformer 对多模态的融入并非一次性替换某一模块,而是沿"后期外挂 → 预训练统一 → 端到端实时"把模态对齐逐步搬进同一计算骨干,转换损耗随之逐级下降,可分为三个阶段。
外挂式阶段(2021—2023),Transformer 充当各模态编码器与外挂桥。 各模态先各自编码(ViT 编图、Transformer 编文),CLIP 以对比学习将双编码器对齐至同一表示空间;再经外挂模块注入冻结的大语言模型——Flamingo 用门控交叉注意力、BLIP-2 用 Q-Former、LLaVA 用线性投影,将视觉 token 送入文本 Transformer 的上下文。对齐发生在后期,视觉与语言两套模型基本各自训练后再拼接,接口有损、转换损耗最大。
原生多模态阶段(2023—2024),Transformer 充当统一预训练骨干。 不再先分后拼,而是自预训练起即把文本、图像乃至音视频 token 交错为单一序列、输入同一 Transformer,跨模态关系由自注意力在预训练中一并习得。对齐前移至预训练,各模态共享同一注意力堆栈,转换损耗下降。
端到端 Omni 阶段(2024 年至今),Transformer 充当 any-to-any 输入输出骨干并承担时空建模。 单一模型实时完成多模态的输入与输出:音频不再经"识别—大模型—合成"三段式,而是 token 化后由同一模型直接读写;视频以时空 token 序列被统一建模。对齐完全内化于单一模型,转换损耗最低、时延最小。
2.7
从分立到统一:Transformer 收敛为多任务骨干
总体来看,Transformer的注意力机制提供了跨领域通用的关系建模方式,在叠加Scaling规律后,统一模型在能力迁移、研发效率和工程复用上的优势持续扩大,使通用架构的模式逐渐优于分别设计专用架构的模式,进而推动架构、任务与模态向统一基础模型范式收敛。
我们认为,从文本领域发展到多模态领域,Transformer 的角色正由早期的"能力跃升来源",逐步转变为跨领域通用的计算底座,并开始呈现出一定的组件化特征。
3
数字AI提供能力底座,物理闭环决定迁移边界
Transformer作为通用模型架构,既可用于数字AI,也可应用于物理AI。数字AI凭借对Transformer的应用,已在语言、视觉与多模态任务中跑通通用底座模型。
那么对于物理AI场景,数字AI的能力能够外溢到哪里,边界由什么决定。我们以智能驾驶为样本梳理借鉴史实,说明能力外溢已经发生、且借鉴层级由架构理念上移至模型迁移。
3.1
借鉴层级由架构理念上移至模型迁移
从产业与学术实践看,智能驾驶对数字AI的借鉴大体经历两个阶段。第一阶段以架构理念移植为主:Transformer确立的注意力机制与序列建模思想被引入驾驶感知与轨迹预测,催生了矢量化表示、鸟瞰图(BEV)与Transformer结合的统一空间表征,以及以查询解码为核心的端到端一体化框架UniAD。这一阶段迁移的是建模范式,而非具体模型权重。
第二阶段进一步表现为模型层面的直接迁移。代表性工作是Waymo于2024年提出的端到端多模态驾驶模型EMMA(End-to-End Multimodal Model for Autonomous driving),其论文明确说明该模型构建在谷歌多模态大模型Gemini之上,将原始摄像头输入与文本指令映射到统一语言空间,再输出轨迹、目标检测与道路图等结果。与此同时,源自机器人领域的视觉—语言—动作(VLA,Vision-Language-Action)范式被引入车端,例如理想汽车MindVLA(2025年发布)以及小鹏汽车提出的约720亿参数世界基座模型。
我们认为,沿着从架构理念到具体模型的借鉴层级上移,可直接复用的成果在形态上越来越完整,但其与物理世界的耦合也越来越紧密。文本、代码等数字信号与驾驶所需的三维时空信号之间存在结构性差异;越接近车辆控制、实时三维感知与安全攸关决策环节,数字AI已有成果可直接迁移的比例越低,需要针对物理世界重新设计或重新训练的部分越多。借鉴层级在上移,但越靠近物理闭环,可直接迁移的红利区间可能趋于收窄,尚无统一量化标准。
3.2
表征、数据与学习范式存在系统差异
在共享底层技术的同时,物理AI与数字AI存在的系统性差异导致其存在一定的技术隔阂,具体表现在输入表征、数据获取与训练范式三个方面。
其一是表征差异:数字AI处理的文本天然是离散的、带语义的符号Token,输入端已具备较强结构化基础;物理世界的原始输入则是连续的光子、点云等信号,并不存在天然、通用、可被模型直接处理的符号化方案,智能驾驶因此多出一段数字AI无需经历的历程——将三维物理空间构建为可学习的模型底座。
其二是数据差异:数字AI的训练语料已大量沉淀在互联网中,规模化的核心动作是抓取、清洗与压缩已有数据;物理AI最具价值的数据恰恰是长尾、极端与事故场景,天然稀疏、采集成本高且可能涉及安全风险。兰德公司(RAND,2016)的情景测算说明了路测里程的量级问题:若要在95%置信度、±20%精度下证明自动驾驶致死率达标,约需88亿英里,以百辆车规模的车队计算需要数百年;为缓解这一问题,业界发展出以世界模型生成合成数据、并将其定位为数据工厂的路径。
其三是学习范式差异:数字AI的预训练以下一词元预测为代表,其模仿对象是整个互联网上的人类知识,模仿可覆盖的边界较宽,强化学习与RLHF更多承担对齐与推理增强角色;物理AI以L4级自动驾驶为代表,所模仿的对象通常是平均水平的人类司机,而安全性目标却要显著超越人类。我们认为,当模仿对象为平均水平人类司机、而目标是大幅超越人类安全性时,单纯模仿学习的上限相对更低,强化学习更接近突破能力边界的关键路径。
4
物理AI:从能力外溢到真实世界闭环
物理AI(Physical AI)通常指能够感知物理世界、并在三维空间中完成决策与行动的人工智能系统,自动驾驶是其最具代表性的落地场景之一。英伟达创始人黄仁勋在2025年国际消费电子展(CES 2025)主题演讲中,将人工智能发展划分为感知AI、生成式AI、智能体AI与物理AI四个阶段,并提出通用机器人的ChatGPT时刻临近。数字AI以大语言模型为代表,主要处理文本、代码、图像等数字信号;物理AI则需要在真实三维空间中感知、决策和行动。
物理AI的研究以智能驾驶为切入点,沿一条主线依次展开:数字AI能力向物理AI的迁移及其边界;VLA的动作生成范式;物理世界表征的演进;世界模型作为数据工厂的角色;从模仿学习到强化学习的范式变化;云端训练与车端部署之间的时延分工。六个议题看似分散,实则共同回答同一个问题,即物理AI如何把感知、状态、动作、反馈与部署放入同一真实世界闭环。
我们认为,物理AI的核心并非单点提升视觉或语言模型的能力,而是围绕“可执行、可反馈、可验证”重建一整套技术体系。数字AI已经证明,统一的模型架构能够在语言、视觉与多模态理解任务中形成广泛迁移能力;物理AI沿用这一能力底座,却不止于把已有模型部署到车辆或机器人终端,而需要让模型在连续变化的环境中完成状态理解、行动生成、结果反馈与策略更新,并在安全、实时与算力约束下稳定运行。各环节并非相互独立,而是共同定义了物理AI从能力展示走向可执行系统的路径。
4.1
VLA:从端到端到动作生成的范式升级
4.1.1
自动驾驶由模块化流水线走向统一策略
自动驾驶的整体技术演进可划分为四个范式。早期主流方案为经典模块化流水线,将任务拆分为感知、预测、规划、控制四个模块,其优势在于各组件可独立开发、测试与优化,缺陷是模块间误差会级联传播、信息碎片化,难以处理长尾极端场景。为解决模块化缺陷,研究转向端到端自动驾驶,将原始传感器输入直接映射为控制指令,消除了模块边界、可端到端优化,但在语义稳定性、可解释性与语言交互能力上仍存在不足。
在此基础上,研究进一步将视觉语言模型引入自动驾驶(VLM4AD),把感知与自然语言推理统一到同一嵌入空间,利用大模型常识先验提升对罕见场景的泛化能力;但该路线仍以感知解释为核心,语言输出与控制耦合较弱,存在“能解释场景、却难以直接生成可靠控制决策”的动作生成缺口。VLA4AD范式的关键变化,是把视觉感知、语言理解和控制决策整合到同一策略中,通过显式动作头(action head)弥合动作生成缺口,其目标能力包括遵循自然语言指令、输出决策理由以支持事后验证、以及利用常识先验提升罕见场景泛化。
4.1.2
VLA的三大模块与阶段演进
VLA4AD在输入侧整合多模态信号:视觉输入常将图像投影为BEV表征以强化空间推理,激光雷达提供3D结构、毫米波雷达提供速度、IMU用于运动跟踪、GPS用于定位,语言输入包括环境查询、任务规则解析与语音交互。其核心模块可拆分为视觉编码器、语言处理器与动作解码器:视觉编码器将异构传感器数据转换为与语言空间对齐的隐层特征(常用DINOv2、CLIP等骨干并加入3D空间增强);语言处理器采用预训练大语言模型并以LoRA微调或检索增强注入领域知识;动作解码器将融合特征转换为驾驶动作,主要有自回归分词器、扩散头与分层控制器三种技术路线。
VLA4AD的内部演进可划分为四个阶段。预VLA阶段(约2023年)多模态大模型更多充当被动解释器,代表如DriveGPT-4,语言不参与决策;模块化VLA阶段(2024—2025年初)LLM升级为主动路径规划媒介,采用多阶段流水线、语言作为中间表示,代表如OpenDriveVLA;统一端到端VLA阶段(2025年)在一次前向传播中直接将多模态传感器流与语言指令映射为控制信号,代表如Waymo EMMA;推理增强VLA阶段将长时域推理、记忆与交互整合进控制循环,代表如引入QT-Former记忆模块的ORION。
4.1.3
厂商路径分化与工程边界
头部厂商的VLA路线开始分化。Waymo EMMA构建于Gemini之上,以统一语言空间联合处理多任务,引入思维链(CoT)推理后端到端规划性能进一步提升6.7%,但论文披露其仅能处理少量图像帧、不含激光雷达等精确3D感知模态。理想MindVLA将三维空间理解、交通语义推理与驾驶动作生成统一到同一框架,采用3D高斯作为中间表征并自监督训练,语言模型MindGPT采用MoE与稀疏注意力,动作侧由Diffusion扩散解码器解码轨迹,整个推理在车端实时运行。元戎启行40B VLA基座使同一模型同时承担Driver、Analyst、Critic三类角色,并通过评价结果反向驱动数据闭环。千里科技CoWorld-VLA在VLM隐空间构造交通交互、道路几何、动态演化与自车轨迹四类专家Token,构成面向规划的隐空间世界表征,在NAVSIM v1上取得PDMS 89.8。
小鹏第二代VLA去掉语言转译环节,设计原生多模态Tokenizer并采用32倍超密视觉思维链,实现从视觉信号到动作指令的端到端直接输出,在架构形态上趋近视觉—动作(VA);作为对照,理想MindVLA-o1按公司表述保留语言层、是原生多模态MoE Transformer。由此,在是否保留显式语言推理层这一维度上,头部厂商路线已出现分化。
4.2
表征:物理世界如何进入模型
4.2.1
物理世界缺乏天然通用Token
表征决定物理世界以何种形式进入模型。连续光子、点云、运动与空间关系需要先被转换为可学习的数值表示,模型才能进一步完成识别、预测、规划与控制。嵌入(embedding)是其中最常见的实现形式,通过将对象映射至连续向量空间,使语义、几何与关系信息由向量间的距离和方向承载。数字AI与物理AI的根本差异,首先在于表征获取方式不同。
在文本侧,将输入转为Token通常是轻量且可学习的步骤。文本经子词分词(如字节级BPE)切分为Token后查表得到嵌入,分词器训练成本低、词表规模可控。主流大模型的分词方案虽在算法与词表规模上存在差异,但整体仍建立在成熟的子词切分框架之上:DeepSeek-V3采用字节级BPE、词表约12.8万,阿里Qwen系列在tiktoken的cl100k_base基础上扩充中文、词表约15.1万,智谱GLM采用字节级BPE、词表约15万,MiniMax-01词表为20万余。文本侧的世界编码主要由人类语言预先完成,模型能力学习主要发生在分词之后。
物理世界输入没有天然离散语义单元,必须由网络学习如何切分与编码。即便是文本大模型,一旦转向多模态,也必须额外引入视觉编码器,将连续像素压缩为模型可处理的视觉Token;以Qwen3-VL为例,其通过SigLIP2视觉编码器提取图像特征。图像Patch与视觉Token主要覆盖二维视觉输入,智能驾驶还需进一步表示三维空间结构、连续时间变化、交互与动作后果,因此车端表征网络的工程复杂度显著高于一般图文多模态模型,BEV、Occupancy、VAE与3D编码器由此成为物理AI输入链路中的核心组成部分。
4.2.2
智能驾驶表征由像素走向潜在状态
我们将智能驾驶表征的演进归纳为一条主线:原始像素→BEV→Occupancy占用→矢量化→多模态Token→潜在状态,各阶段在产业中长期并存、相互叠加。贯穿演进过程的主线,是上一阶段的表征约束推动下一阶段表征形成。
第一阶段以原始像素直接回归控制量,感知与决策被耦合在隐式表征中,ALVINN与英伟达PilotNet等可在缺少车道线显式标签的情况下自主形成敏感特征,但内部表征难以检视,闭环运行中易受协变量偏移与误差累积影响。第二阶段BEV结合Transformer,将多相机图像统一至三维鸟瞰空间:特斯拉2021 AI Day以鸟瞰空间位置编码为查询、各相机特征为键值,由自注意力学习向量空间取信息,缓解跨相机目标错位与外参波动;小鹏XNet 1.0为国内首个量产的动态BEV感知架构。
第三阶段Occupancy以体素占据描述空间,把感知对象由预定义实体扩展至完整空间占据,并预测占据状态与速度信息,特斯拉2022 AI Day将其落到车端,华为ADS 2.0、理想AD Max 3.0亦相继纳入量产感知栈。第四阶段矢量化将地图、轨迹与道路参与者抽象为矢量对象,并通过图网络与注意力建模交互,VectorNet相对栅格化基线将计算量降低约一个数量级、参数量节省70%以上。第五阶段多模态Token尝试将视觉、语言与动作纳入统一序列建模,特斯拉FSD、Wayve LINGO等体现视觉—语言—动作逐步融合。第六阶段潜在状态进一步走向可预测空间,GAIA、Cosmos等世界模型将视频与场景压缩至离散Token或连续潜在空间,并在历史图像、文本与动作条件下预测未来状态。
4.2.3
世界模型承担自监督表征训练工具
物理世界标注昂贵且难以覆盖长尾,面向物理世界的嵌入更多需要依靠自监督学习形成。世界模型通过预测未来,为表征学习提供海量自监督信号:无论预测对象是像素还是潜在状态,模型都可在无需人工标注的情况下学习动态内部表征。Yann LeCun自2022年起倡导的JEPA路线(Meta的I-JEPA、V-JEPA、V-JEPA 2,以及面向点云的Point-JEPA)主张在潜在/嵌入空间而非像素空间做预测,从而学习更抽象、更稳健的表征。
因此,物理AI中的“分词器”并非文本侧那样轻量的查表步骤,而是BEV、占用网络、VAE与3D编码器等重型可学习网络。竞争壁垒正从单个感知模块的精度,前移到如何把物理世界嵌入统一、可预测的潜在空间;在该方向上,已出现把推理过程放到潜在空间而非文本空间的尝试。
4.3
数据:从复现场景到制造场景
4.3.1
物理AI的数据范式由抓取已有转向制造所需
物理AI与数字AI训练处于两种不同的数据供给环境。数字AI的训练红利建立在文本、代码与图像等语料早已存在于互联网这一前提上,获取方式是对公开来源进行抓取、过滤与压缩;Epoch AI关于数据规模的研究估计公开人类生成文本的有效存量约为300万亿Token,并预计可公开获取的高质量文本数据可能在2026至2032年间基本用尽。由此看,数字AI数据问题的性质更接近对有限存量的高效利用,即存量管理。
物理AI最具训练价值的恰是长尾、极端与事故场景,而它们在现实中天然稀疏。自动驾驶真正需要学习的是突发避让、恶劣天气、临界碰撞等低频但关键的边界场景,这些场景在日常行驶记录中出现频率极低。RAND以美国道路安全统计为基准测算,2013年人类驾驶死亡率约为每亿英里1.09人;由于致死与受伤是相对于行驶里程的稀有事件,仅凭实车路测在统计上清晰证明自动驾驶安全性需要数亿乃至数千亿英里,其给出的一个示例情形即需约88亿英里,而当时单一车队积累的最多实测里程约为130万英里。真实采集这类场景还面临高成本与安全风险。由此,物理AI数据问题的性质与数字AI相反,不是存量管理而是增量制造,即如何安全、低成本地获得现实中难以遇到的关键场景。
4.3.2
世界模型成为数据工厂
世界模型概念源自强化学习,指智能体对环境状态及其演化的内部预测模型。Ha与Schmidhuber用变分自编码器压缩高维感知、用循环神经网络建模时间动态,使智能体可在学习到的模型内部生成状态并训练策略。随大规模生成式建模发展,世界模型由辅助智能体的预测器逐步演变为可生成完整交互世界的系统,并存在“理解世界”与“预测未来”两条路径,分别以LeCun的JEPA与生成式视频模型为代表。
特斯拉在CVPR 2023提出构建自动驾驶领域的基础世界模型,其神经网络可根据过去数秒视频预测并生成未来全部8个摄像头画面,标志系统重心由判别式感知向生成式预测转移。Waymo云端仿真则由2016—2020年以真实数据回放为主的Carcraft,经SimAgents等生成模型,演进至2026年2月发布的Waymo World Model,直接建模并生成未来世界状态。国际前沿机构中,英伟达于2025年1月发布Cosmos世界基础模型平台以生成物理一致的合成数据,Wayve的GAIA-2采用潜在扩散框架、可按需生成临界碰撞与分布外危险场景。生成式世界模型在技术上以视频生成模型为底座,阿里通义万相、字节Seedance、腾讯混元HunyuanVideo、智谱CogVideoX等中国大厂与头部创业公司在这一基座层快速追赶,但通用视频生成能力尚不能直接等同于可被安全闭环依赖的数据工厂。
4.3.3
Corner Case 制造的价值与边界
世界模型被寄望于规模化生成Corner Case,但其自身在长尾与长时域处的可靠性同样构成约束。长时程一致性是生成式世界模型反复强调的难点,Wayve在GAIA-2中专门强调要维持长时域时空一致性;DriveDreamer4D亦指出现有重建方法在跨原始采集轨迹渲染时容易出现目标错位、车道模糊与鬼影。这意味着越稀缺、越偏离训练分布、时间序列越长的场景,生成越不可靠,而这些区域恰是最需要Corner Case的区域。我们认为,世界模型既是Corner Case生产者、本身也面临Corner Case,正视这一张力是评估数据工厂价值的前提。
业界围绕Corner Case形成两类思路。第一类为外生受控生成,生成内容由外部预设扰动参数或生成条件指定,并以真实轨迹与可重建结构为锚、以可执行性约束筛选:DriveDreamer4D将原始自车轨迹经横向偏移与纵向变速构造新轨迹并按可行驶区域筛除不可执行路径,理想以“重建+生成”统一世界模型、以3D高斯泼溅把场景重建提速约7倍,小鹏720亿参数云端世界基座面向撞车、事故等稀缺极端场景规模化补全。第二类为内生问题驱动生成,把Corner Case发现权交给系统自身:小马智行PonyWorld 2.0以Intention Layer做自诊断,将模型表现偏差拆解为可训练问题并据此生成定向采集与hard cases,把模型迭代由数据回流驱动推进至问题诊断驱动。两类做法路径不同,但都指向让生成更可控、更有针对性、更可校验。
4.4
强化学习:从可选增强走向高物理闭环关键环节
4.4.1
模仿学习的能力上限在数字AI 与物理AI 之间分化
数字AI与物理AI均以模仿作为重要训练范式,但模仿对象差异决定了强化学习在两类系统中的角色分化。大语言模型的预训练在机制上可视为一种模仿,其学习对象是经过筛选的互联网级人类文本语料,模仿可支撑较高能力底座;强化学习更多承担事后对齐与推理增强角色,DeepSeek团队2025年发表于《自然》的研究显示,在不使用监督微调的前提下纯强化学习即可诱发推理行为,但模仿本身已提供足够高的起点。
自动驾驶端到端模型的主流训练方式同样具有模仿属性,但模仿对象主要是人类驾驶演示数据,其能力上限更容易受到示范数据质量、覆盖范围与人类驾驶分布约束。行为克隆式模仿学习在闭环控制中还存在协变量漂移问题:Ross等指出策略执行早期的微小动作偏差会使车辆进入训练分布之外的状态,误差随时间累积放大。多家机构公开表述指向同一判断——L4自动驾驶目标是在安全性上超越人类而非趋近人类平均水平,卓驭科技将预训练模仿概括为可将系统能力推升至约80分、而从80分提升至95分需要强化学习。我们认为,当模仿对象为平均水平人类司机、而安全目标远超人类时,模仿天花板更低、约束更强,强化学习由可选的事后增强转向突破上限的关键环节。
4.4.2
世界模型为强化学习提供高保真试错环境
强化学习要在驾驶中发挥作用,离不开可反复试错的训练环境,而真实道路难以承担这一角色——碰撞类数据极难且不应主动获取,危险场景也无法随意复现。世界模型的意义在于提供可控、可重置、可注入危险事件的闭环环境。理想在阐述MindVLA时表示,强化学习若要避免“奖励钻空”,必须与足够逼真的世界模型交互,其“重建+生成”统一世界模型将三维场景重建与新视角生成结合,在其上开展大规模闭环强化学习;华为乾崑ADS4以云端世界引擎的难例扩散模型生成场景,难例密度可达真实世界的约1000倍。
世界模型的保真度又依赖真实数据持续校准,由此形成双向共生。理想指出重建式方法符合物理约束但新视角泛化受限、生成式方法泛化较强但物理约束不足,两者结合方能得到既符合物理规律又具泛化能力的世界模型,这一结合依赖真实路采数据为重建提供素材、为生成提供约束。Momenta首席执行官曹旭东在发布R7时表示,预测是智能进化的核心基石,世界模型通过预测物理世界未来状态来理解物体属性与因果关系。我们认为,世界模型先通过对真实数据的预测学习物理规律,再以此充当强化学习环境,真实数据质量直接决定环境保真度、进而影响强化学习有效性。
4.4.3
厂商实践由端到端训练延伸至后训练
代表性厂商的强化学习实践主要围绕量产辅助驾驶与L4 Robotaxi两类场景展开。量产乘用车侧,“端到端之上叠加强化学习后训练”正收敛为共识:特斯拉FSD自v12起强化端到端路线,Elluswamy在2025年ICCV介绍了可合成8路相机画面、注入对抗事件的学习型世界模拟器;小鹏在云端训练约720亿参数世界基座并经后训练、强化学习与蒸馏生产车端模型;理想以“重建+生成”世界模型作为强化学习训练场;Momenta在端到端基础上引入强化学习推出R6飞轮大模型,地平线HSD采用“一段式端到端+强化学习”。
L4 Robotaxi侧更强调以世界模型驱动的闭环仿真与安全冗余:小马智行第七代Robotaxi以PonyWorld世界模型基于强化学习范式承载生成场景、高保真仿真与行为评估,楼天城提出“安全不是模仿而是超越”;Waymo公开口径更多以基础模型与大规模仿真支撑L4运营,文远知行侧重端到端、博弈论与飞轮式大规模仿真。我们归纳出若干共性与分歧:共性在于代表性厂商均在不同程度上围绕“端到端模型、世界模型仿真、强化学习”构建提升长尾安全性的技术组合;分歧主要体现在是否以语言为中介、强化学习披露的明确程度,以及面向量产辅助驾驶还是L4运营。相关分类系我们整理,非业界统一标准。
4.5
时延:云端训练最优与车端部署最优的分离
4.5.1
训练最优不等于部署最优
经典缩放定律以给定训练算力下的损失最小化为主要目标,“最优”指向训练算力最优前沿而非部署时延。Kaplan等(2020)的结论更偏向扩大参数规模(约1.7个训练Token/参数),Hoffmann等(2022)提出Chinchilla式算力最优配比、给出参数与数据近似等比扩张(约20个Token/参数),但两项研究均未将推理成本与实时时延纳入约束。Sardana等(2024)在缩放定律中显式加入推理成本后指出,在高频部署场景下算力最优点会移向参数更小、训练数据更多的模型;Llama2、Llama3分别以2万亿、15万亿Token远超Chinchilla“最优”数据量训练,正是这一部署导向的体现。
智能驾驶把部署约束推向更高强度:在固定车规算力上以不低于30Hz运行大型视觉Transformer叠加大语言模型,在现有车载算力下仍具较高难度。与云端算力可弹性扩展不同,车端算力平台相对固定:NVIDIA Orin-X约254 TOPS长期被广泛用于高阶辅助驾驶平台,其继任者Thor自2025年起量产上车、主流落地版本Thor-U单颗约700 TOPS。当前量产大模型的实际推理帧率仍低于30Hz参考水平,语言模型与链式推理带来的串行计算是重要时延来源:理想披露其VLA推理帧率约10Hz(较上一代VLM的约3Hz提升三倍多),NVIDIA在Alpamayo-R1论文中报告端到端推理时延99ms(约合10Hz),小鹏称第二代VLA把指令输出时延压缩至80ms以内。
4.5.2
云端压缩与车端压缩形成不同效率工具箱
云端压缩与车端压缩的边界在于优化对象不同:云端侧主要降低模型固有算力与复杂度,重点在算法和架构层面;车端侧则在固定车规算力约束下实现低时延部署,重点在系统和工程层面(上述划分为我们归纳,实际路径存在交叉)。云端侧以“稀疏激活+注意力/缓存压缩+低精度+投机解码”为主:混合专家(MoE)通过每个Token只激活一小部分专家将模型容量与单次推理算力解耦,DeepSeek-V3以671B总参仅激活37B;DeepSeek提出的MLA以低秩联合压缩把KV缓存压至约70KB/Token、较GQA类降低约2.7—4.7倍;MiniMax-01以闪电线性注意力把序列复杂度由二次降为线性。面向驾驶,云端侧还发展出视觉Token剪枝(理想LightVLA、小鹏FastDriveVLA)与以隐式/动态Token替代冗长思维链(FutureX、华为DynVLA)两类方法。
车端侧压缩主要围绕三条路径展开:其一是把云端大模型蒸馏为可上车的小模型,Waymo在2025年12月描述以基础模型适配Driver/Simulator/Critic三类大教师、再安全蒸馏为车端学生模型,理想在云端以约32B多模态基座经强化学习与蒸馏压缩为约4B车端VLA部署于Thor芯片;其二是以快慢双系统在运行时分离快速响应与复杂推理,理想较早采用基于卡尼曼“思考快与慢”的端到端+VLM双系统,Waymo基座采用Think Fast/Think Slow;其三是量化、投机解码、采样步数压缩与编译优化等推理工程,理想以INT4/INT8混合精度运行、并以ODE采样器把去噪步数由约10步压缩至2步。
5
数字AI 价值在确定性,本轮AI 增量在物理AI
数字AI已实现在语言、视觉与多模态任务中通用底座模型的跑通,但其难以实现物理世界的建模闭环。我们认为物理AI将在一段时间内将与数字AI并列成为“任务通解”,成为物理世界场景的AI解决方案。物理AI将实现在连续、实时、安全约束的真实世界中建立"感知—行动—反馈—优化"的闭环。我们认为,数字AI底座模型发展路径已逐渐清晰、价值在于确定性,本轮AI更大的增量在物理AI,智能驾驶是其最先跑通闭环的代表场景。
我们认为,物理AI正从复用数字AI能力转向补齐自身底层能力。早期主要迁移Transformer等架构,当前VLM、VLA进一步建立在LLM及多模态基座之上,但数字AI红利或已接近阶段性瓶颈。根本原因在于,物理AI面临三类差异:一是缺少天然Token,需要自主构建物理世界表征;二是长尾、极端场景稀缺且采集成本高,难以直接复制互联网数据Scaling;三是模仿学习受限于人类驾驶上限,必须依赖强化学习持续试错。世界模型或成为突破上述瓶颈的核心抓手:向前完成潜在空间表征,向中游生成高价值长尾数据,向后为强化学习提供可规模化试验环境,进而形成“表征—数据—学习”的闭环。
物理AI从表征到部署的闭环路径与数字AI差异明显,使物理AI形成区别于数字AI的独立而统一的发展方向。我们看好物理AI后续发展:随着表征向潜在状态收敛、VLA持续演进、世界模型与强化学习闭环走向成熟、云车部署逐步兑现,物理AI有望由能力展示走向大规模落地,成为AI发展当前阶段最具成长弹性的方向。
6
风险提示
技术迭代不及预期的风险:数字 AI、物理 AI 技术进展低于预期,任务或应用场景拓宽速度低于预期。
大模型厂商 ARR 增速放缓的风险:若客户增长、续费率或客单价不及预期,模型厂商 ARR 增速可能放缓。
云服务商资本开支不及预期的风险:若自由现金流承压,或 AI 算力需求及投资回报低于预期,云服务商可能下调资本开支。
智能驾驶及机器人商业化落地不及预期的风险:若产品可靠性、成本下降或用户需求低于预期,相关产品商业化进程可能放缓。
最新代表报告
《【公司简报/理想汽车-W】Livis Day推进软件与具身智能,坚定拥抱AI》20260617
《【公司简报/小鹏集团-W】世界模型登台AI顶会CVPR,物理AI进程加速》20260613
东吴汽车团队介绍
团队荣誉
2025年证券时报(新财富)最佳分析师汽车行业第一名;
2024年证券时报(新财富)最佳分析师汽车行业第一名;
第二十一届新财富最佳分析师汽车和汽车零部件板块第二;
第二十届新财富最佳分析师汽车和汽车零部件板块第二;
第十九届新财富最佳分析师汽车和汽车零部件板块第三;
第十五届卖方分析师水晶球汽车及零部件板块第二;
第五届新浪财经金麒麟最佳分析师汽车行业第二;
第四届新浪财经金麒麟最佳分析师汽车行业第二;
第三届新浪财经金麒麟最佳分析师汽车行业第三;
Wind第十二届金牌分析师汽车板块第一;
Wind第十一届金牌分析师汽车板块第一;
Wind第十届金牌分析师汽车板块第一;
Wind第九届金牌分析师汽车板块第二;
上海证券报最佳分析师汽车板块第一;
黄细里 团队负责人
华中科技大学企业管理学士,上海交通大学企业管理硕士;
负责投资策略+汽车智能化主线,曾任职长江证券汽车分析师等,13年汽车行业研究工作经验
工作邮箱:huangxl@dwzq.com.cn
孟璐 团队成员
同济大学金融本硕;
聚焦全球化乘用车,5年汽车行业研究经验
工作邮箱:mengl@dwzq.com.cn
郭雨蒙 团队成员
中国海洋大学本科,北京航空航天大学硕士
聚焦零部件+机器人,2025年加入东吴证券,此前就职于民生证券、天风证券,5年汽车行业研究经验
工作邮箱:guoym@dwzq.com.cn
孙仁昊 团队成员
同济大学本科,香港中文大学(深圳)硕士
聚焦智能化零部件+客车,4年汽车行业研究经验
工作邮箱:sunrh@dwzq.com.cn
童明祺 团队成员
上海财经大学金融本硕
聚焦智能化乘用车,2025年加入东吴证券
工作邮箱:tongmq@dwzq.com.cn
公众号| 东吴汽车黄细里团队
请扫关注我们
免责声明:
本公众订阅号(微信号:东吴汽车黄细里团队)由东吴证券研究所汽车团队设立,系本研究团队研究成果发布的唯一订阅号。
本公众号所载的信息仅面向专业投资机构,仅供在新媒体背景下研究观点的及时交流。
本订阅号不是东吴证券研究所汽车团队研究报告的发布平台,所载内容均来自于东吴证券研究所已正式发布的研究报告或对已发布报告进行的跟踪与解读,如需了解详细的报告内容或研究信息,请具体参见东吴证券研究所已发布的完整报告。
本订阅号所载内容不构成对具体证券在具体价位、具体时点、具体市场表现的判断或投资建议,不能够等同于指导具体投资的操作性意见。本订阅号所载内容仅供参考之用,接收人不应单纯依靠本资料的信息而取代自身的独立判断,应自主做出投资决策并自行承担风险。东吴证券研究所及本研究团队不对任何因使用本订阅号所载任何内容所引致或可能引致的损失承担任何责任。
本订阅号对所载内容保留一切法律权利。订阅人对本订阅号发布的所有内容(包括文字、图片、影像等)未经书面许可,禁止复制、转载;经授权进行复制、转载的,需注明出处为“东吴证券研究所”,且不得对本订阅号所截内容进行任何有悖原意的引用、删节或修改。
特别声明:《证券期货投资者适当性管理办法》、《证券经营机构投资者适当性管理实施指引(试行)》于2017年7月1日起正式实施。通过新媒体形式制作的本订阅号推送信息仅面向东吴证券客户中的专业投资者,请勿在未经授权前进行任何形式的转发。若您非东吴证券客户中的专业投资者,为保证服务质量、控制投资风险,请取消关注本订阅号,请勿订阅、接收或使用本订阅号中的任何推送信息。因本订阅号难以设置访问权限,若给您造成不便,烦请谅解!感谢您给予的理解和配合。
股票
板块
用户
资讯
评论 (0)