股票 
板块 
用户 
资讯 未经许可，不得转载或者引用。
投资要点
投资要点：
RNN与Transformer是序列建模的两代核心架构，解决文字、语音、视频和轨迹等有先后顺序的数据如何形成表征的问题。序列建模的难点在于变长、有序和长程依赖：模型既要保留上下文，又要把相距较远的相关信息联系起来。
RNN的基本思路是把历史压缩进一个随时间更新的隐藏状态。该结构推理成本相对恒定，适合早期机器翻译、语音识别和时间序列任务；LSTM、GRU通过门控机制缓解长程遗忘，Seq2Seq和注意力机制进一步推动模型更迭。但RNN必须逐步串行处理，难以充分利用并行算力，长距离信息也容易在压缩状态中衰减。
Transformer采取不同路径：不再把历史压缩成单一状态，而是用自注意力让每个位置直接与所有位置交互。多头注意力、位置编码和前馈层共同构成其结构基础，使训练可以并行、长程依赖路径显著缩短，并为模型规模化扩展提供架构基础。GPT、BERT以及后续LLM、VLM、VLA大多以Transformer为核心底座，反映其在云端通用基础模型中的主导地位。
两者分歧可归纳为记忆、计算和长程建模三组权衡：RNN以定长状态换取相对恒定的推理成本，但训练串行、记忆容量受限；Transformer全量缓存历史，训练并行、长程建模更强，但注意力计算随序列长度平方增长，超长上下文推理成本较高。该约束也是Mamba、RWKV、线性注意力和混合架构重新受到关注的重要原因。
Transformer替代传统RNN主干，并不意味着循环思想消失。2023年以来，状态空间模型、选择性状态更新和线性注意力在长上下文、端侧低功耗、低时延场景中体现价值；同时，存在混合架构的技术路径，用少数注意力层保留精确回忆能力，用多数高效层降低计算成本。整体看，Transformer仍是通用基础模型主线，新循环更像特定约束下的重要补充。
我们认为,数字AI底座模型发展路径已逐渐清晰、价值在于确定性，但其难以实现物理世界的建模闭环；我们认为物理AI将成为物理世界的AI解决方案，从而在AI的当前发展阶段成为增量更大的方向，智能驾驶作为最先跑通闭环的代表场景，我们认为应重点关注。
风险提示：技术迭代不及预期的风险，大模型厂商 ARR 增速放缓的风险，云服务商资本开支不及预期的风险，智能驾驶及机器人商业化落地不及预期的风险。
1
RNN与Transformer：序列建模的两代答案
N/ViT主要解决图像表征问题，RNN与Transformer则面向文字、语音、视频、车辆轨迹等有顺序的数据，核心难点在于上下文保留和长程依赖建模。我们认为，Transformer已在云端通用基础模型中显著替代传统RNN主干，并成为GPT、BERT以及多数LLM、VLM、VLA的核心底座；原因在于RNN依赖逐步递推和状态压缩，训练难以并行，长程信息容易衰减，而Transformer通过自注意力实现全局交互和高并行训练，能够承接更大规模数据与算力。但循环、状态压缩与递推记忆并未消失，正在长上下文、端侧和低时延场景中以新形式回归。
当下大模型、智能体与具身智能的能力基础，均离不开序列建模网络。理解人工智能为何在2017年后加速演进，需要比较循环神经网络与Transformer两类架构的替代关系。
Transformer是当今云端通用基础模型的核心底座。生成式预训练模型，名称中的“T”即Transformer；从大语言模型（LLM）到视觉语言模型（VLM），再到机器人领域的视觉语言动作模型（VLA），主流云端基础模型多以Transformer为核心骨架。但在车端、端侧和低时延系统中，混合架构、状态空间模型或压缩机制仍具备应用空间。厘清Transformer，有助于理解序列模型为何能够高效并行训练，并将模型和数据规模推向新的量级。
传统RNN主干已被显著替代，但对照RNN才能看清本轮跃迁。RNN是2010年代序列建模的主力，机器翻译、语音识别和早期对话系统多以其为核心。Transformer相对RNN的关键变化，是从逐步压缩历史转向全局交互与并行训练。
但注意力机制的计算成本随序列长度呈平方增长，在超长上下文与端侧推理场景中代价高昂。2023年以来，以状态空间模型Mamba、RWKV和线性注意力为代表的新循环路线重新活跃，循环思想以新的形态回归。
2
共同问题：序列如何保留上下文
RNN与Transformer 的结构差异较大，但二者回答的是同一问题：模型如何处理一段有先后顺序、长度可变且前后相互依赖的数据。理解这一共同问题，是理解两类架构分歧的前提。
2.1
序列数据的本质：变长、有序、长程依赖
序列建模指对按顺序排列且长度不固定的元素进行建模，用于预测、生成或理解整段内容。文本、语音、视频和车辆轨迹均属于序列数据，其共同特征是存在明确先后关系，且前后元素相互影响。
顺序携带信息：序列的顺序本身即为信息。“狗咬人”与“人咬狗”用词相同、顺序不同，含义截然相反。模型必须对位置与先后敏感，而不能把输入当作无序集合。
长程依赖是核心难点：序列建模最难的地方在于长程依赖：决定当前输出的关键信息可能出现在很久以前。例如“小张昨天把那本从图书馆借来的、封面已经磨损的书还了，它……”中的“它”指代哪本书，须回看一长串修饰之前的名词。模型能否跨越很长的间隔把相关信息联系起来，直接决定其能力上限。
可用的序列模型还需满足两类工程诉求：训练阶段能否并行，决定其是否能够在大规模数据上高效训练；推理阶段成本是否可控，决定其能否低成本部署并处理长输入。即长程记忆、训练并行和推理成本之间存在权衡。
2.2
两类核心机制：状态压缩与全量检索
RNN路线将历史压缩为定长状态。模型在每个时间步将当前输入与上一时间步的隐藏状态共同更新为新的隐藏状态，用该状态概括截至当前的历史信息。该设计的优势是无论序列多长，状态维度保持不变；约束也来自这一点，历史信息越多，早期细节越可能在连续压缩中衰减。
Transformer路线保留历史并按需检索。模型不把全部历史压缩为单一状态，而是保留各位置表示，并通过注意力机制让当前位置与历史位置直接交互。该方式降低了长程依赖路径长度，提升了信息保留能力，但也需要存储和计算更长的上下文。
3
RNN机制：把历史压缩为隐藏状态
循环神经网络是序列建模AI1.0时代的主流架构。其核心思路是用一个随时间不断更新的状态概括历史。
3.1
核心机制：循环、隐状态与时间展开
循环与隐状态构成RNN的基本机制。RNN按时间顺序处理序列元素，每一步将当前输入与上一隐藏状态输入同一组网络，得到新的隐藏状态和输出。隐藏状态承担历史信息载体的角色，通过逐步更新把上下文传递到后续时间步。
时间展开与参数共享是RNN适配变长序列的基础。将循环沿时间轴展开后，RNN等价于一条按时间连接的深层网络，每个时间步使用同一组参数。参数共享使其能够处理不同长度的序列。
RNN通过沿时间反向传播完成训练。该方法将展开后的时间链条视为深层网络进行误差回传；链条越长，梯度传播越困难，也为长程依赖建模带来约束。
3.2
门控的引入：LSTM与GRU如何缓解长程遗忘
早期RNN难以学习长程依赖，核心原因是梯度消失和梯度爆炸。训练误差需要沿时间链条逐步回传，距离越远，信号可能快速衰减或放大，导致模型难以保留较早时间步的信息。Bengio等和Hochreiter的研究均指出了这一问题。
LSTM通过门控机制缓解长程遗忘。长短期记忆网络（LSTM）引入贯穿时间的记忆单元，并通过输入门、遗忘门和输出门控制信息写入、保留和输出。该设计提升了长期信息保留能力，成为2010年代序列建模的重要标准结构。
GRU：更精简的门控：门控循环单元（GRU）把门简化为更新门与重置门两个，参数更少、计算更省，在许多任务上与LSTM相当，是常用的轻量替代。
Seq2Seq与注意力机制推动RNN应用扩展。2014年的序列到序列框架（Seq2Seq），Sutskever等，用一个RNN编码输入序列，再用另一个RNN解码输出，支撑了早期神经机器翻译。但将整句压缩为单一向量会形成信息瓶颈，Bahdanau等在2014年提出注意力机制，使解码端能够回看输入各位置，这也成为Transformer的重要思想来源。
3.3
固有约束：串行、难并行与长程上限
串行计算是RNN被替代的关键工程约束。RNN第t步依赖第t-1步输出，因此必须按时间顺序逐步计算，难以并行处理同一序列中的不同位置。这限制了其对GPU等并行算力的利用效率，也使长序列训练速度较慢。当模型规模和数据规模成为核心变量后，该约束被进一步放大。
长程依赖仍受限：门控缓解但未根除长程问题。信息要穿过很多步的反复改写才能抵达远处，仍可能被稀释；定长状态的容量也限制了能携带的信息量。
4
Transformer 机制：基于自注意力实现全局交互
2017 年，谷歌团队的论文《Attention Is All You Need》提出 Transformer，彻底舍弃循环，仅用注意力机制建模序列。
4.1
自注意力与QKV：全局检索的基础
自注意力（self-attention）是Transformer的核心机制。处理某一位置时，模型让该位置与序列中所有位置计算相关性，并按相关性权重汇总其他位置的信息，从而在同一层内获得全局上下文。相较RNN逐步传递信息，自注意力显著缩短了远距离信息交互路径。
QKV对应查询、键和值三类向量。每个位置生成Query、Key和Value：Query表示当前需要检索的信息，Key表示该位置可被匹配的特征，Value承载实际内容。模型用Query与所有Key计算相关度，再按权重汇总对应Value，从而完成按需检索。
与循环结构相比，自注意力的关键变化在于任意两个位置可以直接相连。RNN需要通过多步状态更新传递远处信息，Transformer则可在单层中建立远距离关联，使长程依赖从多步传递问题转化为全局匹配问题。
4.2
核心设计：多头注意力、位置编码与前馈层
多头注意力并行设置多组QKV，每组关注不同关系模式，例如语法搭配、指代关系或局部结构。多头机制使模型能够在同一层捕捉多种依赖关系，并在后续层中进一步组合。
位置编码：自注意力本身不区分先后顺序，因此须额外注入“位置编码”告诉模型每个元素原本的位置，弥补“顺序携带信息”这一序列特性。
残差、归一化与前馈层：每个Transformer块由注意力子层与前馈网络（FFN）子层组成，辅以残差连接与层归一化以稳定深层训练。
4.3
规模化能力与计算代价
Transformer的核心优势是并行训练和规模化能力。不同于RNN必须按时间步串行计算，Transformer可以同时计算序列中各位置之间的注意力关系，训练并行度显著提升。该特性使海量数据和大规模模型训练在工程上更可行，并推动规模法则（Scaling Law）成为大模型时代的重要经验规律。
注意力计算随长度平方增长。自注意力需要让每个位置与其他位置两两匹配，序列长度翻倍时，注意力计算量约扩大为原来的四倍。处理超长文本、长视频或长轨迹时，该成本会迅速上升，也成为后续高效注意力和状态空间模型重点优化的对象。
KV缓存带来显存和带宽压力。生成阶段为避免重复计算，模型会缓存已生成内容的Key和Value；该机制降低了单步重复计算，但缓存大小随上下文长度线性增长。上下文越长，显存占用和内存带宽压力越高，这是端侧、车端和长上下文部署的重要瓶颈。
因此，Transformer以全量保留和按需检索换取长程建模与并行训练能力，同时承担随序列长度增长的计算和缓存成本。这一代价，构成后续新循环路线和高效注意力方法重新受到关注的基础。
5
路线分歧：记忆、计算与新循环回潮
在云端通用基础模型中，Transformer已经成为主导架构，并显著替代传统RNN主干。近年Mamba、RWKV等新循环路线重新活跃，并非已替代Transformer，而是在效率约束、长上下文和端侧低功耗场景中的重要补充与部署探索。
5.1
三组关键分歧
记忆方式：定长状态对全量缓存。RNN以固定大小的状态概括历史，内存相对恒定，但远处信息可能被稀释；Transformer保留全部历史并按需检索，信息保留更充分，但内存随长度增长。这是二者最根本的差异。
计算特性：训练与推理存在权衡。RNN训练串行、并行度较低，但推理每步成本相对恒定；Transformer训练高度并行，但推理时注意力计算随长度增加，KV缓存也随上下文增长。二者在不同阶段承受不同类型的成本。
长程依赖：理论容量与现实成本并存。Transformer任意两位置可直接交互，长程建模路径更短；RNN受定长状态和多步更新约束，远距离信息更易衰减。但在超长序列中，全量注意力的平方成本会削弱其经济性，两类架构均存在现实边界。
5.2
循环思想以新形态融入模型
线性注意力通过改写注意力形式，将平方复杂度降为线性复杂度。Katharopoulos等在2020年提出的《Transformers are RNNs》显示，特定注意力形式可等价改写为循环结构，从而在数学上建立注意力与循环之间的联系。
状态空间模型与Mamba代表新循环的重要方向。状态空间模型源自控制理论，用连续状态方程概括历史，并可在线性时间内计算。S4将其引入深度学习；Mamba进一步加入选择性机制，使状态更新依赖输入内容，从而具备更强的信息筛选能力。Mamba训练随长度线性增长，推理每步成本相对恒定且无需KV缓存，在长序列场景中展现出与Transformer竞争的潜力。
RWKV尝试结合Transformer训练并行性与RNN推理效率。其训练阶段可实现较高并行度，推理阶段则以接近RNN的恒定成本逐步生成。相关论文将模型规模扩展至140亿参数，是大规模循环类架构的重要探索。
混合架构是当前更具落地性的折中路径。一类方案在多数层使用线性注意力或状态空间结构降低成本，在少数层保留全注意力以保留精确回忆能力。AI21的Jamba将Mamba层、Transformer层与混合专家（MoE）组合；MiniMax-01采用多层线性闪电注意力后接softmax注意力的混合方案。混合架构体现的是效率约束下的再平衡，而非两类范式的简单合一。
5.3
结语：以记忆与计算权衡理解序列智能
从RNN到Transformer，序列建模演化的主线是记忆方式与计算方式的再平衡：用定长状态压缩历史以换取恒定成本，还是全量保留历史并按需检索以换取精确记忆。我们认为，Transformer凭借并行训练和规模化能力，成为云端通用基础模型时代的核心底座，从GPT到VLA的多数主流基础模型仍以其为主。
RNN的核心价值并未完全消失，其每步推理成本相对恒定、无需KV缓存的特征，正对应Transformer在长上下文和端侧部署中的成本压力。Mamba、RWKV等新循环路线在两个场景中更具价值：1）上下文极长，需要控制计算和缓存成本；2）端侧、车端等功耗和时延约束更强的部署环境。产业层面看，通用大模型仍以Transformer为默认底座；物理AI、端侧和车端更可能较早采用循环类、状态空间或混合架构。因此，Transformer在通用基础模型中维持主导地位，循环和状态空间类架构在效率约束场景中成为重要补充。
6
风险提示
技术迭代不及预期的风险：数字 AI、物理 AI 技术进展低于预期，任务或应用场景拓宽速度低于预期。
大模型厂商 ARR 增速放缓的风险：若客户增长、续费率或客单价不及预期，模型厂商 ARR 增速可能放缓。
云服务商资本开支不及预期的风险：若自由现金流承压，或 AI 算力需求及投资回报低于预期，云服务商可能下调资本开支。
智能驾驶及机器人商业化落地不及预期的风险：若产品可靠性、成本下降或用户需求低于预期，相关产品商业化进程可能放缓。
最新代表报告
《【AI系列深度03期】数字AI与物理AI的边界在哪里？》20260728
《【AI系列深度04期】什么是表征？》20260729
《【AI系列深度05期】模型如何学习表征并实现对齐？》20260729
东吴汽车团队介绍
团队荣誉
2025年证券时报（新财富）最佳分析师汽车行业第一名；
2024年证券时报（新财富）最佳分析师汽车行业第一名；
第二十一届新财富最佳分析师汽车和汽车零部件板块第二；
第二十届新财富最佳分析师汽车和汽车零部件板块第二；
第十九届新财富最佳分析师汽车和汽车零部件板块第三；
第十五届卖方分析师水晶球汽车及零部件板块第二；
第五届新浪财经金麒麟最佳分析师汽车行业第二；
第四届新浪财经金麒麟最佳分析师汽车行业第二；
第三届新浪财经金麒麟最佳分析师汽车行业第三；
Wind第十二届金牌分析师汽车板块第一；
Wind第十一届金牌分析师汽车板块第一；
Wind第十届金牌分析师汽车板块第一；
Wind第九届金牌分析师汽车板块第二；
上海证券报最佳分析师汽车板块第一；
黄细里 团队负责人
华中科技大学企业管理学士，上海交通大学企业管理硕士；
负责投资策略+汽车智能化主线，曾任职长江证券汽车分析师等，13年汽车行业研究工作经验
工作邮箱：huangxl@dwzq.com.cn
孟璐 团队成员
同济大学金融本硕；
聚焦全球化乘用车，5年汽车行业研究经验
工作邮箱：mengl@dwzq.com.cn
郭雨蒙 团队成员
中国海洋大学本科，北京航空航天大学硕士
聚焦零部件＋机器人，2025年加入东吴证券，此前就职于民生证券、天风证券，5年汽车行业研究经验
工作邮箱：guoym@dwzq.com.cn
孙仁昊 团队成员
同济大学本科，香港中文大学（深圳）硕士
聚焦智能化零部件+客车，4年汽车行业研究经验
工作邮箱：sunrh@dwzq.com.cn
童明祺 团队成员
上海财经大学金融本硕
聚焦智能化乘用车，2025年加入东吴证券
工作邮箱：tongmq@dwzq.com.cn
公众号| 东吴汽车黄细里团队
请扫关注我们
免责声明：
本公众订阅号（微信号：东吴汽车黄细里团队）由东吴证券研究所汽车团队设立，系本研究团队研究成果发布的唯一订阅号。
本公众号所载的信息仅面向专业投资机构，仅供在新媒体背景下研究观点的及时交流。
本订阅号不是东吴证券研究所汽车团队研究报告的发布平台，所载内容均来自于东吴证券研究所已正式发布的研究报告或对已发布报告进行的跟踪与解读，如需了解详细的报告内容或研究信息，请具体参见东吴证券研究所已发布的完整报告。
本订阅号所载内容不构成对具体证券在具体价位、具体时点、具体市场表现的判断或投资建议，不能够等同于指导具体投资的操作性意见。本订阅号所载内容仅供参考之用，接收人不应单纯依靠本资料的信息而取代自身的独立判断，应自主做出投资决策并自行承担风险。东吴证券研究所及本研究团队不对任何因使用本订阅号所载任何内容所引致或可能引致的损失承担任何责任。
本订阅号对所载内容保留一切法律权利。订阅人对本订阅号发布的所有内容（包括文字、图片、影像等）未经书面许可，禁止复制、转载；经授权进行复制、转载的，需注明出处为“东吴证券研究所”，且不得对本订阅号所截内容进行任何有悖原意的引用、删节或修改。
特别声明：《证券期货投资者适当性管理办法》、《证券经营机构投资者适当性管理实施指引（试行）》于2017年7月1日起正式实施。通过新媒体形式制作的本订阅号推送信息仅面向东吴证券客户中的专业投资者，请勿在未经授权前进行任何形式的转发。若您非东吴证券客户中的专业投资者，为保证服务质量、控制投资风险，请取消关注本订阅号，请勿订阅、接收或使用本订阅号中的任何推送信息。因本订阅号难以设置访问权限，若给您造成不便，烦请谅解！感谢您给予的理解和配合。
评论 (0)