【汽车*黄细里】AI系列深度16期：语言智能为何从RNN转向Transformer？

汽车

AI系列深度16期：语言智能为何从RNN转向Transformer？

语言智能从RNN走向Transformer的本质，是序列建模从“递归记忆”转向“全局注意力”，并由此打开并行训练、规模扩展和任务统一的空间。RNN通过隐藏状态沿时间步传递上下文，适合文本、语音等顺序数据，并在LSTM/GRU、Seq2Seq和Attention-RNN推动下，于2014—2016年达到机器翻译等任务的工程高峰；但其串行计算、长距离依赖衰减和固定向量瓶颈，决定了递归范式很难继续承载大模型时代的规模化路线。

Transformer的关键变化，不在于设计更复杂的记忆单元，而在于以自注意力让序列中任意位置直接交互，使语言建模从受串行结构约束的算法问题，转变为可随算力和数据扩展的工程问题。其优势集中体现在训练可并行、长距离依赖建模更强、结构更易堆叠扩展、归纳偏置更弱并更能释放大规模数据价值；相应代价是长序列计算成本、位置编码和小数据条件下先验不足等问题，这也是循环类结构在部分效率场景仍会延续的原因。

我们以论文与代表成果为锚，将语言Transformer演进归纳为七阶段、三大阶段：2017年自注意力替代递归，完成架构确立；2018—2020年，BERT、GPT、T5/BART推动预训练—微调、理解与生成任务统一以及规模律验证，语言模型从特征提取器转向任务执行器；2021年后，指令微调、RLHF、CoT、RAG、工具调用、o1和DeepSeek-R1等成果继续叠加，使主线从单纯扩大预训练规模，走向后训练优化与测试时计算。

Transformer出现后，语言领域的研究和产业范式同步改变：研究主线从为每个任务设计专用架构，转向预训练通用底座加下游适配，再转向以对话式通用模型响应多类任务；产业形态则因“互动性”能力发生质变。相较AI1.0时代CNN输出标签、检测框等感知性中间结果，语言模型可以直接通过自然语言与用户交互，形成反复使用的入口，ChatGPT由此成为AI第二次爆发的产品拐点。

我们认为,数字AI底座模型发展路径已逐渐清晰、价值在于确定性，但其难以实现物理世界的建模闭环；我们认为物理AI将成为物理世界的AI解决方案，从而在AI的当前发展阶段成为增量更大的方向，智能驾驶作为最先跑通闭环的代表场景，我们认为应重点关注。

风险提示：技术迭代不及预期的风险，大模型厂商 ARR 增速放缓的风险，云服务商资本开支不及预期的风险，智能驾驶及机器人商业化落地不及预期的风险。

（分析师 黄细里）

最新金股组合

东吴证券研究所机构销售通讯录

法律声明

本公众号（微信号：scsresearch）为东吴证券股份有限公司（以下简称“东吴证券”）研究所依法设立，独立运营的官方订阅号。本订阅号不是东吴证券研究所的研究成果发布平台，本公众号所截内容均来自于东吴证券研究所已经正式发布的研究报告，如需了解详细的证券研究信息，请参见东吴证券研究所发布的完整报告。在任何情况下，本号所截内容不构成对任何人的投资建议，东吴证券或东吴研究所也不对任何人因使用本订阅号所截内容所引致的任何损失负任何责任。本订阅号所截内容版权仅归东吴证券研究所所有，东吴证券及东吴研究所对本订阅号保留一切法律权利。订阅人对本订阅号发布的所有内容（包括文字、图片、影像等）未经书面许可，禁止复制、转载；经授权进行复制、转载的，需注明出处为“东吴证券研究所”，且不得对本订阅号所截内容进行任何有悖原意的引用、删节或修改。