股票
板块
用户
资讯
首页
天眼
自选
发现
开户
首页
天眼
自选
发现
我的

【AI系列深度05期】模型如何学习表征并实现对齐?

未经许可,不得转载或者引用。

投资要点

投资要点:

表征如何组织、如何学习、如何跨模态共享?嵌入、自监督学习和CLIP分别对应三层机制:嵌入是表征的工程形态,自监督是表征的规模化学习机制,CLIP和多模态对齐则让图像与文字进入同一语义空间。本篇位于“表征是什么”与CNN/ViT、Transformer等具体架构之间,是理解后续技术路线的基础环节。

嵌入的本质,是把文本、图像、商品、用户等对象映射为数字向量,并使语义相近的对象在向量空间中距离更近。由此,搜索、推荐、以图搜图、向量数据库和RAG等应用,都可被理解为在高维向量空间中进行近邻检索。嵌入是抽象表征最可操作、最工程化的呈现方式。

自监督学习是通用表征规模化形成的关键机制。该方法不依赖人工逐条标注,而是利用数据自身构造训练信号,通过掩码预测、对比学习、下一个token预测等任务学习上下文、语义和结构关系。BERT、MAE、GPT等路线任务形式不同,但均通过大规模自监督训练形成可迁移表征,这是预训练获得通用能力的重要基础。

CLIP的意义在于把图像和文字对齐到同一表征空间。通过海量图文配对和对比学习,模型将正确配对的图文向量拉近、错误配对推远,使文字概念与对应图像在向量空间中自然接近。该机制成为图文检索、开放词表识别、文生图、视觉语言模型和多模态大模型的重要基础。

从表征体系看,本篇补齐三类关键问题:嵌入回答表征如何被工程化表达,自监督回答表征如何在无标注或弱标注数据中形成,CLIP回答不同模态表征如何进入同一空间。

我们认为,数字AI底座模型发展路径已逐渐清晰、价值在于确定性,但其难以实现物理世界的建模闭环;我们认为物理AI将成为物理世界的AI解决方案,从而在AI的当前发展阶段成为增量更大的方向,智能驾驶作为最先跑通闭环的代表场景,我们认为应重点关注。

风险提示:技术迭代不及预期的风险,大模型厂商 ARR 增速放缓的风险,云服务商资本开支不及预期的风险,智能驾驶及机器人商业化落地不及预期的风险。

1

嵌入、自监督与CLIP:表征落地的三类基础机制

表征要进入工程系统,需要回答三个问题:1)如何把对象表示为可计算结构;2)如何在不依赖大规模人工标注的情况下学习表征;3)如何让图像、文字等不同模态共享语义空间。嵌入、自监督学习和CLIP分别对应上述三类问题,是从“表征是什么”走向具体架构和多模态模型的基础环节。

1.1

三类机制分工:工程形态、学习机制与跨模态对齐

嵌入、自监督学习和CLIP构成表征落地的递进链条。嵌入回答表征如何以向量形式组织和调用;自监督回答表征如何从大规模无标注数据中学习;CLIP回答图像、文字等不同模态如何对齐到同一语义空间。三者共同将抽象表征转化为可训练、可检索、可跨模态调用的工程体系。

2

嵌入Embedding:表征的工程化形态

2.1

嵌入的本质:将对象映射为向量

嵌入是将词、图像、商品、用户等对象映射为固定长度数字向量的过程。向量化之后,不同对象之间可以通过距离、方向和相似度进行计算,从而把语义关系转化为可操作的几何关系。对模型而言,嵌入是对象进入计算系统的基础接口,也是表征最常见的工程形态。

高质量嵌入的核心特征,是语义相近的对象在向量空间中距离更近。以文本为例,“猫”和“狗”通常比“猫”和“汽车”更接近;在推荐和检索场景中,用户兴趣、商品属性和文档主题也可以通过向量距离表达。由此,语义相似度判断被转化为向量空间中的近邻搜索问题。

嵌入空间还可以保留部分语义方向和结构关系。经典词向量研究发现,“国王-男人+女人≈王后”等向量运算能够反映性别、身份等语义方向,即“国王-男人”可近似于“王位”的向量表示,该向量表示加上“女人”则可近似表示为“王后”,说明嵌入并非简单编号,而是在连续空间中编码对象之间的关系。需要注意,这类线性关系并非对所有概念普遍成立,但揭示了嵌入作为语义几何结构的价值。

2.2

嵌入的落地:检索、向量数据库与RAG

嵌入是向量检索、推荐系统和语义搜索的底层接口。工程流程通常是先将文档、图像、商品或用户转化为向量并存入向量数据库,再将查询请求转化为向量,在库中寻找距离最近的候选项。语义搜索、以图搜图和推荐系统,本质上都是在向量空间中执行近邻检索。

RAG同样建立在嵌入和向量检索之上。企业文档先被切分并嵌入向量库,用户提问时系统先检索相关片段,再将其放入提示词中交给大模型生成答案。该范式解决了大模型难以实时记忆最新或私有知识的问题,是当前企业级AI落地的重要路径之一。

3

自监督学习:通用表征的规模化学习机制

3.1

自监督的必要性:标注成本高,未标注数据规模大

传统监督学习依赖人工标注,但人工标注成本高、速度慢,难以覆盖互联网级图文数据。自监督学习的核心,是利用数据自身构造训练信号,使模型在无需人工逐条标注的情况下学习结构、语义和上下文关系。这一机制使海量无标注数据可被纳入预训练,是大模型形成通用能力的重要前提。

3.2

三类主流自监督任务

第一类是掩码预测。模型遮盖输入的一部分,再根据上下文恢复被遮盖内容;文本侧代表为BERT,图像侧代表为MAE。为了完成恢复任务,模型需要学习上下文依赖、局部结构和整体语义,由此形成可迁移表征。

第二类是对比学习。模型将同一对象的不同增强视为正样本,将其他对象视为负样本,通过拉近正样本、推远负样本来学习表征。SimCLR是典型代表,LeCun的JEPA也可归入在表征空间中进行预测和比较的路线。对比学习的关键在于不直接依赖类别标签,而是通过样本间关系构造学习信号。

第三类是下一个token预测。模型根据已有上下文不断预测下一个token,训练答案来自文本序列自身,无需额外人工标注。GPT系列正是通过该任务在海量文本上学习语言表征,并进一步形成生成和推理能力。

3.3

自监督是预训练的核心机制

自监督学习构成预训练的内核:先在海量数据上通过自监督任务学习通用表征,再在少量高质量数据上进行微调、指令对齐或后训练。嵌入是表征的工程化结果,自监督则是形成该结果的训练机制。今天大模型的通用能力,很大程度来自自监督预训练所获得的可迁移表征。

4

CLIP 与多模态对齐:让图文共享表征空间

4.1

跨模态对齐:图像与文字初始处于不同空间

图像表征通常由视觉网络提取,文字表征通常由语言网络提取,二者初始处于不同向量空间。模型并不会天然知道一张猫的照片与“猫”这一文字概念对应。要实现文生图、以文搜图和视觉语言模型,首先需要把图像与文字对齐到可比较的共享语义空间。

4.2

CLIP:基于图文配对的对比学习

CLIP由OpenAI在2021年提出,核心思路是利用互联网中的大规模图文配对数据进行对比学习。训练过程中,模型将正确配对的图像和文本向量拉近,将不匹配的图文向量推远;训练完成后,图像和文字被映射到同一向量空间,对应概念在空间中更接近。

CLIP的重要能力之一是零样本识别。对齐完成后,模型可将候选类别名称转化为文字向量,再与输入图像向量比较相似度,从而判断图像所属类别,而不必为每个新类别重新训练分类器。这种以文字作为开放标签的能力,是多模态模型泛化的重要来源。

4.3

CLIP 成为多模态应用的重要基础

CLIP式图文对齐成为文生图、图文检索、视觉语言模型和多模态大模型的重要底座。Stable Diffusion等文生图模型利用文字向量引导图像生成;VLM则通过图文对齐获得看图、读字和语义推理的基础能力。能否把多模态信息映射到统一表征空间,直接影响后续多模态模型的泛化能力和应用边界。

5

风险提示

技术迭代不及预期的风险:数字 AI、物理 AI 技术进展低于预期,任务或应用场景拓宽速度低于预期。

大模型厂商 ARR 增速放缓的风险:若客户增长、续费率或客单价不及预期,模型厂商 ARR 增速可能放缓。

云服务商资本开支不及预期的风险:若自由现金流承压,或 AI 算力需求及投资回报低于预期,云服务商可能下调资本开支。

智能驾驶及机器人商业化落地不及预期的风险:若产品可靠性、成本下降或用户需求低于预期,相关产品商业化进程可能放缓。

最新代表报告

《【公司简报/理想汽车-W】Livis Day推进软件与具身智能,坚定拥抱AI》20260617

《【公司简报/小鹏集团-W】世界模型登台AI顶会CVPR,物理AI进程加速》20260613

东吴汽车团队介绍

团队荣誉

2025年证券时报(新财富)最佳分析师汽车行业第一名;

2024年证券时报(新财富)最佳分析师汽车行业第一名;

第二十一届新财富最佳分析师汽车和汽车零部件板块第二;

第二十届新财富最佳分析师汽车和汽车零部件板块第二;

第十九届新财富最佳分析师汽车和汽车零部件板块第三;

第十五届卖方分析师水晶球汽车及零部件板块第二;

第五届新浪财经金麒麟最佳分析师汽车行业第二;

第四届新浪财经金麒麟最佳分析师汽车行业第二;

第三届新浪财经金麒麟最佳分析师汽车行业第三;

Wind第十二届金牌分析师汽车板块第一;

Wind第十一届金牌分析师汽车板块第一;

Wind第十届金牌分析师汽车板块第一;

Wind第九届金牌分析师汽车板块第二;

上海证券报最佳分析师汽车板块第一;

黄细里 团队负责人

华中科技大学企业管理学士,上海交通大学企业管理硕士;

负责投资策略+汽车智能化主线,曾任职长江证券汽车分析师等,13年汽车行业研究工作经验

工作邮箱:huangxl@dwzq.com.cn

孟璐 团队成员

同济大学金融本硕;

聚焦全球化乘用车,5年汽车行业研究经验

工作邮箱:mengl@dwzq.com.cn

郭雨蒙 团队成员

中国海洋大学本科,北京航空航天大学硕士

聚焦零部件+机器人,2025年加入东吴证券,此前就职于民生证券、天风证券,5年汽车行业研究经验

工作邮箱:guoym@dwzq.com.cn

孙仁昊 团队成员

同济大学本科,香港中文大学(深圳)硕士

聚焦智能化零部件+客车,4年汽车行业研究经验

工作邮箱:sunrh@dwzq.com.cn

童明祺 团队成员

上海财经大学金融本硕

聚焦智能化乘用车,2025年加入东吴证券

工作邮箱:tongmq@dwzq.com.cn

公众号| 东吴汽车黄细里团队

请扫关注我们

免责声明:

本公众订阅号(微信号:东吴汽车黄细里团队)由东吴证券研究所汽车团队设立,系本研究团队研究成果发布的唯一订阅号。

本公众号所载的信息仅面向专业投资机构,仅供在新媒体背景下研究观点的及时交流。

本订阅号不是东吴证券研究所汽车团队研究报告的发布平台,所载内容均来自于东吴证券研究所已正式发布的研究报告或对已发布报告进行的跟踪与解读,如需了解详细的报告内容或研究信息,请具体参见东吴证券研究所已发布的完整报告。

本订阅号所载内容不构成对具体证券在具体价位、具体时点、具体市场表现的判断或投资建议,不能够等同于指导具体投资的操作性意见。本订阅号所载内容仅供参考之用,接收人不应单纯依靠本资料的信息而取代自身的独立判断,应自主做出投资决策并自行承担风险。东吴证券研究所及本研究团队不对任何因使用本订阅号所载任何内容所引致或可能引致的损失承担任何责任。

本订阅号对所载内容保留一切法律权利。订阅人对本订阅号发布的所有内容(包括文字、图片、影像等)未经书面许可,禁止复制、转载;经授权进行复制、转载的,需注明出处为“东吴证券研究所”,且不得对本订阅号所截内容进行任何有悖原意的引用、删节或修改。

特别声明:《证券期货投资者适当性管理办法》、《证券经营机构投资者适当性管理实施指引(试行)》于2017年7月1日起正式实施。通过新媒体形式制作的本订阅号推送信息仅面向东吴证券客户中的专业投资者,请勿在未经授权前进行任何形式的转发。若您非东吴证券客户中的专业投资者,为保证服务质量、控制投资风险,请取消关注本订阅号,请勿订阅、接收或使用本订阅号中的任何推送信息。因本订阅号难以设置访问权限,若给您造成不便,烦请谅解!感谢您给予的理解和配合。

原文链接
多空观点 观点仅供交流,不构成投资建议
点赞
踩一踩
收藏
分享

评论 (0)

0/200
声明:社区内容仅代表用户个人观点,不构成任何投资建议。投资有风险,入市需谨慎。