未经许可,不得转载或者引用。
投资要点
投资要点:
视觉骨干网络是机器视觉系统的核心模块,其作用是把原始像素转化为高层语义特征,并决定分类、检测、分割等下游任务上限。CNN与ViT是过去十余年最重要的两代视觉骨干,分别代表“将图像先验写入结构”和“将关系学习交给数据与规模”两种设计哲学;二者之争本质上是先验、数据和算力如何分工。
视觉架构大体经历四个阶段:手工特征时代依赖SIFT、HOG等专家设计;CNN崛起后,AlexNet、VGG、ResNet推动机器自动学习视觉特征;ViT通过把图像切成patch并当作token输入Transformer,使注意力机制进入视觉;2021年后,Swin、CoAtNet、ConvNeXt等推动CNN与ViT相互吸收,进入融合时代。
CNN的优势来自三项视觉归纳偏置:局部连接、权值共享和平移等变性。这些结构假设使模型在数据有限时更高效,也更适合端侧和实时部署;约束在于局部感受野逐层扩大,长程依赖建模较弱。ViT以自注意力实现第一层全局交互,弱先验、强规模化,在大数据预训练下上限更高,但对数据、算力和位置编码依赖更强。
核心争议在于ViT是否真正“强于”CNN,还是更多受益于更大数据和现代训练范式。ConvNeXt证明纯卷积配合现代训练技巧仍可追平部分ViT,MLP-Mixer也提示注意力未必是唯一变量;因此更准确的理解是,视觉架构正在从“强先验”与“弱先验”两端走向任务、数据、算力约束下的动态平衡。
产业落地呈现分层:多模态大模型和研究前沿普遍采用ViT或类Transformer视觉编码器,CLIP、SigLIP、Qwen-VL等均沿此方向推进;自动驾驶量产系统则受车端算力、时延和安全约束影响,更多采用CNN前端、BEV/Transformer融合和混合骨干。研究前沿偏ViT,车端量产偏混合,是当前现实分工。
我们认为,数字AI底座模型发展路径已逐渐清晰、价值在于确定性,但其难以实现物理世界的建模闭环;我们认为物理AI将成为物理世界的AI解决方案,从而在AI的当前发展阶段成为增量更大的方向,智能驾驶作为最先跑通闭环的代表场景,我们认为应重点关注。
风险提示:技术迭代不及预期的风险,大模型厂商 ARR 增速放缓的风险,云服务商资本开支不及预期的风险,智能驾驶及机器人商业化落地不及预期的风险。
1
视觉骨干网络:机器视觉的表征底座
视觉任务的核心,是将原始像素编码为可被分类、检测、分割等任务调用的高层语义特征。视觉骨干网络承担这一编码过程,是机器视觉系统的表征底座。CNN与ViT是获得视觉表征的两类架构路径。CNN将局部性、权值共享和平移等变性等视觉先验写入结构;ViT通过自注意力将图像表示为token序列,并依赖数据规模学习空间关系。
视觉骨干网络是计算机视觉系统中将原始像素转化为高层语义特征的核心模块。图像在计算机中首先表现为像素矩阵,模型需要将低层数值信号转化为可表达物体、边界、位置和语义关系的特征,再交由分类、检测或分割任务头使用。因此,骨干网络的表征质量直接决定下游任务上限。
图像识别的根本难点在于语义鸿沟:低层像素变化与高层语义含义之间并不一一对应。同一对象在视角、光照、遮挡、尺度变化下像素差异可能很大,而不同类别对象在局部纹理上又可能相似。视觉模型既需要对平移、缩放、形变和光照变化保持稳定,又需要保留区分类别和实例的关键差异。
计算机视觉主流任务可分为图像分类、目标检测、语义分割与实例分割等层次,难度依次提升。它们通常共享“骨干网络+任务头”的范式:骨干网络负责提取通用视觉特征,任务头负责输出类别、位置或像素级预测。因此,CNN与ViT之争本质上影响的是视觉系统的通用表征底座,而不只是单一任务模型选择。
2
视觉架构演进:从手工特征到融合骨干
2.1
手工特征时代:依赖专家设计视觉描述子
深度学习兴起前,图像特征主要依赖人工设计的算子。SIFT通过关键点描述子提升对尺度和旋转变化的稳定性,HOG通过方向梯度直方图刻画局部形状并常用于行人检测,再配合SVM等浅层分类器完成识别。2010—2011年ImageNet大规模视觉识别挑战赛获胜方案多属于这一类。
手工特征的主要约束在于依赖专家经验、跨任务迁移能力弱、难以随数据规模扩展。在特定场景中调优后的特征,换到新类别、新光照或新背景下往往需要重新设计。随着ImageNet等大规模数据集出现,人工特征的表达上限迅速暴露,深度网络自动学习特征成为视觉架构演进的核心方向。
2.2
CNN崛起:深度网络自动学习视觉特征
AlexNet是CNN成为视觉主流架构的关键转折。2012年,Krizhevsky、Sutskever与Hinton提出的AlexNet在ImageNet上将Top-5错误率显著降低,核心变化在于特征不再由人工设计,而由深度卷积网络从海量图像中自动学习。此后,CNN成为分类、检测、分割等任务的主流视觉骨干。
2014—2020年,CNN沿深度、宽度和结构效率持续演进。VGG通过连续3×3小卷积堆叠提升深度,GoogLeNet/Inception通过多尺度并行模块提升效率,ResNet通过残差连接缓解深层网络训练困难,将网络深度推向百层以上。该阶段CNN在自动驾驶、安防、医疗影像等视觉应用中广泛落地,形成视觉骨干的产业基础。
2.3
ViT 登场:注意力机制进入视觉
ViT将Transformer引入视觉任务。2020年,Dosovitskiy等提出Vision Transformer,将图像切分为固定大小patch,并将patch投影为token序列,再输入标准Transformer编码器。在谷歌内部JFT-300M大规模数据集上预训练后,ViT分类精度超过当时强CNN模型,验证了弱视觉先验、强数据规模路径的可行性。
ViT成功的关键前提是数据规模。若仅在ImageNet-1k等中等规模数据集上从头训练,ViT通常不优于同级别CNN;在ImageNet-21k、JFT-300M等更大规模数据上预训练后,其优势才逐步显现。由此可见,ViT的核心特征是在大数据和大模型预训练下具备更高可扩展性。
3
CNN机制:卷积为何适合图像
3.1
核心机制:卷积、池化与任务头
卷积是CNN的核心运算。卷积核在图像局部区域滑动并进行加权求和,用于检测边缘、颜色、纹理等局部模式;浅层卷积通常捕捉低级视觉特征,深层卷积进一步组合成部件、物体和场景语义。多组卷积核形成多张特征图,记录不同视觉模式在空间位置上的响应强度。
池化负责降采样和增强局部稳定性。通过在局部区域内保留最大值或平均值,池化降低特征图分辨率和计算量,同时提高对微小平移的鲁棒性。尽管现代网络中池化形式有所变化,但降低空间维度、扩大感受野和控制计算开销仍是视觉骨干的重要设计目标。
在骨干网络末端,全连接层或任务头将高层视觉特征转化为具体输出,例如分类概率、检测框或像素级标签。现代检测和分割网络中,全连接层常被卷积结构或专门任务头替代,但“骨干提取特征、任务头完成预测”的主线保持不变。
3.2
三项设计先验:局部连接、权值共享、平移等变性
局部连接体现了图像的空间局部性假设。CNN让单个神经元只连接局部区域,而不是直接连接全图,从而显著降低参数量,并使模型优先学习边缘、纹理、角点等局部结构。该假设符合图像中局部像素相关性较强的特征,也是CNN数据效率较高的重要原因。
权值共享意味着同一个卷积核在整张图上复用同一组参数。一个局部模式的检测器可在不同空间位置生效,既降低参数规模,也使模型具备跨位置泛化能力。相比全连接网络,权值共享是CNN在视觉任务中更高效的关键结构设计。
平移等变性来自卷积核在空间上的滑动复用。当目标在图像中发生位置平移时,对应特征响应也随之平移,使模型更容易识别位置变化下的同一视觉模式。局部连接、权值共享和平移等变性共同构成CNN的归纳偏置,即在训练前写入模型结构的视觉先验。这也是CNN在中小数据规模下仍具备较好表现的重要原因。
4
ViT 机制:将图像patch化为token序列
4.1
前置概念:Self-Attention 机制
自注意力是Transformer的核心机制。每个输入元素生成Query、Key、Value三个向量,通过Query与所有Key计算相似度获得注意力权重,再按权重汇总Value信息。由此,任意两个元素即使相距较远,也可以在一层中建立直接关系。这一机制使模型能够动态选择当前输入中最相关的信息。
自注意力与卷积的核心差别在于交互范围和权重生成方式。卷积主要处理局部窗口,卷积核参数训练后固定;自注意力从第一层即可进行全局交互,且注意力权重随输入内容动态变化。因此Transformer更擅长捕捉长距离关系,但标准自注意力计算量随token数量呈平方增长,分辨率提升会显著增加计算开销。
4.2
核心设计:patch切分、token化与Transformer编码
ViT将图像切分为固定大小patch,并将每个patch拉平、投影为向量,作为视觉token输入Transformer。一张224×224图像若按16×16切分,将形成196个patch token,并通常加入用于汇总全图信息的分类token。通过这一转换,图像被表示为token序列,从而可直接复用Transformer编码器。
由于自注意力本身不包含空间顺序信息,ViT需要为每个token加入位置编码,以保留patch在原图中的位置信息。随后,token序列进入标准Transformer编码器,通过多层自注意力和前馈网络形成全局视觉表征。与CNN相比,ViT对图像结构的专门假设更少,更依赖数据规模学习局部性和空间关系。
ViT的代价与红利均来自弱视觉先验。由于模型几乎不内置局部性和平移等变性,小数据条件下ViT需要自行学习这些规律,表现往往不及CNN;但在大规模预训练下,弱先验减少了结构约束,使模型能够从数据中学习更灵活的关系。ViT-H/14在JFT-300M预训练后取得较高ImageNet精度,体现其规模化潜力。
5
CNN与ViT:先验、数据与部署的四组分歧
CNN与ViT的差异主要体现在感受野、归纳偏置、数据效率和部署约束四个维度。核心问题在于,视觉规律在多大程度上由结构先验提供,又在多大程度上由数据和训练过程学习。
5.1
感受野:逐层扩大与首层全局交互
CNN的感受野自下而上逐层扩大。浅层神经元主要处理局部区域,随着层数加深和空间降采样,模型逐步获得更大的全局视野。该路径层级清晰、数据效率较高,但建模远距离关系通常需要更深网络或额外结构。
ViT从第一层自注意力开始即可实现全局交互,每个patch可直接与所有其他patch建立关系。Raghu等在2021年研究中发现,ViT在较浅层即可同时利用局部与全局信息,而CNN浅层更多集中于局部信息。这是两类架构最本质的结构差异之一。
5.2
归纳偏置:强先验与数据驱动
CNN具有较强归纳偏置,局部连接、权值共享和平移等变性在训练前已写入结构。这些先验提升了样本效率和训练稳定性,使CNN在中小数据集、端侧视觉任务和安全攸关场景中仍具竞争力。
ViT视觉先验较弱,主要依靠patch切分和位置编码,并将图像规律交由数据学习。弱先验意味着小数据下样本效率较低,但在大规模数据和算力支撑下更具扩展空间。由此形成“先验是资产还是约束”的核心争议。
5.3
数据效率与规模化特性
在中小数据规模下,CNN通常更具优势。ImageNet-1k从头训练时,CNN与ViT精度接近,部分CNN仍可略优,原因在于CNN结构先验降低了数据需求。数据越有限,局部性、权值共享和平移等变性带来的样本效率越重要。
在大规模预训练条件下,ViT的扩展性更强。随着预训练数据从ImageNet-1k扩大到ImageNet-21k、JFT-300M,ViT性能持续提升,而部分CNN更早进入平台期。ViT能够吸收更多数据、参数和算力,与大模型时代的Scaling Law更为一致,这也是多模态大模型视觉编码器偏向ViT的重要原因。
5.4
计算复杂度与部署场景
标准自注意力计算量随token数量呈平方增长,处理高分辨率图像时开销较大;卷积计算量随分辨率近似线性增长,算子规则、硬件支持成熟。Swin Transformer等改进通过局部窗口注意力将复杂度降回近似线性,正是为了解决高分辨率视觉任务中的算力约束。
部署层面,CNN在GPU、车载SoC、手机NPU等端侧硬件上的算子支持、量化和加速工具链更成熟,延迟和功耗更可控;纯ViT部署生态仍在追赶。现实分工通常表现为:云端训练、研究前沿和多模态大模型偏向ViT或类Transformer视觉编码器,端侧量产和实时系统更多采用CNN或CNN与Transformer的混合架构。
6
核心争议:架构优势与约束边界
6.1
ViT 更强,还是数据和训练范式贡献更大
关于ViT是否真正强于CNN,核心质疑在于早期优势是否来自更大数据和更现代训练策略。ViT首次超越CNN时依赖JFT-300M等私有超大数据集;ConvNeXt进一步证明,在纯卷积架构中引入现代训练技巧、数据增强、正则化和结构调整后,CNN仍可追平部分ViT表现。因此,早期ViT优势不能完全归因于注意力结构本身,数据规模和训练范式同样是关键变量。
支持ViT的一方则强调,自注意力的全局建模能力和可扩展性具有结构性价值,越是在超大规模、多模态场景中越能体现。中等规模数据集上CNN与ViT表现接近,并不意味着二者上限一致。更审慎的判断是:在同等数据与训练条件下,CNN与ViT精度可能相近,架构选择取决于数据规模、算力条件、部署约束和任务类型。
6.2
归纳偏置:资产还是约束
数据稀缺时,归纳偏置是资产。工业质检、医疗影像、车载长尾等场景标注数据有限,CNN内置的局部性、权值共享和平移等变性可提升样本效率与稳健性。数据越有限,结构先验带来的训练稳定性和可部署性价值越高。
数据和算力充足时,强先验可能成为上限约束。过强的结构假设可能限制模型从数据中学习更灵活的关系。Swin、CoAtNet、ConvNeXt等架构的共同方向,是在保留必要视觉先验与释放数据学习空间之间寻找平衡。由此看,视觉骨干并不存在统一最优解,关键在于任务、数据、算力和部署约束的匹配。
7
风险提示
技术迭代不及预期的风险:数字 AI、物理 AI 技术进展低于预期,任务或应用场景拓宽速度低于预期。
大模型厂商 ARR 增速放缓的风险:若客户增长、续费率或客单价不及预期,模型厂商 ARR 增速可能放缓。
云服务商资本开支不及预期的风险:若自由现金流承压,或 AI 算力需求及投资回报低于预期,云服务商可能下调资本开支。
智能驾驶及机器人商业化落地不及预期的风险:若产品可靠性、成本下降或用户需求低于预期,相关产品商业化进程可能放缓。
最新代表报告
《【AI系列深度03期】数字AI与物理AI的边界在哪里?》20260728
《【AI系列深度04期】什么是表征?》20260729
《【AI系列深度05期】模型如何学习表征并实现对齐?》20260729
东吴汽车团队介绍
团队荣誉
2025年证券时报(新财富)最佳分析师汽车行业第一名;
2024年证券时报(新财富)最佳分析师汽车行业第一名;
第二十一届新财富最佳分析师汽车和汽车零部件板块第二;
第二十届新财富最佳分析师汽车和汽车零部件板块第二;
第十九届新财富最佳分析师汽车和汽车零部件板块第三;
第十五届卖方分析师水晶球汽车及零部件板块第二;
第五届新浪财经金麒麟最佳分析师汽车行业第二;
第四届新浪财经金麒麟最佳分析师汽车行业第二;
第三届新浪财经金麒麟最佳分析师汽车行业第三;
Wind第十二届金牌分析师汽车板块第一;
Wind第十一届金牌分析师汽车板块第一;
Wind第十届金牌分析师汽车板块第一;
Wind第九届金牌分析师汽车板块第二;
上海证券报最佳分析师汽车板块第一;
黄细里 团队负责人
华中科技大学企业管理学士,上海交通大学企业管理硕士;
负责投资策略+汽车智能化主线,曾任职长江证券汽车分析师等,13年汽车行业研究工作经验
工作邮箱:huangxl@dwzq.com.cn
孟璐 团队成员
同济大学金融本硕;
聚焦全球化乘用车,5年汽车行业研究经验
工作邮箱:mengl@dwzq.com.cn
郭雨蒙 团队成员
中国海洋大学本科,北京航空航天大学硕士
聚焦零部件+机器人,2025年加入东吴证券,此前就职于民生证券、天风证券,5年汽车行业研究经验
工作邮箱:guoym@dwzq.com.cn
孙仁昊 团队成员
同济大学本科,香港中文大学(深圳)硕士
聚焦智能化零部件+客车,4年汽车行业研究经验
工作邮箱:sunrh@dwzq.com.cn
童明祺 团队成员
上海财经大学金融本硕
聚焦智能化乘用车,2025年加入东吴证券
工作邮箱:tongmq@dwzq.com.cn
公众号| 东吴汽车黄细里团队
请扫关注我们
免责声明:
本公众订阅号(微信号:东吴汽车黄细里团队)由东吴证券研究所汽车团队设立,系本研究团队研究成果发布的唯一订阅号。
本公众号所载的信息仅面向专业投资机构,仅供在新媒体背景下研究观点的及时交流。
本订阅号不是东吴证券研究所汽车团队研究报告的发布平台,所载内容均来自于东吴证券研究所已正式发布的研究报告或对已发布报告进行的跟踪与解读,如需了解详细的报告内容或研究信息,请具体参见东吴证券研究所已发布的完整报告。
本订阅号所载内容不构成对具体证券在具体价位、具体时点、具体市场表现的判断或投资建议,不能够等同于指导具体投资的操作性意见。本订阅号所载内容仅供参考之用,接收人不应单纯依靠本资料的信息而取代自身的独立判断,应自主做出投资决策并自行承担风险。东吴证券研究所及本研究团队不对任何因使用本订阅号所载任何内容所引致或可能引致的损失承担任何责任。
本订阅号对所载内容保留一切法律权利。订阅人对本订阅号发布的所有内容(包括文字、图片、影像等)未经书面许可,禁止复制、转载;经授权进行复制、转载的,需注明出处为“东吴证券研究所”,且不得对本订阅号所截内容进行任何有悖原意的引用、删节或修改。
特别声明:《证券期货投资者适当性管理办法》、《证券经营机构投资者适当性管理实施指引(试行)》于2017年7月1日起正式实施。通过新媒体形式制作的本订阅号推送信息仅面向东吴证券客户中的专业投资者,请勿在未经授权前进行任何形式的转发。若您非东吴证券客户中的专业投资者,为保证服务质量、控制投资风险,请取消关注本订阅号,请勿订阅、接收或使用本订阅号中的任何推送信息。因本订阅号难以设置访问权限,若给您造成不便,烦请谅解!感谢您给予的理解和配合。
股票
板块
用户
资讯
评论 (0)