股票
板块
用户
资讯
首页
天眼
自选
发现
开户
首页
天眼
自选
发现
我的

【AI系列深度08期】GAN与Diffusion两类生成范式有何差异?

未经许可,不得转载或者引用。

投资要点

投资要点:

生成模型的核心目标,是学习数据背后的整体分布,并据此生成此前不存在的新样本。与判别模型负责识别和分类不同,生成模型回答的是如何从噪声、潜变量或条件输入中生成图像、视频、声音和动作。GAN与Diffusion是过去十余年最具代表性的两条路线,前者以生成器和判别器的对抗博弈为核心,后者以加噪和去噪过程为核心。

生成模型演进可分为五条脉络:VAE代表显式概率和潜变量建模,GAN点燃高真实感图像生成,自回归路线把图像当作token序列逐步预测,DDPM重塑扩散范式,得分匹配与流匹配进一步把扩散、得分模型和连续生成路径纳入统一视角。2022年后,扩散与Transformer结合的DiT证明生成路线也可接入规模化骨干,并支撑图像、视频和世界模型方向发展。

GAN与Diffusion的路线差异集中在四个维度:采样速度、训练稳定性、样本多样性和可控性。GAN可一步生成、图像锐利,在实时生成和特定垂类中仍有价值,但训练不稳定、模式崩溃和规模化难度较高;Diffusion通过多步去噪把生成问题转化为更稳定的回归学习,分布覆盖更全、条件控制更强,但推理慢、算力开销大。

当前图像和视频生成的通用主线已转向Diffusion及其流匹配变体,Stable Diffusion、DALL-E2、Sora、Veo、可灵等均体现这一趋势。但路线迁移并不意味着GAN完全退出:GAN思想仍在对抗蒸馏、一步生成和扩散提速中回流;一致性模型、整流流、流匹配等方法也在持续改善采样效率。

产业落地上,数字AI侧形成“扩散/流匹配+Transformer/DiT”的统一技术栈,竞争焦点从单纯架构转向数据、工程化、成本和产品体验;物理AI侧,生成式世界模型用于合成长尾驾驶场景、仿真训练和机器人动作生成,但若进入安全闭环,还必须补足动作条件化、长时域一致性和可靠评估。生成模型由内容生产走向物理世界,约束显著变硬。

我们认为,数字AI底座模型发展路径已逐渐清晰、价值在于确定性,但其难以实现物理世界的建模闭环;我们认为物理AI将成为物理世界的AI解决方案,从而在AI的当前发展阶段成为增量更大的方向,智能驾驶作为最先跑通闭环的代表场景,我们认为应重点关注。

风险提示:技术迭代不及预期的风险,大模型厂商 ARR 增速放缓的风险,云服务商资本开支不及预期的风险,智能驾驶及机器人商业化落地不及预期的风险。

1

生成模型:从识别世界到生成世界

生成模型是表征体系从编码走向解码的重要环节。相较于CNN/ViT、RNN/Transformer等模型回答如何读取数据并形成表征,生成模型则进一步回答如何基于噪声、潜变量或条件输入生成新数据。GAN以生成器和判别器的对抗博弈为核心,Diffusion以加噪和去噪过程为核心。当前图像和视频生成的通用主线已转向Diffusion及其流匹配变体,Stable Diffusion、DALL-E2、Sora均属于这一方向;主要原因在于GAN训练不稳定、易模式崩溃且规模化难度较高,而Diffusion在训练稳定性、分布覆盖和条件控制上优势更突出。但GAN并未退出,仍在实时生成、特定垂类和扩散提速中发挥作用。

判别式模型回答“这是什么”,生成式模型回答“如何生成一个符合分布的新样本”。从文生图、文生视频到自动驾驶场景仿真、机器人动作生成,底层均涉及生成模型。需要强调的是,视频生成可以成为世界模型的技术前置,但并不天然等同于可被安全闭环依赖的数据工厂。理解GAN与Diffusion之争,需要先明确生成模型解决的问题和评估标准。

1.1

判别与生成:从识别到生成

判别式模型的核心是学习类别边界。给定图像、文本或传感器输入,模型判断其属于哪一类或对应何种标签。CNN/ViT在分类、检测、分割中的大量应用,均属于判别式建模范畴,其重点在于识别差异,而不是完整刻画数据分布。

生成式模型的核心是还原数据分布。它不仅需要区分类别,还需要学习某类图像、文本或视频样本的整体结构,并从该分布中采样生成训练集中未出现的新样本。GAN和Diffusion都属于生成式模型。

判别模型关心类别边界,生成模型关心数据分布。前者只需识别样本差异,后者需要学习样本整体结构并据此生成新数据。GAN与扩散模型都属于后者。

1.2

生成模型要学的东西:对数据分布建模

数据分布可以理解为高维空间中真实样本的概率结构。每张图像都是一个高维点,海量真实图像构成具有特定形态的点云;真实人脸只占像素空间中极小区域,随机噪点几乎不会落入该区域。生成模型的任务,是学习这一概率结构并从中采样新样本。

围绕如何建模分布,学界大致形成三条取向:1)显式建模似然,直接写出概率密度并最大化,代表为VAE与自回归模型;2)隐式建模,不显式写出密度,而是直接学习采样过程,GAN是典型路线;3)建模得分,即对数概率密度的梯度,并通过逐步去噪完成采样,扩散模型属于此类。2021年后,流匹配等框架进一步统一多条生成路径。

1.3

生成质量评价:保真度、多样性与可控性

生成质量通常同时考察保真度与多样性。保真度关注单张样本是否清晰、真实,多样性关注模型能否覆盖数据分布的不同模式,而不是反复生成相似样本。二者存在权衡,因此需要多个指标交叉验证。

主流指标包括Inception Score(IS)和Fréchet Inception Distance(FID)。IS用预训练分类网络衡量生成样本类别是否明确且丰富,但不直接反映生成分布与真实分布的差距;FID在特征空间比较生成分布和真实分布距离,数值越低通常代表质量越好。文本到图像任务还常用CLIP Score衡量图文匹配度,但自动指标仍需与人工评测结合。

2

生成模型演进:从VAE、GAN到Diffusion与流匹配

生成式建模并非只有GAN与扩散两条路。回看十余年,大致可归纳为五条相互交织的脉络,每条以一项标志性工作为代表,最终在 2022 年后走向“扩散+Transformer”的主导格局。

2.1

显式概率时代:VAE

VAE:训练稳定但生成保真度有限。变分自编码器(VAE)用编码器把图像压成潜变量、再用解码器还原,并通过最大化证据下界来训练。它训练稳定、有清晰的概率解释,但生成图像往往偏模糊,保真度不及后来的GAN与扩散。VAE的潜空间思想后来被潜空间扩散(Latent Diffusion)继承。

2.2

对抗时代:GAN点燃图像生成

GAN:以对抗训练替代显式似然。生成对抗网络(GAN)放弃显式写出概率密度,改由判别器持续区分真实样本与生成样本,生成器则学习提升生成样本的真实度。2015年的DCGAN将卷积网络引入GAN后,图像生成质量快速跃升,GAN在2015-2020年间成为图像生成主流路线。

2.3

自回归路线:图像token序列建模

自回归生成,如PixelRNN/PixelCNN,将图像视为有序元素序列,逐像素或逐图块预测下一个元素,与语言模型预测下一个词的机制相近。该路线似然清晰、训练稳定,但逐元素生成速度较慢;在图像离散token与文本统一建模后,自回归路线在多模态大模型中重新受到关注。

2.4

扩散登场:DDPM重塑范式

DDPM:加噪再去噪。去噪扩散概率模型(DDPM)确立了“先把图像逐步加噪成纯噪声、再训练网络逐步去噪还原”的范式,在CIFAR-10等基准上达到当时领先水平。它训练稳定、覆盖全面,自2021年起迅速成为图像生成的新主流。其思想最早可追溯到Sohl-Dickstein等2015年受非平衡热力学启发的工作。

2.5

统一视角:得分匹配与流匹配

统一多条路径。Song与Ermon在2019年的得分匹配、Song等在2021年的随机微分方程框架,将扩散模型和得分模型纳入统一数学语言;Lipman等在2022年的流匹配和Liu等在2022年的整流则以常微分方程描述更直接的生成路径。到2022年,扩散与Transformer结合的DiT证明了该路线的可扩展性,奠定今天图像与视频生成的主导架构。

3

GAN机制:对抗博弈如何逼近数据分布

GAN 能够在不显式写出概率密度的情况下生成高真实度图像,核心在于将评估过程交给同步训练的判别网络。判别器不断提高真假样本区分能力,生成器则据此提升样本质量。本章拆解GAN的核心机制、训练难点与经典演进。

3.1

核心机制:生成器与判别器的博弈

GAN由两个网络组成:生成器负责将随机噪声映射为图像,判别器负责判断样本来自真实数据还是生成器。两者在训练中形成对抗关系,判别器提升识别能力,生成器则提升生成样本的真实度。

极小极大博弈。用Goodfellow等在2014年的表述,训练目标是一个二人零和的极小极大博弈:判别器尽量提高识别真假的准确率,生成器尽量降低被识破的概率。理论上,当生成分布与真实分布完全重合、判别器无法区分时,博弈达到均衡。

3.2

训练难点:不稳定与模式崩溃

模式崩溃是GAN的典型失败形态。生成器可能只生成少数几类容易通过判别器的样本,导致多样性不足。例如,在手写数字任务中,模型本应覆盖0-9各类数字,却可能长期集中生成个别数字。这与生成模型覆盖完整分布的目标相悖。

训练不稳定是GAN规模化应用的核心约束。对抗训练要求生成器和判别器保持相对平衡,任一方过强都可能导致梯度信号失效、训练震荡或停滞;同时,GAN缺乏清晰的似然收敛指标,往往需要通过生成样本质量进行辅助判断,因此调参和复现难度较高。

3.3

经典演进:从DCGAN到StyleGAN

DCGAN确立较稳定的卷积GAN结构;BigGAN借助大规模训练提升ImageNet条件生成保真度;StyleGAN与StyleGAN2通过风格化生成器实现人脸属性细粒度控制,成为高质量人脸合成代表。图像翻译方向则有Pix2Pix和CycleGAN等方法。

3.4

优势与局限

优势:GAN一次前向即可生成图像,采样极快,可支撑实时与交互式应用;在人脸等特定领域生成质量锐利、细节丰富。

局限:GAN训练脆弱、对超参敏感、易模式崩溃,分布覆盖不全;缺乏稳定的似然评估,跨数据集迁移与可控编辑能力弱于扩散。这些局限正是2022年后扩散模型快速成为通用生成主线的主要原因。

4

Diffusion 机制:以去噪学习重塑生成范式

扩散模型将生成过程拆分为连续的去噪步骤:先在前向过程中逐步向图像加入噪声,直至接近纯噪声;再训练网络学习反向去噪,从噪声逐步恢复样本。该路径虽然推理步骤更多,但换来比GAN更稳定的训练过程和更完整的分布覆盖。

4.1

 前向过程:逐步加噪至标准噪声

前向过程(forward/diffusion process)按固定方差表,在数百到上千步中向图像持续加入高斯噪声,最终将任何图像转化为近似标准噪声的随机点。该过程不包含可学习参数,本质上是确定的结构破坏过程。

4.2

反向过程:学习逐步去噪

反向过程需要模型学习每一步的去噪方向。给定某一步带噪图像,网络预测噪声成分或等价变量,并据此还原上一阶段状态;重复该过程后,即可从随机噪声生成清晰样本。DDPM验证了预测噪声这一训练目标的有效性。

扩散与GAN的根本差异在于训练目标。GAN依赖对抗博弈,扩散则将生成问题转化为稳定的去噪回归任务,因此更不易出现模式崩溃,分布覆盖更充分,训练也更易复现。其代价是采样需要多步迭代,推理速度显著慢于一步式GAN。训练稳定性是扩散成为通用生成主线的关键原因。

4.3

 关键技术:提升采样效率与条件控制

DDIM:加速采样。DDIM把采样改写为确定性过程,可跳步采样,在基本不损质量的前提下把步数压缩到原来的几十分之一。

Latent Diffusion:转向潜空间。潜空间扩散先通过自编码器将图像压缩为低维潜变量,在该空间中执行扩散过程,再还原为图像。该方法显著降低计算开销,是Stable Diffusion能够以较低算力运行的重要基础。

CFG:无分类器引导。无分类器引导在训练时随机丢弃条件,采样时对比“有条件”与“无条件”的预测来增强对文本等条件的遵循,是文生图可控性的关键技术。

4.4

优势与局限

优势:扩散训练稳定、分布覆盖全、样本多样性好,并通过CFG、图像修复、ControlNet等手段实现强可控与可编辑,易于扩展到新数据与新任务。

局限:采样需多步迭代,推理速度相比一步式的GAN慢若干数量级,训练与部署算力开销大。如何在保证质量的前提下减少步数,是扩散研究与工程的核心命题。

5

GAN与Diffusion:速度、稳定性、多样性与可控性

GAN与扩散的差异,可归结为四组相互关联的分歧。其背后是速度、稳定性、分布覆盖与可控性之间的权衡:GAN以一步生成换取低延迟,扩散以多步去噪换取训练稳定和分布覆盖。

5.1

采样速度:一步 vs 多步

GAN:一步前向生成。GAN生成只需一次前向传播,速度快、延迟低,天然适合实时与交互场景。

Diffusion:多步迭代。扩散需数十至上千步去噪,原生推理较慢;DDIM、蒸馏、流匹配等技术正不断压缩步数,但“多步”仍是其原生特征。

5.2

训练稳定性:对抗 vs 去噪回归

GAN:博弈难稳。对抗训练需两网络保持平衡,易震荡、崩溃,缺乏清晰收敛判据。

Diffusion:目标清晰。扩散的去噪是稳定的回归任务,训练过程平滑、易复现、易调参,这是它快速普及的重要原因。

5.3

样本多样性与分布覆盖

GAN:易丢模式。模式崩溃使GAN可能只覆盖数据分布的一部分,多样性受限。

Diffusion:覆盖更全。逐步去噪的机制使扩散更易覆盖完整分布,在FID等多样性敏感指标上通常优于同期GAN。

5.4

可控性与编辑能力

GAN:控制偏弱。原生GAN的条件控制与编辑相对有限,多依赖潜空间反演等额外技巧。

Diffusion:可控更强。CFG、inpainting、ControlNet、DDIM反演等让扩散在文本控制、局部重绘、风格与结构约束上具备丰富手段。

6

核心争议:主线转移、采样效率与路线分工

GAN与扩散的对比,核心不在于简单判断谁取代谁,而在于识别各自适用边界。本章回应三个常见问题:扩散是否成为通用主线、慢采样是否构成根本缺陷,以及扩散、自回归与流匹配之间如何分工。

6.1

扩散是否已成为通用生成主线

主线转移已较为明确。文生图和文生视频的主流技术栈已转向扩散及流匹配,GAN在通用生成中的相对份额明显下降,学术研究与产业应用的重心已完成迁移。

GAN仍具备应用价值。在实时生成、人脸合成、超分辨率、图像翻译等对延迟或特定风格要求较高的场景,GAN仍可发挥作用;GigaGAN等大规模GAN也证明该路线仍可通过工程优化获得较好质量。但这更多意味着GAN在特定场景补位,而非重新成为通用生成主线。

6.2

慢采样是否构成扩散的根本缺陷

短板仍然存在。一步式GAN与多步扩散在推理速度上差距明显,限制了扩散在实时交互和端侧部署中的应用。

但采样效率正被工程方法快速改善。一致性模型(Consistency Models),潜一致性模型(LCM)、对抗蒸馏和流匹配/整流等方法,已经将高质量生成压缩到一步或少数几步。我们认为,慢采样更接近正在被持续缓解的工程约束,而不是扩散路线的原理性缺陷。

6.3

扩散、自回归与流匹配:路线分工逐步清晰

路线分工逐步清晰。语言生成仍以自回归建模为主,图像与视频生成以扩散为主,流匹配和整流则凭借更简洁的理论路径和相近生成质量加速渗透,Stable Diffusion 3已采用整流路线。

三类路线相互借鉴,但分工逐步明确。扩散与自回归在多模态任务中存在结合空间;就图像与视频生成而言,扩散和流匹配仍是当前及中期可见的主力方向。

7

Diffusion 成为主流之后:三个演进方向

Diffusion成为主流后,生成模型继续沿着更直接的路径、更少的采样步数和更强的可扩展性演进。GAN的对抗思想也被用于扩散蒸馏和提速,成为主线框架中的补充工具。本章梳理几条主要方向。

7.1

流匹配与整流:更直接的生成路径

流匹配与整流通过更直接的生成路径降低采样成本。Flow Matching和Rectified Flow使用ODE学习从噪声到数据的近似直线路径,从而减少采样步数并提升稳定性。Stable Diffusion 3以整流和多模态DiT(MMDiT)为架构基础,是该趋势的代表。

7.2

一致性模型与蒸馏:多步生成压缩为少步生成

一致性模型让模型直接从轨迹任一点回到数据端,支持一步生成;潜一致性模型与LCM-LoRA进一步将高质量生成压缩到2-4步,显著降低推理成本,并已广泛用于加速Stable Diffusion。

7.3

扩散与Transformer:DiT 与可扩展性

DiT证明将扩散主干替换为Transformer后,模型质量可随算力和参数规模提升而持续改善,体现出scaling规律,并直接启发Sora等视频生成大模型设计。扩散由此获得与大语言模型相似的规模化路径。

7.4

对抗思想回流:GAN用于扩散提速

对抗蒸馏将GAN的对抗损失用于扩散模型压缩。ADD,SDXL-Lightning等方法将多步扩散蒸馏为一步或少步生成器,使GAN思想更多作为扩散提速工具或特定场景方案发挥作用,而非与扩散并列构成通用生成主线。

8

风险提示

技术迭代不及预期的风险:数字 AI、物理 AI 技术进展低于预期,任务或应用场景拓宽速度低于预期。

大模型厂商 ARR 增速放缓的风险:若客户增长、续费率或客单价不及预期,模型厂商 ARR 增速可能放缓。

云服务商资本开支不及预期的风险:若自由现金流承压,或 AI 算力需求及投资回报低于预期,云服务商可能下调资本开支。

智能驾驶及机器人商业化落地不及预期的风险:若产品可靠性、成本下降或用户需求低于预期,相关产品商业化进程可能放缓。

最新代表报告

《【AI系列深度05期】模型如何学习表征并实现对齐?》20260729

《【AI系列深度06期】Transformer如何从序列任务走向基座模型?》20260730

《【AI系列深度07期】CNN与ViT两类视觉骨干有何差异?》20260730

东吴汽车团队介绍

团队荣誉

2025年证券时报(新财富)最佳分析师汽车行业第一名;

2024年证券时报(新财富)最佳分析师汽车行业第一名;

第二十一届新财富最佳分析师汽车和汽车零部件板块第二;

第二十届新财富最佳分析师汽车和汽车零部件板块第二;

第十九届新财富最佳分析师汽车和汽车零部件板块第三;

第十五届卖方分析师水晶球汽车及零部件板块第二;

第五届新浪财经金麒麟最佳分析师汽车行业第二;

第四届新浪财经金麒麟最佳分析师汽车行业第二;

第三届新浪财经金麒麟最佳分析师汽车行业第三;

Wind第十二届金牌分析师汽车板块第一;

Wind第十一届金牌分析师汽车板块第一;

Wind第十届金牌分析师汽车板块第一;

Wind第九届金牌分析师汽车板块第二;

上海证券报最佳分析师汽车板块第一;

黄细里 团队负责人

华中科技大学企业管理学士,上海交通大学企业管理硕士;

负责投资策略+汽车智能化主线,曾任职长江证券汽车分析师等,13年汽车行业研究工作经验

工作邮箱:huangxl@dwzq.com.cn

孟璐 团队成员

同济大学金融本硕;

聚焦全球化乘用车,5年汽车行业研究经验

工作邮箱:mengl@dwzq.com.cn

郭雨蒙 团队成员

中国海洋大学本科,北京航空航天大学硕士

聚焦零部件+机器人,2025年加入东吴证券,此前就职于民生证券、天风证券,5年汽车行业研究经验

工作邮箱:guoym@dwzq.com.cn

孙仁昊 团队成员

同济大学本科,香港中文大学(深圳)硕士

聚焦智能化零部件+客车,4年汽车行业研究经验

工作邮箱:sunrh@dwzq.com.cn

童明祺 团队成员

上海财经大学金融本硕

聚焦智能化乘用车,2025年加入东吴证券

工作邮箱:tongmq@dwzq.com.cn

公众号| 东吴汽车黄细里团队

请扫关注我们

免责声明:

本公众订阅号(微信号:东吴汽车黄细里团队)由东吴证券研究所汽车团队设立,系本研究团队研究成果发布的唯一订阅号。

本公众号所载的信息仅面向专业投资机构,仅供在新媒体背景下研究观点的及时交流。

本订阅号不是东吴证券研究所汽车团队研究报告的发布平台,所载内容均来自于东吴证券研究所已正式发布的研究报告或对已发布报告进行的跟踪与解读,如需了解详细的报告内容或研究信息,请具体参见东吴证券研究所已发布的完整报告。

本订阅号所载内容不构成对具体证券在具体价位、具体时点、具体市场表现的判断或投资建议,不能够等同于指导具体投资的操作性意见。本订阅号所载内容仅供参考之用,接收人不应单纯依靠本资料的信息而取代自身的独立判断,应自主做出投资决策并自行承担风险。东吴证券研究所及本研究团队不对任何因使用本订阅号所载任何内容所引致或可能引致的损失承担任何责任。

本订阅号对所载内容保留一切法律权利。订阅人对本订阅号发布的所有内容(包括文字、图片、影像等)未经书面许可,禁止复制、转载;经授权进行复制、转载的,需注明出处为“东吴证券研究所”,且不得对本订阅号所截内容进行任何有悖原意的引用、删节或修改。

特别声明:《证券期货投资者适当性管理办法》、《证券经营机构投资者适当性管理实施指引(试行)》于2017年7月1日起正式实施。通过新媒体形式制作的本订阅号推送信息仅面向东吴证券客户中的专业投资者,请勿在未经授权前进行任何形式的转发。若您非东吴证券客户中的专业投资者,为保证服务质量、控制投资风险,请取消关注本订阅号,请勿订阅、接收或使用本订阅号中的任何推送信息。因本订阅号难以设置访问权限,若给您造成不便,烦请谅解!感谢您给予的理解和配合。

原文链接
多空观点 观点仅供交流,不构成投资建议
点赞
踩一踩
收藏
分享

评论 (0)

0/200
声明:社区内容仅代表用户个人观点,不构成任何投资建议。投资有风险,入市需谨慎。