今天，我们很高兴地推出「智谱2025开源年」的第一个模型：首个支持生成汉字的开源文生图模型——CogView4。

CogView4 在 DPG-Bench 基准测试中的综合评分排名第一，在开源文生图模型中达到 SOTA，也是首个遵循 Apache 2.0 协议的图像生成模型。

最新的 CogView4-0304 版本现已开源，并将于 3 月 13 日上线智谱清言（chatglm.cn）。　

CogView4 具备较强的复杂语义对齐和指令跟随能力，支持任意长度的中英双语输入，能够生成在给定范围内的任意分辨率图像，同时具备较强的文字生成能力。

CogView4 在 DPG-Bench 基准测试中综合评分排名第一。DPG-Bench 是一个评估文本到图像生成模型的基准测试，主要关注模型在复杂语义对齐和指令跟随能力方面的表现。

二、中文理解与生成

CogView4 具有两大技术领先性：

首先，支持中英双语提示词输入，擅长理解和遵循中文提示词，是首个能够在画面中生成汉字的开源文生图模型，能更好地满足广告、短视频等领域的创意需求。

在技术实现上，CogView4 将文本编码器从纯英文的 T5 encoder 换为具备双语能力的 GLM-4 encoder，并通过中英双语图文进行训练，使模型具备双语提示词输入能力。

案例 1：CogView4 能够将中英文字符自然地融入画面，使海报、文案配图创作更加便捷。

案例 2：擅长理解和遵循中文提示词，例如能够画出古诗文中的意境。

野径云俱黑，江船火独明

三、任意分辨率，任意长度提示词

其次，支持输入任意长度提示词，能够生成范围内任意分辨率图像，不仅使用户创作更加自由，也提升了训练效率。CogView4 模型实现了任意长度的文本描述（caption）和任意分辨率图像的混合训练范式。

1.图像位置编码

CogView4 采用二维旋转位置编码（2D RoPE）来建模图像的位置信息，并通过内插位置编码的方式支持不同分辨率的图像生成任务。

2.扩散生成建模

模型采用 Flow-matching 方案进行扩散生成建模，并结合参数化的线性动态噪声规划，以适应不同分辨率图像的信噪比需求。

3.架构设计

在 DiT 模型架构上，CogView4 延续了上一代的 Share-param DiT 架构，并为文本和图像模态分别设计独立的自适应 LayerNorm 层，以实现模态间的高效适配。

4.多阶段训练

CogView4 采用多阶段训练策略，包括基础分辨率训练、泛分辨率训练、高质量数据微调以及人类偏好对齐训练。这种分阶段训练方式不仅覆盖了广泛的图像分布，还确保生成的图像具有高美感并符合人类偏好。

5.训练框架优化

从文本角度，CogView4 突破了传统固定 token 长度的限制，允许更高的 token 上限，并显著减少了训练过程中的文本 token 冗余。当训练 caption 的平均长度在 200-300 token 时，与固定 512 token 的传统方案相比，CogView4 减少了约 50% 的 token 冗余，并在模型递进训练阶段实现了 5%-30% 的效率提升。

混合分辨率训练使模型能够支持较大范围内的任意分辨率生成，极大地提升了创作的自由度。目标分辨率只需满足以下条件：

案例 1：以故事作为超长提示词，生成四格漫画

请生成一张图包含四个场景的四格漫画图，采用动漫插画风格的连环画。其中主要出现的角色有：

小明：人类男孩，拥有一颗勇敢的心，手持宝剑，穿着简易的战士服装。

公主：人类女性，美丽优雅，穿着华丽的公主服饰，被囚禁在怪兽的老巢。

国王：人类男性，威严而仁慈，穿着华丽的王者服饰，坐在王国的宝座上。

火焰龙：怪兽，全身覆盖着火焰般的鳞片，口吐火焰，体型庞大。

黑暗魔王：怪兽，体型巨大，全身笼罩在黑暗中，拥有强大的魔法力量。

Scene 1：小明踏上征程

创建一个动漫风格的场景，背景是壮丽的王国庭院。场景中的主要角色是小明（人类男孩，拥有一颗勇敢的心，手持宝剑，穿着简易的战士服装），他正以踏上征程的姿势展现。包括庭院中的花草和远处城堡的细节，晨曦的光照传达出勇敢和决心。质量：杰作，最佳质量，超详细，4k

Scene 2：小明战胜火焰龙

创建一个动漫风格的场景，背景是炽热的火山口。场景中的主要角色是小明（人类男孩，拥有一颗勇敢的心，手持宝剑，穿着简易的战士服装），他正处于战胜火焰龙的瞬间。包括火山口的岩石和熔岩的细节，火红的光照传达出激烈和勇气。质量：杰作，最佳质量，超详细，4k

Scene 3：小明与黑暗魔王激战

创建一个动漫风格的场景，背景是阴暗的怪兽老巢。场景中的主要角色是小明（人类男孩，拥有一颗勇敢的心，手持宝剑，穿着简易的战士服装），他正处于与黑暗魔王激战的场景中。包括老巢的黑暗和魔法能量的细节，阴沉的光照传达出激烈和紧张。质量：杰作，最佳质量，超详细，4k

Scene 4：小明救出公主

创建一个动漫风格的场景，背景是荒废的城堡内部。场景中的主要角色是小明（人类男孩，拥有一颗勇敢的心，手持宝剑，穿着简易的战士服装）和公主（人类女性，美丽优雅，穿着华丽的公主服饰），他们正处于小明救出公主的温馨场景中。包括城堡内部废墟和昏暗光线的细节，温柔的光照传达出感动和救赎。质量：杰作，最佳质量，超详细，4k

四、首个遵循 Apache 2.0 的图像生成模型

CogView4 模型支持 Apache2.0 协议，后续会陆续增加 ControlNet、ComfyUI 等生态支持，全套的微调工具包也即将推出。

开源仓库地址：

https://github.com/THUDM/CogView4　

模型仓库：　

https://huggingface.co/THUDM/CogView4-6B　

https://modelscope.cn/models/ZhipuAI/CogView4-6B　

智谱始终致力于推动 AI 普惠。2025是智谱开源年，我们还将陆续开源基础模型、推理模型、多模态模型、Agent 模型等。