大语言模型大多基于离散Token自回归范式开展文本建模,而连续扩散语言模型借鉴图像扩散生成思路,尝试在连续向量空间完成语言生成,成为当下AI领域的前沿研究方向。在南京大学 鲲鹏昇腾科教创新孵化中心的算力支持下,南京大学模式识别实验室(PRLab)司晨阳教授团队依托昇腾NPU算力,推出AURORA?LM连续扩散语言模型,首次在昇腾NPU上完成连续扩散语言模型训练到推理的全流程验证,为自主AI算力生态打造前沿科研标杆成果。
连续空间语言建模存在一个核心技术难题:语言本身由离散Token构成,连续空间生成后,需要把连续潜变量(latent)序列精准映射回文本。这就要求latent序列既要承载充足语义信息保障解码效果,同时其分布又要便于模型学习,这也是当前统一模型体系探索过程中的关键瓶颈。
AURORA?LM将连续语言生成拆解为编码重建、分布学习两大阶段,针对性破解该技术痛点。第一阶段为高容量连续自编码器,负责生成适配文本前缀顺序、语义完备的连续latent 序列。编码器和解码器以还原原始Token作为训练目标,训练过程中随机丢弃部分Token,以此提升模型解码的鲁棒性,保障面对噪声扰动时依旧可以还原文本信息。
第二阶段为分块因果扩散模型,完成latent序列的分布学习。模型设计分块因果掩码机制,块与块之间使用从左至右的因果注意力,保证上下文时序依赖;块内部启用双向注意力,实现块内联合去噪、并行生成。训练环节针对带噪latent 块直接预测对应的干净latent,在完整latent空间计算训练误差;推理阶段块间顺序生成,借助KV Cache复用前缀计算结果,块内同步完成联合去噪输出,兼顾生成正确性与推理效率。
模型结构
围绕模型训练与采样的现实痛点,团队实现三项关键技术优化。研究采用高容量latent 设计,提升向量维度来承载更加丰富的语义,即便叠加噪声干扰,依旧保留充足可解码信息。
如图(a)显示,增加latent向量的维度后,其在噪声扰动下仍能保留更多可供解码的文本信息;图(b)显示,不同宽度校准训练噪声分配后,生成质量也随之提升。
同时团队开展训练策略优化,适度收窄带噪输入维度、提高高噪声状态的训练概率,显著改善文本生成质量。
图(a)显示,适度收窄带噪输入维度(bottleneck),极大程度提升最终模型文本生成的质量;图(b)显示,输入高噪声状态的概率可进一步提升生成结果。
此外研究提出自轨迹一致性机制,约束相邻去噪步骤对干净latent的预测保持一致,有效抑制少步生成场景下的误差累积。实验表明,该机制在全部生成步数均可提升效果,少步采样场景收益最为突出。
开启自轨迹一致性机制(Consistency on)与关闭该机制(Consistency off)在不同去噪步数下的MAUVE指标
在实验评测中,AURORA?LM充分验证了技术方案的有效性与可扩展性。在130M参数规模下,OpenWebText自由生成任务中Gen?PPL降至23.56、MAUVE达到0.890,两项指标优于自回归、离散扩散等对比模型;在XSum条件摘要任务,ROUGE?1/2/L分别取得36.6、13.4、28.9,三项指标均位列第一。模型扩展至1B参数规模后,基于开源数据完成约1500 EFLOPs训练量。在九项语言基准任务评测中平均得分32.6,对比参数量更大的公开连续语言模型,实现九项任务全部领先,证明整套架构具备良好的规模扩展能力。
图(a) 显示,130M 参数规模下 AURORA?LM?S与多款基线模型在自由生成、摘要任务上的综合指标对比;图(b) 显示,1B 参数规模AURORA?LM?L在九项语言基准任务上与对照模型的能力对比。
目前AURORA?LM论文和项目主页均已对外发布,可供广大科研人员与开发者查阅使用。面向未来,在技术方向上,AURORA?LM将为更长上下文、更大规模连续语言模型提供可行的技术路径,推动连续扩散生成和离散Token解码深度融合。在应用方向上,研究团队计划将这套框架拓展到多模态交互、对话系统等更多业务场景。华为将继续通过鲲鹏昇腾科教创新孵化中心,持续深化与高校科研团队的协同创新,为大模型前沿基础研究提供算力支撑,持续丰富自主AI算力的技术生态。
◆往期推荐◆
CATLASS v2.0发布:Python DSL正式上线,编译加速,开发简化
股票
板块
用户
资讯
评论 (0)