今天，文心5.5 Flash Base正式开源

今天，百度正式开源最新基座模型

文心5.5 Flash Base

ERNIE 5.5 Flash Base采用MoE架构，总参数量2800亿，每个Token激活140亿参数，使用33.5万亿个Token完成预训练，预训练上下文长度最高达128K，微调与推理阶段支持最长100万Token上下文。

在知识、推理、数学、代码、多语言和长上下文等多个基准测试中取得同尺寸模型SOTA表现。??????

Benchmark评测结果

探索大模型效率优化路径

文心5.5 Flash Base围绕“效率”这一设计主线，在注意力机制、专家路由及训练目标等关键环节进行系统性优化，并实现了多项算法创新。

文心5.5 Flash Base架构图

在注意力机制上，文心提出Latent-Gated Sparse Attention，将混合稀疏注意力、低秩门控注意力与虚拟头注意力结合起来。

其中，模型通过组合HCA与MLA，让不同注意力层分别承担压缩历史信息和细粒度访问历史位置的任务；低秩门控注意力（Low-Rank Gated Attention）则改用注意力层本就会生成的低秩query latent来计算输出门，门控投影参数量减少75%，模型效果也有所提升。

此外，虚拟头注意力（Virtual Head Attention，VHA）可提升模型表达力与训练质量，推理时融合进注意力算子，开销极小。这些设计降低了长上下文处理的资源开销，同时保留模型对关键信息的处理能力。

在专家路由上，模型采用Multi-Router Latent MoE，由多个独立路由器共同参与专家选择，改善路由评分与专家实际效用之间的相关性。

相比依赖单一路由器的传统方案，该设计旨在降低单一评分偏差对专家选择的影响，同时保持激活专家数量、专家计算量和通信量不变。

在训练目标上，模型引入ECHO，无需额外增加MTP（Multi-TokenPrediction）模块，而是复用主干最后一层，让主干自身学习预测后续Token，从而提前规划序列走向，有效提升推理与代码能力。

文心5.5 Flash仅采用单步ECHO预训练，复用的最后一层还可作为投机解码的草稿模型，展现出多步外推能力：同样只训练一步，多步起草质量大幅优于辅助MTP模块。

除模型架构外，大模型基建创新也十分重要。文心改进了分布式Muon优化器，并推出面向大head dim的注意力算子FlashMask-4，改善大规模训练中的通信、显存利用与计算效率。模型能力的提升不仅依赖算法本身，也与训练系统能否高效支撑这些设计密切相关。

基座模型不仅承载着预训练阶段形成的通用能力，也是下游模型开发与应用创新的重要基础。Base模型为开发者和企业提供了进一步微调与定制的空间，可基于自身业务需求构建适应不同场景的专业模型与应用。

感兴趣可前往以下网址查看??

??文心大模型官网地址：

https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/?

??文心5.5 Flash Base开源地址：

https://huggingface.co/baidu/ERNIE-5.5-Flash-Base?

END

参与百度世界2026，请戳文末「阅读原文」??

即可直达大会官网