百度开源文心5.5 Flash Base，多项基准达同尺寸SOTA

百度于11月5日正式开源基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）。该模型采用MoE架构，总参数量达到2800亿，每个Token仅激活140亿参数，预训练使用33.5万亿个Token。模型预训练上下文长度最高为128K，微调和推理阶段最长可支持100万Token上下文。在知识、推理、数学、代码、多语言及长上下文等基准中，文心5.5 Flash Base取得同尺寸模型SOTA表现，超过DeepSeek-V4-Flash-Base、Hy3-preview-Base和MiMo-V2.5-Base等模型。模型地址为：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base

随着大模型应用扩展到长文档分析、多轮交互和智能体任务，模型需要处理的信息规模不断增长，计算与显存成本也同步上升。文心5.5 Flash Base以提升效率为设计重点，从注意力机制、专家路由和训练方法等方面进行优化，力求在保持能力的同时降低资源消耗。

在注意力机制方面，模型引入Latent-Gated Sparse Attention，将混合稀疏注意力、低秩门控注意力和虚拟头注意力结合起来。通过组合HCA与MLA，不同注意力层分别负责压缩历史信息和精细访问历史位置；Low-Rank Gated Attention利用已有低维表示计算信息门控，使门控投影权重参数减少75%。Virtual Head Attention（VHA）则增强模型表达能力和训练质量，推理时可融合进注意力算子，额外开销较小，从而降低长上下文处理成本。

专家路由部分采用Multi-Router Latent MoE，由多个独立路由器共同参与专家选择，改善路由评分与专家实际效用之间的关联。该方案能够减轻单一路由器评分偏差的影响，同时不改变激活专家数量、专家计算量和通信量。训练方面，模型引入ECHO，不额外增加MTP模块，而是复用主干最后一层学习预测后续Token，帮助模型提前规划序列走向，提升推理和代码能力。文心5.5 Flash仅进行单步ECHO预训练，复用的末层还可充当投机解码草稿模型，在只训练一步的情况下实现更强的多步起草能力。

训练基础设施同样进行了调整。百度优化了分布式Muon优化器，并推出面向大head dim的FlashMask-4注意力算子，以改善大规模训练中的通信效率、显存利用率和计算效率。模型最终能力不仅取决于算法设计，也依赖训练系统对这些结构创新的支撑能力。

作为基座模型，文心5.5 Flash Base面向开发者和企业提供进一步微调、定制和构建专业模型的基础。相较直接面向终端用户的应用模型，Base模型能够根据业务需求适配不同场景，并有助于降低专业模型的训练成本与技术门槛。随着推理和Agent应用持续发展，行业对基座模型的需求正从单纯追求能力，转向训练效率、能力扩展和场景适配的协同提升。

页面还列出了此前围绕百度模型生态的合作与产品信息，包括接入文心能力、成为相关生态合作伙伴，以及文心模型在文本能力评测中的表现。

相关条目还涉及面向程序员的编程工具、智能经济研究以及百度在自动驾驶卡车领域的布局。

页面同时收录了大模型版号、产业合作等历史信息，并配有相关延伸内容。