开源项目

百度开源文心 5.5 Flash Base:2800 亿参数,给开发者自己改的「底座」

总参数 2800 亿、每次只激活 140 亿,用 33.5 万亿 token 训练,推理最长支持 100 万 token;放在 Hugging Face 上,适合企业在它基础上训练自己的模型。

11 月 5 日,百度开源了文心大模型的新基座模型 ERNIE 5.5 Flash Base。

模型是什么样的

  • 总参数 2800 亿,采用混合专家结构,每处理一个 token 只激活约 140 亿参数
  • 预训练用了 33.5 万亿 token 的数据
  • 预训练阶段最长 12.8 万 token,微调后推理最长能支持 100 万 token
  • 下载地址:Hugging Face 上的 baidu/ERNIE-5.5-Flash-Base

什么是 Base 模型

  • 大模型一般分两步做出来:先用海量文字「读书」,得到基座模型;再教它听指令、聊天,得到日常用的对话模型
  • Base 就是第一步的产物,知识很多,但还不太会按你的要求回答问题
  • 它适合有技术能力的团队,用自己的数据继续训练,做出懂自己行业的专属模型

成绩怎么样

  • 百度表示,它在知识、推理、数学、代码、多语言和长文本等测试上,超过了同尺寸的 DeepSeek-V4-Flash-Base、Hy3-preview-Base 和 MiMo-V2.5-Base
  • 这些是百度自己公布的对比,还需要第三方验证

对你意味着什么

普通用户直接用文心一言或文小言就好,这个开源模型主要面向开发者和企业。想理解「开源模型」「Base 模型」「激活参数」这些词,这条新闻正好是个很好的例子。