6 月 30 日 ,百度百度文心大模型 4.5 系列模型正式开源,文心并在国内抢先的大模道开源渠道 GitCode 首发上线 ,为宽广企业、型系型开现已下载开发者供给真实可用、列模好用 、源国可落地的内首大模型解决方案。
现在 ,发渠全球开发者、敞开企业、百度研究机构等均可免费在 GitCode 渠道直接拜访并下载体会文心大模型 4.5 开源系列 ,文心支撑布置 、大模道微调等各种不同场景的型系型开现已下载运用需求 。
欢迎下载体会 ,列模敞开你的源国文心大模型之旅。
文心 4.5 系列开源模型共 10 款 ,涵盖了激活参数规划分别为 47B 和 3B 的混合专家(MoE)模型(最大的模型总参数量为 424B),以及 0.3B 的稠密参数模型。
针对 MoE 架构 ,百度提出了一种立异性的多模态异构模型结构,经过跨模态参数同享机制完成模态间常识交融,一起为各单一模态保存专用参数空间。此架构十分适用于从大言语模型向多模态模型的继续预练习范式 ,在坚持乃至提高文本使命功用的根底上,明显增强多模态了解能力。
文心 4.5 系列模型均运用飞桨深度学习结构进行高效练习、推理和布置 。在大言语模型的预练习中,模型 FLOPs 利用率(MFU)到达 47%。试验成果显现,该系列模型在多个文本和多模态基准测验中到达 SOTA 水平,在指令遵从