GEO资讯

蚂蚁百灵开源5600亿参数模型,部署门槛降到四卡

发布于 2026/10/20 13 次阅读
蚂蚁百灵开源5600亿参数模型,部署门槛降到四卡

10月15日,蚂蚁兑现了开源承诺

10月15日,蚂蚁集团百灵大模型团队宣布正式开源Ling-3.1-flash,权重已在Hugging Face与ModelScope上线,采用允许商用的MIT许可证。该模型于9月30日发布,当时开放了两周免费体验;体验期结束后按承诺开放权重。据AI门户报道,模型总参数约560B(约5600亿),每个Token激活约25B,官方称经量化后部署所需显卡可由8张降至4张。

规格与架构:大容量、小激活

Ling-3.1-flash采用混合线性MoE架构:63层KDA线性注意力搭配9层门控MLA(比例7:1),外加4层稠密层;512个路由专家中每个Token仅激活8个,再加1个共享专家。这套设计的意图很直接——模型知识容量按5600亿参数的规格建设,单次推理的计算量却控制在250亿参数级别。上下文方面,模型目标支持1M Token;不过据36氪报道,当前开源配置中可验证的上下文为256K档,100万Token写在模型卡的目标栏中,实际开放节奏仍有待观察。

部署侧的量化方案是这次开源的看点:路由专家采用MXFP4量化、稠密层保留block-FP8,权重占用从约534GB降至约292GB,官方测试配置下服务所需GPU从8卡降至4卡。需要留意的是,4卡对应的是显存更充裕的GB300配置,模型卡推荐的启动配置仍是8张H200,实际卡数随上下文长度与并发量变化。

能力口径:官方自评与第三方数据并存

官方在办公、医疗沟通、软件研发三类场景给出评测:GDPVal-AA v2.1取得1673 Elo,FrontierSWE为75.16,HealthBench Professional为65.35(均为厂商自报口径,尚未见独立复现)。第三方机构Artificial Analysis给出的智能指数为41,约为上一代20分的两倍,输出速度约每秒210 Token,混合调用价格约每百万Token 0.19美元(第三方评测口径)。团队还介绍了一个面向长周期编程任务的自研框架LingCode,并表示未来考虑开源。局限同样写在明处:当前版本仅支持文本输入,没有原生视觉理解;官方注明一次喂入大量长文本时会出现注意力涣散。

企业视角:自部署选项回到企业手里

  1. 对数据敏感的行业,MIT许可意味着可以把一个五千亿参数级的模型部署进自有机房,不必把业务数据交给外部API。
  2. 评估成本时不要只看权重体积。292GB之外还要预留KV Cache与并发空间,服务器级显卡、运维能力缺一不可。
  3. 用真实业务任务做对照测试。官方跑分集中在特定基准上,自家文档整理、代码维护类任务的表现,需要拿自己的数据验证。

极欧互联在GEO优化(生成式引擎优化)业务中关注的另一个角度是:开源模型越多,企业自建的AI应用与智能体越多,官网内容将来面对的不只是几家云端大模型,还有大量私有部署模型的信息入口。内容的事实质量决定了它在这些入口中的被AI引用概率。

趋势研判:开源与闭源的界线在成本上被重画

从上一代124B到这一代5600亿参数,百灵把flash系列的容量抬了一个量级,同时把部署压缩到4卡量级。加上此前Meta开放8160亿参数权重,头部厂商正在把"超大模型+开放权重+可部署"变成标配动作。对企业来说,选择面在变宽,判断题也从"用不用AI"变成"哪部分业务放在云端API、哪部分放进自有算力"。可以预期,开源模型的工程化程度将成为下一阶段厂商竞争的主战场之一。

信息来源