inclusionAI/Ling-3.0-flash-base-30T
蚂蚁 inclusionAI 开源 Ling-3.0 系列语言基础模型，并发布预训练、中期训练及合并（WSM）等多个阶段检查点。该系列采用高度稀疏（1/64）MoE 架构，512 个路由专家中每 token 仅激活 8 个，激活参数仅 5.1B（Non-emb），总参数 124B，并原生结合 KDA 与 Gated MLA 混合线性注意力以高效处理长上下文。
蚂蚁 inclusionAI 开源 Ling-3.0 系列语言基础模型，并发布预训练、中期训练及合并（WSM）等多个阶段检查点。该系列采用高度稀疏（1/64）MoE 架构，512 个路由专家中每 token 仅激活 8 个，激活参数仅 5.1B（Non-emb），总参数 124B，并原生结合 KDA 与 Gated MLA 混合线性注意力以高效处理长上下文。