inclusionAI/Ling-3.0-tiny-base-30T
蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基础模型，并发布预训练、中期训练及合并（WSM）等阶段的检查点，支持继续预训练、微调与研究。Ling-3.0-tiny-base 采用稀疏 MoE 架构，含 128 个路由专家，每 token 仅激活 1.3B 参数，总参数量 7.9B，并原生混合线性注意力以高效处理长上下文。
蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基础模型，并发布预训练、中期训练及合并（WSM）等阶段的检查点，支持继续预训练、微调与研究。Ling-3.0-tiny-base 采用稀疏 MoE 架构，含 128 个路由专家，每 token 仅激活 1.3B 参数，总参数量 7.9B，并原生混合线性注意力以高效处理长上下文。