inclusionAI/Ling-3.0-tiny-base
蚂蚁 inclusionAI 开源 Ling-3.0 系列语言基础模型，含 tiny 与 flash 两个尺寸及预训练、中期训练、合并（WSM）等阶段检查点。该系列采用混合线性注意力与稀疏 MoE 架构，总参数 7.9B，每 token 仅激活 1.3B 参数（128 个路由专家中激活 8 个）。
蚂蚁 inclusionAI 开源 Ling-3.0 系列语言基础模型，含 tiny 与 flash 两个尺寸及预训练、中期训练、合并（WSM）等阶段检查点。该系列采用混合线性注意力与稀疏 MoE 架构，总参数 7.9B，每 token 仅激活 1.3B 参数（128 个路由专家中激活 8 个）。