Ling-V2

Ling-V2 – 蚂蚁百灵推出的大型语言模型系列

Ling-V2：高效、强大的 MoE 大型语言模型家族，兼具卓越推理能力与训练效率，为 NLP 领域注入新活力。

Ling-V2，由蚂蚁百灵团队倾力打造，是一款基于前沿 MoE（混合专家）架构的大型语言模型系列。其首个成员 Ling-mini-2.0，拥有高达 160 亿的总参数量，但其精妙之处在于，每次处理输入标记时，仅激活 14 亿参数，实现了惊人的计算效率。

非凡的推理实力：Ling-V2 在编码、数学以及需要深厚跨领域知识的推理任务中表现卓越，其性能远超同等规模的密集模型，甚至能与更大规模的 MoE 模型媲美。
极致的运行效率：采用 1/32 的激活比率 MoE 架构，Ling-V2 实现了 7 倍于密集模型的性能增益。在普通问答场景下，其生成速度可达每秒 300 多个 token，处理长达 128K 的上下文信息时，速度提升更是高达 7 倍以上。
性的训练方案：Ling-V2 全程采用 FP8 混合精度训练，并开源了高效的 FP8 训练解决方案，通过 tile/blockwise FP8 缩放及 FP8 优化器等技术，实现了内存占用的大幅优化。在同等 GPU 资源下，其训练吞吐量较 LLaMA 3.1 8B 和 Qwen3 8B 等模型有显著提升。
开放共享的研发理念：除了提供训练完成的模型版本，Ling-V2 还开源了五个预训练检查点，为研究人员和开发者提供了更广阔的探索和应用空间。

MoE 架构的巧妙运用：Ling-V2 的核心在于其 MoE 架构。通过将庞大的模型拆解为多个的“专家”网络，并根据输入数据动态地选择性激活部分专家，模型在保持强大能力的同时，大幅提升了计算效率。
精细的性能调优：在专家粒度、专家共享比例、注意力机制、路由策略（如无辅助损失+sigmoid 路由）、MTP 损失、QK-Norm 以及半 RoPE 等多个维度，Ling-V2 都经过了细致的经验性优化设计，从而在性能和效率上达到了新的高度。
FP8 混合精度训练的突破：在训练过程中，Ling-V2 采用了 FP8 混合精度。实验证明，与 BF16 相比，在数万亿标记的数据上训练，模型性能几乎不受影响，但显著降低了计算成本。此次开源的 FP8 训练解决方案，将助力社区在有限资源下进行高效的持续预训练和微调。
多阶段、高质量的数据训练：Ling-V2 在超过 20 万亿高质量数据标记上进行了训练。通过多阶段的监督微调和强化学习的加持，模型在处理复杂推理和遵循指令方面取得了显著的进步。