循环混合专家模型的缩放定律
来自 arXiv · 期号 2026-10-01
摘要
循环（looping）和稀疏混合专家（MoE）是两种互补的模型扩展路线：前者在固定参数量下增加计算深度，后者在固定激活计算量下扩大总容量。但已有的缩放定律只单独建模其中一种。 这篇论文提出了 Loop Scaling Laws，首次将循环、稀疏性、模型大小和数据量统一建模。核心是一个有界的、稀疏性条件化的循环映射，它刻画了循环带来的有效参数增益，以及稀疏性如何放大这一增益。该定律对循环模型损失的预测比现有方法更准，且能退化为标准稠密和 MoE 缩放定律。 实验表明，稀疏性带来约 3 倍的激活参数效率，循环在推理任务上带来约 2 倍的总参数效率，两者联合进一步推进了性能前沿。在万亿 token 规模下，一个按定律设计的循环 MoE 在推理 benchmark 上匹配了约 2 倍大的非循环 MoE，同时还能通过循环实现测试时扩展。
深读
导读 循环（looping）和稀疏混合专家（MoE）是两种互补的模型扩展路线，但此前缺乏统一的理论模型。这篇论文首次将循环、稀疏性、模型大小和数据量纳入同一个缩放定律，为在固定计算预算下设计更高效的推理模型提供了理论依据。读完能理解循环与稀疏性如何协同放大模型性能，以及如何用定律指导实际模型设计。 关键信息 - 论文提出 Loop Scaling Laws，首次联合建模循环、稀疏性、模型大小和数据量对损失的影响。 - 核心是一个有界的、稀疏性条件化的循环映射，刻画循环带来的有效参数增益，以及稀疏性如何放大这一增益。 - 该定律可退化为标准稠密和 MoE 缩放定律作为特例。 - 实验显示：稀疏性带来约 3 倍的激活参数效率，循环在推理任务上带来约 2 倍的总参数效率。 - 在万亿 token 规模下，按定律设计的循环 MoE 在推理 benchmark 上匹配了约 2 倍大的非循环 MoE，同时还能通过循环实现测试时扩展。 逐节讲解 循环与稀疏性：两种互补的扩展路线 论文首先指出，循环（在固定参数量下重复使用同一模块以增加计算深度）和稀疏 MoE（在固定激活计算量下扩大总参数量）是两种已被验证有效的模型扩展方式。但已有的缩放定律只单独建模其中一种，无法捕捉两者联合时的交互效应。这构成了论文的动机：需要一个统一的理论框架。 Loop Scaling Laws 的核心形式 论文提出的 Loop Scaling Laws 以一个有界、稀疏性条件化的循环映射为核心。这个映射刻画了两个关键量：一是循环带来的有效参数增益（即重复使用参数相当于增加了多少有效参数量），二是稀疏性如何进一步提升这个增益。该定律对循环模型损失的预测精度优于现有方法，并且当循环次数设为 1 或专家数设为 1 时，能分别退化为标准稠密缩放定律和标准 MoE 缩放定律。 实验验证与联合扩展效果 下游评估实验验证了循环与稀疏性的互补收益。稀疏性使激活参数效率提升约 3 倍（即用 1/3 的激活参数达到同等性能），循环使总参数效率在推理任务上提升约 2 倍。两者联合进一步推进了性能前沿。论文进一步在万亿 token 规模下验证了这些收益：在匹配训练计算量的条件下，一个按定律设计的循环 MoE 在推理 benchmark 上达到了约 2 倍大的非循环 MoE 的性能，并且循环机制还额外提供了测试时扩展（test-time scaling）的能力。 值得注意 原文信息有限，以下基于论文摘要。摘要未提供具体的模型架构细节、实验设置（如数据集、训练超参数）以及与其他缩放定律的定量对比结果。关于循环映射的具体数学形式、稀疏性条件化的具体实现方式，以及“有界”的具体含义，在摘要中均未展开。