模型增长、递归与边界算子如何影响缩放指数
来自 arXiv · 期号 2026-09-17
摘要
缩放定律不是架构锁死的。这篇论文发现，模型增长（训练时增加循环次数）和边界算子都能改变预训练的缩放指数，带来指数级的计算效率提升。 一个 7.4B 参数的循环 Transformer 在 CORE 上追平了 GPT-3 13B，计算量只有后者的约 1/20，而且优势随规模扩大而扩大。在数据受限的多轮训练场景下，循环本身有正则化效果，最优策略是随规模增加循环次数。 核心直觉是：给定计算预算，关键是要增加 Transformer 的可用深度。
深读
导读 这篇论文挑战了「缩放定律由计算量决定、架构无关」的普遍认知，证明架构设计（模型增长、循环深度、边界算子）能够改变预训练的缩放指数，从而带来指数级的计算效率提升。读完能理解：为什么一个7.4B参数的循环Transformer能用不到GPT-3 13B二十分之一的计算量追平后者，以及这种优势如何随规模扩大而放大。 关键信息 - 一个7.4B参数的模型增长架构（循环Transformer）在CORE基准上追平GPT-3 13B，计算量仅为后者的约1/20。 - 计算效率优势随规模扩大而增加，循环带来的收益不是固定的，而是随模型变大而变大。 - 在数据受限的多轮训练场景下，循环本身具有正则化效果，最优策略是随规模增加循环次数。 - 仅在一个标准Transformer中加入边界算子（归一化并注入前一个block）也能带来递增的计算效率收益，但幅度小于模型增长。 逐节讲解 核心发现：架构能改变缩放指数 论文首先指出，传统缩放定律认为损失随计算量增加而下降的速率由计算量本身决定，架构选择只影响常数项。作者通过实验反驳了这一观点：模型增长（训练中增加循环次数）和边界算子都能改变预训练的缩放指数，这意味着在相同计算量下可以获得指数级的性能提升。 模型增长：最大的缩放指数改变 作者以循环Transformer（looped transformer）作为锚定架构进行分析。循环在这里被称为递归深度（recursive depth），通过在训练过程中增加循环次数来实现模型增长。实验表明，无论是否共享权重，模型增长都能带来最大的缩放指数变化。具体案例是：一个7.4B参数的模型增长架构在CORE基准上达到了GPT-3 13B的水平，而计算量只有后者的约1/20，且这种效率优势随规模扩大而持续增大。 边界算子与数据受限场景 除了模型增长，作者发现仅在一个标准Transformer中加入边界算子（对前一个block做归一化并注入当前block）也能提升计算效率，但效果弱于模型增长。在数据受限的多轮训练场景下，标准循环表现出正则化效果，此时计算最优策略是随着模型规模增加而增加循环次数。 核心直觉：增加可用深度 论文将这些结果统一归因于计算深度（computational depth）的视角：给定计算预算，关键是要增加Transformer的可用深度（usable depth），这种深度增加带来的效率收益会随规模扩大而放大。 值得注意 - 论文基于CORE基准的单一对比（7.4B循环Transformer vs GPT-3 13B），该结果在其他基准或任务上的泛化性尚待验证。 - 边界算子的具体实现方式在摘要中未展开，其与现有架构（如残差连接、层归一化）的关系不明确。 - 循环次数随规模增加的最优策略缺乏定量指导，摘要未给出具体的缩放比例或搜索方法。