如何循环 MoE：压平专家，解绑注意力
来自 arXiv · 期号 2026-09-29
摘要
循环 Transformer 把同一层重复用几次，用更多计算换固定参数量的更大能力；稀疏 MoE 每个 token 只激活少数专家。把两者结合，就有一个新问题：MoE 怎么循环？ Foil 的做法是：把专家层压平——专家层数减半、每层专家数翻倍、循环次数翻倍，这样每次路由都能从更大的池子里选；同时把注意力解绑，让每次循环有自己的注意力参数，专家和路由器共享。 实验表明，在 20B token 时所有 Foil 模型的预训练损失都低于基线；100B token 时压平程度越大损失越低，最极端配置比基线低 0.012 nat，下游任务持平或更好。解绑注意力也让路由更均衡、更自信。 消融实验给出了设计指引：循环和加宽专家层互相放大收益；路由自信度比负载均衡更能反映专家使用健康度；稀疏循环 MoE 应该用更多专家每层和更多循环。 论文附了开源代码。