重新思考现代 MoE 的路由探索
来自 arXiv · 期号 2026-10-16
摘要
MoE 模型同时用了细粒度专家切分和共享专家两种设计。前者通过固定激活比例下更多专家组合来提升表达能力，后者则让部分专家对每个 token 都激活。 这篇论文发现两者之间存在一个探索困境：共享专家会降低 token 表征的多样性，让路由变得更保守；而细粒度切分又因为路由空间组合爆炸，反而需要更强的探索。结果细粒度带来的表达能力提升在实际中可能打折扣。 MirrorMoE 的解法是按 token 自适应地抑制不必要的专家，缩小探索空间。在不同规模的模型上都有稳定提升。