MoE 语言模型的专家高阶剪枝
来自 arXiv · 期号 2026-09-17
摘要
MoE 大模型参数多、内存吃紧。剪掉一些专家是最直接的压缩手段，但现有方法把每个专家独立看待，假设它们的贡献是简单相加的。 实际上专家之间是协作的。HOPE 引入二阶剪枝目标，从理论上保证剪枝误差的上界最小化。在三个前沿 MoE 模型（最大 122B 参数）上，50% 剪枝率下 HOPE 平均排名 1.58（5 个方法中），超过第二名 REAP 的 2.42，在 agentic coding 上最高领先 6.1 个百分点。优势在高剪枝率和复杂 agent 任务上最明显。 REAP 是 HOPE 忽略交互项时的特例。