把 LLM 剪枝变成伊辛优化问题
来自 Hugging Face · 期号 2026-09-21
摘要
删除整个 Transformer 块（深度剪枝）是让 LLM 变快最便宜的方法之一，但难点在于决定删哪些块——删掉一个块的影响取决于同时删了哪些其他块，这是一个组合优化问题。 Hugging Face 团队将块选择重新表述为约束二元优化问题，直接映射到伊辛玻璃模型上。该模型的能量是剪枝后模型 benchmark 得分的强代理指标，因此无需实际跑模型就能评估大量候选配置。 在 Llama-3.3-70B-Instruct 上压缩 50% 时，该方法在 MMLU 上比最好的同类方法高出近 23 个百分点。最佳配置往往不是能量最低的基态，而是激发态。 论文附了开源代码。