你的 Transformer 其实是弹性的
来自 arXiv · 期号 2026-10-15
摘要
训练好的 Transformer 模型只有少数几个固定尺寸（S、B、L），用户得根据硬件和延迟提前选好一个，遇到查询负载变化就很被动。 这篇论文提出一种无需重新训练的方法，把预训练 Transformer 变成“弹性”模型，能在推理时按计算预算连续调整大小。核心是给每个 MLP 神经元和注意力头都算一个重要性分数，而不是像以前那样只给整个 block 或 head 打分。 在 22M 到 8B 参数的 27 个视觉和文本编码器上测试，剪掉 60% 参数后性能平滑下降。例如 DINOv3 ViT-H+/16 剪掉 50%（4.27 亿参数），ImageNet-1k 线性探测准确率只降 0.8%。剪到 60% 时，AugReg ViT-B/16 在 A100 上吞吐量提升 1.8 倍，单次查询延迟降低 1.26 倍。 生成弹性模型只需几分钟，构造时间随参数量亚线性增长。
深读
导读 这篇论文解决的是 Transformer 模型部署中的“刚性”问题：现有模型只有 S、B、L 等少数固定尺寸，用户必须提前根据硬件和延迟选好一个，遇到查询负载变化时无法灵活调整。作者提出一种无需重新训练的方法，把预训练 Transformer 变成“弹性”模型，能在推理时按计算预算连续调整大小，在 27 个模型上测试到 60% 稀疏度仍保持性能平滑下降。读完能带走一种新的模型剪枝思路，给每个 MLP 神经元和注意力头单独打分，而不是只给整个 block 或 head 打分。 关键信息 - 核心方法：对每个 MLP 神经元和注意力头计算一个重要性分数，通过可微松弛在多个稀疏度目标上联合优化，而不是像以往工作那样只给整个 MLP block 或 attention head 一个权重。 - 测试覆盖 27 个视觉和文本 Transformer 编码器，参数量从 22M 到 8B。 - DINOv3 ViT-H+/16 剪掉 50% 参数（4.27 亿），ImageNet-1k 线性探测准确率只降 0.8%，且无需权重修正或重新训练。 - AugReg ViT-B/16 剪到 60% 稀疏度时，在 A100 GPU 上吞吐量提升 1.8 倍，单次查询延迟降低 1.26 倍。 - 生成弹性模型只需几分钟，构造时间随参数量亚线性增长。 逐节讲解 问题：模型尺寸固定，无法适应负载变化 现有 Transformer 模型家族只提供少数几个固定尺寸（如 S、B、L），用户必须根据硬件和延迟约束提前选好一个。当查询负载变化时，这种刚性往往导致次优选择，要么浪费算力，要么延迟超标。 方法：对每个神经元和注意力头单独排序 作者的关键贡献是一种可微松弛的功能单元排序方法。与以往工作不同（它们只给每个 MLP block 或 attention head 优化一个重要性权重），新方法对每个 MLP 神经元和每个注意力头分别计算重要性分数，并在一个共同尺度上排序。具体做法是：在多个稀疏度目标上同时最小化模型在软剪枝下的损失，从而一次性得到所有单元的重要性排序。 实验结果：平滑退化，吞吐量提升 在 27 个视觉和文本 Transformer 编码器（22M 到 8B 参数）上测试，该方法在剪到 60% 稀疏度时性能平滑下降，且优于深度剪枝下的 one-shot 基线。两个具体数字：DINOv3 ViT-H+/16 剪掉 50% 参数（4.27 亿），ImageNet-1k 线性探测准确率只降 0.8%；AugReg ViT-B/16 剪到 60% 时，A100 上吞吐量提升 1.8 倍，单次查询延迟降低 1.26 倍。弹性模型的构造只需几分钟，且构造时间随参数量亚线性增长。 值得注意 - 本文基于论文摘要，具体的方法细节（如可微松弛的具体形式、联合优化的损失函数设计）在摘要中没有展…