信任方向，搜索步长：零阶一阶混合方法微调 LLM
来自 arXiv · 期号 2026-10-02
摘要
大模型微调时，步长选小了收敛慢，选大了训练不稳定。 这篇论文提出 ZFO 框架，把方向选择和步长选择拆开：方向交给一阶优化器（比如 Adam），步长则用零阶方法沿着这个方向做两次函数求值，拟合出局部曲线后选一个曲率感知的步长。代价比完整线搜索低得多。 在多个模型和数据集上，ZFO 相比固定步长的一阶基线，优化速度和最终效果都有提升，具体提升幅度取决于目标函数。论文附了开源代码。
深读
导读 大模型微调中，步长选择始终是核心难题：步长过小收敛慢，过大则训练不稳定。这篇论文提出 ZFO 框架，将方向选择与步长选择解耦，方向交给一阶优化器（如 Adam），步长则通过零阶方法沿该方向做两次函数求值来动态确定。读完可以理解一种轻量级自适应步长机制的原理，以及它在多个模型和数据集上相比固定步长基线的实际效果。 关键信息 - ZFO 框架将方向选择与步长选择解耦：方向由一阶优化器（如 Adam）确定，步长通过零阶方法沿该一维子空间进行两次目标函数求值来选取。 - 步长选取机制：利用当前梯度信息和两次额外函数求值，沿搜索方向构建目标函数的局部模型，在有界搜索区间内选择一个曲率感知的步长。 - 理论保证：论文证明了共享样本求值能产生可靠的有限差分曲率估计，局部模型能沿搜索区间选出近似最优步长，且 ZFO 收敛到稳定点的邻域。 - 在多个语言模型和数据集上，ZFO 相比固定步长的一阶基线，在优化速度和最终性能上均有提升，具体提升幅度取决于目标函数。 - 论文附有开源代码，地址为 https://github.com/nizswan/Zeroth-First-Order-Framework。 逐节讲解 问题背景与 ZFO 框架设计 论文首先指出，在大规模神经网络优化中，步长选择仍是核心挑战：保守的步长导致收敛缓慢，激进的步长则可能破坏训练稳定性。现有的一阶优化器（如 Adam）擅长确定更新方向，但步长通常需要手动调整或依赖固定调度。ZFO 框架的核心理念是将这两个任务分离：方向选择交给已有的一阶优化器，步长选择则通过零阶方法完成。具体做法是，沿一阶优化器给出的方向，只在这一维子空间上进行两次额外的目标函数求值，利用当前梯度信息构建局部模型，从而在有界搜索区间内选出一个曲率感知的步长。这种做法的代价远低于完整的线搜索。 理论保证 论文提供了三方面的理论分析。第一，共享样本求值能产生可靠的有限差分曲率估计，即两次函数求值足以刻画局部曲率。第二，基于该曲率估计构建的局部模型，能沿搜索区间选出近似最优的步长。第三，ZFO 框架整体收敛到稳定点的邻域。这些保证为方法的可靠性提供了数学基础。 实验评估与结论 论文在多个语言模型和数据集上进行了实验，将 ZFO 与使用固定步长的一阶基线（如 Adam）进行对比。结果显示，ZFO 在优化速度和最终性能上经常优于固定步长基线，但提升幅度和最优的局部模型选择取决于具体的目标函数。论文同时公开了代码，便于复现和进一步研究。