用 GradLoc 诊断 RLVR 训练崩溃
来自 Tencent Hunyuan Research · 期号 2026-02-13
摘要
RLVR 训练经常因为梯度尖峰而崩溃，但之前的方法都是黑盒的：只知道梯度炸了，不知道是哪个 token 引起的。 腾讯混元团队提出了 GradLoc，一个基于分布式二分查找的诊断工具。它能把全局梯度尖峰精确定位到单个肇事 token，复杂度只有 O(log N)。 用 GradLoc 分析后，团队发现了一种新的崩溃模式：层间梯度异质性。某些层的梯度爆炸了，其他层却很正常。传统的全局梯度裁剪会把健康层也一起压下去。 针对这个问题，他们提出了 LayerClip：按每层的局部统计量做梯度裁剪，不伤及无辜。实验表明，这种方法能显著延长稳定训练的时间。 论文附了开源代码。
深读
导读 RLVR（基于强化学习的推理训练）在大模型上经常因梯度尖峰而崩溃，但此前方法只能黑盒地“猜原因、试缓解”。腾讯混元团队提出了 GradLoc，一个基于分布式二分查找的诊断工具，能把全局梯度尖峰精确定位到单个肇事 token，复杂度仅 O(log N)。用 GradLoc 分析后，团队发现了一种新的崩溃模式，层间梯度异质性，并针对性地提出了 LayerClip 方法。读完本文能理解 RLVR 训练崩溃的两种根本原因，以及如何从“猜”转向“诊断”。 关键信息 - GradLoc 通过四阶段分布式二分查找（全局→微批次→设备 rank→token）定位肇事 token，复杂度 O(log N)，定位阶段耗时约为正常 step 的 1 到 3 倍。 - 理论分析证明，当参数维度 D（如 10¹⁰）远大于批次 token 数 N（如 10⁷）时，即使异常强度 σ=25，定位成功率也能超过 99%。 - GradLoc 发现两种崩溃模式：Type A（训练-推理不一致）和 Type B（层间梯度异质性）。Type A 又分为 token 级和 sequence 级两种子类型。 - Type B 是本文新发现的模式：某些层的梯度爆炸，而其他层保持稳定；肇事 token 的 IS 比率接近 1.0（正常），但层间梯度分布严重不均。 - 针对 Type B，团队提出 LayerClip：按每层的局部统计量做梯度裁剪，避免全局裁剪伤及健康层。 逐节讲解 问题背景：RLVR 训练崩溃与梯度尖峰 RLVR 训练经常因梯度尖峰而崩溃。现代 LLM 训练框架中，KV-cache 量化、自定义 kernel 融合、异步数据生成等加速技术会引入近似误差（数值精度损失、数据陈旧等），使训练变成一个不稳定的混沌系统。此前的方法采用黑盒“猜测-验证”循环：假设一个通用原因（如训练-推理不一致），然后施加宽泛的缓解措施（系统调优、IS 约束等）。但梯度尖峰可能来自多种不同的失效模式，宽泛的缓解措施无法保证长期稳定。 GradLoc：将梯度尖峰定位到单个肇事 token GradLoc 是一个基础设施工具，通过分布式二分查找将梯度尖峰追溯至具体的肇事 token。它集成了四阶段定位流程：全局触发（检查全局梯度范数是否超阈值）→ 微批次枚举 → 设备 rank 搜索（二分查找定位具体 GPU）→ token 搜索（在目标 rank 的微批次内二分查找定位异常 token）。各阶段使用自适应阈值，因为随着搜索范围从全局批次缩小到单个 token，参与聚合的 token 数变化剧烈，固定阈值会导致漏检或误报。 GradLoc 是“只读”的诊断工具，仅在检测到梯度尖峰时触发，不干扰优化目标或参数更新。它还包含早停机制：一旦当前分支的梯度范数低于阈值就终止搜索。 梯度异常分类：两种崩溃模式 GradLo…