好的预训练，差的 SFT：检查点质量与训练栈
来自 arXiv · 期号 2026-09-09
摘要
语言模型通常按预训练损失或基准分数选检查点，默认分数最高的也是后续训练的最佳起点。 这篇论文在完整的 30B MoE 训练流程中发现，这个假设可能不成立。那些经过完整下游训练后表现更好的检查点，其实有更高的“解密度”——即在局部权重扰动下仍能保持下游性能。 论文提出，选检查点不能只看预训练分数，还要看它对后续训练的鲁棒性。
来自 arXiv · 期号 2026-09-09
语言模型通常按预训练损失或基准分数选检查点，默认分数最高的也是后续训练的最佳起点。 这篇论文在完整的 30B MoE 训练流程中发现，这个假设可能不成立。那些经过完整下游训练后表现更好的检查点，其实有更高的“解密度”——即在局部权重扰动下仍能保持下游性能。 论文提出，选检查点不能只看预训练分数，还要看它对后续训练的鲁棒性。
本站只做摘要与索引，全部内容版权归原作者所有。