用 100 步 GRPO 微调 350M 模型输出结构化
来自 Hugging Face · 期号 2026-09-03
摘要
想让模型输出结构化的 JSON，通常需要大量标注数据。Hugging Face 用 GRPO（一种强化学习方法）在 100 步内微调了一个 350M 参数的模型，使其能稳定输出符合指定 schema 的 JSON。 方法很简单：不给模型看正确答案，只告诉它输出是否合法、是否匹配 schema，让它自己摸索出规律。在 IFEval 结构化评测上，微调后的模型从 0% 直接跳到 85% 的格式正确率。 原文附了完整的训练代码和配置示例。