AutoSynthData：为企业 agent 生成训练
来自 Hugging Face · 期号 2026-10-02
摘要
ServiceNow CoreAI 发布了 AutoSynthData，把企业 agent 的能力短板自动变成训练数据。 流程分三步：先用评测任务找出目标模型在哪些场景下失败，再用更强的教师模型示范正确做法，最后根据能力缺口生成新的训练任务。 每个候选任务都要通过正向验证（参考轨迹能否完成任务）和负向验证（错误结果是否被正确拒绝），失败的任务经诊断后可以修复重试，有重试次数上限。批次层面还会检查覆盖度和多样性，避免数据集偏科。 在 EnterpriseOps Gym 上的实验显示，这套方法能提升 agent 在混合任务和 ITSM 场景上的表现。 原文给出了完整的 pipeline 设计和实现细节。
深读
导读 ServiceNow CoreAI 发布了一套名为 AutoSynthData 的自动化训练数据生成管线，专门解决企业 agent 在特定环境下的能力短板。它通过评测找出模型失败场景、用更强的教师模型示范正确做法，再根据能力缺口生成新任务并经过多层验证，最终让 agent 在混合任务和 ITSM 场景上取得可测量的提升。读完能带走一套完整的“从失败到数据再到训练”的闭环设计思路。 关键信息 - AutoSynthData 的 pipeline 分两步：Target 阶段根据能力规格生成核心样本，Multiply 阶段对已通过的样本做变体扩展，每个变体必须重新通过验证。 - 每个候选任务需通过正向验证（参考轨迹能否完成任务）和负向验证（错误结果是否被正确拒绝），失败的任务经诊断后可修复重试，有重试次数上限。 - 在 EnterpriseOps Gym 的 Hybrid 域上，以 Gemma-4-26B-A4B-it 为目标模型、Qwen3.8-27B 为教师模型，AutoSynthData 在约 18 小时内生成了 2,000 个训练样本，SFT 后 Pass@1 提升 7.2 个百分点（相对提升 35%），关闭了目标模型与参考模型之间 59% 的原始差距。 - 在 ITSM 域上，以 Gemma-4-26B-A4B-it 为目标模型、DeepSeek-V4.1-Flash 为教师模型，生成 1,994 个样本耗时 66 小时，SFT 后 Pass@1 从 18.77% 提升至 27.18%。 - 批次层面会检查覆盖度和多样性，避免数据集偏科；当某个区域反复产出低质量候选时，元审查会引导调整生成策略。 逐节讲解 任务的三要素：系统规格、用户提示、验证器 一个 agentic 任务由三部分组成：系统规格定义 agent 的操作约束（系统指令、环境策略、初始化状态等）；用户提示描述用户想让 agent 完成什么；验证器判断最终轨迹是否成功。一个有用的训练任务必须同时满足三个性质：可行性（环境中存在至少一条能完成任务的轨迹）、真实性（提示看起来像真实用户会提的需求）、难度（当前模型尚未稳定解决）。验证器自身也需要满足一致性、可靠性和完备性，不能奖励错误行为，也不能惩罚有效解法。 从模型失败到课程生成 AutoSynthData 先在目标环境中运行评测任务，同时让目标模型和更强的教师模型都执行一遍，从中识别出：测试的能力是什么、涉及哪些工具和工作流、目标模型在哪里失败、教师模型如何成功、正确终态应满足什么属性、哪些维度可以变化而不改变被测试的能力。这些发现被提炼成能力规格卡，生成器只拿到卡片，不接触原始评测任务的提示、实体、轨迹或验证器细节，从而避免数据泄露。 生成与扩展：Target 和 Multiply 两阶段 Target 阶段：多个 worker 并行根…