微调 NVIDIA Nemotron 适配沙特阿拉伯方言
来自 NVIDIA Developer · 期号 2026-10-01
摘要
NVIDIA 展示了如何用 NeMo 框架微调 Nemotron 3.5 ASR，让它听懂沙特阿拉伯的纳季迪语和希贾兹语。 微调的核心是四步：先做最小化清洗，只去掉无法学习的标注和明显错位的片段，保留 82.5% 的原始语料；再用加权回放混合，用 90% 目标方言加 7% 英语和 3% 阿拉伯语 FLEURS 数据，防止模型遗忘已有能力；然后按时长分桶，把长度相近的音频放进同一批次，减少填充浪费；最后只解冻编码器部分层，控制参数量。 结果：目标测试集词错误率从 55.05% 降到 29.96%，英语反而从 11.04% 微降至 10.42%，其他阿拉伯方言没有退化。解冻全部 24 层编码器效果最好，但需要 2.3 亿可训练参数；冻结部分层则省算力。 另外，不重新训练也能提升：把注意力上下文扩大到 13 帧前瞻，配合 beam-8 MALSD 解码，词错误率再降 2.71 个点，代价是增加约 800 毫秒延迟，适合批量转录。 NVIDIA Nemotron 3 Diarization 还能把这段流程扩展到最多八人的说话人分离转录。 本文是完整的微调教程，附有可复现的 notebook 和配置示例。