NemotronLabs VoiceChat
来自 arXiv · 期号 2026-09-19
摘要
全双工语音对话一直有个矛盾：模型要一边听一边说，还要能调用工具，但现有方案要么把这几件事拆成独立模块（延迟高），要么牺牲实时性。 NemotronLabs VoiceChat 用一个统一流式架构解决：语音编码器 + decoder-only 语言模型并行输出 agent 文本、函数调用、用户转录和 TTS 语音。模型可以边听边转录边推理边调用工具边说话，不需要等一个模块跑完再启动下一个。 在 Full-Duplex-Bench 1.0 上，它的中断接管率是开源系统里最低的，用户打断后 100% 正确接管，恢复后的回答质量评分 4.33/5。在 FDB 3.0 上工具选择 F1 达到 82.5%，但参数准确率和端到端工具执行还有提升空间。 论文附了开源权重和代码。
深读
导读 全双工语音对话模型面临一个核心矛盾：模型需要同时处理听、说、推理和调用工具，但现有方案要么拆成独立模块导致高延迟，要么牺牲实时性。NemotronLabs VoiceChat 用一个统一的流式架构将这几件事并行化，在开源模型中实现了最低的中断接管率和 82.5% 的工具选择 F1 分数。读完可以了解一个全双工语音模型如何在不牺牲实时性的前提下集成工具调用，以及当前在参数准确率和端到端执行上的局限。 关键信息 - 模型架构：流式语音编码器 + decoder-only 语言模型，并行输出 agent 文本、结构化函数调用、辅助 RNN-T 分支的增量用户转录，以及流式 TTS 解码器。 - Full-Duplex-Bench 1.0 上，中断接管率在开源系统中最低，用户打断后 100% 正确接管，恢复后的回答质量评分 4.33/5。 - Full-Duplex-Bench 1.5 上，用户发出 backchannel（如“嗯”“对”）后，模型在 93% 的情况下能正确恢复自己的回答。 - Full-Duplex-Bench 3.0 上，工具选择 F1 达到 82.5%，但参数准确率和端到端工具执行仍有提升空间。 - VoiceBench 归一化平均得分 55.1。 - 论文附有开源权重和代码。 逐节讲解 架构设计：统一流式处理 NemotronLabs VoiceChat 的核心设计是将语音编码器与 decoder-only 语言模型结合，并行输出多条流：agent 文本、结构化函数调用、增量用户转录（通过一个辅助 RNN-T 分支），以及流式 TTS 解码器。这使得模型可以同时进行听、转录、推理、调用工具和说话，不需要等待一个模块完成再启动下一个，从而保持自然对话所需的时序行为。 全双工对话性能 在 Full-Duplex-Bench 1.0 上，模型在用户打断后 100% 正确接管对话，且恢复后的回答质量评分达到 4.33/5（满分 5），中断接管率在开源系统中最低。在 Full-Duplex-Bench 1.5 上，当用户发出 backchannel（如“嗯”“对”这类表示在听的简短回应）时，模型在 93% 的情况下能正确恢复自己的回答，说明它能够区分用户打断和单纯表示在听的反馈。 工具调用与综合评估 在 Full-Duplex-Bench 3.0 上，模型在工具选择上的 F1 分数达到 82.5%，但论文指出参数准确率和端到端工具执行仍是待改进的领域。在 VoiceBench 上，模型获得 55.1 的归一化平均得分。这些结果表明，全双工交互、语音识别与生成、通用语言能力以及外部工具调用可以在一个统一的开源语音到语音模型中集成，而不牺牲实时对话行为。 值得注意 论文基于摘要，没有提供架构细节（如模型参数量、训练数据规模、推理延迟等），也没有说明工…