免对齐的 Text-AB 语音配音与全双工对话合成
来自 arXiv · 期号 2026-09-03
摘要
语音配音和全双工对话合成通常需要文本与语音的强制对齐，这限制了模型对自然语流中停顿、抢话、情绪变化的建模能力。 Text-AB 绕过了这一步：它用 25 Hz 的 DAC-VAE 潜空间把 48 kHz 波形压缩了 10 倍以上，然后让 3B 参数的 Diffusion Transformer 通过交叉注意力自己学会文本与语音的对齐。模型在 48 万小时单语语音上预训练，再针对跨语言配音、全双工对话、情感对话三个下游任务微调。 在真实配音基准上，Text-AB 在韵律相似度、语音相似度、自然度和可分享性上大幅超过内部旧系统。全双工对话合成在短对话上接近真人录音水平，长对话的人性化和表现力显著优于旧模型，且原生支持话轮切换、反馈词和情绪动态。
深读
导读 语音合成领域长期依赖文本与语音的强制对齐，这限制了模型对自然对话中停顿、抢话和情绪变化的建模能力。这篇论文提出的 Text-AB 完全绕过了对齐步骤，用 3B 参数的 Diffusion Transformer 在压缩 10 倍以上的潜空间里直接学习文本与语音的映射，在配音和全双工对话两个任务上都大幅超越了内部旧系统。读完能了解一种不依赖对齐的语音合成新范式，以及它在真实场景中的量化表现。 关键信息 - Text-AB 使用 DAC-VAE 将 48 kHz 波形压缩为 25 Hz 的潜序列，压缩率是此前 EnCodec 表示的 10 倍以上，同时提升了重合成质量。 - 模型参数量为 3B，在 48 万小时单语语音上预训练，再针对三个下游任务微调：跨语言配音、全双工对话合成、情感全双工对话合成。 - 推理时支持单次生成约 1 分钟语音，并通过多扩散方案支持任意长度的长文本生成，还引入多阶段重排序策略提升质量。 - 在真实配音基准上，Text-AB 在韵律相似度、语音相似度、自然度和可分享性上大幅超过内部旧系统。 - 全双工对话合成在短对话上接近真人录音水平，长对话的人性化和表现力显著优于旧模型，且原生支持话轮切换、反馈词和情绪动态。 逐节讲解 从强制对齐到无对齐 传统语音合成系统（如 Audiobox）需要文本与语音的强制对齐，即显式预测每个音素或字对应的时长。Text-AB 完全抛弃了这一步骤：它使用现成的文本编码器提取文本特征，然后通过 Diffusion Transformer 的交叉注意力机制让模型自己学会文本与语音的对齐。这使得模型能够自然地处理语流中的停顿、抢话和情绪变化，而不受固定时长预测的限制。 高压缩潜空间与大规模预训练 Text-AB 运行在 DAC-VAE 构建的潜扩散框架中。DAC-VAE 将 48 kHz 的原始波形编码为 25 Hz 的潜序列，压缩率是此前 EnCodec 表示的 10 倍以上，同时重合成质量反而更好。模型规模为 3B 参数，先在 48 万小时单语语音上预训练，再针对三个下游任务进行监督微调：跨语言配音、全双工对话合成、情感全双工对话合成。 推理策略与性能表现 推理时，Text-AB 支持单次生成约 1 分钟语音，并通过多扩散方案支持任意长度的长文本生成。此外，它引入多阶段重排序策略，基于自动评估指标对候选结果进行排序以提升质量。在真实配音基准上，Text-AB 在韵律相似度、语音相似度、自然度和可分享性上大幅超过内部旧系统。在全双工对话合成中，短对话接近真人录音水平，长对话的人性化和表现力显著优于旧模型，且原生支持话轮切换、反馈词和情绪动态。在情感对话合成中，加入情绪条件后，情绪对齐和情绪交互质量显著优于无条件的基线模型。 值得注意 原文为论文摘要，只给出了模型架构的概要描述和性能结论，没有提供具体的评测指…