Voxtral TTS：前沿开源文本转语音模型
来自 Mistral AI · 期号 2026-03-24
摘要
Mistral 发布了 Voxtral TTS，一个开源权重的文本转语音模型。 它专为语音 agent 设计，特点是速度快、能即时适配不同说话者，并且生成的声音非常逼真。 模型权重已开源。
深读
导读 Mistral AI 发布了 Voxtral TTS，一个 4B 参数的开源文本转语音模型，专为语音 agent 和企业级语音工作流设计。它在 9 种语言上实现了逼真、富有情感表现力的语音生成，支持极低延迟和零样本语音适配。读完本文，你将了解 Voxtral 的技术架构、性能对比、定价策略，以及它在客服、金融、制造等场景中的具体应用。 关键信息 - 模型参数量为 4B，其中包含 3.4B 参数的 transformer 解码器主干、390M 参数的 flow-matching 声学 transformer，以及 300M 参数的神经音频编解码器。 - 支持 9 种语言：英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语。 - 在零样本自定义语音对比测试中，Voxtral TTS 以 68.4% 的听众偏好率击败 ElevenLabs Flash v2.5（31.6%）。 - 模型延迟为 70ms（针对 10 秒语音样本和 500 字符文本输入），实时因子（RTF）约为 9.7x。 - API 定价为每 1k 字符 $0.016。 - 模型权重以 CC BY NC 4.0 许可证在 Hugging Face 上开源。 逐节讲解 模型定位与核心能力 Voxtral TTS 是 Mistral AI 的首个文本转语音模型，强调在 9 种语言中生成逼真、富有情感表现力的语音。其核心能力包括上下文理解（区分中性、开心、讽刺等语气）和说话者建模（捕捉自然停顿、节奏、语调等个性特征）。语音适配仅需 3 秒的参考音频即可完成，并能保留细微口音、语调甚至不流畅的表达。 性能评估与对比 文章指出，自动指标（如词错误率和音频质量分数）无法衡量语音的自然度，因此依赖母语者进行人工评估。在零样本自定义语音场景中，使用 9 种语言各两种可识别声音，3 名标注者进行成对偏好测试，评估自然度、口音一致性和声学相似性。结果显示，Voxtral TTS 在自然度上优于 ElevenLabs Flash v2.5，同时保持相近的首帧音频时间（TTFA），并与 ElevenLabs v3 在情感引导方面表现相当。 技术架构 模型由三个组件构成：一个 3.4B 参数的 transformer 解码器主干、一个 390M 参数的 flow-matching 声学 transformer，以及一个 300M 参数的神经音频编解码器。输入为 5 到 25 秒的语音提示和文本提示。对于每个音频帧，主干预测语义 token，然后 flow-matching transformer 执行 16 次函数评估（NFE）生成声学潜在表示。自研编解码器采用因果处理方式，使用语义 VQ（词汇量 8192）和声学 FSQ（36 维、21 级），以 12.5Hz 帧率输出。 企业级应用场景 文章列…