智谱 AI 发布工业级语音合成系统 GLM-TTS
来自 Z.ai Research · 期号 2025-12-11
摘要
语音合成系统通常需要海量数据和复杂的训练流程，才能达到可用的发音准确度和情感表现。 智谱 AI 发布的 GLM-TTS 只用 10 万小时数据，就在多个开源测试集上做到了开源 SOTA。它的核心是两阶段生成：先用自回归模型把文本转成语义 token，再用扩散模型把 token 转成波形。 技术上的几个关键创新：在 speech tokenizer 里引入基频约束并提升 token 速率（从 12.5Hz 到 25Hz），改善了发音准确性和副语言自然度；用 GRPO 强化学习框架融合了 CER、音色相似度、情感和笑声四个维度的奖励，解决了多奖励分布差异大的问题；LoRA 微调只需 15% 的参数和约 100 个 epoch，就能达到全参数微调的效果。 在 seed-tts-eval 中文测试集上，GLM-TTS 的 CER 为 1.03%，经强化学习后进一步降至 0.89%，低于 CosyVoice2（1.38%）和 IndexTTS2（1.03%）。在情感表达上，它的精品音色模型在 Happy、Sad、Angry 三类情感上均取得测试集最佳表现，而市面商用模型在 Sad 和 Angry 上几乎无有效输出。 模型权重已在 Hugging Face 和 ModelScope 开源，用户也可在 Z.ai 或智谱清言上在线体验。
深读
导读 智谱 AI 发布的 GLM-TTS 是一个工业级语音合成系统，只用 10 万小时数据就在多个开源测试集上实现了开源 SOTA。它的核心是两阶段生成架构，并在 speech tokenizer、多奖励强化学习、LoRA 微调等环节做了多项技术创新。读完可以了解当前开源 TTS 在发音准确度、情感表达和音色克隆方面能达到什么水平。 关键信息 - 在 seed-tts-eval 中文测试集上，GLM-TTS 的 CER（字符错误率）为 1.03%，经强化学习后降至 0.89%，低于 CosyVoice2（1.38%）、IndexTTS2（1.03%）、VoxCPM（0.93%）等主流开源模型。 - 强化学习阶段融合了 CER、音色相似度（Sim）、情感（Emotion）和笑声（Laughter）四个维度的奖励，采用 GRPO 算法框架。 - LoRA 微调只需微调核心骨干网络中约 15% 的参数，配合约 100 个 epoch 的训练，即可达到与全参数微调相当的效果。 - Speech tokenizer 的 token 速率从 12.5Hz 提升至 25Hz，词表规模从 16k 扩大到 32k，并新增了音调估计模块（Pitch Estimator）。 - 在 CV3-eval-emotion 测试集上，GLM-TTS 精品音色_RL 在 Happy（0.72）、Sad（0.52）、Angry（0.28）三类情感维度均取得测试集最佳表现，平均情感得分 0.51；而阿里 Qwen3-TTS、百度超拟人 TTS、豆包 TTS-2.0 等商用模型在 Sad、Angry 维度得分多为 0。 逐节讲解 系统架构与两阶段生成 GLM-TTS 采用两阶段生成范式。第一阶段是语义建模（Text-to-token），基于自回归模型将输入文本和 prompt 音频 token 转换为 Whisper-VQ 语义 token 序列，保证内容的准确性和连贯性。第二阶段是声学建模与波形重建（Token-to-wav），语义 token 和音色 prompt 进入 Conditional Flow-matching 模型预测梅尔频谱图，再通过自研的 2D-Vocos 声码器转换为高保真语音波形。 Speech Tokenizer 优化 GLM-TTS 基于 GLM-4-Voice 的 Whisper-VQ speech tokenizer 做了四项关键改进：将 token 生成速率从 12.5Hz 提升到 25Hz，词表从 16k 扩大到 32k，改善了高速语速下的发音卡顿和副语言（笑声、呼吸）的自然度；新增 Pitch Estimator 模块，提升了音调建模精度和克隆 TTS 对参考音频的韵律遵从度；取消了原有的 causal 限制，将因果卷积替换为标准卷积，提高了 ASR 和 P…