AuK 技术报告：开源语音生成与编辑基础模型
来自 arXiv · 期号 2026-09-08
摘要
语音生成与编辑通常由不同的模型分别处理，用户需要切换工具。 AuK 是一个开源基础模型，将语音生成和编辑统一到同一个接口下：用户用自然语言指令描述需求，模型根据指令和音频上下文执行。训练数据包含约 30.3 亿条指令-音频对和 195 万小时有效监督，覆盖语音生成、内容编辑、增强与分离、副语言编辑、声学编辑五类任务。 模型架构结合了多模态大语言模型（语义条件）、联合训练的 VAE（声学条件）以及混合整流流 Transformer（双流 MMDiT 块 + 单流 DiT 块）。训练分两阶段：先生成预热，再联合生成-编辑预训练，之后用人类反馈偏好优化（开放编辑）和基于奖励的强化学习（语音生成）进行后训练。 为降低推理成本，AuK-Flash 通过一致性初始化和任务路由解耦 DMD 蒸馏，只需 4 步推理，无需无分类器引导，在同等条件下比完整模型快 4.5 倍。实验在零样本和指令控制的语音生成、通用指令引导编辑上达到领先水平，在信号级恢复任务上也具有竞争力。 论文附带了开源代码和模型权重。
深读
导读 语音生成与编辑长期以来由不同模型分别处理，用户需要在多个工具间切换。AuK 是一个统一处理这两类任务的开源基础模型，用户只需通过自然语言指令和音频上下文描述需求，模型即可执行。论文公开了模型架构、训练数据规模与后训练策略，并提供了源码和权重，适合关注语音基础模型统一化方向的研究者和工程师。 关键信息 - 训练数据包含约 30.3 亿条指令-音频对和 195 万小时有效监督数据，覆盖语音生成、内容编辑、增强与分离、副语言编辑、声学编辑五类任务。 - 模型架构结合了多模态大语言模型（语义条件）、联合训练的 VAE（声学条件）以及混合整流流 Transformer（双流 MMDiT 块 + 单流 DiT 块）。 - 训练分两阶段：先生成预热，再联合生成-编辑预训练；后训练阶段分别采用人类反馈偏好优化（开放编辑）和基于奖励的强化学习（语音生成）。 - 蒸馏版本 AuK-Flash 通过一致性初始化和任务路由解耦 DMD 实现 4 步推理，无需无分类器引导，在同等条件下比完整模型快 4.5 倍。 - 实验在零样本和指令控制的语音生成、通用指令引导编辑上达到领先水平，在信号级恢复任务上也具有竞争力。 逐节讲解 统一语音生成与编辑的动机与数据构建 现有语音生成和编辑任务通常由专用模型分别处理，用户需要根据任务切换工具。AuK 的目标是将这两类任务统一到同一个接口下：用户用自然语言指令描述需求，模型根据指令和音频上下文执行。为此，论文构建了约 30.3 亿条指令-音频对和 195 万小时有效监督数据，覆盖语音生成、内容编辑、增强与分离、副语言编辑、声学编辑五类任务。 模型架构 AuK 的架构由三个核心组件构成。多模态大语言模型负责语义条件建模，理解自然语言指令；一个在语音、通用音频和音乐上联合训练的 VAE 负责声学条件建模；生成部分采用混合整流流 Transformer，先经过双流 MMDiT 块处理，再进入统一的单流 DiT 块进行生成。 训练与后训练策略 训练分为两个阶段：先生成预热，再进行联合生成-编辑预训练。后训练阶段采用互补策略，对开放编辑任务使用人类反馈偏好优化，对语音生成任务使用基于奖励的强化学习。为降低推理成本，论文进一步通过一致性初始化和任务路由解耦 DMD 对模型进行蒸馏，得到 AuK-Flash。该版本只需 4 步推理，无需无分类器引导，在同等条件下比完整模型快 4.5 倍。 实验表现 实验表明，AuK 在零样本和指令控制的语音生成、通用指令引导编辑上达到领先水平，在信号级恢复任务上也具有竞争力。论文同时开源了源代码和模型权重，以支持可复现性和后续研究。 值得注意 由于原文为技术报告摘要，未提供具体的 benchmark 名称、对比基线、消融实验细节以及 AuK-Flash 与完整模型在具体任务上的性能差距。这些信息需要阅读完整论文才能获得。