MiniMax Music 3.0：开源权重
来自 MiniMax Blog · 期号 2026-08-13
摘要
MiniMax 发布 Music 3.0，一个开源权重的音乐生成模型。给它一段创意描述和可选歌词，它就能一次性完成作曲、编曲、演奏和混音，输出一首完整的歌曲。 模型最长能生成五分钟，难点在于保持创作者意图不跑偏：指定的乐器不会在中途消失，情绪基调能贯穿全曲，人声听起来像真人在唱而不是合成音。 为此 MiniMax 重新设计了整个生成管线。八层 RVQ 把音乐信息分层编码——第一层记结构和语义，后面七层记声学细节。8B 的 Global LLM 负责全局结构和语义帧预测，0.6B 的 Local LLM 负责帧内的声学细节。两层的隐状态融合后送入流匹配模块，最后由 Flow-VAE 解码成音频。 为了让不懂乐理的人也能精确控制，模型附带了一个 Prompt Enhancement System：用户写一句大白话，系统从模板库里挑出对应的专业术语和编曲原则，扩写成结构化的音乐描述。
深读
导读 MiniMax 发布了 Music 3.0，一个开源权重的音乐生成模型。它最大的突破在于能一次性完成从作曲到混音的完整歌曲生成，最长可达五分钟，并且能保持创作者的意图在全曲中不跑偏。读完本文可以了解其核心的全局-局部混合语言模型架构、多层残差向量量化设计，以及如何通过结构化描述和提示增强系统让非专业人士也能精确控制音乐创作。 关键信息 - Music 3.0 使用八层残差向量量化（RVQ）对音乐信息进行分层编码：第一层用 16,384 个码本的条目捕捉核心语义和结构，第 2 到 8 层各用 1,024 个码本逐步编码声学残差。 - 模型采用全局-局部混合语言模型（Hybrid-LM）：8B 参数的 Global LLM 从 Qwen3.5-8B 初始化，负责逐帧预测语义 token 并建模全局上下文；0.6B 参数的 Local LLM 负责沿深度轴预测帧内的声学 token。 - 最终音频渲染不经过离散 token 解码路径，而是融合 Global LLM 和 Local LLM 的连续隐状态，输入 2.4B 参数的流匹配模块，再由 123M 参数的 Flow-VAE（继承自 MiniMax Speech 架构）解码为波形。 - 模型支持通过歌词中的节标签（如 [intro]、[verse]、[chorus]、[bridge]、[outro]）定义歌曲宏观结构，配合结构化描述（Structured Captions）指定每个阶段的情绪发展、配器变化、人声风格和空间效果。 - 附带一个基于模板的提示增强系统（Prompt Enhancement System），能从模板库中选取专业术语和编曲原则，将用户的大白话描述扩写成结构化的音乐指令。 逐节讲解 技术架构总览 Music 3.0 由三个核心组件组成：分词器（tokenizer）、混合语言模型（Hybrid-LM）和合成栈（synthesis stack）。分词器负责将音乐信息表示为离散 token，混合语言模型建模长程结构和局部细节，合成栈将预测结果重建为高保真音频。 多层 RVQ：分离核心结构与声学细节 八层残差向量量化（RVQ）是音乐表示的基础。第一层使用 16,384 个码本条目，专门捕捉音乐的核心语义和结构信息；第 2 到 8 层各使用 1,024 个码本，逐步编码声学残差。训练分两阶段：先单独训练第一层，使其尽可能全面地捕捉核心信息；然后联合训练全部八层。这种分层设计避免了将结构和保真度信息都压在一个 token 层上，为长序列预测提供了更稳定的离散表示。 混合语言模型：全局结构与局部声学的联合建模 8B 参数的 Global LLM 从 Qwen3.5-8B 初始化，逐帧预测语义 token 并维护全曲上下文。0.6B 参数的 Local LLM 沿深度轴预测帧内的声学 token。训练…