Mizar：1.59 亿参数的音频语言模型
来自 arXiv · 期号 2026-09-24
摘要
音频语言模型（ALM）把声音感知和语言模型的知识结合起来，让设备能理解听到的事件。但这类模型通常很大，跑在手机或边缘设备上很吃力。 这篇论文提出了一套方法，用 1.59 亿参数做出了 Mizar。它的架构是把一个紧凑的音频编码器 CED-Small 通过一个频率合并映射器接到 SmolLM2-135M 语言模型上。训练分三步：先做音频和语言的对齐，再做音频相关的微调，最后用后训练来补短板、巩固已有能力。 在 MMAU、MMAR 和 ADQA-clean 三个评测上，Mizar 分别达到 52.92%、42.42% 和 36.02% 的平均准确率，都超过了此前 2 亿参数以下最好的 ALM。而且它能在单 CPU 上跑，处理一条 MMAU 问题从打开音频到生成答案平均只要 1.09 秒。 代码和模型权重已开源。
深读
导读 音频语言模型（ALM）通常参数量大，难以部署在手机等边缘设备上。这篇论文提出了一套完整的构建方案，用1.59亿参数做出了性能超越此前所有2亿参数以下ALM的模型Mizar，且能在单CPU上以平均1.09秒的延迟完成推理。对于关注端侧AI和音频理解的研究者，这是一份可复现的轻量化路线图。 关键信息 - Mizar总参数量159.3M，架构由CED-Small音频编码器、频率合并映射器（frequency-merging mapper）和SmolLM2-135M语言模型组成。 - 训练分三个阶段：音频-语言对齐（Stage 1）、音频相关微调（Stage 2）、后训练（Stage 3），监督数据来自ReasonAQA、AudioMCQ和AVQA三个数据集。 - 在MMAU、MMAR和ADQA-clean三个评测上，Mizar平均准确率分别为52.92%、42.42%和36.02%，均超过此前2亿参数以下最优ALM。 - 单CPU本地推理时，处理MMAU问题从打开音频到生成完整答案的平均延迟为1.09秒。 - 代码和模型权重已在GitHub开源。 逐节讲解 动机与目标 现有ALM通常参数量大，难以在内存和算力受限的设备上实用。论文将目标锁定在参数量低于2亿的小型ALM，希望在不依赖云端GPU的情况下实现本地音频理解。 架构设计 Mizar的架构包含三个组件：一个紧凑的音频编码器CED-Small，一个频率合并映射器（负责将音频特征映射到语言模型可理解的表示），以及一个轻量语言模型SmolLM2-135M。映射器是连接感知与语言的关键桥梁。 三阶段训练 训练数据来自ReasonAQA、AudioMCQ和AVQA三个数据集。第一阶段做音频与语言的对齐，让模型学会将声音信号与文本概念对应起来；第二阶段针对具体音频理解任务做微调；第三阶段是后训练，目标是补强模型在之前阶段表现弱的技能，同时不遗忘已学会的能力。 评测结果与部署能力 在MMAU、MMAR和ADQA-clean三个基准上，Mizar均超越了此前2亿参数以下最优的ALM。更重要的是，它能在单CPU上完成本地推理，处理一条MMAU问题的平均延迟仅1.09秒，这为手机、IoT设备等场景提供了可行的方案。 值得注意 本文是论文摘要，只给出了架构和结果的概要，没有展开CED-Small编码器的具体结构、频率合并映射器的设计细节、三阶段训练的超参数设置，以及各评测基准的具体任务类型。这些细节需要阅读全文才能获得。