TII 发布阿拉伯语语音识别模型 Falcon-ASR
来自 Hugging Face · 期号 2026-10-07
摘要
TII 发布 Falcon-ASR，一个 1.6B 参数的阿拉伯语语音识别模型，重点优化了阿联酋方言。 在六个阿拉伯语测试集上，它的平均词错误率为 20.92%，比该榜单上最好的公开结果低 2.25 个百分点。在内部阿联酋方言评测中，词错误率为 22.73%，比第二名 Qwen3-Omni 低 4.07 个百分点。 模型还支持英语、法语、西班牙语和葡萄牙语，五种语言共用同一套权重，无需指定语言。输出的是对应语言的转录文本。 Falcon-ASR 基于 Falcon3-Audio 架构，训练时加入了背景噪声、重叠语音、混响等不同录音条件的数据。
深读
导读 TII 发布了专为阿拉伯语（尤其是阿联酋方言）优化的语音识别模型 Falcon-ASR。它在六个公开阿拉伯语测试集上取得了平均词错误率 20.92% 的成绩，比该榜单上最好的公开结果低 2.25 个百分点。读完本文，你将了解这个 1.6B 参数模型在方言识别、多语言支持和噪声鲁棒性上的具体表现。 关键信息 - 参数规模与语言支持：Falcon-ASR 拥有 1.6B 参数，支持阿拉伯语（含阿联酋方言）、英语、法语、西班牙语和葡萄牙语，五种语言共用同一套权重，无需指定语言。 - 阿拉伯语基准测试成绩：在 Open Universal Arabic ASR Leaderboard 的六个测试集上，平均词错误率（WER）为 20.92%，比该榜单 2026 年 9 月 30 日快照中最好的公开结果（23.17%）低 2.25 个百分点。 - 阿联酋方言评测：在 TII 内部阿联酋方言评测中，WER 为 22.73%，字符错误率（CER）为 10.19%，比第二名 Qwen3-Omni 的 WER 低 4.07 个百分点。 - 英语基准测试成绩：在 Hugging Face Open ASR Leaderboard 的七个公开英语测试集上，平均 WER 为 5.74%。 - 训练数据增强：训练数据中加入了背景噪声、重叠语音、音乐、混响、电话音效以及语速和音调变化，并同样应用于阿联酋方言录音。 - 输出特性：支持词级时间戳，将每个转录词与音频中的位置关联。 逐节讲解 模型定位与语言覆盖 Falcon-ASR 由阿布扎比技术创新研究所（TII）开发，核心目标是解决阿拉伯语语音识别中的方言多样性问题。文章指出，阿拉伯语因地区、说话人和录音环境差异巨大，且方言阿拉伯语的标注资源远少于现代标准阿拉伯语（MSA）。模型训练数据覆盖了阿联酋方言、MSA、其他海湾及阿拉伯方言，以及英语，旨在转录日常口语中的方言形式和语码转换。 阿拉伯语基准测试 模型在由 ELM 研究中心维护的 Open Universal Arabic ASR Leaderboard 上进行了评估。该榜单以六个测试集的等权平均 WER 排名。Falcon-ASR 使用榜单固定的 manifest 文件进行评估，其平均 WER 为 20.92%，对比的竞争对手数据来自 2026 年 9 月 30 日的榜单快照，其中最佳公开结果为 23.17%。 阿联酋方言专项评测 除了公开数据集 Casablanca 中已有的阿联酋子集，TII 还使用额外的内部阿联酋和海湾方言录音（含人工验证的转录文本）进行了评测。在此内部评测中，Falcon-ASR 的 WER 为 22.73%，CER 为 10.19%，均低于对比系统，其中 WER 比 Qwen3-Omni 低 4.07 个百分点。 训练条件与多语言能力 训练数据通过添…