Falcon-Emirati：当 LLM 学会方言
来自 Hugging Face · 期号 2026-10-06
摘要
阿联酋日常交流用的是海湾方言 Emirati Arabic，词汇、节奏和文化背景都与现代标准阿拉伯语（MSA）不同，字面翻译会丢失含义。 TII 在 Falcon-H1-Arabic 的 7B 变体上构建了 Falcon-Emirati-7B，专门适配这一方言。团队从三个来源构建数据：真实的 Emirati 网络文本、关于阿联酋文化的 MSA 材料、以及受词汇表和风格规则约束的合成数据。训练策略本身也经过实验摸索，因为方言适配没有现成配方。 在方言基准 Alyah 上，Falcon-Emirati-7B 得分 84.83%，超过所有对比模型。更关键的差距在开放生成测试中：其他模型即使知道正确答案，也默认用 MSA 回答，而 Falcon-Emirati-7B 是唯一可靠地以 Emirati 方言回应的模型。
深读
导读 阿联酋的日常交流使用海湾方言 Emirati Arabic，其词汇、节奏和文化背景与现代标准阿拉伯语（MSA）截然不同，字面翻译会丢失含义。TII 发布的 Falcon-Emirati-7B 专门针对这一方言进行适配，在方言基准 Alyah 上以 84.83% 的准确率领先所有对比模型，更重要的是，它是唯一能可靠地以 Emirati 方言而非 MSA 回应用户的模型。读完本文能了解方言适配的难点、数据构建策略，以及为什么模型规模本身并不能保证方言能力。 关键信息 - Falcon-Emirati-7B 基于 TII 的 Falcon-H1-Arabic 模型的 7B 变体构建，该基座模型采用混合架构（每层并行运行 State Space Models (Mamba) 和 Transformer attention），上下文窗口最高支持 256K tokens。 - 在方言基准 Alyah（1,173 道多选题）上，Falcon-Emirati-7B 得分 84.83%，超过所有对比模型，包括多个参数量远大于它的模型。 - 在开放生成测试中，Falcon-Emirati-7B 的方言忠实度（dialect fidelity）得分 0.52（部分评分），而对比模型 ALLaM-7B 为 0.05、gemma-3-27b-it 为 0.03、Jais-2-8B-Chat 为 0.02、Fanar-2-27B-Instruct 接近 0.00，差距接近两个数量级。 - 在阿联酋文化理解基准 ArabCulture-Dialogue 的 283 个 UAE 场景上，Falcon-Emirati-7B 得分 85.57%，高于 ALLaM-7B（83.39%）、Jais-2-8B（73.79%）和 Fanar-2-27B（71.50%）。 - 团队从三个来源构建数据：真实的 Emirati 网络文本、关于阿联酋文化的 MSA 材料、以及受词汇表和风格规则约束的合成数据。 逐节讲解 方言适配的挑战 文章指出，将通用阿拉伯语模型转化为 Emirati 方言专家并非易事。主要难点有三：Emirati 主要是口语方言，在线书面语料远少于 MSA 或其他海湾方言；大量含义是非字面的，习语、谚语和诗歌引用依赖共享的文化背景；没有现成的适配方案，包括需要多少方言数据、如何与 MSA 混合、哪个训练阶段最关键，都没有经过充分验证的配方。 数据构建策略 团队在 Falcon-H1-Arabic 预训练基础上建立了专门的 Emirati 数据管道，包含三个互补来源。一是真实的 Emirati 方言网络文本，从本地网站和论坛爬取，提供地道的日常表达。二是关于阿联酋文化和身份的 MSA 材料，包括当地习俗、价值观、历史和社会规范，这教会模型在涉及阿联酋话题时应该谈论什么。三是受词汇表和风…