目标 vs. 搜索：拆解什么造就了好分词器
来自 arXiv · 期号 2026-09-17
摘要
现代语言模型用的两种分词算法——BPE 和 UnigramLM——在优化目标（压缩 vs. 对数似然）和搜索过程（自底向上合并 vs. 自顶向下剪枝）上都有区别。 现有比较把这两条轴混在一起，分不清差异来自「优化什么」还是「怎么优化」。这篇论文补上了 2x2 设计空间里缺失的两个格子：BottomUpLL（自底向上 + 似然）和 TopDownComp（自顶向下 + 压缩）。 用每种算法训练语言模型，改变模型大小、词表大小和语种（纯英文 vs. 多语言），在 bits-per-byte 上发现：搜索过程才是主导因素——自底向上的分词器在大多数设置下都更低。但在 BLiMP 任务上，设计选择与性能之间没有一致关系。 结果把分词器设计选择的影响拆开了，为更合理的构造提供了依据。
深读
导读 这篇论文拆解了现代语言模型分词器设计中的两个混淆因素：优化目标（压缩 vs. 对数似然）和搜索过程（自底向上合并 vs. 自顶向下剪枝）。通过补全 2x2 设计空间中的缺失算法，作者发现搜索过程才是影响语言建模性能的主导因素，而优化目标的影响相对次要。读完能清楚知道分词器设计的哪个环节真正值得投入精力。 关键信息 - 论文补全了 2x2 设计空间中的两个缺失算法：BottomUpLL（自底向上 + 对数似然）和 TopDownComp（自顶向下 + 压缩）。 - 在 bits-per-byte 指标上，自底向上的分词器在大多数设置下表现更好，说明搜索过程是主导因素。 - 在 BLiMP 任务上，分词器的设计选择与模型性能之间没有一致关系。 - 实验覆盖了不同模型大小、词表大小和语种（纯英文 vs. 多语言）。 逐节讲解 问题：现有比较混淆了优化目标与搜索过程 现代语言模型主要使用两种分词算法：BPE（字节对编码）和 UnigramLM。两者在两条正交轴上存在差异：优化目标（BPE 追求压缩，UnigramLM 追求对数似然）和搜索过程（BPE 自底向上合并，UnigramLM 自顶向下剪枝）。现有研究在比较这两种算法时，无法区分观察到的差异究竟来自「优化什么」还是「怎么优化」。 方法：补全 2x2 设计空间 作者引入了两种新算法来填满 2x2 设计空间中的空白格子：BottomUpLL 采用自底向上的搜索过程，但优化目标是对数似然；TopDownComp 采用自顶向下的搜索过程，但优化目标是压缩。这样就能独立考察每个轴的影响。实验用每种算法生成的分词器训练语言模型，并改变模型大小、词表大小和语种。 结果：搜索过程主导，优化目标次要 在 bits-per-byte 指标上，自底向上的分词器（BPE 和 BottomUpLL）在大多数设置下一致优于自顶向下的分词器（UnigramLM 和 TopDownComp），说明搜索过程是更关键的因素。然而在 BLiMP 任务上，分词器的设计选择与模型性能之间没有一致关系，表明分词器设计的影响可能因任务而异。 值得注意 原文信息有限，以下基于论文摘要。论文的具体实验设置（如模型大小范围、词表大小取值、多语言的具体语种）和 BLiMP 任务上的详细结果在摘要中未展开。结论中「搜索过程主导」的适用范围可能受限于 bits-per-byte 这一特定指标。