Telescopic Language Models
来自 arXiv · 期号 2026-09-29
摘要
部署一个语言模型往往要服务多种计算预算，但每种预算都需要单独训练或压缩一次。 Telescopic Language Model（TLM）把这件事做成一个连续体：一个嵌套容量的 Transformer，用随机前缀监督加一次完整锚点来训练。每一步随机截取容量轴上的一个前缀，与完整的下一个 token 目标一起训练，同时保留一次全容量前向。结果是：每个深度都是一个有效的语言模型。 相比固定出口方案（如 Matryoshka Language Model Suites），TLM 在非出口深度上的困惑度从 10²–10⁵ 降到正常水平。在 200M 代理套件上，单次 TLM 训练在全部 20 层前缀上都有效，质量-预算曲线下的面积比固定出口方案低 43–44%，全容量表现持平，每次训练 GPU 成本还低约 12%。 前缀采样密度是一个旋钮：集中到少数深度就恢复固定出口的质量，代价是失去连续体。这说明让模型有弹性的不是嵌套架构，而是训练目标。 论文附了开源代码。
深读
导读 这篇论文提出了一种新的训练方法，让一个语言模型在推理时能按任意计算预算工作，无需为每种预算单独训练或压缩。核心发现是：模型能否“弹性伸缩”的关键在于训练目标，而非模型架构本身。读完能理解一种比固定出口方案更灵活、更省成本的语言模型训练思路。 关键信息 - 训练一个 Telescopic Language Model (TLM) 只需两步前向-反向传播，无需修改 Transformer 架构，推理时也无额外开销。 - 在 200M 参数的代理套件（20B FineWeb-Edu tokens）上，单次 TLM 训练在所有 20 层前缀上都是有效的语言模型。 - 相比固定出口方案（如 Matryoshka Language Model Suites, MLMS），TLM 在质量-预算曲线下的面积降低了 43–44%，全容量表现持平，每次训练 GPU 成本还低约 12%。 - 固定出口方案在非出口深度上的困惑度高达 10²–10⁵，而 TLM 在所有深度上均保持正常水平。 逐节讲解 问题：一个模型服务多种预算，成本高昂 部署一个语言模型时，用户可能有不同的计算预算（例如，有的场景需要快速响应，有的可以接受更长的推理时间）。传统做法是为每种预算单独训练或压缩一个模型，成本很高。论文希望训练一个“连续体”式的模型，一个模型就能覆盖所有预算。 方法：随机前缀监督 + 一次完整锚点 TLM 的核心是一个嵌套容量的 Transformer。训练时，每一步随机截取模型容量轴上的一个前缀（例如，只使用前 10 层），用这个前缀去预测完整的下一个 token。同时，保留一次完整的全容量前向传播作为“锚点”。这样，每一步执行两次前向-反向传播，但模型架构和推理方式无需任何改动。训练完成后，模型在任意深度（层数）上都是一个有效的语言模型。 实验与结果：质量-预算曲线更优，成本更低 论文在 200M 参数的代理套件上（使用 20B FineWeb-Edu tokens，所有方法数据流相同）进行对比。结果显示，单次 TLM 训练在所有 20 层前缀上均有效，在困惑度和对困惑度敏感的下游任务上表现良好。相比固定出口方案（如 MLMS），TLM 在质量-预算曲线下的面积降低了 43–44%，全容量表现持平，且每次训练 GPU 成本还低约 12%。论文还指出，前缀采样密度是一个可调节的旋钮：如果集中采样少数几个深度，就能恢复固定出口方案在那几个深度上的质量，代价是失去连续体特性。 值得注意 - 论文基于摘要，具体训练细节（如随机前缀的采样策略、锚点权重的设置）和更广泛规模（如更大模型、更多 token）上的验证结果未在摘要中展开。 - 实验仅在 200M 参数的代理套件上进行，结论在更大模型上的泛化性有待验证。