无头模型与多思维
来自 arXiv · 期号 2026-09-01
摘要
大语言模型每步解码都要把隐状态投影到巨大的词表头上，计算开销大，而且迫使所有推理都表达为离散 token。 Soft Latent Thinking 用轻量投影器替换推理时的 LM head，让自回归在嵌入空间里进行，推理步骤保持连续而非 token 化。 在 DeepSeek-Qwen-1.5B 和 LLaMA-3.2-3B 上的实验显示，该方法在所有 k 值上一致提升 pass@k，同时减少思维链中每步的计算量。pass@32 在所有软思考方法中最高，证明有效推理可以在连续空间里完成，无需生成离散 token。