下一个 token 预测”是错误的心智模型

摘要

把 LLM 当成「下一个 token 预测器」是一种有害的心智模型。这种看法让人以为模型只是在做简单的模式匹配，忽略了它在训练中形成的世界模型和推理能力。有评论指出，真正的问题不是「下一个 token 预测」这个训练目标本身，而是人们用它来否定模型具备任何抽象理解。