评估与改进 LLM 的自我建模能力
来自 arXiv · 期号 2026-08-31
摘要
大语言模型能否回答关于自身行为的问题？本文研究的是这种「自我建模」能力。 作者构建了一个评测基准，测试模型对多种自我建模问题的回答能力，例如「修改提示词会不会改变最终答案」这类反事实问题。当前模型在这类简单问题上存在系统性错误。 为了提升这一能力，作者设计了一套可扩展的合成数据流水线，并用强化学习在三个开源模型家族上训练。训练后模型在自我建模任务上整体提升，且部分泛化到未训练过的任务上。但作者指出，这种提升并不等同于模型获得了内省能力——改进后的自我建模未必来自对自身决策过程的特权访问。 论文附有开源代码。