抓说谎者容易，为诚实者洗清嫌疑难
来自 arXiv · 期号 2026-09-15
摘要
一个从奖励中学习的 agent 必须信任报告奖励的机制。当报告突然变化时，agent 无法区分是世界变了还是报告者坏了——强化学习理论表明，仅凭后续经验无法区分两者。 论文设计了一个二选一游戏：一次收益切换和一个说谎的报告者会产生字节完全一致的历史记录。然后加入一条验证记录：独立核实的一轮真实结果，与报告者对该轮的陈述并列。这一行就足以定案。 三个大模型（两个系列）被要求回答一个字母：报告者诚实还是说谎？它们几乎完美地抓住了说谎者（70B 级模型在所有条件下都成立，32B 模型在一种措辞下失误）。但为诚实者洗清嫌疑则差得多，且结果取决于不应相关的因素。平均来看，一个 72B 模型在一切未变时称诚实者为说谎者的概率是 38%，在收益变动时是 58%；另一个系列的 70B 模型分别是 26% 和 48%。 失败不在于阅读理解——在一切未变且答案已印在提示中的情况下，同一模型得分 0.96 到 1.00。驱动因素因模型系列而异：对 Qwen 是验证记录指向哪一轮，对 Llama 是哪个字母代表“诚实”。把验证记录加入已包含答案的提示中，反而让 Llama 更不可能给出那个答案。 论文揭示了语言模型在诊断奖励通道腐败时的一个不对称缺陷：抓说谎者容易，但为诚实者洗清嫌疑却出奇地难。