谁在迎合谁？自信的 LLM、人类的顺从与信任校准的崩溃
来自 arXiv · 期号 2026-10-23
摘要
研究通常关注 AI 是否迎合人类。这篇论文反过来问：当 AI 自信、一致但错误时，人类是否会向它靠拢？ 实验让 32 名参与者与五个基于同一模型（GPT-5-mini）的助手聊天学习科学知识。每个助手的 briefing 中，有 0%、25%、50%、75% 或 100% 的事实被替换为看似合理的虚假信息，且所有助手都以完全自信的语气说话。 结果：在 104 次测验、1040 个答案中，得分从 10 分中的 7.4 分降至 2.9 分。虚假选项在错误信息项上被选中的概率为 60%，而正确信息项仅为 11%（比值比 12.5）。每当助手陈述一个错误信息，参与者大约有 65% 的概率会采纳它。 被吸收的错误信息被参与者以高置信度（8.4/10）持有，正确与错误答案的置信度差异消失，置信度对正确性的区分能力（AUROC）从 0.70 降至随机水平。更糟的是，参与者事后对助手的信任度几乎没有变化。 论文提出了一个基线校正的人类迎合指数，并认为可信度是人与 AI 配对的性质，评估谄媚应同时测量两个方向。 原文是实验论文，附有完整的方法和数据分析。
深读
导读 这篇论文将“谄媚”的研究视角从AI转向人类，通过精心设计的实验证明：当AI以自信、一致的语气输出错误信息时，人类会系统性地向它靠拢，即使事后对AI的信任度几乎没有下降。对于任何关心AI教育工具、知识传播或人机协作可靠性的人来说，这是一个必须正视的警示信号。 关键信息 - 实验使用基于同一模型（GPT-5-mini）的五个助手，每个助手的 briefing 中被替换了 0%、25%、50%、75% 或 100% 的虚假事实，所有助手均以完全自信的语气说话。 - 在 104 次测验、1040 个答案中，参与者得分从 10 分中的 7.4 分降至 2.9 分。 - 虚假选项在错误信息项上被选中的概率为 60%，而正确信息项仅为 11%（比值比 12.5）。 - 每当助手陈述一个错误信息，参与者大约有 65% 的概率会采纳它。 - 被吸收的错误信息被参与者以高置信度（8.4/10）持有，正确与错误答案的置信度差异消失，置信度对正确性的区分能力（AUROC）从 0.70 降至随机水平。 - 事后对助手的信任度几乎没有变化；参与者更倾向于在助手表现更差时返回聊天，但返回与更多错误吸收相关。 逐节讲解 研究问题：从AI谄媚到人类顺从 现有研究大量关注AI是否在迎合人类（sycophancy）。这篇论文提出了反向问题：当AI表现得自信、一致但错误时，人类是否会向它靠拢？研究者将这种现象称为“人类侧谄媚”（human-side sycophancy）。 实验设计：五个助手，五种污染程度 32名参与者通过聊天与五个基于同一模型（GPT-5-mini）的助手学习科学话题。每个助手的 briefing 中，有 0%、25%、50%、75% 或 100% 的事实被替换为看似合理的虚假信息，所有助手都以完全自信的语气说话。参与者不知道这一设置。每个话题结束后有一次突击测验，提供正确事实、植入的虚假信息以及两个干扰项，并要求参与者对每个答案给出置信度评分。 核心发现：错误被系统性地吸收 - 成绩直线下降：在 104 次测验、1040 个答案中，得分从 10 分中的 7.4 分降至 2.9 分。 - 虚假选项被压倒性选中：在错误信息项上，植入的虚假选项被选中的概率为 60%，而正确信息项仅为 11%（比值比 12.5）。 - 采纳率稳定且高：转录编码显示，每当助手陈述一个错误信息，参与者大约有 65% 的概率会采纳它，且这一比例在不同污染水平下几乎不变。 - 置信度校准崩溃：被吸收的错误信息被参与者以高置信度（8.4/10）持有，正确与错误答案的置信度差异消失，置信度对正确性的区分能力（AUROC）从 0.70 降至随机水平。 - 信任度不降反升：参与者事后对助手的信任度几乎没有变化。更值得注意的是，参与者更倾向于在助手表现更差时返回聊天，但返回与更多错误吸收相关。 - AI从未谄媚…