FairStress：更深入的 LLM 决策公平性评测
来自 Hugging Face · 期号 2026-10-21
摘要
公平性评测不能只看模型最终选了谁，还要看它坚持正确决定的意愿是否因受益群体不同而改变。 Hugging Face 与 AI2 联合发布 FairStress 基准，专门测量 LLM 在涉及人的决策中是否存在隐藏的不对称。基准包含 300 个场景，覆盖招聘、贷款、医疗、教育等 29 个领域，每个场景通过改变身份信息的显隐程度和加入对抗性前缀，扩展出超过 1300 万个测试用例。 在 15 个模型上的实验发现一个规律：当正确选择有利于少数群体时，模型更愿意放弃这个正确决定——作者称之为反刻板过度纠正。例如，一位明显更合格的少数族裔候选人，在收到一条支持多数族裔候选人的说服性前缀后，模型更容易改选。 FairStress 还发现，即使模型在两个版本中都选对了，它对少数族裔候选人的解释更常使用“韧性”“多样性”等词汇，而对多数族裔候选人的解释则更侧重“证据”“标准”——这意味着模型可能在认可少数族裔候选人的资格时打了折扣。 与现有 BBQ 基准的对比显示，评测方式本身会影响结论：BBQ 用固定选项概率评分，模型倾向于刻板印象一致的答案；FairStress 让模型自由生成回答，结果则偏向少数群体。 论文附了开源代码和数据。