JEV-as-a-Judge: 自信接受，不确定升级
来自 arXiv · 期号 2026-09-22
摘要
LLM-as-a-judge 在大规模使用时推理成本高、置信度不可靠。 JEV 是一个只输出决策的裁判，与 16 个生成式和奖励模型裁判对比，经过盲法人工裁定，在普通偏好和事实验证上只比最强的 LLM 裁判差不到 3 个百分点，而费用仅为后者的 0.36%。 差距出现在需要检查推导过程或抵御精心构造的错误答案时。 在多个基准上，JEV 与最强裁判的差距集中在低置信度决策上。一个冻结式级联——接受置信高的判决、把不确定的升级——能以更低成本保留最强裁判 99% 的准确率。