用 LLM 做置信度评分是个坏主意

来自 Hacker News · 期号 2026-10-21

摘要

让 LLM 给自己的回答打一个置信度分数，听起来很合理，但作者认为这是个坏主意。 LLM 的置信度分数与真实正确率之间没有稳定的对应关系。模型可能对错误答案给出高分，对正确答案给出低分。 有评论指出，在生产环境中遇到过 LLM 对明显错误的事实性回答给出 95% 置信度的情况。另一条评论认为，如果非要使用，应该用模型内部 logits 而非口头输出的分数。

读原文