熵与分布(更懂「犹豫」):整个候选分布有多分散; P(True) 自评估:追加一个问题「上述答案是否正确?(A) True (B) False」,再看 logprob;

📅 2026/6/26 5:37:00
熵与分布(更懂「犹豫」):整个候选分布有多分散; P(True) 自评估:追加一个问题「上述答案是否正确?(A) True (B) False」,再看 logprob;
基于logprob,幻觉抑制 创新方案。目录基于 `logprob`,幻觉抑制 创新方案。一、基础层:单值置信度(简单但有效)1. 平均对数概率 / 困惑度(Perplexity)2. 最小 token 概率(Min-Prob,强烈推荐)二、 熵与分布(更懂「犹豫」):整个候选分布有多分散3. 预测熵(Predictive Entropy)4. 语义熵(Semantic Entropy)—— ⭐ 创新、登上 Nature 2024三、采样层:用「多次调用 + logprob」交叉验证5. SelfCheckGPT —— ⭐ 经典创新6. P(True) 自评估四、生成层:让 logprob 实时干预生成(最前沿、最有效)7. FLARE:主动检索增强 —— ⭐ 创新且非常实用8. 对比解码(Contrastive Decoding)9. 约束解码 + logprob 重排五、校准层:让概率「数值上可信」10. 温度缩放 / Conformal Prediction(保形预测)—— ⭐ 创新方向总结一、基础层:单值置信度(简单但有效)这一层只用 logprob 算一个标量分数,做阈值过滤。工程上最快落地。1. 平均对数概率 / 困惑度(Perplexity)做法:整句 token 的 logprob 求平均,或算perplexity = exp(-平均logprob)。困惑度越高 = 模型越「懵」。有效性:⭐⭐⭐ 简单粗暴,能抓住「整体在胡说」的回答,但会被长句稀释(一句话里只有一个数字错,平均下来看不出来)。2. 最小 token 概率(Min-Prob,强烈推荐)做法:不看平均,而是看整句里概率最低的那个 token。因为幻觉常常只是「一个关键实体错了」,平均值会掩盖它,但最小值能精准暴露。有效性:⭐⭐⭐⭐ 比平均值实战效果好很多,尤其适合抽取/事实类任务。这是个被验证过的「便宜又好用」的技巧。二、 熵与分布(更懂「犹豫」):整个候选分布有多分散光看选中词的概率不够,还要看整个候选分布有多分散——这才是「不确定性」的本质。