概率、熵、校准与不确定性底层图谱

从 logits、softmax、概率分布、熵、置信度、校准、风险阈值到拒答与人工升级，理解模型“看起来有把握”和“真的可靠”之间的距离

阅读定位: 这一页补 AI 底层理解线里的“概率可靠性”。它不替代 Logits / Softmax / 概率输出，后者解释 hidden state 怎样经 LM head 变成词表分数、logprob 和 cross entropy；也不替代解码 / 采样 / 结构化输出，后者解释怎样从概率分布生成 token；也不替代模型评测 / Eval，后者解释怎样评价系统质量。本页专注解释概率、熵、置信度、校准、不确定性和风险阈值怎样影响可信输出、拒答和人机协作。

一、概率可靠性的最小闭环

Input
问题与上下文

→

Logits
候选 token 分数

→

Probability
softmax 分布

→

Uncertainty
熵与置信度

→

Decision
回答 / 拒答 / 升级

→

Feedback
评测与校准

环节	它是什么	容易误判的地方	工程上要看什么
Logits	模型对候选 token 的原始分数	高分只是条件概率高，不等于事实真实	输出头 / logprob、top tokens、margin、异常高置信错误
Softmax	把分数归一化成概率分布	概率会受温度、上下文和候选集合影响	分布形状、temperature、top-p / top-k
Entropy	分布有多分散，选择有多不确定	低熵可能是确定，也可能是过度自信	熵、候选差距、任务类型分桶
Confidence	系统对输出正确性的把握	自然语言自信和统计置信不是一回事	置信分数、校准曲线、覆盖率
Decision	按风险阈值决定回答、追问、拒答或人工升级	一个阈值不能覆盖所有风险场景	风险等级、人工介入率、错放率
Feedback	用评测和线上反馈修正置信度	只看平均准确率会掩盖高风险长尾	可靠性图、分桶准确率、线上漂移

一句话:

概率分布告诉你“模型下一步更倾向于什么”，校准和评测才告诉你“这种倾向在真实任务里有多可信”。

二、概率不等于真实可信

概念	它回答的问题	不能推出什么	例子
Token 概率	在当前上下文下，下一个 token 有多符合训练分布	不能直接推出句子事实正确	模型可能用高概率生成一个流畅但错误的年份
序列概率	整段输出在模型分布下是否自然	不能直接等同于任务成功	法律、医学、代码任务里，流畅答案也可能误导
自报置信	模型用语言表达自己有多确定	不能当作可信概率使用	“我确定”可能只是对齐训练学到的表达风格
检索相似度	材料和问题在向量空间里是否接近	不能保证材料足够、权限正确或答案忠实	RAG 命中相似文档，但答案引用了无关段落
Judge 分数	评分器认为回答好不好	不能替代任务真实后果	Judge 偏好更完整的解释，却漏掉关键错误

为什么 LLM 的概率更难读

LLM 输出是逐 token 生成，单个 token 概率和整段答案正确性之间隔着推理、检索、格式、工具、任务约束和外部事实。工程上不能只看某一步概率，而要把概率信号接到评测、引用、规则校验和风险策略上。

三、熵与不确定性：分布有多散

低熵：候选很集中

模型明显偏向少数候选 token
适合格式固定、事实明确、模式强的场景
但低熵也可能来自上下文诱导、模板化或过度自信

高熵：候选很分散

模型在多个候选之间摇摆
常见于开放创作、证据不足、歧义问题或长尾知识
高风险任务里应触发追问、检索或人工升级

Margin：第一名和第二名差多少

差距大说明模型选择更明确
差距小说明候选之间竞争激烈
可用于分类、路由、工具选择和拒答策略

Self-consistency：多次采样是否一致

多个路径独立得到同一答案，可能提升信心
但一致错误仍然存在，尤其在训练偏差和污染问题上
适合接验证器、检索证据和任务评分一起用

最大坑:

熵低不自动等于可信。模型在熟悉的错误模式、提示诱导、错误前提和污染样本上，也可能非常确定地错。

四、校准：80% 把握就应该约 80% 正确

校准状态	表现	风险	处理方式
校准良好	标为 80% 置信的样本，长期看约 80% 正确	仍需按业务风险设阈值	保留分桶监控，按场景调阈值
过度自信	置信分数高，但真实准确率低	高风险场景最危险，容易把错误包装成确定结论	温度校准、拒答策略、引用校验、人工复核
过度保守	真实能答对，但置信分数偏低	拒答过多、人工负担高、体验差	按任务分桶调阈值，改进数据和评分器
分布漂移	离线校准好，线上变差	新用户、新领域、新时间段下失效	线上监控、抽样复核、漂移告警、定期重校准
分桶不均	平均校准不错，某些语言、领域或人群很差	长尾风险被平均数掩盖	按语言、领域、难度、风险等级拆指标

校准不是让模型更聪明，而是让把握更诚实

校准不能凭空补事实、补推理或补工具能力。它的价值是让系统知道什么时候该回答、什么时候该追问、什么时候该引用证据、什么时候该拒答或交给人。

五、两类不确定性：数据噪声与知识缺口

类型	含义	AI 场景里的表现	更适合的动作
Aleatoric uncertainty	世界本身有噪声或答案本来不唯一	开放写作、用户偏好、图像模糊、未来结果预测	给范围、给假设、让用户选择、表达不确定
Epistemic uncertainty	系统知道得不够，材料不足或模型能力不足	冷门事实、最新信息、私有知识、专业领域长尾	检索、询问澄清、调用工具、人工升级
Ambiguity	问题本身有多种解释	“帮我优化这个”但没有目标、上下文或约束	追问关键约束，避免假装唯一答案
Distribution shift	当前输入和训练 / 评测分布不同	新政策、新 API、新业务流程、特殊领域术语	外部验证、版本化评测、灰度监控

实用判断:

能通过补证据解决的，多半是知识缺口；不能通过补证据消除的，多半需要表达范围、假设和风险，而不是强行给确定答案。

六、拒答、追问与风险阈值

决策动作	触发条件	适合场景	注意点
直接回答	低风险、证据足、校准表现稳定	一般解释、低风险摘要、格式转换	仍要保留可追踪日志
给出不确定表达	答案可能有范围或多种解释	预测、建议、开放分析、模糊图像理解	不要用含糊措辞逃避关键结论
追问澄清	用户意图、约束或风险等级不明确	业务流程、法律医学边界、复杂配置	追问要少而关键，避免把体验拖死
检索 / 调工具	需要外部事实、私有数据或实时状态	RAG、数据库查询、代码仓库、订单状态	工具结果也要校验权限和来源
拒答 / 降级	风险高、证据不足、策略禁止或置信太低	高风险建议、危险操作、敏感权限	拒答要说明边界，并给安全替代路径
人工升级	自动化错误代价高或需要责任主体	医疗、法律、财务、生产变更、账户权限	把上下文、证据和模型判断一起交给人

阈值不是一个全局数字

同样 70% 的把握，在闲聊解释里可能够用，在处方、转账、删库、法律结论里远远不够。生产 AI 系统应该按任务风险、用户影响、可恢复性和审计要求设置不同阈值。

七、和幻觉、解码、评测、安全的关系

相邻主题	关系	本页补上的视角	继续深入
能力边界 / 幻觉	幻觉常发生在模型把高概率文本当成事实输出时	解释为什么“看起来确定”不等于“知道”	能力边界 / 幻觉
因果 / 反事实	概率和校准回答“有多不确定”，因果问题回答“改变哪个变量才会改变结果”	解释为什么高置信相关性仍不能直接指导干预	因果推理 / 反事实 / 干预
Logits / Softmax	输出头把 hidden state 映射成词表分数，再归一化成 token 分布	解释本页所说概率信号从哪里来、为什么只是 token 条件分布	Logits / Softmax / 概率输出
解码 / 采样	采样参数改变概率分布转成文本的方式	解释分布形状、熵和置信信号怎样影响可靠性	解码 / 采样
模型评测	评测告诉我们输出在任务上是否正确	解释怎样把置信分数和真实准确率对齐	模型评测 / Eval
安全护栏	高风险场景需要拒答、人工确认和策略拦截	解释风险阈值和不确定性怎样进入护栏策略	AI 安全 / 护栏
RAG / 工具调用	外部证据和工具能降低知识缺口，但会引入新错误	解释什么时候该补证据、什么时候该升级或拒答	RAG、Tool Calling

八、工程落地清单

建立校准集

按任务、语言、领域、难度和风险等级准备样本，记录模型置信、真实结果和人工判定。

分桶看可靠性

不要只看平均准确率；看置信区间、可靠性图、错误类型和高风险分桶。

选择性预测

系统不必每题都答；低把握时追问、检索、降级或交给人，追求可控覆盖率。

按风险路由

低风险走快速模型，高风险走检索、推理模型、规则校验、人工确认或禁止自动化。

监控漂移

上线后跟踪置信分布、拒答率、人工升级率、投诉、事故和领域分布变化。

记录证据链

保留输入、上下文、检索材料、工具结果、模型版本、置信信号和最终决策，支持复盘。

九、常见误区

误区：概率最高的答案就是正确答案

最高概率只是模型分布下最顺的候选，不保证事实、推理、权限或业务规则正确。

误区：模型说自己不确定，就代表风险低

自报不确定是文本行为，真正风险要看任务后果、证据、评测和策略阈值。

误区：温度调低就能消除幻觉

低温会减少随机性，但如果上下文缺证据或模型记错，仍可能稳定地产生错误。

误区：平均准确率高就可以自动化

自动化看的是长尾错误、错放成本、可恢复性和审计责任，不只是平均分。

误区：拒答越少越好

拒答过少可能把高风险错误放出去；好系统追求合适覆盖率，而不是盲目全答。

误区：校准一次就结束

模型版本、用户群、业务流程和外部知识都会变，校准需要持续监控和重做。

十、回到 AI 主干

AI 全景 → 能力边界 / 幻觉 → Logits / Softmax → 概率 / 熵 / 校准 → 因果 / 反事实 / 干预 → 解码 / 采样 → 模型评测 / Eval → AI 安全 / 护栏 → LLMOps / 可观测性

这张图在主干里的位置

能力边界页解释模型为什么会错，解码页解释概率分布怎样变成输出，因果页解释哪些结论能指导干预，Eval 页解释怎样衡量质量。本页位于它们之间，解释“概率信号怎样进入可信决策”：什么时候回答、什么时候追问、什么时候拒答、什么时候需要证据或人工。