概率输出、解码采样与不确定度底层图谱

从隐藏状态到 logits、再到概率分布、采样与结构化输出，并回答概率可不可信：熵、校准与不确定性

已并入：概率可靠性、熵与不确定度校准（第六节）、解码采样与结构化输出（第七节）。

对象	它是什么	典型 shape	工程直觉
Hidden state	Transformer 每个位置最后得到的上下文向量	[batch, seq, hidden]	它不是词，也不是答案，而是当前位置对上下文的内部表示
LM head	把 hidden 维度投影到 vocab 维度的输出层	[hidden, vocab]	每个 token 都会得到一个分数；词表越大，输出维度越大
Logits	softmax 之前的原始分数	[batch, seq, vocab]	只能比较相对大小，还不能当作概率直接读
Vocabulary axis	所有候选 token 的离散坐标	vocab_size	tokenizer 决定候选集合；禁词、bias、schema 约束都要落到 token 级
Selected position	通常用最后一个位置预测下一个 token	[batch, vocab]	聊天模型不是一次生成整段，而是每一步预测下一个 token

特性	含义	为什么重要	常见误解
相对性	logits 的绝对值不如差值重要	第一名和第二名差距能反映候选竞争程度	把一个 logit 数字单独当置信度
可平移	所有 logits 同加一个常数，softmax 后概率不变	数值实现会先减最大值，避免指数溢出	以为 logits 必须落在固定范围
未归一化	还没有变成总和为 1 的分布	需要 softmax 或 log-softmax 才能得到概率 / logprob	直接把 logit 当百分比
可被调制	temperature、logit bias、mask、约束解码会改动它	产品参数和安全策略常常在 logits 层生效	以为 prompt 是唯一控制手段
词表依赖	每个分数对应一个具体 token id	同一字符串可能拆成多个 token，控制必须对齐 tokenizer	把“词”的控制误认为 token 控制

步骤	发生什么	要抓住的直觉	工程风险
指数化	把每个 logit 变成正数权重	差距会被指数放大，最高分候选更突出	大数指数可能溢出，需要数值稳定技巧
归一化	除以所有候选权重之和	所有 token 概率加起来等于 1	概率会随候选集合和 mask 改变
温度缩放	softmax 前把 logits 除以 temperature	低温让分布更尖，高温让分布更平	低温不保证正确，高温不等于创造力
log-softmax	直接得到 logprob	训练和评测常用 log 概率，数值更稳定	不要先 softmax 再取 log 做低精度训练

概念	它回答什么	训练 / 评测中怎么用	注意点
Probability	某个 token 在当前上下文下被选中的概率	解码、top tokens、候选比较	单 token 概率不等于整段答案正确
Logprob	概率取对数后的分数	累加序列分数、比较候选、计算困惑度	长度越长，logprob 累加通常越小，需要长度归一化
NLL	真实下一个 token 的负 logprob	模型越不认为真实 token 该出现，NLL 越大	标签对齐、mask、padding 错了会污染损失
Cross Entropy	模型分布和目标分布之间的差距	next-token prediction 的核心 loss	常和 log-softmax 融合实现，避免数值不稳定
Perplexity	模型对序列平均有多“困惑”	语言建模评估和数据分布比较	不能直接等同于任务质量、事实性或用户满意度

层级	怎么算	能说明什么	不能说明什么
单 token 概率	当前上下文下某个 token 的 softmax 概率	下一步候选的局部偏好	不能保证整句事实正确
序列 logprob	逐 token logprob 相加	整段文本在模型分布下是否顺	不能直接比较不同长度、不同任务的答案质量
平均 logprob	序列 logprob 按 token 数归一	减少长度偏置，适合候选重排	仍然不等于业务正确性
Top tokens	观察概率最高的若干候选	能看出模型在几个词之间犹豫什么	只看 top-1 会漏掉分布形状和不确定性
Margin / entropy	比较第一名差距或分布分散程度	可作为不确定性、路由和拒答信号之一	低熵也可能是稳定地错

这一节回答生成的概率可不可信：熵与不确定性、校准、两类不确定性，以及拒答追问与风险阈值。

环节	它是什么	容易误判的地方	工程上要看什么
Logits	模型对候选 token 的原始分数	高分只是条件概率高，不等于事实真实	输出头 / logprob、top tokens、margin、异常高置信错误
Softmax	把分数归一化成概率分布	概率会受温度、上下文和候选集合影响	分布形状、temperature、top-p / top-k
Entropy	分布有多分散，选择有多不确定	低熵可能是确定，也可能是过度自信	熵、候选差距、任务类型分桶
Confidence	系统对输出正确性的把握	自然语言自信和统计置信不是一回事	置信分数、校准曲线、覆盖率
Decision	按风险阈值决定回答、追问、拒答或人工升级	一个阈值不能覆盖所有风险场景	风险等级、人工介入率、错放率
Feedback	用评测和线上反馈修正置信度	只看平均准确率会掩盖高风险长尾	可靠性图、分桶准确率、线上漂移

概念	它回答的问题	不能推出什么	例子
Token 概率	在当前上下文下，下一个 token 有多符合训练分布	不能直接推出句子事实正确	模型可能用高概率生成一个流畅但错误的年份
序列概率	整段输出在模型分布下是否自然	不能直接等同于任务成功	法律、医学、代码任务里，流畅答案也可能误导
自报置信	模型用语言表达自己有多确定	不能当作可信概率使用	“我确定”可能只是对齐训练学到的表达风格
检索相似度	材料和问题在向量空间里是否接近	不能保证材料足够、权限正确或答案忠实	RAG 命中相似文档，但答案引用了无关段落
Judge 分数	评分器认为回答好不好	不能替代任务真实后果	Judge 偏好更完整的解释，却漏掉关键错误

校准状态	表现	风险	处理方式
校准良好	标为 80% 置信的样本，长期看约 80% 正确	仍需按业务风险设阈值	保留分桶监控，按场景调阈值
过度自信	置信分数高，但真实准确率低	高风险场景最危险，容易把错误包装成确定结论	温度校准、拒答策略、引用校验、人工复核
过度保守	真实能答对，但置信分数偏低	拒答过多、人工负担高、体验差	按任务分桶调阈值，改进数据和评分器
分布漂移	离线校准好，线上变差	新用户、新领域、新时间段下失效	线上监控、抽样复核、漂移告警、定期重校准
分桶不均	平均校准不错，某些语言、领域或人群很差	长尾风险被平均数掩盖	按语言、领域、难度、风险等级拆指标

类型	含义	AI 场景里的表现	更适合的动作
Aleatoric uncertainty	世界本身有噪声或答案本来不唯一	开放写作、用户偏好、图像模糊、未来结果预测	给范围、给假设、让用户选择、表达不确定
Epistemic uncertainty	系统知道得不够，材料不足或模型能力不足	冷门事实、最新信息、私有知识、专业领域长尾	检索、询问澄清、调用工具、人工升级
Ambiguity	问题本身有多种解释	“帮我优化这个”但没有目标、上下文或约束	追问关键约束，避免假装唯一答案
Distribution shift	当前输入和训练 / 评测分布不同	新政策、新 API、新业务流程、特殊领域术语	外部验证、版本化评测、灰度监控

决策动作	触发条件	适合场景	注意点
直接回答	低风险、证据足、校准表现稳定	一般解释、低风险摘要、格式转换	仍要保留可追踪日志
给出不确定表达	答案可能有范围或多种解释	预测、建议、开放分析、模糊图像理解	不要用含糊措辞逃避关键结论
追问澄清	用户意图、约束或风险等级不明确	业务流程、法律医学边界、复杂配置	追问要少而关键，避免把体验拖死
检索 / 调工具	需要外部事实、私有数据或实时状态	RAG、数据库查询、代码仓库、订单状态	工具结果也要校验权限和来源
拒答 / 降级	风险高、证据不足、策略禁止或置信太低	高风险建议、危险操作、敏感权限	拒答要说明边界，并给安全替代路径
人工升级	自动化错误代价高或需要责任主体	医疗、法律、财务、生产变更、账户权限	把上下文、证据和模型判断一起交给人

相邻主题	关系	本页补上的视角	继续深入
能力边界 / 幻觉	幻觉常发生在模型把高概率文本当成事实输出时	解释为什么“看起来确定”不等于“知道”	能力边界 / 幻觉
因果 / 反事实	概率和校准回答“有多不确定”，因果问题回答“改变哪个变量才会改变结果”	解释为什么高置信相关性仍不能直接指导干预	因果推理 / 反事实 / 干预
Logits / Softmax	输出头把 hidden state 映射成词表分数，再归一化成 token 分布	解释本页所说概率信号从哪里来、为什么只是 token 条件分布	Logits / Softmax / 概率输出
解码 / 采样	采样参数改变概率分布转成文本的方式	解释分布形状、熵和置信信号怎样影响可靠性	解码 / 采样
模型评测	评测告诉我们输出在任务上是否正确	解释怎样把置信分数和真实准确率对齐	模型评测 / Eval
安全护栏	高风险场景需要拒答、人工确认和策略拦截	解释风险阈值和不确定性怎样进入护栏策略	AI 安全 / 护栏
RAG / 工具调用	外部证据和工具能降低知识缺口，但会引入新错误	解释什么时候该补证据、什么时候该升级或拒答	RAG、Tool Calling

这一节回答概率分布怎样变成具体 token：贪心、温度、top-k / top-p、停止条件、结构化输出与 Logit Bias。

概念	它是什么	工程直觉	常见误解
Logits	模型对词表里每个 token 给出的原始分数	还不是概率，只是下一步候选的相对偏好；禁词、logit bias 和结构约束都受 tokenizer 边界影响，细节见 Logits / Softmax	以为最高 logit 就是唯一答案
Softmax	把 logits 转成概率分布	让系统能在多个候选 token 中按概率选择	以为概率高就代表事实正确
Decode loop	每次只生成一个 token，再把它放回上下文继续下一步	LLM 的输出是逐步滚出来的，不是一次性写完整篇	以为模型先想好全文再输出
Stopping	遇到结束 token、长度上限、停词或结构完成时停止	停止条件是产品稳定性的一部分	只调 Prompt，不管 max tokens 和 stop sequence

策略	做法	适合什么	风险
Greedy	每一步都选概率最高的 token	格式严格、确定性强、低风险短输出	容易机械、局部最优，开放写作不自然
Temperature	调平或调尖概率分布	控制随机性；低温稳，高温发散	高温可能胡说，低温也不能保证正确
Top-k	只在概率最高的 k 个 token 里采样	限制候选范围，减少极低概率乱跳	k 固定，遇到不同分布时不够自适应
Top-p / Nucleus	只在累计概率达到 p 的候选集合里采样	更自适应，常用于开放对话和写作	p 太高会放进噪声，太低会变死板
Beam Search	保留多个高分候选序列继续扩展	翻译、摘要等较传统序列任务	在开放生成里可能重复、乏味，成本更高

现象	可能原因	治理动作
同一个问题多次答案不同	采样随机性、上下文轻微变化、模型版本变化	降低温度、固定 seed、记录模型版本和完整 Prompt
答案越写越偏	高温、输出太长、缺少中间约束	分段生成、加检查点、限制 max tokens、增加 Eval
格式偶发错误	自然语言生成不等于严格解析器	用 JSON Schema、约束解码、解析失败重试和回退
模型重复句子	解码陷入局部循环或惩罚参数不合适	调整重复惩罚、停止条件、输出长度和提示结构

层级	做法	可靠性	适合场景
Prompt 要求格式	让模型“请输出 JSON”	最低，容易多解释、漏字段、引号错误	原型验证、低风险内部工具
解析后修复	输出后用解析器校验，失败再让模型修	中等，依赖重试和修复质量	批处理、非实时任务、可容忍重试
JSON Schema / response format	声明字段、类型、枚举、必填项	较高，能把格式约束显式化	业务表单、抽取、分类、工具参数
Constrained decoding	解码时只允许合法 token 序列	最高的格式约束，但表达空间受限	严格 JSON、DSL、SQL 片段、协议输出
工具调用协议	让模型选择函数并生成参数	格式更稳，但执行风险转到工具层	Agent、工作流、数据查询、外部动作

手段	能做什么	不能做什么	注意点
Logit bias	提高或降低某些 token 出现概率	不能保证复杂策略，也不能真正理解业务风险	适合轻量词形控制，不适合当安全系统主体
禁词表	阻止明确词面输出	挡不住同义改写、编码绕过和上下文含义变化	容易误伤，需要和语义安全模型配合
安全重写	把危险输出改成安全替代	不能替代源头拒答、权限控制和人工升级	要保留原始 trace，便于审计和复盘
后置分类器	对输出做风险判断和拦截	可能漏判，也可能延迟用户反馈	要看漏放率、误拒率和高风险样本召回

任务	建议默认	重点监控
分类 / 抽取	低温、schema、枚举、严格校验	字段缺失率、解析失败率、误分类
客服问答	低到中温、引用证据、长度上限	幻觉率、不可回答识别、用户追问率
写作 / 头脑风暴	中温、top-p、风格约束	重复度、跑题率、用户采纳率
代码补全	低温、短输出、语法和测试验证	编译率、测试通过率、补全延迟
Agent 工具调用	低温、工具 schema、权限确认	工具选择准确率、参数合法率、越权拦截

决策节点	必须记录的字段	用来排查什么
采样配置	decoder_config_id、temperature、top_p、top_k、seed、max_tokens	线上输出不稳定、评测不可复现、长度异常或成本漂移
候选裁剪	candidate_count_before、candidate_count_after、filtered_by_top_p、filtered_by_schema	候选 token 是被概率截断、schema 约束、禁词还是安全策略过滤？
token 选择	step_index、selected_token_id、selected_logprob、rank_before_sampling、random_draw	这一步是确定性选择，还是随机采样刚好选中了低概率路径？
停止与修复	stop_rule_id、finish_reason、parse_error、repair_attempt、continuation_point	输出结束、截断、修复、续写和格式漂移分别发生在哪里？
回归连接	generation_id、output_hash、schema_version、eval_case_id、trace_id	改采样参数、schema 或模型版本后，坏例能否稳定复现和比较？

证据节点	必须记录的字段	用来判断什么
候选分布	generation_id、step_index、top_tokens、top_logprobs、entropy	模型是在多个候选间犹豫，还是高置信地产生错误 token？
控制参数	temperature、top_p、top_k、logit_bias、repetition_penalty	输出变化来自模型能力、上下文变化，还是采样参数和 bias？
结构约束	schema_id、allowed_token_set、blocked_token_set、constraint_violation	JSON、工具参数、枚举和 DSL 为什么解析失败或被约束解码卡住？
风险信号	confidence_margin、refusal_token_score、unsafe_token_score、calibration_bucket	logprob 能否作为风险线索，哪些场景必须交给外部校验或人工门？
输出血缘	hidden_state_snapshot_id、decoder_step_id、finish_reason、trace_id	最终文本里的某个 token 能否追溯到当时的分布和控制决策？

症状	优先怀疑	先检查什么	继续下钻
模型输出总是偏某个词	logit bias、模板诱导、数据偏置或温度过低	top tokens、原始 prompt、生成参数、tokenizer 切分	解码 / 采样
分类 logprob 看起来不稳定	标签词被切成多个 token，或候选词不等价	每个标签的 token ids、长度归一、label verbalizer	Tokenizer / 词表
训练 loss 异常高	label shift、mask、padding 或 vocab 对不齐	input_ids / labels 对齐、ignore_index、特殊 token	优化器 / Loss
低温仍然幻觉	模型缺知识、上下文缺证据或问题前提错误	检索证据、引用一致性、不可回答样本	能力边界 / 幻觉
结构化输出偶发非法	自然语言采样没有被严格约束	schema、约束解码、解析失败重试、stop sequence	Tool Calling