因果推理、反事实与干预底层图谱

从相关性、变量、混杂、反事实、干预、实验设计到因果证据，理解 AI 为什么不能把“看起来有关”直接当成“真的导致”

阅读定位: 这一页补 AI 底层理解线里的“因果判断”。概率 / 熵 / 校准讲模型有多大把握，数据分布 / OOD讲训练分布和生产分布是否一致，模型评测 / Eval讲系统表现如何衡量。本页专注另一件事：当问题变成“如果我干预 X，Y 会不会变”时，光有相关性、置信度和平均分是不够的。

一、因果判断的最小闭环

Observation
观察到共变

→

Variable
定义变量

→

Hypothesis
提出因果假设

→

Intervention
设计干预

→

Counterfactual
比较如果没有干预

→

Evidence
收集证据

→

Decision
行动与复盘

环节	它回答什么	AI 场景里的表现	缺失时会怎样
观察	X 和 Y 是否一起变化	某类 prompt 得分高、某类用户留存高、某种检索策略投诉少	只能看到相关性，不知道能不能复制
变量	到底在比较什么	模型版本、提示词、用户群、任务类型、风险等级、上下文长度	变量混在一起，结论无法解释
因果假设	X 是否导致 Y，还是被别的因素共同影响	“更长回答提升满意度”还是“复杂问题同时导致回答更长和更高满意度”	把代理信号当真实原因
干预	主动改变 X 后，Y 是否变化	A/B 测试、灰度发布、路由实验、提示词实验、护栏策略实验	只能事后解释，不能可靠指导下一步
反事实	如果没有改 X，同一对象会怎样	同一用户如果看到旧模型会不会更差，同一问题如果不用 RAG 会不会幻觉	无法区分改动效果和背景变化
证据	结论能否被数据和机制共同支撑	实验结果、切片指标、错误归因、日志 trace、人工复核	容易把漂亮叙事当成事实

一句话:

概率回答“模型倾向于什么”，因果回答“如果我们真的改变某个条件，结果会不会随之改变”。

二、相关性为什么不够

现象	看起来像什么	可能的真实原因	AI 系统里的风险
长回答得分更高	回答越长越有帮助	评分器偏好完整语气，或复杂题本来就需要更长	模型学会堆字数，真实效率下降
RAG 开启后幻觉更少	检索一定提升可靠性	只在资料充分的问题上开启，难题被路由走了别的流程	把检索策略推广到不适合的场景
某模型投诉率低	模型本身更安全	它服务的是低风险用户、低复杂度任务或更短会话	上线高风险人群后突然失效
越多工具调用越容易成功	Agent 多行动就是好	成功任务本来就允许更多步骤，失败任务早停	错误地放宽步数预算，成本和风险上升
高置信答案更正确	置信度可以直接决策	只在熟悉分布上成立，分布漂移后校准失效	高风险长尾里自信犯错

LLM 特别容易制造因果幻觉

模型擅长把观察到的模式组织成流畅解释，但流畅解释不是因果证据。它可能把同时出现的变量、训练语料里的常见叙事、用户问题里的暗示和真实因果机制混在一起，生成一个听起来合理但无法被干预验证的结论。

三、混杂、碰撞与选择偏差

混杂变量

第三个变量同时影响 X 和 Y
例如任务难度同时影响回答长度和用户满意度
不控制混杂，就会把共同原因误判成直接原因

碰撞变量

X 和 Y 都影响 Z，但你只观察 Z 被选中的样本
例如只分析被投诉会话，会扭曲模型版本和任务类型关系
条件筛选会凭空制造相关性

选择偏差

进入样本的人群不是目标总体
例如只看主动反馈用户，忽略沉默流失用户
结论在真实生产分布上不可迁移

泄漏与反向因果

结果信息偷偷进入输入，或 Y 反过来影响 X
例如评测样本污染、上线后人工兜底改变用户行为
离线结论会过度乐观

最大坑:

看见 X 和 Y 同时变化时，第一反应不应该是“X 导致 Y”，而应该是“还有什么变量同时改变了”。

四、反事实问题：如果 X 变了会怎样

反事实问题	表面问法	真正要比较的东西	需要的证据
模型替换	如果换成新模型，质量会不会提升	同一流量、同一任务、同一时间段下新旧模型差异	随机实验、切片评测、回归集、灰度监控
RAG 开关	如果开启检索，幻觉会不会减少	同一问题有无检索证据时的正确性、忠实度和延迟成本	A/B、证据覆盖率、引用核验、不可回答识别率
安全护栏	如果加严策略，风险会不会下降	误放下降和误拒上升之间的真实权衡	红队集、人工复核、线上投诉、业务损失
产品交互	如果让用户确认关键动作，体验会不会变差	确认步骤对事故率、完成率和信任感的共同影响	实验分桶、用户路径、事故复盘、定性访谈
Agent 步数	如果允许更多步骤，任务成功率会不会提高	成功率、成本、延迟、循环、错误副作用的总效果	trace、最大步数实验、失败类型归因

反事实不是让模型想象一个故事

反事实判断需要一个可比较的基线。没有随机化、匹配、自然实验、回放日志或明确的结构假设，LLM 生成的“如果当时怎样”只能作为假设，不应直接当作决策证据。

五、干预与实验：从观察到可行动证据

方法	核心做法	适合 AI 场景	注意点
A/B 测试	随机把流量分到不同方案	模型版本、Prompt、RAG 策略、产品交互	要保护用户安全，避免高风险自动放量
灰度 / Canary	小流量、低风险、可回滚地观察改动	模型服务、路由策略、护栏规则、工具 schema	灰度不是只看平均分，要看切片和事故信号
离线回放	用历史请求重放新方案	成本评估、格式回归、RAG 召回、工具参数质量	不能完全代表线上用户行为变化
匹配 / 分层	让比较组在关键变量上尽量相似	无法随机化的业务流程、客户分层、历史事故分析	只能控制已知变量，隐藏混杂仍然存在
自然实验	利用外部变化产生近似随机差异	政策变化、系统故障、供应商切换、区域发布	要明确外部变化是否真的只影响一个因素
因果图 / 结构模型	先画变量关系，再决定该控制什么	复杂产品指标、治理责任、长期效果分析	图本身是可争论假设，必须被证据挑战

实用判断:

凡是要指导上线、回滚、医疗法律建议、风控、定价、推荐或自动执行动作的问题，都应该尽量从“相关性分析”升级到“干预证据”。

六、AI 产品和 Agent 里的因果风险

场景	容易犯的因果错误	可能后果	更稳的做法
推荐 / 排序	把点击当作真实偏好原因	标题党、短期点击、长期满意度下降	看长期留存、反事实曝光、探索流量和用户反馈
医疗 / 法律 / 财务建议	把相似案例当作个体因果结论	高风险误导和责任问题	明确边界、要求专业证据、人工升级
企业 Copilot	把使用率提升当生产力提升	表面活跃，真实返工增加	看任务完成、返工、事故、用户时间和质量抽检
Agent 自动化	把工具调用成功当任务产生真实收益	自动执行错误动作，难以回滚	关键动作确认、审计、回滚和因果复盘
安全治理	把拒答率下降当体验提升	误放风险上升，事故更隐蔽	同时看误拒、误放、红队、投诉和高风险切片
模型评测	把 Benchmark 提升当生产价值提升	榜单过拟合，真实场景退化	生产任务集、污染检查、线上实验和回归闸门

七、和概率、OOD、幻觉、Eval 的关系

相邻主题	连接点	本页补上的视角	继续深入
概率 / 校准	模型可以给出某种置信信号	置信高不代表因果关系成立，尤其是干预问题	概率 / 熵 / 校准
数据分布 / OOD	相关性常常只在某个分布内成立	解释为什么分布一变，原本看似稳定的因果叙事会失效	数据分布 / OOD
能力边界 / 幻觉	模型会生成听起来合理的解释	把“解释性文本”与“因果证据”分开	能力边界 / 幻觉
目标函数 / Goodhart	代理指标和真实目标可能只是相关	解释因果型 Goodhart：优化相关指标会破坏真实目标	目标函数 / Goodhart
模型评测 / Eval	评测给出系统表现的证据	评测分数要和真实业务后果建立因果连接，不能只看相关	模型评测 / Eval
AI 产品 / UX	产品改动会改变用户行为	用反事实和实验判断交互是否真的改善任务结果	AI 产品 / UX
AI 治理 / 合规	高风险决策需要可解释责任链	治理不只问模型说了什么，还要问自动化决策依据是否成立	AI 治理 / 合规

八、工程落地清单

先写因果问题

把“为什么指标变了”改写成“如果改变 X，Y 是否会变，在哪些人群和条件下会变”。

列出关键变量

记录模型版本、Prompt、用户群、任务类型、时间、风险等级、流量来源和人工兜底等变量。

画出候选因果图

把混杂、选择偏差、碰撞变量和反向因果显式写出来，避免把相关性直接解释成原因。

设计可回滚干预

用离线回放、A/B、灰度和 Canary 逐步验证，保留版本快照、观测指标和回滚路径。

按切片看效果

平均提升不够，要看任务难度、用户群、语言、领域、风险等级和长尾样本的差异。

把结论写成证据等级

区分假设、观察相关、准实验、随机实验、线上干预和长期复盘，不让弱证据承担强决策。

九、常见误区

误区：模型解释得合理，就说明原因找到了

合理叙事只是候选假设，因果结论要靠变量、对照、干预和证据支持。

误区：相关性足够高就可以行动

相关性再高也可能来自混杂、选择偏差或泄漏；高风险动作需要更强证据。

误区：A/B 赢了就说明所有场景都该推广

实验结论有样本、人群、时间、风险和实现边界，放量前要看切片和长期副作用。

误区：控制变量越多越科学

控制碰撞变量会制造假相关；控制中介变量会遮蔽真实效果。该控制什么取决于因果图。

误区：离线评测提升就是上线收益

离线分数和真实用户后果之间还隔着分布、交互、成本、风险和反馈循环。

误区：因果推理只属于统计学，不属于 AI 工程

每一次模型替换、Prompt 改动、护栏加严、Agent 放权和产品实验，本质上都在问因果问题。

十、回到 AI 主干

AI 全景 → 分布 / 泛化 / OOD → 概率 / 熵 / 校准 → 因果 / 反事实 / 干预 → 模型评测 / Eval → AI 产品 / UX → AI 治理 / 合规

这张图在主干里的位置

概率页解释系统有多大把握，分布页解释这种把握在哪些输入上有效，Eval 页解释系统表现如何被测量。本页补中间最容易被忽略的一层：从“观察到关系”到“能够干预并预期结果”的证据链。