从 Feature、Neuron、Attention Head、Circuit、Activation Patching、Probe、Attribution 到模型调试、安全审计和解释边界，理解“模型内部到底学到了什么”
| 问题 | 直觉解释 | 为什么重要 | 常见误解 |
|---|---|---|---|
| 模型是否有“概念” | 某些内部方向或激活模式会对应可复用语义、语法、事实或行为倾向 | 帮助理解模型不是简单记表，而是在高维空间里组织模式 | 一个神经元不一定等于一个人类概念 |
| 模型怎样做计算 | 不同层、头、MLP / FFN 和残差流可能组成特定任务电路 | 帮助定位某种能力、错误或安全行为从哪里来 | Attention 图不等于因果解释 |
| 内部解释能否预测行为 | 好的解释应该能预测干预后的输出变化 | 可用于调试、压缩、对齐和安全审计 | 漂亮可视化不等于可靠解释 |
| 能否证明模型安全 | 目前更多是发现机制和风险，而不是完整证明 | 能为安全评测提供线索，但不能替代外部红队和生产监控 | 有解释工具不代表能完全看穿模型 |
可解释性不是让模型“用人话解释自己”，而是试图把模型内部的向量、特征和计算路径与外部行为建立可验证的因果联系。
| 层次 | 看什么 | 代表方法 | 适合回答 |
|---|---|---|---|
| 行为解释 | 模型输入输出的可观察模式 | 评测集、错误分析、对抗样本、Prompt 扫描 | 模型在什么场景会错、会偏、会越界 |
| 表征解释 | 内部向量是否编码某些属性 | Probe、激活聚类、表示相似性、特征可视化 | 模型是否知道语法、实体、事实、情绪或风险信号 |
| 机制解释 | 哪些组件以怎样的因果链产生行为 | Activation Patching、Ablation、Circuit Analysis、Attribution | 某个能力或错误到底依赖哪些内部路径 |
表征解释只要发现“这里有某种信息”就够了；机制解释还要说明“这些信息怎样被使用，并且干预它会怎样改变输出”。后者更接近因果问题，也更接近模型调试和安全审计。
| 方法 | 做法 | 证据强度 | 局限 |
|---|---|---|---|
| Attention Visualization | 看注意力头把权重放在哪些 token 上 | 弱到中等，更多是线索 | 高注意力不一定表示关键因果路径 |
| Attribution | 估计输入、层、头或特征对输出 logit 的贡献 | 中等，适合定位可疑组件 | 容易受基线、非线性和交互效应影响 |
| Probe | 训练小分类器读内部表示 | 中等，证明信息存在 | 不证明模型使用了该信息 |
| Ablation | 移除、置零或替换某个组件 | 较强，能观察必要性 | 粗暴干预可能制造分布外状态 |
| Activation Patching | 在两个输入间替换中间激活 | 强，适合定位因果位置 | 需要精心构造对照输入 |
| Circuit Reconstruction | 把多个关键组件连成可复验机制 | 强，但成本高 | 很难扩到完整大模型和开放任务 |
一个解释越能经受“预测、干预、复现、跨样本泛化”四件事，越接近可靠机制；只停留在好看的热力图，通常只能作为探索线索。
| 方向 | 可解释性提供什么 | 不能替代什么 | 相邻页面 |
|---|---|---|---|
| 幻觉机制 | 定位模型在事实、上下文引用、实体绑定和不确定性上的内部信号 | 不能保证输出事实正确，仍要检索、引用和校验 | 能力边界 / 幻觉 |
| 安全护栏 | 发现拒答、越权、敏感概念、欺骗倾向等可能的内部特征 | 不能替代红队、策略审查和运行时权限控制 | AI 安全 / 护栏 |
| 后训练对齐 | 观察 SFT、RLHF、DPO 等是否改变了内部表征和行为电路 | 不能证明模型价值观稳定或长期安全 | 后训练 / 对齐机制 |
| 模型压缩 | 判断量化、剪枝、蒸馏是否破坏关键特征或电路 | 不能只靠内部指标替代任务评测 | 模型压缩 / 端侧 AI |
| 模型评测 | 为外部错误提供内部定位线索，帮助构造更有针对性的评测集 | 不能替代生产数据、人工校准和业务指标 | 模型评测 / Eval |
| 边界 | 说明 | 正确处理 |
|---|---|---|
| 相关不等于因果 | 某个激活和输出相关，不代表它导致输出 | 用 ablation、patching 和反事实样本验证 |
| 人类概念不等于模型特征 | 模型内部特征可能比人类语言更细、更混合、更分布式 | 把命名当近似标签，不把它当模型真实意图 |
| 小任务解释不等于大模型全局理解 | 很多电路研究先从可控任务开始 | 谨慎外推到开放任务和生产系统 |
| 解释工具会制造假象 | 热力图、降维图和探针都可能夸大结构 | 要求预测、干预、复现和跨样本验证 |
| 解释不等于控制 | 知道某个风险特征存在，不代表能可靠消除 | 结合训练、评测、运行时护栏和权限系统 |
把可解释性当成“模型自己给出的解释”。真正重要的是内部机制和外部行为之间能否经得起干预验证，而不是模型回答得多像在自我反省。
可解释性结论要从“看起来相关”走向“干预后可复现”，每个发现都应绑定实验配置、样本和反事实验证。
| 证据节点 | 必须记录字段 | 用来判断什么 |
|---|---|---|
| probe_setup | model_hash、layer_id、head_or_neuron_id、dataset_id、prompt_family | 解释对象是否定位清楚，样本是否可复现 |
| activation_observation | activation_trace_id、feature_direction、top_activating_examples、logits_effect | 某个内部特征和输出行为是否稳定相关 |
| causal_intervention | patching_run_id、ablation_result、counterfactual_case_id、effect_size | 干预该路径是否真的改变模型行为 |
| claim_boundary | interpretation_claim_id、confidence_level、known_counterexample、reviewer_id | 解释结论的适用范围和不确定性在哪里 |
如果说 Transformer 页解释模型怎样计算，能力边界页解释模型为什么会错，评测页解释外部行为怎样度量，那么本页解释内部特征、电路和因果干预怎样帮助我们定位能力、错误和风险。它是理解幻觉调试、对齐审计、安全研究和模型压缩回归之间共同机制的一层底座。