生产数据修复与运维操作全景图
回答“生产数据错了以后，怎样安全订正、审批、审计、回滚，并把事故后修复做成闭环”
阅读边界: 这页不是鼓励随手改库，而是把生产数据订正、修复脚本、审批、dry-run、审计、回滚、复核和事故后改进放到同一个治理框架里。
一句话判断: 如果一次数据修复只能靠某个人手写 SQL、截图审批、改完祈祷，生产操作风险就还没有被工程化管理。
定位错误范围
设计修复方案
dry-run 验证
审批执行
审计回滚
复核闭环
| 修复场景 | 风险 | 治理判断 |
|---|
| 批量订正字段 | 条件写错、范围扩大、旧值无法恢复 | 必须先输出影响行数、样本、备份和回滚脚本 |
| 补单 / 补账 | 状态、金额、凭证和外部结果不一致 | 修复动作要和对账、补偿、审计一起执行 |
| 历史数据补算 | 新旧逻辑混用，导致报表或下游结果跳变 | 补算要有版本、范围、下游通知和结果验收 |
| 删除 / 匿名化请求 | 主库删了，缓存、索引、报表、日志、备份或下游副本仍残留 | 按数据治理页的保留矩阵和副本清单圈定范围，再按高风险不可逆操作执行 |
| 事故后修复 | 只修当前数据，不修根因和防线 | 修复闭环必须进入事故复盘和防复发项 |
修复单
记录背景、影响范围、对象清单、执行脚本、dry-run 结果、审批人和回滚方案。
dry-run
先只读计算影响行数、差异样本和预期结果，避免直接对生产写入。
脚本模板
修复脚本要有事务、限速、分批、幂等、日志、异常中断和重入能力。
审批与权限
高风险数据修复需要双人复核，执行权限与审批记录绑定。
审计与回滚
保留旧值、执行记录、操作者、时间、原因和回滚入口。
修复后复核
通过对账、抽样、下游校验和告警确认修复结果，不把执行成功等同于业务修复成功。
| 等级 | 典型动作 | 最低治理要求 |
|---|
| L1 可逆轻量修复 | 少量非核心字段订正、展示口径修正、可从权威源重算的数据 | 修复单、dry-run、影响样本、单人审批、执行后抽样复核 |
| L2 业务状态修复 | 订单状态、权益状态、库存状态、任务状态等会影响用户或下游流程的数据 | 双人复核、旧值备份、回滚或反向补偿、下游通知、对账验证 |
| L3 账务 / 支付 / 合规修复 | 金额、账务流水、支付结果、发票、合同、合规报表等高风险数据 | 变更窗口、审批链、dry-run 报告、冲正/补偿方案、审计留痕、业务负责人验收 |
| L4 不可逆或大范围修复 | 历史补算、跨系统重放、批量删除、跨库批量改写、影响外部客户的数据订正 | 演练环境验证、分批灰度、暂停条件、回滚不可行说明、实时监控、事故指挥机制 |
| 步骤 | 必须产出什么 | 不允许跳过什么 |
|---|
| 1. 定义问题 | 错误来源、首次发生时间、影响对象、权威口径和业务后果 | 不能只凭一条工单或一张截图直接写修复脚本 |
| 2. 圈定范围 | 对象清单、筛选条件、影响行数、边界样本和反例样本 | 不能只有 where 条件，没有样本复核和总量校验 |
| 3. 设计动作 | 修复 SQL / 脚本、dry-run 输出、旧值备份、回滚或补偿方案 | 不能把不可逆操作伪装成普通更新 |
| 4. 审批执行 | 审批人、执行人、窗口期、限速策略、暂停条件和实时日志 | 不能让同一个人完成编写、审批、执行、验收全链路 |
| 5. 复核闭环 | 前后对比、抽样结果、下游验证、告警观察和防复发项 | 不能把脚本退出码为 0 当成业务修复成功 |
| 步骤 | 删除场景要额外确认什么 | 通过信号 |
|---|
| 识别 | 数据主体、业务对象、权威来源、敏感等级、主库和所有派生副本清单 | 缓存、搜索、日志、报表、对象存储、备份、第三方副本都有处理策略 |
| 评估 | 是否存在法律保全、账务审计、争议处理、风控追溯或合规保留例外 | 删除、匿名化、归档、冻结或延迟删除的理由可解释 |
| 预演 | dry-run 输出影响对象、失败风险、不可逆副作用、下游通知和恢复后复删要求 | 正式执行前能说明删哪些、不删哪些、为什么不删 |
| 执行与验证 | 分批处理主数据和派生副本，并用反查、索引查询、报表查询和抽样验证删除没有反弹 | 能输出删除证明、失败项、重试状态和保留例外复查点 |
只读预演
先输出待修改主键、旧值、新值、影响行数和样本，不执行写入。
显式限流
批量修复要分批提交、控制 QPS，并在异常率、锁等待或下游告警升高时暂停。
幂等重入
重复执行不会扩大影响范围，已修复对象能被识别并跳过或校验。
旧值留痕
保存主键、旧值、新值、修复批次、操作者、原因和执行时间，支持审计与反向补偿。
| 误区 | 为什么危险 | 修正方式 |
|---|
| 生产修复是临时操作 | 越临时越容易绕过测试、审计和回滚 | 把修复操作产品化、模板化、审批化 |
| 只看 SQL 是否执行成功 | 业务状态、缓存、索引、报表和下游可能仍然错 | 修复后必须做跨系统复核和下游通知 |
| 修完数据就结束 | 同类问题可能再次发生 | 把根因、防线和自动检测纳入事故闭环 |
| 检查项 | 最低要求 |
|---|
| 影响范围 | 对象清单、影响行数、业务范围、下游范围明确 |
| 脚本安全 | 支持 dry-run、幂等、限速、分批、异常暂停和日志输出 |
| 审批审计 | 审批、执行、复核和回滚记录完整可追踪 |
| 回滚方案 | 保留旧值或有反向补偿方案，不可逆操作必须被标红 |
| 闭环改进 | 修复原因进入缺陷、监控、契约或流程改造 backlog |
| 证据包字段 | 要写清楚什么 | 缺失后的风险 |
|---|
| 问题定义 | 错误来源、首次发生时间、权威口径、业务影响、是否关联事故或客户工单 | 只修表面数据，不知道修复是否覆盖真实业务问题 |
| 影响范围 | 对象清单、筛选条件、影响行数、样本、反例样本、下游系统和缓存 / 索引范围 | where 条件写错或漏掉派生副本，修复范围不可控 |
| dry-run 结果 | 旧值、新值、预期变化、差异样本、异常样本、执行耗时和资源影响预估 | 正式执行前没有证据证明脚本会改对对象、改成正确结果 |
| 执行与权限 | 审批人、执行人、窗口期、脚本版本、批次、限速、暂停条件和审计日志位置 | 执行动作无法追溯，出问题后不知道是谁、何时、按哪个版本执行 |
| 回滚 / 补偿 | 旧值备份、反向脚本、补偿动作、不可逆说明、业务确认和回滚截止时间 | 修复失败后只能再次手工修，风险叠加 |
| 复核项 | 复核什么 | 通过信号 |
|---|
| 数据结果 | 前后行数、字段值、状态机、金额流水、唯一性和完整性 | 修复对象全部符合权威口径，未修对象没有被误改 |
| 业务结果 | 订单、账户、权益、库存、支付、报表或客户可见状态是否恢复 | 业务 owner 确认结果正确，关键用户路径没有新增异常 |
| 派生副本 | 缓存、搜索索引、宽表、报表、消息、下游任务和对象存储是否同步修复 | 主库、派生数据和展示结果一致，不出现修复反弹 |
| 运行影响 | 执行期间错误率、延迟、锁等待、队列积压、告警和资源水位 | 修复没有制造新的生产事故或明显性能退化 |
| 防复发 | 根因、监控、契约、权限、脚本模板、流程或自动化补偿是否进入 backlog | 复盘项有 owner、期限和验收方式，不只是关闭修复单 |
| 场景 | 最小落地包 | 验收信号 |
|---|
| 批量修正错误状态 | 修复单必须包含筛选条件、影响行数、样本、旧值备份、dry-run 输出和回滚 SQL | 执行前后行数一致，抽样业务状态正确，下游没有新增异常 |
| 补账或补单 | 把业务单、支付结果、账务流水、对账差异放在同一张修复清单里，不单独改一个字段 | 订单、账务、支付、报表四侧都能对上同一笔修复结果 |
| 事故后历史补算 | 先冻结口径，确定时间窗、版本、重跑顺序和下游通知，再分批执行 | 补算结果可复现，指标跳变有说明，事故复盘里有防复发项 |