AI 风险分级、控制矩阵与上线门槛全景图

把任务风险、数据敏感度、工具副作用、用户影响和证据要求接成可执行的上线控制表

维度	低风险信号	高风险信号	控制含义
任务影响	草稿、摘要、检索辅助、内部建议	影响钱、权限、人事、医疗、法律、生产环境或客户承诺	影响越大，越需要人工责任人和强发布门槛
数据敏感度	公开资料、脱敏样例、非客户数据	隐私、财务、合同、源代码、密钥、客户隔离数据	敏感度越高，越需要权限过滤、脱敏和审计查询治理
工具副作用	只读查询、草稿生成、模拟计算	写数据库、发邮件、改配置、下单、付款、创建权限	副作用越强，越需要确认门、幂等、补偿和回滚
用户可逆性	用户能看见并轻松撤销	动作不可见、难恢复、影响第三方或产生外部承诺	不可逆动作不能只靠模型判断放行
监管责任	无特定合规要求的内部效率工具	金融、医疗、教育、招聘、法律、未成年人、跨境数据	需要业务、法务、安全和平台共同定义上线证据
规模扩散	少量内部用户、手动触发	对外开放、自动触发、高并发、多租户、多区域	规模越大，越需要灰度、限流、监控和事故演练

等级	定义	典型场景	最低控制要求
L1 低风险辅助	只辅助个人理解或生成草稿，不直接改变业务状态	会议摘要、内部知识问答、代码解释、非关键分类	基础 Trace、模型 / Prompt 版本、用户反馈、输出可编辑
L2 业务影响	会影响用户体验、运营效率或业务判断，但通常可人工纠正	客服建议、销售辅助、运营文案、知识库问答、需求整理	引用溯源、切片 Eval、人工抽检、灰度、坏例回流
L3 敏感数据 / 工具动作	读取敏感数据或发起有副作用动作，错误会造成业务事故	RAG 读客户资料、Agent 创建工单、发邮件、改 CRM、执行脚本	权限快照、工具风险分级、HITL、审计证据包、Runbook
L4 高风险决策	涉及人身、金融、法律、就业、权限、生产发版或不可逆外部影响	医疗建议、授信 / 风控、人事筛选、法律意见、生产写操作、权限变更	强制人工责任人、双人复核、高风险 Eval、红队回归、上线委员会、完整证据链

控制点	L1	L2	L3	L4
输入与上下文	基础长度、格式和注入提示检查	来源标记、引用溯源、上下文可信度检查	租户 / ACL 过滤、敏感字段脱敏、不可信内容隔离	白名单数据源、受控取证、关键上下文人工确认
模型与路由	默认模型即可，记录版本	按任务质量、成本和延迟路由	限制不合规供应商和区域，记录 fallback 原因	指定批准模型、固定配置、变更需重新评审
输出护栏	格式校验、明显有害内容拦截	事实性、引用、政策和语气检查	敏感泄露、越权建议、外发承诺和工具结果一致性检查	强策略拒答、专家复核、禁止自动给最终结论
工具执行	无工具或只读工具	低副作用工具，用户可撤销	最小权限、确认门、幂等键、补偿方案	默认不自治，双人审批，生产写操作强隔离
人工介入	用户自行编辑即可	抽检和升级人工	高风险动作前确认，异常自动升级	人类最终决策，模型只能辅助准备材料
评测要求	基础功能集和回归样本	按场景、语言、客户、风险切片	权限、注入、工具滥用、敏感泄露专项 Eval	红队、专家评审、误放 / 误拒阈值、上线阻断条件
发布门槛	owner 自测和基础回归	Release Gate、Canary、回滚条件	安全 / 权限 / 事故 Runbook 联合签字	高风险委员会或等价审批，风险豁免显式记录
观测告警	请求量、错误率、成本	质量、引用失败、用户反馈、拒答率	越权尝试、工具失败、副作用异常、敏感命中	实时告警、暂停开关、人工值守、监管沟通预案
审计证据	request_id、版本、输出 hash	Trace、引用、反馈、灰度 cohort	权限快照、工具参数、审批、执行结果	完整证据包、保留期限、审计查询记录、复盘材料

问题	要看的证据	如果答不上来
这个能力最高可能造成什么损失？	影响面、用户群、业务对象、外部承诺、恢复成本	先不要按低风险上线
模型会看到哪些数据？	数据源清单、ACL、脱敏策略、第三方模型边界、日志保留策略	补数据流图和权限过滤
模型能做哪些动作？	工具清单、读写范围、参数 schema、确认门、幂等和补偿设计	默认只读或禁用高风险工具
什么情况必须人工介入？	风险标签、置信度阈值、敏感动作、异常状态、升级路径	补 HITL 和人工责任人
上线凭什么放行？	Eval 切片、红队结果、误放误拒、成本延迟、Canary 计划	补发布闸门，不能直接全量
出事后怎么复盘？	Trace schema、审计证据包、incident owner、rollback / kill switch	补审计链和 Runbook

系统位置	风险等级怎么用	常见字段	相关页面
请求入口	决定是否允许、追问、降级或升级人工	risk_tier、task_type、user_role、tenant_id、data_scope	一次请求的一生
模型路由	决定模型、供应商、区域、fallback 和成本预算	router_policy、model_id、region、budget_cap、fallback_reason	模型路由
工具运行时	决定可调用工具、确认方式、执行身份和补偿方案	tool_risk、permission_decision、approval_id、idempotency_key	Tool Calling
护栏策略	决定拒答、重写、引用要求、敏感信息拦截和人工复核	guardrail_policy_version、risk_label、block_reason、review_status	AI 安全 / 护栏
发布闸门	决定哪些 Eval 必跑、哪些阈值阻断、谁有权豁免	eval_run_id、release_gate_id、risk_exception、approver	评测到发布闸门
审计与事故	决定保留字段、证据包、查询权限和复盘深度	request_id、incident_id、evidence_pack_id、fixed_version	审计证据链

风险等级	运行时控制动作	Trace 必留字段	发布闸门 / 事故动作
L1	基础输入校验、版本记录、用户可编辑、反馈入口	request_id、trace_id、task_type、prompt_version、model_id、output_hash	基础回归通过即可；坏例进入反馈池和轻量回归
L2	引用溯源、质量切片、抽样人工复核、灰度观测	risk_tier、citation_coverage、judge_score、user_feedback、cohort、eval_case_id	Release Gate + Canary；关键切片退化暂停扩量
L3	权限快照、工具确认门、敏感脱敏、异常升级人工	permission_decision、data_scope、tool_name、tool_args_hash、approval_id、guardrail_actions	安全 / 权限 / Runbook 联合签字；越权、泄露或副作用异常进入事故分流
L4	默认不自治、双人复核、固定批准模型、高风险红队	approver、risk_exception、policy_version、evidence_pack_id、incident_id、resolved_version	高风险审批；任何误放、不可逆动作或合规风险触发冻结、回滚或正式事故响应

落地点	先做什么	完成标准
风险分级表	按能力、数据、工具、用户影响定义 L1-L4	任何新 AI 功能上线前都能找到默认等级和升级条件
控制矩阵	把输入、输出、工具、人工、Eval、发布、审计按等级列清楚	风险等级能直接转成工程任务和上线门槛
字段落库	在 Trace、Eval、Release、Incident 中写入 risk_tier	线上问题能按风险等级查询、告警和复盘
高风险例外	定义谁能批准豁免、豁免期限、补偿措施和复盘要求	所有 L3/L4 例外都有 owner、原因、到期和证据
定期复审	每次模型、Prompt、工具、RAG 数据源或用户范围变化都重评风险	功能能力扩大后不会继续沿用旧等级

误区	为什么危险	更稳的做法
按功能名称分风险	“客服助手”可能只是草稿，也可能自动退款和承诺赔偿	按数据、动作、影响和可逆性取最高等级
上线后再补审计	关键版本、权限、工具参数和审批记录可能已经丢失	风险等级先进入 Trace schema 和发布流程
所有场景一个护栏策略	低风险误伤体验，高风险又可能漏放	按 L1-L4 分开策略、阈值和人工介入
把模型置信度当风险等级	模型自信不代表业务低风险，低置信也不一定高风险	风险来自业务影响，置信度只影响追问、拒答和升级
没有降级策略	高风险策略命中后用户只看到失败，业务会绕过系统	设计只读模式、草稿模式、人工模式和受限能力模式