AI Practice Lab
AI 判断训练场与生产问题诊断 Lab
这张页不是新的概念科普页，而是把 AI 分支变成可练习的判断工具。拿一个 RAG 答错、Agent 循环、工具越权、成本暴涨、延迟异常、发布回归、Judge 偏差或安全误伤场景，
先拆成请求类型、证据、归因层、风险、修复动作和回读路径。目标是训练“会诊断 AI 系统”，而不只是知道一堆名词。
8 类训练
RAG、Agent、Tool、成本、延迟、发布、Judge、安全
先看 Trace
不凭感觉改 Prompt，先还原请求证据
分层归因
Prompt、RAG、Tool、Route、Model、Safety、UX
闭环输出
坏例、Eval、Release Gate、回滚和复盘
训练边界: 这里不训练“背答案”，而训练生产判断。任何 AI 线上问题都先回到请求证据、版本快照、影响面、风险等级和下一步动作；没有 trace 的判断，通常只是猜。字段总表回看
AI 证据包索引，请求级排障模板回看
请求 Trace / 排障模板。
很多 AI 问题一开始就问错了。训练的第一步，是把“模型不行”改写成可证伪、可归因、可回放的问题。
改问：这次失败的输入、Prompt 版本、检索命中、工具调用、模型版本、输出后处理和用户反馈分别是什么？
TracePrompt归因
改问：检索 query 是否正确，top-k 是否命中，chunk 是否过期，引用是否覆盖答案，模型是否无依据补全？
检索引用忠实度
改问：任务目标、停止条件、工具权限、循环检测、外部副作用和人工接管点是否清楚？
工具权限循环接管
改问：成本上升来自输入 token、输出 token、重试、长上下文、缓存失效、路由误判还是异常流量？
Token重试路由
改问：变更的是模型、Prompt、RAG 索引、工具 schema、护栏、路由还是缓存？上线前 Eval 有没有覆盖这个切片？
版本快照Canary回滚
改问：评分标准、样本切片、Judge Prompt、人工校准和业务指标是否一致？分数提升有没有掩盖坏例？
Judge校准切片
每张训练卡都只做一件事：把真实事故或坏例压回证据、归因、动作和回读路径。
拿一个错误回答，先不改 Prompt。回放用户问题、检索 query、top-k、rerank、引用片段、最终答案和后处理，判断错在召回、重排、上下文拼装还是生成。
检索证据引用覆盖忠实度
选一次 Agent 失败 trace，标注目标、计划、每次工具调用、观察结果、停止条件、重试次数和人工接管点，判断是规划失败、工具失败还是目标定义错误。
计划停止条件接管点
拿一次工具调用问题，拆 tool schema、参数、权限上下文、幂等键、审批点、外部 API 返回和审计记录，判断是否需要禁用、降权或人工确认。
权限幂等审计
选一个成本异常窗口，按功能、租户、模型、Prompt 版本、输入输出 token、重试、缓存命中和路由策略分桶，判断是用量变化还是系统失控。
Token 归因缓存路由
训练五：延迟异常或首 token 慢
Latency
拿一次慢请求，把端到端延迟拆成排队、鉴权、检索、工具、prefill、decode、流式首 token 和后处理，判断优化点在上下文、模型、网关还是外部依赖。
TTFTPrefillDecode
选一次上线退化，把变更资产、评测样本、Canary 指标、用户反馈、回滚条件和豁免记录列出来，判断是闸门漏检、灰度过快还是观测不足。
版本快照Canary回滚条件
拿一组分数异常样本，检查 Judge 评分标准、参考答案、人工一致性、样本切片、模型偏好和业务指标，判断是否需要校准或拆分指标。
评分标准人工校准坏例切片
选一次安全问题，拆输入来源、用户角色、权限上下文、策略版本、拒答理由、红队样本和人工审核记录，判断是策略口径、权限边界还是上下文污染。
策略版本误拒漏拦人工审核
训练场真正要练的是：拿到一个坏例后，不停在“模型答错了”，而是能产出可复现、可分流、可回归、可发布验证的证据包。
| 闭环阶段 | 必须写清楚 | 产物 | 回读页面 |
|---|
| 发现 | 触发信号来自用户差评、人工审核、指标异常、告警、红队样本还是发布后回归 | feedback_id、alert_id、review_id | LLMOps |
| 锁定 | 对应的 request_id、generation_id、tenant、feature、task_type、risk_tier 和 release_version | case_header | 一次请求的一生 / 请求 Trace |
| 回放 | 模型看到的 Prompt、Context、RAG 证据、Tool 调用、路由、模型版本、后处理和安全动作 | replay_bundle_id | AI 证据包索引 |
| 归因 | 问题主因落在 Prompt、RAG、Tool、Route、Model、Safety、UX、数据资产还是发布变更 | root_cause_label、owner | AI 阅读路线 |
| 修复 | 改 Prompt、重建索引、修工具 schema、改路由、补护栏、回滚、降级或加人工审核 | fix_plan、fixed_version | 评测到发布闸门 / 发布回滚 |
| 回归 | 坏例是否进入 Eval、红队集、安全回归、RAG 回归或工具协议回归，修复前后指标是否可比 | eval_case_id、regression_suite_id | 反馈闭环 |
| 沉淀 | Dashboard、Runbook、Release Gate、审计证据和团队知识页是否更新 | runbook_update、release_gate_change | 审计证据链 / 事故响应 |
训练标准: 一张训练卡做完后，至少应该留下 `case_header + replay_bundle_id + root_cause_label + fix_plan + eval_case_id`。如果其中任一项缺失，就说明这不是一次可沉淀的生产诊断，只是一次临时解释。
训练完成不是得到“某个答案”，而是留下一份能进入修复、评测、发布和复盘的材料。
AI 生产问题诊断记录
1. 问题定义：这是质量、延迟、成本、安全、发布回归、评测偏差、工具执行还是产品体验问题？
2. 请求画像：request_id、用户场景、请求类型、模型版本、Prompt 版本、RAG / Tool / Route / Guardrail 版本是什么？
3. 三条证据：trace、指标、用户反馈、人工审核、Eval 样本或网关日志里，最关键的三条证据是什么？
4. 回放包：replay_bundle_id 是否能还原 Prompt、Context、RAG、Tool、Route、Model、Output 和 Guardrail？
5. 归因层：问题更可能在 Prompt、RAG、Tool、Route、Model、Safety、UX、网关还是数据资产？
6. 风险等级：影响面、可复现性、用户伤害、外部副作用、合规风险和成本影响分别多大？
7. 动作选择：修 Prompt、修检索、禁工具、调路由、换模型、回滚、降级、加人工审核，还是先补 Eval？
8. 闭环证据：坏例是否入库，eval_case_id 是否生成，回归集是否更新，发布闸门是否变化，Dashboard 是否能持续观测？
| 症状 | 优先看证据 | 不要先做什么 | 最可能回读 |
|---|
| 答案看似幻觉 | 检索命中、引用覆盖、Prompt 约束、模型是否有证据补全 | 不要直接换大模型或堆 Prompt | RAG / LLMOps |
| Agent 重复调用工具 | 计划、观察结果、停止条件、最大步数、工具返回语义 | 不要只把 max steps 调大 | Agent / Tool Calling |
| 成本异常 | token、重试、缓存、路由、上下文长度、异常租户 | 不要只砍模型规格 | 成本性能 / 模型路由 |
| 上线后退化 | 版本快照、样本切片、Canary、用户反馈、回滚条件 | 不要只看平均分 | 发布闸门 / 灰度回滚 |
| 安全误拒、漏拦或越权 | 策略版本、用户角色、权限上下文、风险标签、人工审核、policy decision | 不要盲目放宽护栏 | 权限 / 租户 / 数据边界 / 安全护栏 |
如果模板写不出来，说明证据或归因还不够。按卡住的位置回读。
这一页的定位: 它是 AI 分支的判断训练页，负责把专题知识压回真实生产问题。权限、身份、租户隔离与数据边界工程，以及 AI 工作流编排、人机协同与状态管理，已经拆成独立生产硬页；本页负责把这些专题重新压回坏例诊断和复盘训练。