知识全景图/ 软件工程与系统/ 人工智能全景图/ AI 证据包索引

AI 证据包索引、Trace 字段与可审计闭环图谱

把一次请求、一次发布、一次事故需要留下的证据字段集中成索引，方便从 Demo 走向可回放、可审计、可回滚的生产系统

阅读定位: 这一页不是新的业务专题，而是 AI 分支的“证据字段目录”。当你已经读过一次 LLM 请求的一生、AI 工程实战或 AI 阅读路线，但想快速知道“到底要记录哪些字段、去哪个专题补细节”，从这里进入。

一、证据包主线：从请求到复盘

Request
输入 / 身份 / 风险

→

Context
Prompt / RAG / Memory

→

Execution
Model / Tool / Stream

→

Verification
Eval / Citation / Guardrail

→

Release
Gate / Artifact / Rollback

→

Learning
Incident / Feedback / Registry

二、生产证据包总表

证据包	最低字段	回答的问题	深入专题
请求 Trace	request_id、tenant_id、user_intent、risk_tier、model_version、latency、cost、finish_reason	这次请求是谁发起、走了哪条链路、花了多少钱、为什么结束	请求 Trace / 排障模板
Prompt / Context Artifact	prompt_id、template_version、system_prompt_hash、context_pack_id、truncation_reason、authority_order	模型到底看到了什么，哪些信息被裁掉，指令优先级是否正确	Prompt / 上下文、上下文组装
RAG 请求证据	query_id、index_version、retrieved_doc_ids、chunk_ids、reranker_version、citation_ids、no_answer_reason	关键证据有没有被召回，引用是否真的支撑答案	RAG、答案 Grounding / 核验
记忆与状态证据	memory_id、memory_type、source_turn_ids、write_reason、ttl、consent_state、delete_request_id	长期记忆为什么被写入、何时过期、是否可删除和回放	长上下文 / 记忆、Workflow / HITL
Tool / Agent 执行证据	tool_call_id、tool_name、arguments_hash、permission_check、observation_id、retry_count、terminal_condition	模型调用了哪个工具、参数是什么、权限是否通过、为什么停止	Tool Calling、Agent
模型服务与 Infra 证据	route_id、gateway_version、engine_version、batch_policy、kv_cache_policy、gpu_type、queue_time、oom_event_id	慢、贵、不稳是模型、网关、批处理、缓存还是 GPU 造成的	模型服务 / 网关、AI Infra
生成运行时证据	stream_event_id、prefill_ms、decode_tokens_per_second、retry_lineage、stop_reason、structured_output_error	流式输出、重试、停止符和结构化输出问题发生在哪一步	生成运行时、解码 / 结构化输出
Eval / Release Gate 证据	eval_run_id、golden_set_version、risk_slice、judge_version、release_gate_id、waiver_id、rollback_target	这次变更为什么可以上线，哪些风险被阻断或豁免	评测到发布闸门、LLMOps
Artifact / Registry 证据	artifact_id、model_hash、prompt_hash、policy_version、rag_index_version、tool_version、owner、lineage	一次请求或发布到底用了哪组 AI 资产，能不能回放和回滚	Artifact Registry
安全与权限证据	policy_version、risk_taxonomy_label、refusal_decision、guardrail_result、permission_scope、reviewer_id	为什么拒答、放行、追问或拦截，是否符合权限和策略	风险控制矩阵、安全对齐 / 红队
事故与反馈证据	incident_id、affected_requests、blast_radius、mitigation_action、bad_case_bucket、feedback_id、fix_version	事故影响多大、如何止血、坏例是否变成回归资产	事故响应、反馈闭环

三、按问题反查证据

你遇到的问题	先看证据包	常见根因	下一步
RAG 明明有资料但答错	RAG 请求证据、Context Pack、Citation	漏召回、重排丢证据、上下文截断、引用错位	RAG → Grounding
Agent 调错工具或循环	Tool / Agent 执行证据、状态证据、权限证据	参数格式漂移、观察结果误读、停止条件缺失、工具权限过宽	Tool Calling → Agent
上线后质量突然退化	Artifact / Registry、Eval / Release Gate、请求 Trace	模型、Prompt、RAG index、策略或工具版本变化	Artifact Registry → 灰度回滚
成本或延迟暴涨	请求 Trace、模型服务与 Infra、生成运行时	上下文过长、路由错误、batch 策略差、KV Cache 水位异常、重试过多	成本 / 性能 → 模型服务
安全误放或误拒	安全与权限证据、Eval / Release Gate、事故证据	风险标签错、策略边界不清、护栏误判、红队回归覆盖不足	安全评测 → 行为控制矩阵

四、证据成熟度

等级	状态	典型表现	升级动作
L0	只有最终回答	答错后只能猜，无法复现请求上下文	先记录 request_id、model_version、prompt_version 和输出
L1	有请求日志	能看 token、延迟、成本，但不知道检索和工具细节	补 RAG、Tool、Context Pack 和权限字段
L2	有链路 Trace	能定位问题大致在哪一层，但发布变更和资产版本仍不清晰	接入 Artifact Registry、Eval Run 和 Release Gate
L3	可回放可回滚	一次请求、一次发布都能还原资产组合和风险决策	把坏例、事故、豁免和回滚目标纳入统一证据链
L4	闭环学习	坏例自动进入评测、数据、策略、产品和监控迭代	建立反馈飞轮和定期证据审计

五、回到 AI 主干

AI 全景 → AI 阅读路线 → AI 工程实战 → 一次请求的一生 → 请求 Trace → Artifact Registry → Release Gate → 审计证据链

使用方式

做新 AI 功能时，把本页当上线前证据清单；排查坏例时，把本页当反查目录；做团队知识沉淀时，把每个证据包对应到日志、数据库、Dashboard、评测集和 Runbook。