AI 答案 Grounding、引用、事实核验与可验证回答全景图

从“看起来像对”到“能被证据支撑、能被用户核对、能被系统回放”：理解可信 AI 回答的证据链

表面现象	真实风险	需要补的工程能力
回答后面挂了 3 个引用	引用可能只是相关材料，不一定支撑具体断言	claim-level citation，逐断言绑定证据
检索到了正确文档	模型可能引用错段、断章取义或忽略新旧版本冲突	证据粒度、版本、时间戳和冲突检测
Judge 给了高分	Judge 可能偏好流畅答案，不检查证据忠实度	Faithfulness、answerability、citation precision 分开评测
模型说“根据资料”	没有可回放证据，用户和审计都无法验证	retrieval snapshot、source_id、quote span、claim map 进 Trace

指标	问的是什么	典型失败	对应证据
Relevance / 相关性	检索材料是否与问题相关	材料相关但不包含答案	query、top_k、rerank_score、source_id
Answerability / 可回答性	当前证据是否足够回答	证据不足却强行回答	coverage、missing_fields、abstain_reason
Faithfulness / 忠实度	答案是否只说证据能支持的内容	在正确材料上补出不存在的细节	claim、support_span、contradiction_span
Citation Precision / 引用准确率	引用是否支撑对应句子	引用到了同文档但错段落	claim_id、citation_id、char/page/time span

答案单元	需要绑定什么	最小字段
一句结论	支撑它的证据片段	claim_id、source_id、span、confidence、support_type
一个表格单元	该单元来自哪个字段、行、版本	row_id、field_name、snapshot_version、transform_rule
一个建议	事实依据、适用条件和风险边界	premise_claims、policy_rule、risk_note、human_review
一个引用	用户可打开或系统可回放的证据定位	doc_id、page/section/char_span、retrieval_snapshot_id

来源类型	常见场景	主要风险	治理动作
官方 / 原始系统	政策原文、合同、数据库主表、工单系统	权限、版本、解释口径	source tier、版本快照、权限快照、字段级引用
内部二手材料	总结文档、会议纪要、知识库文章	过期、转述错误、部门口径冲突	更新时间、owner、审批状态、冲突提示
网页 / 外部内容	搜索结果、新闻、论坛、供应商文档	时效、SEO、伪造、版权与引用边界	域名信誉、发布时间、抓取时间、外部不可信标记
工具返回	SQL、搜索 API、代码测试、浏览器截图	环境错误、权限错配、执行副作用	tool_call_id、参数、返回摘要、原始 artifact

设计问题	低质量做法	高质量做法
引用粒度	只给文档标题或 URL	页码、章节、段落、字符范围、表格行列、时间戳
引用位置	答案末尾堆一串来源	每个关键断言旁边绑定引用，表格按单元格或行引用
引用可见性	用户无法打开或看不到命中片段	可展开证据片段，保留上下文前后文和来源元数据
引用状态	不知道证据是否过期	展示 source_version、last_updated、retrieved_at、policy_snapshot
引用冲突	只选一个看似最好的来源	显式列出冲突来源、版本差异和无法判断的部分

核验层	检查内容	失败时动作
格式核验	JSON、表格、引用标记、字段完整性	修复格式、重试、降级为人工可读输出
证据覆盖	关键 claim 是否都有支持证据	删除无证据 claim、标注不确定、追问
矛盾检查	答案是否与证据或高优先级来源冲突	提示冲突、优先高权威来源、转人工
数值校验	金额、日期、比例、单位是否一致	重算、显示公式、引用原始字段
安全与权限	引用是否泄露不可见材料，是否越权外发	脱敏、拒答、权限升级或审计告警

情况	回答策略	Trace 字段
证据足够且一致	直接回答，逐断言引用	answerability=answerable, citation_coverage
证据不足	说明缺什么，追问或拒答	missing_fields, abstain_reason
证据冲突	列出冲突，说明优先级或转人工	conflict_sources, selected_policy
权限不足	不暴露不可见证据，提示权限边界	permission_snapshot, redaction_reason

字段 / 指标	回答什么问题	连接到哪里
retrieval_snapshot_id	本次到底检索到了哪些材料	请求 Trace、RAG
claim_count / grounded_claim_count	有多少断言被证据支撑	模型评测
citation_precision	引用是否指向正确证据	LLM-as-Judge
faithfulness_score	答案是否忠实于材料	LLMOps
abstain_rate	证据不足时是否敢于不答	AI 安全 / 护栏
conflict_detected	系统是否发现多源口径冲突	知识生命周期
user_citation_open_rate	用户是否真的核对引用	AI 产品 UX

证据节点	最小字段	进入生产闸门时看什么
answer_id	用户问题、回答版本、模型 / Prompt 版本、风险场景	这类回答是否允许直接输出，是否需要更高核验强度？
claim_id	关键断言、断言类型、置信度、是否允许无证据输出	答案里的事实、推理和建议是否被拆开核验？
citation_span	source_id、source_version、页码 / 段落 / 字符范围、检索快照	引用是否真正支撑对应 claim，而不只是主题相关？
verification_result	格式校验、证据覆盖、矛盾检查、权限脱敏、拒答原因	失败时应该删除断言、标注不确定、追问、拒答还是转人工？
release_gate_id	grounded_claim_rate、citation_precision、conflict_resolution、abstain_quality	上线前最低证据阈值是否达标，坏例是否进入回归集？