从 image patch、vision encoder、projection、cross-attention、OCR / layout grounding、temporal grounding 到 object hallucination，理解模型怎样把图像、文本、音频、视频对齐，也为什么会看错和指错
| 环节 | 发生什么 | 关键问题 | 常见失败 |
|---|---|---|---|
| 切片 | 图像被切成 patch，视频被切成帧或片段，音频被切成时间窗口 | 粒度是否足够表达目标对象、文字和动作 | 小字、小物体、短动作和细粒度表格被抹平 |
| 编码 | 不同模态进入各自 encoder，变成向量表示 | encoder 是否保留空间、时间、布局和局部细节 | 能说大意，但无法准确定位区域、页码、时间点 |
| 投影 | 视觉 / 音频 / 视频表示被投到语言模型可消费的空间 | 跨模态语义是否对齐，尺度和分布是否匹配 | 图像里没有的对象被语言先验补出来 |
| 融合 | 语言 token 通过 attention 读取多模态 token 或外部解析结果 | 谁是证据，谁是上下文，谁有权约束答案 | 文本提示压过视觉证据，或视觉噪声压过明确指令 |
| 输出 | 模型把跨模态证据转成自然语言、框、时间戳或结构化字段 | 答案是否能回指到具体区域、片段和来源 | 回答合理但无法定位，或定位和答案不一致 |
Grounding 的核心不是“模型看到了图片”，而是输出里的实体、关系、字段、时间和动作，能否被稳定地回指到原始模态中的具体区域、片段或证据。
| 路线 | 核心直觉 | 强项 | 边界 |
|---|---|---|---|
| Contrastive alignment | 让匹配的图文向量靠近，不匹配的远离 | 适合检索、分类、粗粒度语义匹配 | 局部定位、计数、空间关系和细节推理可能弱 |
| Vision encoder + LLM projector | 把视觉 token 投进语言模型上下文 | 适合视觉问答、图像描述、截图理解 | 投影层可能丢局部细节，语言先验会补全不存在内容 |
| Cross-attention fusion | 语言 token 在生成时读取视觉 / 音频 token | 更直接地做多模态融合 | 成本、架构复杂度和可解释性要求更高 |
| OCR / ASR / layout first | 先用专用工具把模态转成结构化文本和元数据 | 适合文档、会议、审计和可回放场景 | 解析错误会进入后续推理链路 |
| Unified multimodal tokens | 把多种模态都表示成统一 token 序列 | 适合统一交互和生成 | 训练成本高，评测和安全边界更复杂 |
图文对齐可以让“猫的图片”和“猫”在向量空间靠近，但业务任务经常需要更细的 grounding：第几页、哪个框、哪一行、哪个人、哪一秒、哪个动作。粗粒度语义对齐不自动提供这些定位能力。
| 模态 | Grounding 对象 | 高频难点 | 评测重点 |
|---|---|---|---|
| 图像 | 对象、区域、颜色、空间关系、图表元素 | 小物体、遮挡、相似类别、左右关系、计数 | 区域定位、对象存在性、空间关系、局部细节 |
| 文档 | 页码、段落、表格、字段、标题路径、图注 | 跨页表格、扫描噪声、版面层级、字段对应 | 引用页码、字段准确率、表格结构、版面保真 |
| 音频 | 说话人、时间戳、语气、关键词、事件 | 口音、重叠说话、背景噪声、同音词 | 转写 WER、说话人分离、时间戳偏差、关键词召回 |
| 视频 | 帧、镜头、动作、事件顺序、音画关系 | 长视频切片、短动作、画面外声音、事件边界 | 时间定位、事件顺序、关键帧证据、音画一致性 |
把所有模态都压成一句摘要。摘要会抹掉位置、时间、布局和局部证据，而这些恰恰是多模态系统能否被复核、审计和纠错的关键。
| 原因 | 表现 | 排查方法 | 治理动作 |
|---|---|---|---|
| 训练分布偏置 | 常见搭配被模型自动补全，例如厨房里“应该有”某些物体 | 遮挡 / 反事实图像对照 | 要求先列视觉证据，再给结论 |
| Prompt 诱导 | 用户问题暗示了对象存在，模型顺着问题回答 | 把问题改成开放式描述对照 | 使用存在性检查和不确定选项 |
| 投影丢细节 | 视觉 token 到语言空间时，局部细节被压缩 | 裁剪局部区域、提高分辨率、分块问答 | 区域化推理、OCR / 检测工具辅助 |
| 融合权重不稳 | 模型在文字上下文和视觉证据冲突时偏向文字 | 构造图文冲突样本 | 显式标注证据优先级，分离描述和指令 |
| 解码自洽 | 一旦生成开头走错，后文会围绕错误对象继续自洽 | 低温度、要求引用区域、逐步验证 | 生成后视觉校验、结构化答案和拒答边界 |
| 评测类型 | 测什么 | 样本设计 | 通过标准 |
|---|---|---|---|
| Existence | 对象或文字是否真的存在 | 存在 / 不存在、相似类别、遮挡、低清图像 | 不把不存在对象说成存在 |
| Localization | 答案能否回指到区域、页码、时间点 | 要求输出 bbox、页码、时间戳或引用片段 | 定位和答案一致，误差在业务可接受范围内 |
| Relation | 空间、时间、表格和因果关系是否正确 | 左右 / 上下 / 包含 / 前后 / 字段对应样本 | 关系判断稳定，能处理干扰项 |
| Conflict | 图像、文本、OCR、ASR 互相冲突时怎么判 | 故意构造图文冲突、旧字幕、新画面、错误 OCR | 能指出冲突并降低确定性 |
| Workflow | 多步骤处理后是否还能复核 | 解析、检索、回答、人工审核全链路回放 | 每个结论都有来源、版本和可回放证据 |
要同时问：答案基于哪个区域、哪一页、哪一帧、哪一秒、哪个说话人、哪个字段、哪个检索片段。如果答案对但无法定位，很多生产场景仍然不能用。
图像、文档、音频和视频错误不能只保留一张截图或一段转写。它要能接入 AI 证据包索引 的输入证据、RAG 请求证据、结果证据和事故反馈证据，并在 请求 Trace 中回放当时的文件、解析版本、模态片段、引用位置和输出。
| 证据节点 | 必须记录的字段 | 判断重点 |
|---|---|---|
| 模态输入 | request_id、text_id、image_id、audio_id、video_id、document_id、attachment_hash、modality_trust_level | 哪些模态参与了判断，哪些只是上下文说明或用户指令？原始附件是否可脱敏回放？ |
| 解析快照 | ocr_version、asr_version、layout_parser_version、frame_sample_policy、chunk_id、retrieval_snapshot_id | 错误来自模型理解，还是来自 OCR、ASR、版面解析、视频切片或检索快照？ |
| 对齐映射 | alignment_id、claim_id、bbox / timestamp / span、confidence、alignment_method、citation_id | 文本里的对象、事件、字段或断言是否真的能映射到视觉、音频、版面位置和引用证据？ |
| 冲突处理 | conflict_id、modalities_in_conflict、selected_evidence、decision_reason、authority_order | 图像、OCR、ASR、字幕、用户文本冲突时，系统为什么相信这一方？是否遵守上下文权威顺序？ |
| 失效标签 | failure_type、language_prior_score、localization_error、missing_evidence、grounding_metric | 错误来自幻觉对象、定位错、跨页错位、时间轴断裂、证据缺口还是语言先验压过证据？ |
| 回归连接 | eval_case_id、reviewer_note、bad_case_bucket、fixed_artifact_id、release_gate_id | Grounding 坏例是否进入专项评测、资产修复和发布闸门，而不是停在截图里？ |
| 症状 | 优先怀疑 | 先查什么 | 继续下钻 |
|---|---|---|---|
| 图片问答说出了不存在对象 | 语言先验、低清图像、投影丢细节 | 裁剪局部区域、换开放问题、要求证据描述 | 模型评测 |
| 文档字段抽取错位 | OCR / layout drift、表格结构丢失 | 页码、标题路径、表格边界、字段来源 | 多模态工程 |
| 视频摘要漏掉关键事件 | 切片粒度粗、关键帧没召回、时间轴断裂 | 镜头切分、字幕、ASR、关键帧和事件时间 | 长上下文失效 |
| 文本查图召回结果相似但不相关 | 跨模态 embedding 粗粒度、元数据不足 | query、embedding、rerank、标签和过滤条件 | Embedding / 向量检索 |
| 图文冲突时模型跟着文字走 | 上下文权威不清、prompt 诱导 | 拆开用户描述、视觉证据和系统规则 | 指令层级 / 上下文可信度 |
生成式多模态页解释图像、视频和音频生成的模型路线；多模态工程页解释 OCR、ASR、视频切片、检索和工作流。本页站在底层机制与诊断之间，解释跨模态对齐、视觉 grounding、文档 layout grounding 和 temporal grounding 为什么会失效，以及怎样用可定位评测和证据包把“看起来懂了”变成可验证、可回放、可回归的能力。