聚焦图像、语音、文档与视频的解析、表示与工作流编排，回答多模态系统怎样真正落到工程里 (2025-2026)
| 层级 | 核心职责 | 典型问题 | 关键关注 |
|---|---|---|---|
| 输入资产 | 接收多模态原始内容 | 格式不统一、质量参差、来源复杂 | 采样率、分辨率、文件结构、元数据 |
| 解析与提取 | 把原始模态变成可用结构 | OCR 错字、表格断裂、转写错误、视频切片失真 | 结构保真、噪声控制、时间轴与版面信息 |
| 表示与检索 | 让内容可索引、可召回、可比较 | 跨模态对齐差、召回不准、上下文切分不合理 | 多模态 embedding、切片策略、元数据过滤 |
| 推理与编排 | 把多模态信息转成任务结果 | 模态冲突、上下文超长、工作流断裂 | 模型选型、模态顺序、工具链路 |
| 输出与治理 | 形成业务可用结果 | 审核缺失、敏感信息外泄、评测困难 | 引用、人工审核、合规边界、回归测试 |
很多企业文档、票据、合同、报告和扫描件，本质上更接近“版面图片 + 若干文本块”，而不是天然可检索知识。
标题层级、表格关系、脚注、页眉页脚、图注和跨页连续性，都会影响后续检索、引用和摘要质量。
如果文档解析阶段已经丢了结构，多模态模型再强，后面也很难稳定弥补。
转写文本如果没有说话人、时间戳、段落边界和章节结构，后续检索、回放和证据引用都会变得困难。
镜头切分、关键帧抽取、字幕、旁白和动作线索需要一起看，不能简单把视频当成长音频处理。
多模态内容一旦需要回看、审计或精确定位，时间轴质量通常比单纯摘要能力更重要。
文本问题可能对应图像区域、文档段落、音频片段或视频时段，切分粒度和元数据设计会直接影响检索质量。
比如合同、报表、发票和会议纪要，往往先做 OCR / ASR / layout，再进入 RAG 或多模态推理链路更稳。
多模态系统的难点通常在跨模态组织与引用，而不只是模型是否支持图片输入。
先做文档解析、再抽关键字段、再调用审核规则、再生成摘要、再人工确认，这类链路更像组合系统，而不是单次模型调用。
同样的任务，先 OCR 再 LLM，和直接用多模态模型看整份文档，得到的成本、速度和可追溯性往往不同。
不是“模型能不能看图”，而是“整个流程能不能被解释、被评测、被回放、被接管”。
| 类别 | 定位 | 典型能力 | 关键关注 |
|---|---|---|---|
| 文档解析 | 把 PDF / 图片文档结构化 | OCR、表格识别、布局分析、字段抽取 | 结构保真、噪声、版面连续性 |
| 语音处理 | 处理音频内容 | ASR、说话人分离、时间戳、摘要、关键词 | 转写准确率、延迟、说话人区分 |
| 图像理解 | 从图像中读信息 | 图像问答、目标理解、场景描述、区域定位 | 局部细节、模糊图像、业务上下文 |
| 视频处理 | 处理时序视觉内容 | 切片、关键帧、字幕、事件检测、摘要 | 时间轴、成本、长视频分段 |
| 跨模态检索 | 支持文本找图、图找文、音频找片段 | 多模态 embedding、切片索引、元数据过滤 | 粒度设计、对齐质量、召回解释性 |
| 工作流与治理 | 把多模态接入业务系统 | 审核、回放、人工确认、回归评测、日志 | 合规、责任边界、可追踪性 |
| 方式 | 强项 | 代价 | 适合场景 |
|---|---|---|---|
| 专用链路 | 结构化强、成本更可控、易于审计 | 组件多、流水线更复杂 | 高精度文档处理、合规场景、长音视频 |
| 通用多模态模型 | 交互自然、原型快、通用理解更直接 | 对复杂结构和长内容的控制粒度较弱 | 探索期、轻量视觉问答、多模态助手 |
很多质量上限在模型开始推理前就已经由解析、切片和元数据质量决定了。
文档解析、语音转写、视觉理解、检索和审核通常更适合分层协作，而不是一把梭。
一旦业务需要定位、引用、追责或回放，这些结构往往比摘要本身更关键。
| 证据节点 | 必须记录的字段 | 用来排查什么 |
|---|---|---|
| 媒体入口 | media_id、media_type、capture_time、source_device、file_hash、permission_snapshot | 输入到底是哪份图片、音频、视频或文档，是否有权处理和保存？ |
| 解析过程 | parser_version、ocr_asr_model、layout_version、frame_sampling_rule、segment_ids | 错在原始媒体质量、OCR / ASR、版面解析、切帧还是切片策略？ |
| 结构定位 | page_id、bbox、timestamp、speaker_id、table_cell、region_confidence | 答案能否回指到哪一页、哪一区域、哪一秒、哪个说话人或字段？ |
| 模型推理 | model_id、prompt_version、context_pack_id、cross_modal_evidence、uncertainty_label | 模型结论是否基于可见证据，还是被语言先验或上下文带偏？ |
| 审计输出 | answer_id、citation_spans、redaction_state、review_result、trace_id | 用户、审核和事故复盘能否重放同一份媒体和同一条证据链？ |
多模态能力会继续产品化: OCR、ASR、视觉理解和视频处理会越来越多地作为标准能力进入企业工作流。
文档与音视频理解更依赖工程分层: 解析、检索、推理和审核的分层链路会持续成为主流实践。
多模态评测与审计更重要: 随着内容复杂度上升，团队会更重视回放、引用和结构化评测。
统一多模态上下文: 文本、图像、文档、语音和视频能否进入统一检索与推理上下文，会越来越影响系统复杂度。
多模态 Agent: 能看文档、听音频、读网页、再执行动作的 Agent 会逐步增多，但治理要求也会更高。
输入质量黑洞: 模糊扫描、噪声录音和低质量视频如果缺少治理，会持续侵蚀整个系统表现。
只看模型展示不看流程成本: Demo 很惊艳，不代表真实工作流里的时延、审核和回放成本可接受。
结构信息丢失: 一旦页码、表格关系、时间轴或说话人信息丢了，后续很多能力都会一起失真。