知识全景图/ 软件工程与系统/ 人工智能全景图/ Diffusion 与生成式多模态

Diffusion、图像视频生成与生成式多模态底层图谱

从噪声、去噪、Latent Diffusion、CLIP、U-Net / DiT 到 ControlNet、图像编辑、视频和音频生成，理解非文本生成式 AI 的底层逻辑

阅读定位: 这一页补 AI 分支里“非 LLM 生成式 AI”的底层机制。它不替代多模态 AI 工程的解析、检索和工作流接入，也不替代模型架构族谱；它专注解释图像、视频、音频这类连续信号为什么常用扩散 / 去噪生成，以及它和逐 token 语言生成有什么本质差别。生成结果进入业务后，还要和多模态 Grounding、请求 Trace、AI 证据包索引、Artifact Registry、发布 / 回滚连成可审计链路。

一、从文本生成到图像生成：问题形态变了

Text Prompt
语义条件

→

Encoder
CLIP / T5

→

Noise
随机潜变量

→

Denoise Steps
逐步去噪

→

Decoder
Latent → Pixels

→

Image / Video
采样结果

生成对象	常见表示	核心难点	常见生成路线
文本	离散 token 序列	下一 token 概率、长程一致性、事实可靠性	Autoregressive Transformer
图像	像素或 latent feature map	二维空间结构、纹理细节、语义和构图一致	Diffusion、Latent Diffusion、DiT
视频	帧序列 + 时间维度	时序一致性、运动合理性、镜头连续	Video Diffusion、时空 Transformer
音频	波形、spectrogram、codec token	节奏、音色、语义、长时一致	Diffusion、codec LM、声学模型
3D / 动作	点云、mesh、NeRF、骨骼序列	几何一致、视角一致、物理约束	Diffusion、生成式重建、神经渲染

为什么不能只用 LLM 直觉理解图像生成

LLM 通常是按 token 顺序生成；图像生成要同时满足二维空间、纹理、语义、构图和局部细节。扩散模型把生成理解成“从噪声逐步还原结构”，更适合连续高维信号。

二、Diffusion 的核心直觉：加噪和去噪

Forward Process

训练时把真实图像逐步加噪
图像从清晰样本变成接近随机噪声
这个过程通常是人为设计的噪声调度
目标是制造可学习的反向任务

Reverse Process

模型学习从带噪状态预测噪声或干净样本
采样时从随机噪声开始逐步去噪
每一步都让图像更接近目标分布
步数、调度器和指导强度影响质量与速度

Conditioning

文本、图像、边缘、姿态、深度图都可以作为条件
条件告诉模型“往哪个方向去噪”
没有条件时是无条件生成
条件太弱或冲突会导致跑题、变形或细节漂移

概念	它是什么	工程上影响什么
Noise Schedule	加噪 / 去噪过程中噪声强度如何变化	质量、速度、稳定性、细节保留
Sampler / Scheduler	采样时每一步如何更新 latent	步数、风格、清晰度、耗时
Guidance Scale	文本条件对生成方向的约束强度	提示词遵循、自然度、过拟合提示词
Seed	初始噪声随机种子	可复现性、变体生成、A/B 对比
Negative Prompt	告诉模型避开什么特征	瑕疵控制、风格控制、但不是可靠安全机制

三、Latent Diffusion：为什么先压缩再生成

像素空间太贵

直接在高分辨率像素上做扩散，计算和显存压力很大。Latent Diffusion 先用 VAE 把图像压到低维潜空间，再在 latent 里去噪，最后解码回像素。

VAE 的角色

VAE 不是“画图模型”的全部，它更像压缩和还原图像的桥。扩散模型主要在压缩后的 latent 空间里学习生成结构。

代价是什么

压缩会带来细节损失、文字渲染困难和局部伪影。很多图像生成问题不只是提示词问题，也可能来自表示和解码瓶颈。

阶段	输入	输出	主要问题
Text Encoder	Prompt / Negative Prompt	语义向量	提示词理解、语言覆盖、风格词偏差
VAE Encoder	训练图像或编辑图像	latent 表示	压缩损失、细节丢失
Denoising Model	带噪 latent + 条件	更干净的 latent	构图、语义遵循、局部一致
VAE Decoder	最终 latent	像素图像	伪影、文字、小物体细节

四、U-Net、DiT、CLIP、ControlNet 各自做什么

组件	定位	直觉	常见影响
U-Net	经典扩散去噪骨干	多尺度处理图像，从粗结构到细节逐步还原	构图、纹理、局部细节
DiT	Diffusion Transformer	用 Transformer 处理图像 patch / latent token	扩展性、全局关系、训练规模
CLIP / Text Encoder	文本和图像语义对齐	把提示词变成模型能使用的条件向量	提示词理解、风格词、概念组合
ControlNet	结构控制分支	用边缘、姿态、深度、分割图等条件约束生成	姿态、布局、构图、工业可控性
LoRA	轻量风格 / 角色 / 领域适配	用少量参数改变风格或概念	风格化、人物一致、也可能过拟合
Inpainting / Outpainting	局部重绘或扩图	在已有图像上下文里生成缺失区域	编辑、修复、扩展画面

关键判断:

生成式多模态的核心不只是“prompt 写得好”。真正的可控性来自条件、结构约束、参考图、局部编辑、模型版本、seed、采样器和后处理的组合。

五、图像、视频、音频生成的不同难点

图像生成

重点是构图、风格、局部细节和语义一致
难点包括手部、文字、小物体、空间关系
可控技术相对成熟，如 ControlNet、inpainting、LoRA
商业落地常见于设计、广告、内容素材和电商

视频生成

比图像多了时间维度和运动一致性
人物、物体和背景要跨帧保持稳定
镜头语言、动作逻辑和物理规律更难
成本更高，评测也更难标准化

音频 / 音乐 / 语音生成

既要生成语义，也要生成音色、节奏和情绪
语音还涉及说话人一致性和可懂度
音乐涉及结构、旋律、和声和版权风险
很多系统会结合 codec token、声学模型和后处理

维度	图像	视频	音频
一致性	单张图内构图一致	跨帧身份、运动和场景一致	长时间音色、节奏和语义一致
成本	相对可控	高，帧数和分辨率放大成本	随时长、采样率和模型复杂度上升
评测	美感、语义符合、局部瑕疵	时序稳定、运动合理、镜头连续	可懂度、音质、节奏、情绪、版权
产品风险	版权、肖像、误导图像	深度伪造、虚假事件、人物冒用	声音克隆、音乐版权、冒名沟通

六、生成式多模态和多模态理解不是一回事

方向	输入	输出	核心能力	适合继续看
多模态理解	图像、音频、文档、视频	文本、结构化结果、判断	解析、定位、检索、推理	多模态 AI 工程
图像生成	文本、参考图、结构条件	新图像或编辑图像	去噪生成、风格控制、局部编辑	本页
视频生成	文本、图像、动作或镜头条件	视频片段	时序一致、运动生成、镜头控制	本页 + 多模态工程
音频生成	文本、旋律、参考声音、语音条件	语音、音乐、音效	声学建模、时序生成、身份与风格控制	本页 + 安全治理

七、为什么生成质量很难只靠一个分数判断

评测维度	看什么	典型陷阱
语义一致	是否符合 Prompt、参考图、结构条件	看起来漂亮但跑题
视觉质量	清晰度、纹理、光影、局部细节	高美感掩盖事实错误或结构错误
可控性	姿态、布局、角色、风格是否可重复	一次成功不代表可批量生产
一致性	同一角色、物体、风格跨图或跨帧是否稳定	视频和系列图最容易暴露问题
安全与版权	肖像、商标、训练数据风格、深度伪造风险	技术可生成不等于组织可使用
生产成本	生成时间、重试次数、人工筛选和后处理	单张图便宜，选出可用素材可能很贵

生成式多模态的真实成本

成本不只是一次模型调用，还包括提示词迭代、参考素材准备、重试、筛选、修图、版权审查和人工确认。越靠近商业发布，后处理和治理越重要。

7.1 生成式多模态证据包：从条件控制到可发布素材

证据节点	必须记录的字段	用来判断什么
生成请求	generation_request_id、request_id、user_intent、usage_context、tenant_id	这次生成服务于什么业务场景，是否越过租户、品牌或权限边界？
生成条件	prompt_id、prompt_hash、negative_prompt_hash、reference_assets、source_asset_id、control_asset_id、control_inputs、seed	生成结果来自哪些文本、参考图、姿态、边缘、声音或视频条件，能否复现同一候选？
模型与采样	model_id、model_version、scheduler、sampler、steps、cfg_scale、resolution、adapter_versions	质量变化来自底模、LoRA / ControlNet、采样器、分辨率还是随机种子？
筛选与后处理	candidate_count、selection_criteria、edit_steps、upscale_version、human_review_id、artifact_lineage_id	最终素材是一次生成成功，还是经过大量筛选、修图、放大、剪辑和人工判断？
安全版权	safety_filter_version、copyright_scan_id、identity_risk、watermark_state、restricted_style_flag、license_policy	是否涉及肖像、商标、训练风格、深度伪造或可发布边界？
发布血缘	asset_id、approval_record、release_gate_id、rollback_asset、trace_id、eval_case_id	商业使用后出问题，能否反查生成条件、模型版本、审批链、评测用例和回滚素材？

7.2 生成事故回放：从坏素材回到请求链

事故现象	先看哪段证据	常见根因	修复动作
人物身份或品牌风格漂移	reference_assets、control_asset_id、adapter_versions、seed、candidate_count	参考图弱、LoRA 过拟合、筛选标准只看美感	锁定参考资产版本，补角色一致性评测，把可发布候选写入 Artifact Registry
版权、肖像或商标风险	license_policy、copyright_scan_id、identity_risk、approval_record	素材来源不清、受限风格词、人工审批缺失	阻断发布门禁，补授权证明和安全过滤版本，必要时回滚到已审素材
视频跨帧不一致	model_version、scheduler、control_inputs、eval_case_id、trace_id	时序约束弱、采样器变化、评测只覆盖单帧美感	新增时序一致性切片，固定生成参数，记录失败样本用于回归
素材被用到错误场景	usage_context、tenant_id、release_gate_id、asset_id	资产标签粗糙、上下文缺失、发布链路没有场景约束	把场景、租户、授权和下游页面绑定到 artifact lineage，发布前做门禁校验
安全过滤被后处理绕过	safety_filter_version、edit_steps、upscale_version、watermark_state	生成时通过检查，编辑、放大或剪辑后改变风险状态	后处理后重新扫描，所有派生素材继承原始 trace 并生成新审查记录

八、常见误区

误区：图像生成只是 LLM 换个输出

图像生成面对连续高维空间，核心常常是去噪、latent、空间结构和条件控制，不是简单逐 token 输出。

误区：Prompt 写好就能稳定可控

工业可控通常需要参考图、结构条件、seed、局部编辑、模型版本和后处理流程共同约束。

误区：视频生成只是多生成几张图

视频必须保持跨帧身份、运动、物理和镜头连续性，难度不是线性增加。

误区：开源模型没有版权风险

模型权重开放不代表训练数据、输出风格、肖像和商用许可都没有问题。

误区：好看就是好结果

广告、电商、教育、新闻和企业内容更关心可控、可审查、可复现和可授权。

误区：生成和理解可以用同一套评测

理解任务看正确性和引用，生成任务还要看美感、可控性、一致性、版权和生产成本。

九、回到 AI 主干

AI 全景 → 模型架构 / 多模态 → Diffusion / 生成式多模态 → 多模态 AI 工程 → 多模态 Grounding → 请求 Trace → AI 证据包索引 → Artifact Registry → 发布 / 回滚 → AI 产品 / UX → AI 治理 / 合规

这张图在主干里的位置

多模态 AI 工程解释图像、音频、文档和视频怎样进入系统；这一页解释图像、视频、音频怎样被生成。理解这一层之后，才能把 AIGC、设计工具、视频生成、语音克隆和多模态 Agent 放回同一张 AI 地图里，并把可发布素材纳入 AI 证据包、Artifact Registry 与发布回滚的生产闭环。