人工智能全景知识图谱 (完整版)

核心思想

让模型在处理序列时，动态地"关注"输入中最相关的部分，而不是平等对待所有位置。

数学本质

Attention(Q,K,V) = softmax(QK^T / sqrt(d_k)) * V

Q(查询)、K(键)、V(值) 三个矩阵，通过点积计算相关性权重，再加权求和。

演进路线

Bahdanau Attention (2014) → Self-Attention (2017) → Multi-Head Attention → Flash Attention (2022) → GQA/MQA (2023)

为什么重要

Transformer 的核心就是 Self-Attention。没有它就没有 GPT、BERT、所有大模型。理解 Attention 等于理解了大模型 50% 的原理。

结构

Encoder-Decoder 结构 (原始) → Decoder-Only (GPT系列) / Encoder-Only (BERT)

每层 = Multi-Head Attention + Feed-Forward Network + LayerNorm + Residual Connection

关键创新

位置编码 (Positional Encoding): 正弦编码 → RoPE (旋转位置编码) → ALiBi

并行计算: 不像 RNN 必须顺序处理，Transformer 可以并行处理整个序列

规模演进

GPT-1 (117M) → GPT-2 (1.5B) → GPT-3 (175B) → GPT-4 (~1.8T MoE) → GPT-5 (?)

什么是预训练

用海量无标注文本，让模型学习语言的统计规律。本质是"压缩互联网"。

两种范式

自回归 (GPT): 预测下一个 token。训练目标: P(x_t | x_1, ..., x_{t-1})

掩码 (BERT): 随机遮住 15% 的 token，预测被遮住的。训练目标: P(x_mask | context)

训练成本

GPT-4 级别: ~25000 张 A100，训练 3-4 个月，电费+算力 $100M+

Llama 3 70B: ~6000 张 H100，训练 15T tokens

Scaling Laws

Chinchilla 定律: 最优训练 tokens 数 ≈ 20 × 参数量。模型越大，需要的数据越多。

但 2024 后发现: 过度训练 (over-training) 小模型也能获得很好效果 (Llama 3 路线)。

预训练数据

来源: Common Crawl (网页) + 书籍 + 代码 (GitHub) + 学术论文 + 百科

处理流程: 爬取 → 去重 (MinHash) → 质量过滤 (perplexity filter) → 去毒 (有害内容过滤) → 混合比例调配

SFT 数据 (监督微调)

人工编写高质量 instruction-response 对，通常 10K-100K 条。质量 > 数量。

RLHF 数据 (偏好标注)

标注员对模型的多个回答进行排序/打分，生成偏好对 (chosen, rejected)。

合成数据趋势

用强模型生成训练数据给弱模型 (Self-Instruct, Evol-Instruct)。合成数据占比在不少场景中持续上升，但具体比例会因行业、任务和数据源差异而明显不同。

为什么需要对齐

预训练后的模型只会"续写文本"，不会"听从指令"。对齐让模型变得有用、安全、诚实。

三步走 (InstructGPT 范式)

1. SFT (监督微调): 用人写的示范数据微调，让模型学会对话格式

2. Reward Model: 训练一个打分模型，学习人类偏好

3. PPO (强化学习): 用 Reward Model 的分数作为奖励信号，优化策略模型

DPO (Direct Preference Optimization)

2023 年提出，跳过 Reward Model，直接从偏好对中学习。更简单、更稳定。

公式本质: 把 RLHF 的目标函数重写为一个分类损失，不需要在线采样。

Constitutional AI (Anthropic)

用一组"宪法原则"让模型自我批评和修正，减少对人类标注的依赖。

量化 (Quantization)

FP32 → FP16 → INT8 → INT4。每降一级，显存减半，速度提升，精度略降。

主流方案: GPTQ (训练后量化) / AWQ (激活感知) / GGUF (llama.cpp 格式)

KV Cache

缓存已计算的 Key/Value，避免重复计算。是自回归推理的核心优化。

问题: 长序列时 KV Cache 占用巨大显存 → PagedAttention (vLLM) 解决碎片化

Speculative Decoding

用小模型快速生成草稿，大模型验证。验证比生成快，整体加速 2-3x。

Flash Attention

通过 IO 感知的分块计算，减少 HBM 访问次数。训练和推理都能加速 2-4x。

Agent = LLM + 工具 + 记忆 + 规划

推理框架: ReAct (Reasoning + Acting) / CoT (Chain of Thought) / Tree of Thought

工具调用: Function Calling (OpenAI) / Tool Use (Claude) / MCP 协议

记忆系统: 短期 (对话上下文) + 长期 (向量数据库) + 工作记忆 (scratchpad)

规划: 任务分解 → 子任务执行 → 反思修正 → 最终输出

多 Agent 协作

模式: 主从式 (Orchestrator + Workers) / 辩论式 / 流水线式

框架: AutoGen / CrewAI / LangGraph / Claude Agent SDK

基本流程

文档 → 分块 (Chunking) → Embedding → 存入向量数据库 → 用户查询 → 检索 Top-K → 拼入 Prompt → LLM 生成

关键技术点

Chunking: 固定长度 / 语义分割 / 递归分割。chunk 太大丢精度，太小丢上下文。

Embedding: text-embedding-3-large / BGE / GTE / Jina。维度 768-3072。

检索: 纯向量 / BM25 关键词 / 混合检索 (Hybrid) / 重排序 (Reranker)

高级: GraphRAG (知识图谱增强) / Self-RAG (模型自判断是否需要检索) / Agentic RAG