偏宏观认知的总览页，回答 AI 是什么、在往哪演进、和工程落地分别该怎么看 (2025-2026)
这里和页面索引里的“方向”保持一致：先选方向，再进入对应专题页。总览页不再承担完整链接清单的职责。
| 上层 | 依赖的下层 | 关系说明 |
|---|---|---|
| 核心算法 | 基础设施 | 没有 GPU 集群和数据，算法只是论文上的公式 |
| AI 开发 | 核心算法 | 微调、蒸馏、压缩、评测都建立在已有模型架构之上 |
| AI 应用开发 | AI 开发 | Agent/RAG 需要可调用的模型 API 作为引擎 |
| AI 应用 | AI 应用开发 | 终端产品是框架 + Prompt + 工程的组合 |
| 预训练 | 数据标注 + 算力 | GPT-4 级别训练一次花费 $100M+，需要万卡集群 |
| 注意力机制 | 深度学习基础 | Attention → Transformer → GPT/BERT → 所有大模型 |
| RLHF/DPO | 强化学习 + 数据标注 | 对齐 = RL 算法 (PPO) + 人类偏好标注数据 |
| RAG | Embedding + 向量数据库 | 检索增强依赖语义表示和高效近似搜索 |
| Agent | 大模型 + 工具调用 | Agent = LLM 推理 + Function Calling + 记忆 |
这一节只保留全局地图级别的入口摘要。底层机制、训练细节和推理成本已经拆到专题页里，避免在总览页重复展开。
| 概念层 | 先抓住什么 | 继续深入 |
|---|---|---|
| 张量 / 自动微分 / 计算图 | 深度学习框架把样本变成 tensor，把 forward 记录成 computation graph，再用 autograd 沿图反传梯度。 | 张量、矩阵乘法、自动微分与计算图、AI Infra / GPU |
| 神经网络 / 训练循环 | 模型能力来自参数、张量计算、loss、梯度下降、反向传播和泛化，而不是把答案逐条存进数据库。 | 神经网络 / 深度学习 / 训练循环 |
| 优化器 / 损失函数 / 训练稳定性 | Loss、梯度、学习率、batch、归一化、warmup 和 optimizer 共同决定模型能否稳定收敛，以及什么时候会训崩或过拟合。 | 优化器、损失函数与训练稳定性、Normalization / Residual / RMSNorm、训练 / 推理 / Scaling |
| Mixed Precision / 数值精度 / Kernels | dtype、数值范围、低精度、kernel fusion、FlashAttention 和 profiler 决定训练是否稳定、推理是否吃到硬件快路径。 | Mixed Precision、数值精度与 Kernel、AI Infra / GPU、模型压缩 / 量化 |
| Tokenizer / 词表 / 文本表示 | 模型不是直接读取字符或自然词，而是先把文本、空格、代码、特殊符号和 chat template 翻译成 token id 序列。 | Tokenizer、词表与文本表示、推理计算 / KV Cache |
| Chat Template / Message Serialization | 应用层的 system / user / assistant / tool 消息不会直接进入模型，必须先按模型训练时的角色协议、特殊 token、停止符和工具调用格式序列化成 token 序列。 | Chat Template、Message Serialization 与角色协议、Prompt / 上下文、Tool Calling |
| Batching / Padding / Masking / Sequence Packing | 可变长 token 序列进入模型前，要被补齐或拼包成规则张量，并用 attention mask、causal mask、loss mask 和 position_ids 定义可见性与训练目标。 | Batching、Padding、Masking 与 Sequence Packing、语言建模目标、QKV / 注意力头 |
| 上下文组装 / 窗口预算 / 截断策略 | 一次真实请求会把 system、历史、记忆、RAG、工具结果和业务状态装进有限窗口；预算、排序、压缩和截断决定模型到底看到什么。 | 上下文组装、窗口预算与截断策略、一次请求的一生、Prompt / 上下文 |
| Token / Embedding / Position | 模型不是直接理解文字，而是把文本切成 token，再映射成向量，并通过位置编码感知顺序。 | Token / Attention / Transformer、位置编码 / RoPE / 长上下文外推 |
| 位置编码 / RoPE / 长上下文外推 | Transformer 需要通过位置机制理解顺序、距离和长上下文；RoPE、position ids、scaling 和 KV Cache 决定长窗口能否稳定可用。 | 位置编码、RoPE 与长上下文外推、推理计算 / KV Cache |
| 长上下文失效机制 / Attention Dilution | 窗口变长后，关键证据可能被位置偏差、attention dilution、噪声、冲突证据和 RAG 排序问题稀释或带偏。 | 长上下文失效机制、Attention Dilution 与检索位置偏差、长上下文 / 记忆工程、RAG / 知识检索 |
| QKV / Multi-Head Attention | Q/K 决定当前位置匹配哪些上下文，V 决定被读取的内容，mask、softmax、多头拼接和 GQA/MQA 决定信息路由、显存和推理行为。 | QKV、Multi-Head Attention 与注意力头机制、推理计算 / KV Cache、模型内部表征 |
| In-Context Learning / Induction Heads | 模型参数不更新时，仍能通过上下文里的任务描述、few-shot 示例、attention 检索、复制续写和 logits shift 临时改变当前行为。 | In-Context Learning、Induction Heads 与上下文内泛化、Prompt / 上下文工程 |
| Hidden States / Representation Geometry | 每层 hidden state 在 residual stream 中累积上下文、任务、格式和行为方向，最终被 LM head 读成 logits。 | Hidden States、Representation Geometry 与语义方向、可解释性 / 模型内部表征 |
| Normalization / Residual / RMSNorm | 深层 Transformer 需要残差流保留信息和梯度主路，也需要 LayerNorm / RMSNorm 控制每层输入尺度。 | Normalization、Residual、LayerNorm 与 RMSNorm、训练稳定性 |
| MLP / FFN / SwiGLU | Transformer block 不只有 Attention；FFN / MLP 负责逐位置非线性加工，SwiGLU 和 gate / up / down projection 决定大量参数、计算和 MoE 专家形态。 | MLP、FFN、激活函数与 SwiGLU、模型架构 / MoE |
| 参数 / 权重 / Checkpoint / 文件格式 | 训练出来的模型最终会落成权重张量、config、tokenizer、adapter、量化格式和运行时约定，决定它能否被安全加载、转换和部署。 | 模型参数、权重与文件格式、开源部署 |
| Attention / Transformer Block | Attention 决定不同 token 之间如何互相“看见”；多层 Transformer Block 还要依靠残差流、归一化和 MLP 把局部关联堆成复杂能力。 | Token / Attention / Transformer、QKV / 注意力头机制、Norm / Residual、MLP / FFN / SwiGLU |
| 模型架构族谱 / MoE | decoder-only、encoder、Embedding 模型、MoE 和多模态架构对应不同训练目标、输出形态、成本结构和工程边界。 | 模型架构族谱 / MoE、开源部署 |
| 多模态 Grounding / 跨模态对齐 | 图像、文档、音频和视频要先被编码、投影和融合，输出才能稳定回指到对象、区域、页码、时间戳和证据。 | 多模态 Grounding、跨模态对齐与失效机制、多模态 AI 工程、Embedding / 向量检索 |
| Diffusion / 生成式多模态 | 图像、视频、音频这类连续信号常用噪声到样本的去噪生成路线，和 LLM 的逐 token 生成有不同约束。 | Diffusion / 图像视频生成 / 生成式多模态、多模态 AI 工程 |
| 具身智能 / 世界模型 / VLA | AI 从文本和图像生成进入物理世界时，必须把感知、世界模型、规划、策略、控制、执行和反馈放进同一个闭环。 | 具身智能、机器人与世界模型、Agent 系统 |
| 强化学习 / 策略学习 / 环境反馈 | 行动型 AI 不只预测下一个 token，还要在状态、动作、奖励、环境和长期价值之间学习怎样做决策。 | 强化学习、策略学习与环境反馈、具身智能 / 机器人 |
| 目标函数 / 奖励错配 / Goodhart | 系统会优化你写下来的代理目标，而不是你心里真正想要的结果；loss、reward、metric、benchmark 和安全约束一旦错配，能力越强越容易把漏洞放大。 | 目标函数、奖励错配、Goodhart 与 Reward Hacking、模型评测 / Eval |
| 预训练 / SFT / 偏好对齐 | 预训练学世界统计规律，SFT 学会按指令回答，偏好优化把回答推向更有用、更安全、更符合人类选择。 | 训练 / 推理 / Scaling、后训练 / 对齐机制 |
| 后训练 / RLHF / DPO / RLVR | Base Model 通过 SFT、偏好学习、奖励模型、RLHF、DPO 和可验证奖励，逐步从续写器变成可协作助手。 | 后训练、SFT、RLHF、DPO 与对齐机制、微调与对齐 |
| 人类反馈 / 标注质量 / 偏好数据 | 人类反馈不是天然真值，而是由 rubric、标注者、偏好对、复核、噪声和线上回流共同构成的训练与评测信号。 | 人类反馈、标注质量与偏好数据、AI 数据工程 |
| 预训练数据 / 数据污染 | 模型能力、偏差、版权风险和榜单可信度都受数据来源、清洗去重、数据配方、合成数据和 Benchmark 泄漏影响。 | 预训练数据 / 数据污染、模型评测 / Eval |
| 数据配方 / 采样权重 / Token 预算 | 数据不是平均倒进模型；mixture ratio、采样权重、token 配额、curriculum 和 Eval 切片共同决定模型真正学到哪些能力。 | 数据配方、采样权重与 Token 预算、AI 数据工程 |
| 训练数据到模型能力形成生命周期 | 一次训练样本会经过 dataset、DataLoader、packing、batch、forward、loss、backward、optimizer update、checkpoint 和 Eval，最后才变成可发布的模型能力。 | 训练数据到模型能力形成的一生、优化器 / Loss |
| 语言建模目标 / Teacher Forcing | Next token prediction 把输入序列、右移标签、因果 mask、teacher forcing、logits 和 cross entropy 接成训练目标，解释模型到底被训练成了什么。 | 语言建模目标、Teacher Forcing 与 Next Token Prediction、Logits / Softmax |
| 数据分布 / 泛化 / OOD / 鲁棒性 | 训练集、评测集和生产输入不是同一个世界；分布漂移、长尾样本和 OOD 决定模型什么时候会突然失效。 | 数据分布、泛化、OOD 与鲁棒性、LLMOps / 可观测性 |
| 因果推理 / 反事实 / 干预 | AI 学到相关模式不等于知道原因；混杂、选择偏差、反事实和干预证据决定结论能否指导真实行动。 | 因果推理、反事实与干预、模型评测 / Eval |
| 安全对齐 / 拒答 / 策略边界 / 红队攻击 | 模型安全不是只靠关键词拒答，而是策略边界、拒答样本、红队攻击、误拒误放和运行时护栏之间的持续博弈。 | 安全对齐、拒答、策略边界与红队攻击、AI 安全 / 护栏 |
| 指令层级 / 上下文可信度 / 权限边界 | LLM 上下文里不是所有文字都平等；系统规则、用户目标、RAG 文档、工具返回和网页内容必须区分权威与可信度。 | 指令层级、上下文可信度与权限边界、Prompt / 上下文、Tool Calling |
| Scaling / 数据 / 算力 | 能力提升来自参数、数据、计算量、训练配方与后训练的共同作用，不是单纯“模型越大越好”。 | 训练 / 推理 / Scaling、AI Infra / GPU |
| AI Infra / GPU / 推理引擎 | 大模型落地受 GPU、HBM、互联、显存账本、训练并行、推理引擎和服务调度共同约束。 | AI Infra / GPU / 并行训练 / 推理引擎、AI 成本 / 性能 |
| 能力边界 / 幻觉机制 | 模型会说不等于知道；参数记忆、上下文材料和外部检索都有边界，必须用评测、引用和校验建立刹车。 | 能力边界 / 幻觉机制 |
| Logits / Softmax / 概率输出 | 模型先在词表维度给每个候选 token 打原始分数，再通过 softmax、logprob 和 cross entropy 连接训练损失、候选分布与生成控制。 | Logits、Softmax 与概率输出、Tokenizer / 词表 |
| 概率 / 熵 / 校准 / 不确定性 | 高概率不等于真实可信；熵、置信度、校准、拒答和风险阈值共同决定系统什么时候回答、追问、检索或人工升级。 | 概率、熵、校准与不确定性、模型评测 / Eval |
| 可解释性 / 模型内部表征 | 内部向量、特征、注意力头和电路能为幻觉、安全、对齐和压缩退化提供线索，但必须通过干预验证。 | 可解释性、Mechanistic Interpretability 与模型内部表征、AI 安全 / 护栏 |
| Embedding / 向量检索 | 语义向量能帮助检索相关材料，但语义相似不等于答案正确，Chunking、混合检索和 Rerank 会直接影响 RAG 质量。 | Embedding / 向量检索、RAG / 知识检索 |
| 推理 / KV Cache / 量化 | 上线后的瓶颈常常来自上下文长度、逐 token 解码、显存占用、批处理调度、缓存复用和模型路由。 | 推理计算 / KV Cache、AI 缓存策略、模型服务 / 网关 |
| 模型路由 / Fallback / 多模型编排 | 生产系统要按任务、风险、成本、延迟和质量证据决定请求走哪个模型，失败时怎样降级或升级，而不是所有请求都走同一个模型。 | 模型路由、Fallback 与多模型编排、AI 成本 / 性能 |
| 模型压缩 / 蒸馏 / 量化 / 端侧 AI | 模型从云端大模型走向小模型、本地模型和端侧模型时，核心是能力、内存、延迟、功耗、隐私和质量回归的重新分配。 | 模型压缩、蒸馏、量化与端侧 AI、开源部署 |
| 解码 / 采样 / 结构化输出 | 模型每一步输出来自 logits、概率分布和采样策略；温度、top-p、停止条件和 schema 会直接影响稳定性、格式和成本。 | Logits、Softmax 与概率输出、解码 / 采样 / 结构化输出、Tool Calling / 执行协议 |
| 推理模型 / Test-time Compute | 复杂可验证任务会把更多计算放到调用时，用候选路径、验证器、工具运行和搜索回退提升答案可靠性。 | 推理模型 / Test-time Compute、AI 编程 Agent |
| 搜索 / 规划 / 约束求解 | Agent 把目标变成行动路径时，其实是在状态、动作、目标、约束、启发式、验证器和回溯点组成的搜索空间里做规划。 | 搜索、规划与约束求解、Agent 系统 |
| Benchmark / Eval / Judge | 模型分数不是单一考试成绩，而是任务集、样本、评分器、人工校准、线上反馈和生产闸门共同构成的质量仪表。 | 模型评测 / Benchmark / Eval、LLM-as-Judge / 自动评测校准 |
| 模型评测到发布闸门生命周期 | 评测分数要经过样本切片、Judge / 人工校准、质量安全成本延迟闸门、Canary 和线上观测，才能变成上线、阻断、灰度或回滚决策。 | 模型评测到发布闸门的一生、发布 / 灰度 / 回滚 |
| LLM-as-Judge / 自动评测校准 | 当模型成为评分器时，要治理长度偏见、位置偏差、自评偏差、评分漂移和人工定标，而不是把 Judge 分当客观真理。 | LLM-as-Judge、自动评测偏差与校准、人类反馈 / 标注质量 |
| 答案 Grounding / 引用 / 事实核验 | 可信回答要把每个关键断言绑定到证据片段，区分相关性、可回答性、忠实度和引用准确率，并在证据不足或冲突时追问、拒答或转人工。 | AI 答案 Grounding、引用与事实核验、RAG、请求 Trace、LLM-as-Judge |
| AI 证据包索引 / Trace 字段总表 | 把请求、上下文、RAG、工具、模型服务、发布、审计、事故和反馈字段集中成入口，方便从坏例反查证据、从上线清单反推日志和 Dashboard。 | AI 证据包索引、Trace 字段与可审计闭环图谱、请求 Trace / 排障模板、AI 审计证据链 |
| AI 审计证据链 / 可解释追责 | 一次请求、一次工具动作、一次发布和一次事故都要留下可关联证据，才能复现行为、归因责任、支撑审计和改进闭环。 | AI 审计证据链、可解释追责与责任边界、一次请求的一生、LLMOps / 可观测性 |
| AI 风险分级 / 控制矩阵 | 任务影响、数据敏感度、工具副作用、用户可逆性和监管责任共同决定风险等级，再反推护栏、评测、发布、人工介入和审计强度。 | AI 风险分级、控制矩阵与上线门槛、AI 安全 / 护栏、评测到发布闸门 |
| AI 行为控制矩阵 | Prompt、Policy、Tools、Decoder、Guardrails、Human Review 和 Release Gate 是不同层的行为旋钮，适合按风险等级组合，而不是靠单个提示词兜底。 | AI 行为控制矩阵、Prompt / 上下文、Tool Calling / 执行协议 |
| AI Artifact / 版本登记 | 模型、Prompt、Policy、RAG、Tools、Guardrails、Eval Set 和 Release Gate 都是会改变行为的资产，必须有版本、owner、依赖、证据、状态和回滚关系。 | AI Artifact、版本登记与资产血缘、LLMOps、审计证据链 |
| AI 安全评测 / 红队回归 | 安全控制改完后，要用红队集、正常对照集、灰区集、工具风险集和线上坏例回归同时约束误放、误拒、发布阻断和线上漂移。 | AI 安全评测、红队回归与误拒误放矩阵、安全对齐 / 红队、评测到发布闸门 |
| 发布变更 / 灰度 / 回滚 | 模型、Prompt、RAG、工具、护栏、路由和评测集改动必须带着版本快照、上线闸门、Canary、监控止血、回滚路径和审计证据进入生产。 | AI 发布、变更治理、灰度与回滚、风险控制矩阵、AI 审计证据链、LLMOps / 可观测性 |
| AI 事故响应 / Runbook / 演练 | AI 事故不只看服务是否宕机，还要处理质量、安全、权限、工具副作用、成本、供应商和发布回归。 | AI 事故响应、Runbook 与演练、AI 审计证据链、LLMOps / 可观测性、发布 / 灰度 / 回滚 |
| 反馈闭环 / 坏例回流 / 数据飞轮 | 线上失败要能被 trace 看见、被分流归因、被标注成样本资产，再进入回归、数据、Prompt、RAG、护栏、微调和灰度发布闭环。 | 反馈闭环、坏例回流与数据飞轮、AI 数据工程 |
| Tool Calling / 执行协议 | 模型只能提出工具调用意图，真正执行必须经过 schema、权限、状态机、幂等、补偿、人工确认和审计。 | Tool Calling / Agent 执行协议、Workflow / HITL / 状态管理、Agent 系统 |
| 上下文协议 / 连接器 / MCP | 外部工具、资源、Prompt、文件、数据库和 SaaS 不能散装塞进 Prompt，而要通过连接器协议、能力发现、授权、沙箱、版本和 Trace 接入上下文。 | AI 上下文协议、连接器与 MCP、Tool Calling、权限 / 数据边界、Artifact Registry |
| 一次请求生命周期 | 真实系统里，一次请求会穿过输入、上下文、RAG / Agent、网关、推理、流式返回、停止、重试、Trace、评测、成本和安全闭环。 | 一次 LLM 请求的一生、上下文组装 / 窗口预算、生成运行时 / 流式返回 / 重试、请求 Trace / 排障模板 |
| AI 应用架构模式 | Chat、RAG、Copilot、Agent、Workflow 和 Eval Loop 不是同一种产品，它们对应不同上下文、工具、风险和运营闭环。 | AI 应用架构模式、Workflow / HITL / 状态管理、AI 工程实战 |
| AI 知识生命周期 / RAG 运维 | 知识源进入 RAG 后，需要治理来源、解析、Chunk、索引、ACL、刷新、过期、回滚和污染事故，而不是一次性入库。 | AI 知识生命周期与 RAG 运维、RAG / 知识检索、权限 / 租户 / 数据边界 |
| AI 产品 / UX / 人机协作 | 模型能力进入产品后，关键变成用户能否理解、控制、验证和恢复，而不只是回答本身是否聪明。 | AI 产品形态、UX 与人机协作 |
| RAG / Agent | RAG 用外部知识补模型记忆，Agent 用工具调用和流程编排把模型变成可执行的系统组件。 | RAG / 知识检索、Agent 系统 |
| AI 编程 Agent | 编码 Agent 把需求理解、仓库理解、补丁生成、测试验证和代码评审连成软件工程协作闭环。 | AI 编程 Agent / 软件工程协作、测试与质量工程 |
| AI 治理 / 隐私 / 版权 / 合规 | 组织级 AI 系统必须把数据来源、授权边界、用户影响、工具副作用、审计证据和责任归属连成持续治理闭环。 | AI 治理、隐私、版权与合规、AI 安全 / 护栏 |
推理框架: ReAct (Reasoning + Acting) / CoT (Chain of Thought) / Tree of Thought
工具调用: Function Calling (OpenAI) / Tool Use (Claude) / MCP / 上下文协议
记忆系统: 短期 (对话上下文) + 长期 (向量数据库) + 工作记忆 (scratchpad)
规划: 任务分解 → 子任务执行 → 反思修正 → 最终输出
模式: 主从式 (Orchestrator + Workers) / 辩论式 / 流水线式
框架: AutoGen / CrewAI / LangGraph / Claude Agent SDK
文档 → 分块 (Chunking) → Embedding → 存入向量数据库 → 用户查询 → 检索 Top-K → 拼入 Prompt → LLM 生成
Chunking: 固定长度 / 语义分割 / 递归分割。chunk 太大丢精度，太小丢上下文。
Embedding: text-embedding-3-large / BGE / GTE / Jina。维度 768-3072。
检索: 纯向量 / BM25 关键词 / 混合检索 (Hybrid) / 重排序 (Reranker)
高级: GraphRAG (知识图谱增强) / Self-RAG (模型自判断是否需要检索) / Agentic RAG
| 维度 | 中国 | 海外 | 差距趋势 |
|---|---|---|---|
| 基础模型能力 | 在部分任务中差距缩小 | 整体仍领先 | 在若干中文和工程场景中继续缩小 |
| 开源生态 | Qwen/DeepSeek 活跃 | Llama/Mistral 主导 | 接近持平 |
| 应用落地 | 速度快，场景多 | 质量高，付费意愿强 | 各有优势 |
| AI Infra | 受限于芯片禁令 | NVIDIA 生态完整 | 差距较大且短期难缩小 |
| 人才 | 工程人才充裕，研究人才不足 | 顶尖研究人才集中 | 中国在追赶 |
| 资本 | 2024 后趋于理性 | 持续大额投入 ($100B+/年) | 差距在拉大 |
Agent 概念 — 2024-2025 融资火热，但真正能稳定运行的生产级 Agent 极少。多数还是 Demo 阶段。
AI 应用层创业 — 大量"套壳"产品，护城河薄弱，模型升级一次就可能被淘汰。
数字人/虚拟主播 — 技术不成熟，商业模式未验证，大量公司已倒闭。
RAG — 企业刚需，但很多团队低估了工程复杂度 (检索质量、幻觉控制)。
AI 编程 — 确实提效 30-50%，但"替代程序员"的叙事过度。工具会成熟，人不会消失。
AIGC 视频 — Sora/Kling 惊艳，但离稳定的大规模生产仍有距离，具体成熟节奏取决于成本、版权和工作流整合。
AI Infra / 推理优化 — 只要模型在用，就需要更快更便宜的推理。供不应求。
大模型预训练 — 头部效应明显，但确定性最高。模型能力是一切的基础。
传统 ML (推荐/搜索/广告) — 不性感但印钞机。互联网公司核心收入来源。
AI for Science — 学术价值确定，商业化慢但天花板极高。
具身智能 / 机器人 — 长周期但确定性高，物理世界的 AI 化是终极方向。
| 路线 | 核心技能 | 入门速度 | 天花板 | 稳定性 | 适合谁 |
|---|---|---|---|---|---|
| A. AI 应用开发 | 编程 + Prompt + 工程 | ★★★★★ | ★★★☆☆ | ★★★☆☆ | 全栈开发者、转型程序员 |
| B. ML 工程师 | 数学 + PyTorch + 工程 | ★★★☆☆ | ★★★★☆ | ★★★★☆ | CS 本科/硕士 |
| C. AI 研究员 | 数学 + 论文 + 创新 | ★☆☆☆☆ | ★★★★★ | ★★★★★ | 博士、前沿突破 |
| D. AI 产品/行业 | 行业知识 + AI 理解 | ★★★★☆ | ★★★★☆ | ★★★★☆ | 产品经理、行业专家 |
| E. AI Infra | C++/CUDA + 系统 | ★★☆☆☆ | ★★★★★ | ★★★★★ | 系统工程师、芯片背景 |
从数据到部署，每个环节的主流工具一览。
| 环节 | 工具 | 说明 |
|---|---|---|
| 数据标注 | Label Studio [开源] / Labelbox / Scale AI | 文本/图像/音频标注，支持多人协作 |
| 偏好数据 / 标注质量 | Rubric / Golden Set / 交叉复核 / LLM-as-Judge | 控制偏好对、人工评分、拒答标签和 Judge 校准的口径一致性 |
| 数据清洗 | Pandas / Spark / dbt | 结构化数据处理和转换 |
| 文本去重 | MinHash (datasketch) / SimHash | 大规模文本去重，预训练数据必备 |
| 数据质量 | Cleanlab [开源] / Great Expectations | 自动检测标注错误和数据异常 |
| 合成数据 | Gretel / 自建 (GPT-4/Claude 生成) | 生成训练数据，解决数据不足 |
| 数据版本管理 | DVC [开源] / LakeFS | 像 Git 一样管理数据集版本 |
| 环节 | 工具 | 说明 |
|---|---|---|
| 深度学习框架 | PyTorch [主流] / JAX [Google] / TensorFlow [遗留] | PyTorch 仍是研究和工业训练中的主导框架 |
| 分布式训练 | DeepSpeed / Megatron-LM / FSDP | 多卡/多机训练必备 |
| 微调框架 | HuggingFace PEFT / LLaMA-Factory / Axolotl | LoRA/QLoRA/全参微调一站式 |
| 实验管理 | Weights & Biases / MLflow [开源] / Neptune | 记录超参、loss 曲线、模型版本 |
| 超参搜索 | Optuna [开源] / Ray Tune | 自动化超参数优化 |
| GPU 租用 | RunPod / Lambda / AutoDL / 阿里云 PAI | 按需租用 GPU 算力 |
| 环节 | 工具 | 说明 |
|---|---|---|
| 通用评测 | lm-evaluation-harness / HELM (Stanford) | 标准化 benchmark 评测 |
| 中文评测 | C-Eval / CMMLU / SuperCLUE | 中文能力专项评测 |
| 对话评测 | MT-Bench / Chatbot Arena (LMSYS) | 多轮对话和人类偏好评测 |
| 安全评测 | HarmBench / TrustLLM | 检测有害输出和越狱漏洞 |
| RAG 评测 | RAGAS [开源] / TruLens | 检索质量、答案忠实度 |
| 代码评测 | HumanEval / MBPP / SWE-bench | 代码生成和工程能力评测 |
| 环节 | 工具 | 说明 |
|---|---|---|
| 推理引擎 | vLLM [主流] / TensorRT-LLM / llama.cpp [端侧] | 高吞吐 LLM 推理服务 |
| 量化工具 | GPTQ / AWQ / llama.cpp (GGUF) / bitsandbytes | 模型压缩，降低显存需求 |
| 模型托管 | HuggingFace Hub / ModelScope (国内) / Ollama (本地) | 模型分发和版本管理 |
| API 网关 | LiteLLM [开源] / OpenRouter / One API | 统一多模型 API 接口 |
| 容器化 | Docker + K8s / KServe / BentoML | 模型服务容器化部署 |
| 监控 | Prometheus + Grafana / LangSmith / Helicone | 延迟、吞吐、成本监控 |
| 环节 | 工具 | 说明 |
|---|---|---|
| 应用框架 | LangChain / LlamaIndex / Haystack | RAG/Agent 应用开发框架 |
| Agent 框架 | Claude Agent SDK / AutoGen / CrewAI / LangGraph | 多 Agent 编排和工具调用 |
| 低代码平台 | Dify [开源] / Coze (字节) / FastGPT | 拖拽式搭建 AI 应用 |
| 向量数据库 | Milvus / Pinecone / Qdrant / Weaviate / Chroma | 存储和检索 Embedding 向量 |
| Prompt 管理 | LangSmith / PromptLayer / 自建 | Prompt 版本、A/B 测试 |
| 前端 SDK | Vercel AI SDK / SSE 协议 | 流式输出和前端集成 |
| 协议标准 | MCP (Model Context Protocol) / Function Calling | 推动工具调用、资源读取、Prompt 暴露和上下文传递统一化的开放协议与接口模式 |
现实: 你会在数学阶段放弃。正确做法是边做边学，遇到不懂的公式再回头补。
建议: 先跑通一个完整项目 (哪怕是调 API)，建立信心和全局观，再深入原理。
现实: 取决于你的目标。走路线 A (应用开发) 可以直接从 API 和 Prompt 开始。
建议: 传统 ML 是路线 B/C 的基础，但不是所有人的必经之路。按需学习。
现实: AI 领域变化太快，你看完教程时技术已经迭代了。
建议: 20% 学习 + 80% 实践。做项目 > 看视频 > 看书。
现实: 收藏了 100 篇论文和 50 个教程，一个都没看完。
建议: 每次只聚焦一个主题，做完一个项目再开始下一个。深度 > 广度。
正确做法: 先建评测集，再迭代 Chunking/Embedding/检索策略。
正确做法: 加超时、重试、最大步数限制、成本预算。先做确定性流程，再加灵活性。
正确做法: 1000 条高质量 > 10 万条低质量。先清洗，再训练。
正确做法: 简洁、结构化、有优先级。用 XML/Markdown 分段。测试不同版本。
只会调 API 已越来越接近基本功，很难单独构成长期壁垒。
破解: 往深走 (理解原理) 或往宽走 (懂业务)。纯调用会被低代码替代。
今天 Agent 火学 Agent，明天多模态火学多模态。结果什么都不精。
破解: 选一条主线深耕。T 型人才 (一专多能) > 全面平庸。
AI 行业看作品集和实际产出，不看你学了多少课程。
破解: 每学一个技术就做一个小项目放 GitHub。写博客建立个人品牌。
AI 替代的是重复性编码，不是系统设计和架构决策。
破解: 学会用 AI 工具提效 (Claude Code/Cursor)，而不是被它替代。人+AI > 纯 AI。
AI 领域变化极快，跟对信息源比埋头学习更重要。
| 来源 | 类型 | 价值 |
|---|---|---|
| Twitter/X AI 圈 | 社交媒体 | 最快一手信息。推荐: @kaboroevich @_akhaliq @swyx |
| Hacker News | 技术社区 | 高质量技术讨论，AI 帖子每天 10+ |
| arXiv (cs.CL/cs.AI/cs.LG) | 论文预印本 | 所有前沿研究第一时间发布 |
| Papers With Code | 论文+代码 | 论文配套实现，方便复现 |
| 名称 | 频率 | 内容 |
|---|---|---|
| The Batch (Andrew Ng) | 周刊 | AI 行业新闻精选，快速了解全局 |
| AI News (Swyx) | 周刊 | 深度技术分析，偏工程实践 |
| Ahead of AI (Sebastian Raschka) | 月刊 | 深度论文解读，学术向 |
| 机器之心 / 量子位 | 日更 | 中文 AI 新闻，覆盖国内外 |
| AI 前线 (InfoQ) | 周更 | 偏工程落地，适合开发者 |
| 社区 | 特点 | 适合谁 |
|---|---|---|
| HuggingFace Community | 模型/数据集/Space 生态 | 所有 AI 开发者 |
| r/MachineLearning | 论文讨论、行业八卦 | 研究者、ML 工程师 |
| r/LocalLLaMA | 本地部署、量化、开源模型 | 想跑本地模型的人 |
| LangChain Discord | RAG/Agent 开发讨论 | 应用开发者 |
| 知乎 AI 话题 | 中文深度技术文章 | 中文用户 |
| 即刻 AI 圈 | 国内 AI 创业者社区 | 产品/创业方向 |
| 名称 | 语言 | 风格 |
|---|---|---|
| Lex Fridman Podcast | 英文 | 深度访谈 AI 大佬 (Karpathy, Altman, Hinton) |
| Latent Space Podcast | 英文 | AI 工程实践，偏技术深度 |
| 3Blue1Brown | 英文 | 数学可视化，神经网络系列经典 |
| Andrej Karpathy YouTube | 英文 | 从零实现 GPT，最好的动手教程 |
| 李沐 B站 | 中文 | 论文精读 + 动手学深度学习 |