训练数据到模型能力形成的一生底层图谱

从原始语料、数据集、DataLoader、batch、forward、loss、backward、optimizer update、checkpoint、eval 到模型发布，理解能力到底怎样被写进权重

阶段	它在做什么	能力影响	相邻专题
Raw Data	采集网页、书籍、代码、对话、标注、偏好、线上反馈和合成样本	决定模型可能接触的语言、领域、风格、知识和风险边界	预训练数据
Dataset	清洗、去重、过滤、分桶、打元数据、版本化	决定有效训练信号密度和可审计性	AI 数据工程
Batch	按配方抽样、tokenize、packing、padding、shuffle，形成一次更新看到的数据	决定这一 step 的梯度从什么分布里来	数据配方
Forward / Loss	模型根据当前权重预测，再把错误或偏好差异变成 loss	把数据样本翻译成可优化目标	优化器 / Loss
Backward / Update	反向传播得到梯度，优化器更新权重和状态	真正把统计模式、格式倾向或偏好写进参数	参数 / 权重
Eval / Release	用验证集、基准、红队、生产回放确认能力变化	决定这次训练结果是否能进入下一阶段或发布	模型评测

处理动作	解决什么	如果缺失会怎样	应该留下的证据
来源登记	知道数据来自哪里、什么时候采集、能否用于训练	版权、隐私、删除请求和数据污染无法追溯	source id、采集时间、许可证、用途范围
清洗过滤	去掉乱码、模板页、低质内容、毒性内容和无效样本	训练 token 被噪声消耗，loss 下降但能力不涨	过滤规则、过滤前后样本统计、抽检记录
去重 / 近似去重	降低记忆风险和重复暴露	模型记住样本表面，benchmark 被污染，token 预算浪费	dedup 策略、hash / cluster、重复率
元数据标记	让数据可按语言、领域、长度、质量、风险和合成来源分桶	后续只能粗暴混合，无法诊断能力变化原因	language、domain、quality、risk、synthetic 标记
版本化	把一次训练绑定到确定的数据快照	训练不可复现，回滚时不知道能力来自哪批数据	dataset version、manifest、样本计数、token 账本

Batch 变量	改变什么	典型风险	检查方式
batch size	梯度噪声、吞吐、显存和更新频率	太小不稳，太大可能降低泛化或浪费算力	loss 方差、gradient norm、tokens / second
micro-batch / gradient accumulation	在显存限制下模拟大 batch	归一化、随机性和学习率缩放处理不一致	有效 batch 记录、分布式一致性检查
padding / attention mask	哪些位置参与计算和 loss	模型学到 padding、跨样本泄漏或错训特殊 token	mask 可视化、loss mask 单测、样本回放
curriculum	先看简单还是先看复杂、何时引入长文和难题	阶段切换造成 loss 尖峰或旧能力遗忘	阶段曲线、分桶 Eval、回放保持集

步骤	发生了什么	它怎样塑造能力	容易误解
Forward	当前权重把输入 token 逐层变成 hidden state 和 logits	暴露模型现在会什么、不会什么、倾向输出什么	以为 forward 只是推理，不影响训练
Loss	把预测和目标之间的差距压成一个可优化标量	定义“应该朝哪个方向变好”	以为 loss 就是最终业务价值
Backward	根据链式法则计算每个参数对 loss 的影响	给每个权重一个局部调整方向	以为梯度天然代表全局最优方向
Optimizer Update	结合学习率、动量、Adam 状态、weight decay 等更新参数	决定更新步子大小、平滑程度和稳定性	以为只要梯度正确，更新就一定正确
Checkpoint	保存权重、优化器状态、scheduler、数据游标和训练步数	让训练可恢复、可对比、可回滚	以为 checkpoint 只是模型文件备份

阶段	输入数据	训练信号	主要写入什么	主要风险
Pretraining	大规模文本、代码、多模态或领域语料	next token / denoising / multimodal objective	语言结构、世界知识、代码模式、基础表征	污染、重复记忆、数据偏见、规模成本
Continued Pretraining	新领域、新语言、新时间段、长上下文语料	继续语言建模或领域目标	领域适应、新知识、长上下文分布	灾难性遗忘、近期偏见、旧能力退化
SFT	指令、问答、多轮对话、工具调用、格式样本	模仿目标回答	指令遵循、回答风格、结构化格式	模板化、过拟合、过度服从坏指令
Preference Optimization	chosen / rejected、排序、人工或模型偏好	DPO / ranking / reward model 相关 loss	有用性、简洁度、安全边界和偏好风格	Goodhart、误拒、迎合、奖励偏差
RL / RLVR	可交互环境、验证器、工具反馈、奖励信号	policy gradient / verifier reward / KL 约束	长期决策、可验证推理、工具策略	奖励黑客、策略坍塌、评估覆盖不足

治理问题	需要的证据	连接到哪里
某项能力为什么变强	数据配方变化、训练阶段、checkpoint 对比、分桶 Eval	LLMOps / 可观测性
某项能力为什么退化	旧能力回归集、数据回放比例、学习率变化、loss 权重变化	分布 / 泛化 / OOD
能否发布	模型卡、评测报告、安全红队、许可证、推理格式验证	发布 / 灰度 / 回滚
能否复现	代码 commit、dataset manifest、随机种子、环境、checkpoint、训练配置	训练 / 推理 / Scaling

信号	看起来怎样	可能含义	下一步
训练 loss 下降，验证不动	训练曲线漂亮，Eval 无改善	过拟合、数据重复、目标和评测不一致	查去重、增加验证切片、调整数据配方
总分涨，某切片掉	平均指标变好，长尾任务退化	某类数据被预算挤出或偏好优化过强	看分桶 token 账本和保持集
loss 尖峰后恢复	曲线出现异常峰值	坏 batch、分布切换、学习率阶段、数值溢出	回放对应 batch，查 gradient norm 和数据 shard
安全 Eval 变保守	攻击少了，正常请求也更容易拒答	拒答样本或偏好奖励压过可用性	加入正常对照，校准误拒率
工具格式不稳	JSON、函数参数、stop 行为漂移	SFT / 偏好样本不足，或 tokenizer / template 不一致	补格式样本，回放推理 runtime

证据节点	必须记录的字段	用来回答的问题
数据配方	dataset_manifest_id、data_mixture、license_snapshot、dedupe_version、contamination_check	模型到底从哪些数据中学习，是否有污染、重复、版权或口径风险？
训练步输入	shard_id、sample_ids、packing_rule、token_count、loss_mask_summary	某项能力是否真的被模型看见，哪些 token 参与了 loss？
优化过程	run_id、step、learning_rate、gradient_norm、loss_bucket、optimizer_state_id	能力变化来自数据分布、学习率阶段、坏 batch 还是优化不稳定？
检查点	checkpoint_id、base_model_id、training_config_hash、eval_snapshot_id、rollback_anchor	这版权重能否复现、比较、回滚和追责？
能力回归	capability_slice、before_after_score、regression_case_ids、release_gate_id	总分上涨时，哪些关键能力、格式、安全或长尾任务被伤到了？

团队	应该追问	落地动作
模型 / 训练团队	这次训练 run 的数据、loss、优化器、checkpoint 和 Eval 是否能完整复现	训练配置版本化、数据 manifest、日志和 checkpoint 绑定
AI 平台团队	训练产物怎样进入模型仓库、转换格式、加载和回滚	模型资产台账、推理格式验证、灰度发布流程
应用团队	模型能力变化是否覆盖真实任务，而不只是公开 benchmark	生产坏例回放、任务切片 Eval、上线前验收集
安全 / 合规团队	数据来源、敏感样本、拒答边界和版权风险能否追溯	数据谱系、删除请求流程、红队记录、模型卡
产品团队	训练改善的是哪类用户体验，代价是什么	能力变更说明、灰度指标、用户反馈闭环