数据配方、采样权重与 Token 预算底层图谱

从数据池、质量过滤、采样权重、token 配额、curriculum、长尾覆盖到 Eval 切片，理解模型能力结构为什么来自一套分配决策

阅读定位: 这一页补在预训练数据 / 数据污染和数据分布 / 泛化 / OOD 之间。预训练数据页解释“数据从哪里来、怎样污染评测”，本页解释“这些数据怎样被配比、采样和消耗 token 预算”；如果要把配方继续放进 dataset、DataLoader、batch、loss、optimizer update、checkpoint 和 eval 的时间链路里看，继续读训练数据到模型能力形成的一生。

一、数据配方的最小闭环

Source Pool
来源池

→

Filter / Dedup
过滤去重

→

Metadata
语言 / 领域 / 风险

→

Mixture Ratio
数据配比

→

Sampling Weight
采样权重

→

Token Budget
预算消耗

→

Eval Slices
切片复盘

环节	它决定什么	常见风险	治理动作
来源池	模型能接触哪些语言、领域、时间段和表达风格	来源偏斜、授权不清、低质内容过多	来源分级、许可证记录、采集时间和用途标记
过滤去重	有效 token 的密度和重复度	过滤太松浪费算力，过滤太狠抹掉长尾	exact / near dedup、质量分、过滤前后分布对比
元数据	能否按语言、领域、质量、风险和来源做配方	没有元数据只能粗暴混合	保留 domain、language、license、quality、synthetic 标记
数据配比	代码、数学、对话、多语种、专业文本之间的能力取舍	某一类数据过强导致能力或风格失衡	配方版本化、消融实验、切片 Eval
采样权重	稀缺高价值数据被看见的频率	过采样造成记忆，欠采样造成能力缺失	温度采样、上限约束、重复暴露监控
Token 预算	每一类数据在训练中真正消耗多少训练机会	预算被噪声、重复或热门分布吃掉	token 账本、阶段配额、边际收益跟踪
Eval 切片	配方变化是否真的改善目标能力	只看总分，忽略小语种、长尾和安全退化	按语言 / 领域 / 风险 / 长度 / 来源切分

一句话:

数据配方不是“把好数据凑多一点”，而是在有限 token 预算里决定模型反复看见什么、少看见什么、永远看不见什么。

二、Token 预算是一种资源分配

预算项	直觉	机会成本	应该看什么
通用网页 token	给模型广覆盖语言和世界知识	噪声和重复会挤占高价值训练机会	质量分布、重复率、来源多样性
代码 token	提升程序结构、工具调用格式和工程推理	过高比例可能改变自然语言风格	代码 Eval、普通问答、格式稳定性
数学 / 科学 token	强化符号推理、证明和可验证任务	可能稀释开放写作和生活场景覆盖	数学、科学、长推理、幻觉率
多语种 token	提升小语种和跨语言迁移	高资源语言预算被压缩	分语言表现、文化语境和翻译质量
安全 / 拒答 token	塑造边界、拒答和风险识别	过量可能造成误拒和保守风格	攻击成功率、误拒率、正常任务可用性
合成 token	补缺失任务、边界变体和稀缺标签	可能把 teacher 的错误与口癖规模化	真实样本对照、来源标记、抽检通过率

预算的核心不是“够不够”，而是“花在哪里”

每多训练一批某类 token，就少训练一批别的 token。训练预算越大，配方越不是简单堆量，而是要持续判断边际收益、能力退化和治理风险。

三、采样权重怎样改变模型行为

上采样稀缺高价值数据

少量高质量数学、代码、拒答、工具调用或专业领域样本可以被提高出现频率，让模型真正学到这些分布。

下采样海量低质数据

网页、论坛、模板页和重复内容数量巨大，但不应自然主导训练，否则模型会学到噪声和模板。

采样温度控制长尾可见度

温度越高，长尾类别越容易被看见；温度越低，数据量大的主流分布更容易占据训练。

重复暴露会带来记忆风险

稀缺数据被过度重复时，模型可能记住样本表面，而不是学到可迁移模式。

策略	适合解决	副作用	监控指标
按质量分加权	把训练机会给更干净、更有信息密度的数据	质量分类器偏见会被放大	过滤前后分布、人工抽检、领域覆盖
按领域配额	保障代码、数学、医疗、法律等目标能力	配额不当会伤害通用能力	领域 Eval、通用 Eval、跨域退化
按语言温度采样	避免小语种被高资源语言淹没	低资源语言重复风险更高	分语言 perplexity、生成质量、重复率
按难度 curriculum	让模型先学稳定结构，再进入复杂样本	阶段设计错误会造成遗忘或偏置	阶段 Eval、loss 曲线、能力回归
回放 replay	继续训练时保住旧能力	占用新知识预算	旧任务回归、新任务收益、遗忘率

四、数据配方的主要维度

维度	配方问题	能力影响	典型风险
语言	中文、英文、小语种、代码混合比例	多语能力、跨语言迁移、文化语境	小语种重复、文化偏见、高资源语言退化
领域	通用、科学、金融、法律、医学、工业文档比例	专业表达、术语、问题结构	合规责任、过时知识、领域幻觉
任务形态	续写、问答、对话、工具调用、结构化输出比例	默认回答方式和协作习惯	过度模板化、格式依赖、泛化不足
长度	短文本、长文档、多轮上下文、长代码文件比例	长上下文使用、跨段一致性、摘要能力	长文本污染、注意力稀释、成本上升
时间	新数据、旧数据、稳定经典语料的比例	新知识、时效性、长期常识	近期偏见、法规产品规格过期
来源类型	真实、人类标注、合成、模型输出、线上反馈比例	样本覆盖和行为风格	合成闭环、反馈污染、隐私授权
风险等级	安全、拒答、红队、敏感边界样本比例	拒答边界、误拒误放、安全策略	安全话术压过可用性

五、Dedup、过滤和配方不能分开看

去重改变真实比例

某类数据原始数量很大，去重后可能价值并不高；某些稀缺领域虽然小，但有效信息密度更高。

过滤器会写入价值观

质量、毒性、许可证、语言识别和安全过滤器都会选择“哪些表达值得被模型学习”。

污染是配方问题的一部分

Benchmark、Prompt 示例、线上答案和合成数据如果进入训练预算，会让模型看起来变强但真实泛化变差。

配方需要数据谱系

没有来源、时间、许可证、质量分、合成标记和去重簇信息，团队就无法解释某个能力为什么变强、某个风险为什么放大，也无法回滚一版糟糕的数据配方。

六、Curriculum、继续训练与遗忘

阶段	配方重点	常见问题	控制方式
预训练早期	稳定、广覆盖、高吞吐的基础分布	噪声过多拖慢收敛	高质量基础池、去重、粗粒度配比
预训练中后期	提高高质量、代码、数学、专业和长上下文比例	能力提升伴随风格或领域退化	阶段 Eval、配方消融、回放通用数据
继续预训练	补新知识、新领域、新语言或长上下文能力	灾难性遗忘、近期偏见	replay、低学习率、旧能力回归集
SFT	任务格式、指令遵循、多轮协作	模板化、过拟合少数任务	多样任务、负例、格式扰动
偏好优化	有用性、安全性、简洁度、风格偏好	奖励错配、过度迎合、误拒	偏好数据校准、Goodhart 检查、人工抽检

七、Eval 怎样反过来约束配方

Eval 切片	回答的问题	配方动作
语言切片	小语种是否因为预算不足而退化	提高语言采样温度、补真实样本、限制重复暴露
领域切片	目标行业任务是否真正改善	调整领域配额、补专家样本、减少噪声来源
长度切片	长上下文和长代码是否只会“读到”不会“用到”	增加长文档任务、引用定位、跨段推理样本
安全切片	拒答边界是否误伤正常请求	平衡安全样本和正常对照样本
污染切片	高分是否来自见过题或近似样本	隐藏集、近似去重、时间切分和私有 Eval
真实生产切片	离线收益是否迁移到用户任务	把坏例回流成数据需求，而不是盲目加量

实用做法:

每一次配方变化都要带着数据卡、token 账本、消融实验和 Eval 切片一起看；只看总 loss 或总分，很容易把某个长尾能力悄悄牺牲掉。

7.1 数据配方变更证据包：把反馈需求变成 token 预算

证据节点	必须记录的字段	用来判断什么
配方动机	mixture_change_id、source_feedback_ids、target_capability、regression_slice	为什么要改采样权重，是补长尾、修坏例、降污染还是增强业务任务？
Token 账本	bucket_name、old_token_share、new_token_share、sampling_temperature、epoch_exposure	新增能力预算从哪里来，是否挤压了语言、基础能力或安全样本？
数据质量	dataset_versions、dedupe_rate、filter_policy、synthetic_ratio、label_quality_score	配方提升来自高价值样本，还是重复、合成噪声或口径漂移？
消融实验	ablation_run_id、control_mixture_id、metric_delta、cost_delta、training_stability	收益是否真的来自配方变化，而不是随机种子、训练时长或评测波动？
发布连接	eval_slice_results、known_tradeoffs、release_gate_id、rollback_mixture_id	配方改动带来的能力取舍是否被发布闸门和回滚方案承认？

八、常见误区

误区：高质量数据越多越好

“高质量”本身有口径。过度追求整洁、正式、主流的数据，会牺牲真实用户表达和长尾覆盖。

误区：小数据集只要上采样就能补齐

上采样能提高可见度，也会提高记忆风险。稀缺数据更需要扩增、变体、抽检和重复暴露上限。

误区：合成数据可以无限扩展预算

合成数据扩得越快，teacher 偏差和错误模式扩散也越快。它必须被标记、抽检、去重并和真实样本对照。

误区：配方只属于预训练团队

微调、RAG 语料、评测集、反馈回流和安全样本都有自己的配方问题，只是预算单位不一定叫训练 token。

九、生产团队怎样使用这张图

场景	要问的问题	连接到哪里
模型选型	这个模型在哪些语言、领域、代码、数学和安全分布上被重点训练	模型评测 / Eval
继续训练 / 微调	新增数据会挤掉哪些旧能力，回放和回归集是否足够	微调 / 对齐
数据工程	是否有元数据、质量分、来源标记、合成标记和版本化 token 账本	AI 数据工程
泛化治理	训练分布、评测分布和生产分布是否被同一套切片描述	数据分布 / 泛化 / OOD
合规审计	高风险来源、版权、隐私和删除请求是否能追踪到配方版本	AI 治理 / 合规

十、回到 AI 主干

AI 全景 → 训练 / 推理 / Scaling → 预训练数据 / 污染 → 数据配方 / Token 预算 → 训练数据到能力 → 分布 / 泛化 / OOD → 模型评测 / Eval → AI 数据工程

这张图在主干里的位置

预训练数据页回答“数据从哪里来、怎样污染能力判断”，本页回答“数据怎样被分配训练机会”，训练数据到模型能力形成的一生回答“这些训练机会怎样通过 batch、loss、梯度和 checkpoint 变成权重里的行为倾向”，分布 / 泛化 / OOD继续回答“这些分布能否迁移到真实世界”。四张连起来，才算真正理解数据怎样塑造模型。