预训练数据配方、数据污染与 Benchmark 泄漏底层图谱
从 web-scale 语料、去重、质量过滤、数据混合、版权隐私到评测污染：理解模型能力和榜单分数为什么离不开数据来源
阅读定位: 这一页补 AI 底层理解线里的“数据来源层”。它不替代 AI 数据工程页，也不做法律意见；它解释预训练数据怎样塑造模型能力、偏差和边界，以及为什么 Benchmark 泄漏会让模型看起来比真实能力更强。
数据来源
web / book / code
→
清洗去重
quality / dedup
→
数据混合
recipe / ratio
→
训练目标
next token
→
能力边界
knowledge / bias
→
评测可信度
contamination
| 数据来源 | 贡献什么 | 风险 | 治理动作 |
|---|
| 网页语料 | 广覆盖语言、事实、风格和长尾知识 | 噪声、重复、低质 SEO、仇恨/偏见、版权不清 | 质量过滤、去重、来源分级、风险抽检 |
| 书籍 / 论文 | 高密度知识、长文本结构和专业表达 | 版权、许可、时间滞后、领域偏差 | 授权管理、时间切分、元数据记录 |
| 代码 | 程序语法、库调用、工程模式和测试习惯 | 许可证、漏洞模式、过时代码、秘密泄漏 | license 过滤、secret scan、安全样本评估 |
| 对话 / 指令数据 | 让模型学会按人类意图回答 | 标注偏差、模板化、过度迎合 | 标注规范、偏好校准、多样性采样 |
| 合成数据 | 扩展稀缺任务、构造边界样本 | 模型自我污染、错误放大、风格塌缩 | 来源标记、人工抽检、和真实数据分层评测 |
数据配方的核心
预训练不是把所有能找到的文本倒进模型。真正关键的是来源、质量、重复度、语言比例、代码比例、专业领域比例、时间分布和风险过滤共同形成的数据配方；如果要继续理解配方怎样落成采样权重和训练 token 配额，可以看 数据配方 / 采样权重 / Token 预算；如果要看这些数据怎样经过 batch、loss、梯度、checkpoint 和 eval 变成模型能力，可以看 训练数据到模型能力形成的一生。
去重不是洁癖
重复数据会让模型过度记忆热门文本，降低有效 token 多样性，也会增加评测泄漏风险。
质量过滤决定语气和能力
低质量网页、机器翻译、垃圾评论和模板页会污染模型表达。过滤策略会塑造模型默认风格。
过滤也会带来偏差
过滤器不是中立的。过度过滤可能削弱小语种、方言、边缘领域和非主流表达的覆盖。
| 处理 | 解决什么 | 可能副作用 |
|---|
| Exact dedup | 去掉完全重复文本 | 保留近似重复和改写污染 |
| Near dedup | 去掉高度相似文本 | 可能误删合法版本差异 |
| Quality classifier | 过滤垃圾、模板、低质内容 | 分类器偏见会进入训练集 |
| PII / Secret scan | 降低隐私和密钥泄漏 | 召回不足会漏掉隐性敏感信息 |
| License / source filter | 降低版权和许可证风险 | 会减少可用高质量语料 |
| 配比变化 | 可能提升 | 可能伤害 | 适合观察 |
|---|
| 增加代码数据 | 代码生成、结构化推理、工具调用格式 | 自然语言风格、非代码任务平衡 | 代码 Eval、普通问答、格式稳定性 |
| 增加数学 / 证明数据 | 符号推理、严谨步骤、可验证任务 | 开放写作自然度 | 数学、逻辑、长推理和幻觉率 |
| 增加多语种数据 | 小语种覆盖、跨语言迁移 | 高资源语言能力稀释 | 分语言评测、翻译、文化语境 |
| 增加专业领域数据 | 医学、法律、金融、工业等领域表达 | 通用能力或安全边界漂移 | 领域 Eval、拒答、合规风险 |
| 增加合成指令数据 | 指令遵循、格式任务、长尾场景 | 模板化、错误放大、自我污染 | 真实用户样本、坏例复发率 |
为什么模型版本会“性格变了”
模型升级不只是参数更多。数据配方、后训练样本、偏好标注和安全策略都会改变默认回答风格、拒答边界、代码习惯、事实覆盖和推理表现。
训练集污染
评测题、标准答案、解析或近似改写进入训练数据，模型可能像背题一样答对，而不代表真实泛化能力。
开发集过拟合
团队反复调 Prompt、模型或 RAG，只看同一套 Eval，最后系统学会了通过这套题，而不是解决真实问题。
线上反馈污染
用户反馈、模型输出、合成坏例和人工修正回流时没有标记来源，会让评测、训练和运营数据互相污染。
| 污染类型 | 症状 | 防护 |
|---|
| 公开 Benchmark 泄漏 | 榜单高，但换说法或换场景明显下降 | 隐藏集、时间切分、近似去重、动态样本 |
| RAG 评测泄漏 | 答案靠样本记忆，不靠检索证据 | 检索证据隔离、引用忠实度检查 |
| 合成数据自循环 | 模型输出越来越像自己，错误模式重复 | 真实样本锚定、人工抽检、来源标记 |
| Prompt / 示例泄漏 | 评测样本和 few-shot 示例过度相似 | 样本分层、示例库隔离、变体测试 |
| 治理对象 | 为什么重要 | 工程化做法 |
|---|
| 来源记录 | 没有来源就无法解释授权、删除、风险和偏差 | 保留 dataset manifest、来源域名、抓取时间、许可证 |
| 版权和许可 | 训练、微调、RAG 和输出使用权可能不同 | license 分类、禁止源、授权白名单、输出引用策略 |
| 隐私信息 | PII、密钥、内部文档进入训练集会造成泄漏 | 脱敏、secret scan、访问控制、删除请求处理 |
| 数据删除 | 训练后删除比数据库删除复杂得多 | 数据版本、可追踪训练批次、模型替换和风险记录 |
| 业务数据回流 | 用户反馈是资产，也可能是隐私和合规风险 | 最小化采集、用途告知、保留周期和审计留痕 |
一条硬边界
训练数据治理、RAG 语料治理和线上日志治理不能混在一起。它们的授权、保留、删除、审计和风险责任都不一样。
| 证据节点 | 必须记录的字段 | 用来判断什么 |
|---|
| Benchmark 血缘 | benchmark_id、version、release_date、public_exposure_level、license | 评测集是否可能已经进入训练语料或合成数据循环？ |
| 近似去重 | dedupe_method、similarity_threshold、matched_train_docs、match_reason | 高分是否来自题目、答案、解释或变体被模型见过？ |
| 时间切分 | train_cutoff、eval_cutoff、source_timestamp、freshness_bucket | 模型是在预测未来未知问题，还是记住了已公开材料？ |
| 来源权限 | source_id、license_class、privacy_scan_id、deletion_request_state | 数据能不能合法训练、评测、回流或公开引用？ |
| 评测可信度 | contamination_risk、heldout_set_id、dynamic_variant_id、audit_owner | 这次能力提升是否足够可信，还是必须换隐藏集或人工复核？ |
误区：模型能力主要由参数量决定
参数量重要，但数据质量、配方、去重、后训练和评测污染同样会决定模型看起来有多强。
误区：公开榜单能代表业务表现
公开 Benchmark 可能被污染或过拟合。业务上线要看私有样本、时间切分、真实流量和失败成本。
误区：数据清洗越狠越好
过度过滤会损伤多样性、小语种、领域边界和真实用户表达。清洗策略本身也要评测。
误区：合成数据天然安全
合成数据可能继承模型错误、偏见和受版权影响的表达，也可能把原始隐私信息改写后继续传播。