知识全景图/ 软件工程与系统/ 数据系统与数据库

数据系统与数据库

从“业务事实怎么存下来”,到“很多系统的数据怎样变成可信数据资产”。

这条分支的边界: 数据库线回答存储、查询、事务、迁移和生产治理;数据平台线回答采集、同步、数据湖、数仓、实时计算、质量、来源与流向、主数据和数据消费。不要把所有数据问题都塞进“如何设计数据库”。
一、先判断你问的是哪类数据问题
你真正想解决优先进入不要混成什么
数据库软件本身怎么造,页、索引、事务、WAL、MVCC 怎样工作。数据库系统本身不要当成业务建表教程。
一个业务系统里的事实、字段、约束、状态和读模型怎么设计。业务数据库设计不要当成 DBMS 内核。
数据库上线后怎样改表、回填、备份恢复、分库分表、查慢和控权限。数据库生产治理不要把生产事故拆成孤立关键词。
多个系统的数据怎样采集、同步、进数据湖 / 数仓、加工指标并保证质量。数据平台与数据治理不要只说“数据湖”,也不要用黑话替代“来源、加工过程和流向”。
数据怎样进入搜索、推荐、BI、风控、AI / RAG 等消费场景。数据消费与应用不要只看算法,忽略索引、特征、回流和评测。
二、五条主线
1. 数据库系统本身
如何设计一个数据库 / DBMS:存储引擎、B+Tree、SQL 执行器、优化器、事务、WAL、MVCC、分布式数据库。
2. 业务数据库设计
业务事实怎样落成表、字段、约束、状态机、幂等并发、读模型、周期任务和时间金额口径。
3. 数据库生产治理
上线后怎样迁移、CDC、正确性校验、慢查询、分库分表、备份恢复、权限审计和安全修复。
4. 数据平台与数据治理
采集、同步、ETL / ELT、数据湖、数仓、实时计算、质量、数据来源与流向、主数据和责任边界。
5. 数据消费与应用
搜索、推荐、向量检索、特征、反馈回流、A/B 评测,以及 AI / RAG 的数据入口。
三、数据平台链路
从业务数据,到可信数据资产
业务数据库 / 日志 / 外部数据 → 采集与同步 → 数据湖 / 数仓 / 实时计算 → 明细、汇总、指标和特征 → 质量、来源与流向、主数据、权限和责任人 → BI、搜索推荐、风控和 AI。
采集同步 数据湖 / 数仓 加工建模 质量治理 消费应用
四、具体入口
数据平台
先看 数据工程;如果核心问题是实时指标、事件时间、状态管理和流计算,再看 实时计算与流处理
数据治理
先看 数据治理与数据质量;如果问题是核心对象谁说了算,看 核心数据谁说了算;如果问题是跨系统数据修复,看 生产数据修复与运维操作
数据消费
搜索、推荐、向量检索、特征回流和生产评测,进入 搜索与推荐系统
一句话: 数据分支不是一堆数据库页面,而是从 DBMS、业务落表、生产治理,延伸到数据平台、数据治理和数据消费的完整链路。