知识全景图/ 软件工程与系统/ 计算机系统底座/ 数字电路与硬件物理底座

数字电路与硬件物理底座

从晶体管、逻辑门、时钟、寄存器、SRAM / DRAM、NAND Flash 到设备硬件的最小物理图像

阅读边界: 这页只建立软件工程师需要的硬件物理最小模型,不深入半导体制造、版图设计或模拟电路。它回答“计算为什么能在物理世界发生”。

本页主责: 只负责物理限制、数字电路、存储介质、设备、总线、数据搬运、功耗和散热;CPU Cache 的软件优化、Linux 内核路径和语言运行时差异交给相邻页展开。

一句话判断: 最底层不是代码,而是电压、开关、时钟、存储单元和信号传播;软件的所有抽象最终都建在这些物理限制上。
一、从物理到计算
电压高低晶体管开关逻辑门组合逻辑触发器 / 寄存器时钟CPU / 内存 / 设备
层级它是什么对上层的意义
晶体管受控制的电子开关所有数字逻辑的物理基础
逻辑门AND、OR、NOT、XOR 等布尔运算电路构成加法器、比较器、选择器等基本计算单元
组合逻辑输出只由当前输入决定执行算术、译码、路由和控制判断
时序逻辑输出与当前输入和历史状态有关寄存器、计数器、状态机、流水线都依赖时序逻辑
时钟让电路按节拍推进状态频率、功耗、热、时序收敛共同限制性能上限
二、存储单元:SRAM、DRAM、NAND
介质特性工程上的影子
SRAM快、贵、面积大,常用于 CPU CacheCache 容量有限,命中率对性能至关重要
DRAM容量大、需要刷新,访问慢于 SRAM主存访问比 CPU 计算慢很多,内存带宽和延迟会限制程序
NAND Flash非易失、按页读写、按块擦除,有寿命和写放大问题SSD 快但不是无成本,随机写、同步刷盘、磨损和 FTL 都影响尾延迟
磁盘机械结构,顺序吞吐和随机延迟差异极大日志、数据库和备份系统要区分顺序写、随机读写和队列深度
三、设备硬件:网卡、SSD、GPU
设备硬件本质上层现象
网卡收发以太网帧,使用队列、中断、DMA 与内存协作包量高时,软中断、队列、驱动和 CPU 亲和性影响网络吞吐
SSDNAND + 控制器 + FTL,把块设备接口映射到闪存页 / 块写放大、GC、擦除块和队列深度会影响 P99 写延迟
GPU大量并行计算单元 + 高带宽显存AI / 图形 / 科学计算受显存、带宽、kernel launch、数据搬运影响
TPU / NPU面向矩阵或张量计算的专用硬件吞吐高但依赖模型形状、编译器、算子支持和数据布局
四、物理限制怎样穿透到软件
物理限制软件中的表现判断方式
信号传播需要时间频率不能无限提高,跨芯片 / 跨机房延迟更不可能消失不要把远程调用想成函数调用
能耗和热CPU / GPU 会降频,数据中心受供电和散热限制高负载下看频率、温度、功耗和 throttling
存储层级速度差Cache、内存、SSD、网络存储延迟差几个数量级用缓存、批量、预取、异步和局部性管理差距
设备队列有限高峰时排队导致尾延迟爆炸看队列深度、利用率和 P99,而不只看平均吞吐
五、为什么硬件物理会影响软件工程
物理事实上层抽象穿透方式工程后果
信号传播和开关翻转需要时间CPU 主频、内存访问、网络延迟频率不能无限升,距离和介质会变成延迟下限本地内存、同机房、跨地域调用的延迟不可能被框架抹平
晶体管开关消耗能量并发热功耗、散热、降频负载越高越可能触发 thermal / power throttling压测后半段变慢,可能不是代码变了,而是频率下来了
SRAM 贵而小,DRAM 慢而大Cache / 主存层级热点数据能留在 Cache 就快,随机大数据集会被主存拖住数据布局、局部性和批量处理比“多写几行优化代码”更关键
NAND Flash 擦写不对称SSD、数据库、日志系统写入会经过 FTL、擦除块、GC 和写放大同步写、随机写、压缩整理会制造 P99 抖动
设备通过总线、队列、中断与 CPU 协作网卡、磁盘、GPU、加速器数据搬运和队列排队本身就有成本GPU 算得快不代表端到端快,网卡带宽高不代表服务吞吐高
六、从物理到工程的典型场景
场景底层物理原因软件层表现处理思路
跨地域调用怎么优化都慢光速和路由距离给延迟设下限单次 RPC 延迟无法压到本地调用量级减少同步跨地域调用,改用缓存、异步、就近部署和数据副本
SSD 写入偶发长尾NAND 擦除、FTL 映射、盘内 GC 和队列排队数据库 commit、日志 fsync、对象存储写入 P99 抖动批量写、顺序写、削峰、分盘、观察设备队列和写放大
AI 推理 GPU 利用率不高CPU 到 GPU 数据搬运、显存带宽、kernel launch、batch 形状GPU 看起来没满,但请求延迟高优化 batch、减少拷贝、融合算子、检查显存和 PCIe / NVLink 路径
高负载一段时间后性能下降功耗墙、温度墙、动态降频同样 QPS 下延迟越来越高观察频率、温度、功耗、散热和节点资源混部
七、真实场景诊断卡
场景错误猜测真实机制证据动作
跨地域接口怎么优化都在几十毫秒以上RPC 框架太慢距离、路由、光纤传播和中间设备给延迟设了物理下限ping / traceroute、地域距离、链路路径、同机房对照延迟减少同步跨地域依赖,就近部署,异步复制,读本地副本,合并调用
SSD 平均写很快,但数据库提交 P99 抖数据库事务实现差NAND 擦除块、FTL、盘内 GC、写放大和设备队列会制造长尾iostat await、磁盘队列、fsync 耗时、设备写放大、P99 对齐 compaction / checkpoint顺序批量写,削峰,隔离日志盘,调 checkpoint,观察设备队列而不只看平均吞吐
GPU 利用率不高但推理延迟高模型太小或 GPU 太差CPU 预处理、PCIe 搬运、显存带宽、kernel launch、batch 形状都可能让 GPU 等数据GPU utilization、显存带宽、H2D / D2H 拷贝、batch timeline、kernel 间隙融合算子,固定 batch,减少拷贝,流水线化预处理,检查 PCIe / NVLink 拓扑
高峰半小时后同样流量越来越慢服务有内存泄漏也可能是功耗、温度、风扇策略或混部导致 CPU / GPU 降频频率、温度、功耗、throttling、节点共部署负载、机房温度把性能时间线和硬件遥测对齐,必要时降载、隔离节点或优化散热 / 功耗预算
八、典型误判
误判为什么错更好的说法
硬件足够快,软件不用管物理限制越高性能的系统,越容易被内存、总线、设备队列和能耗限制软件优化的核心之一就是尊重物理层级
SSD 没有机械结构,所以写入没有长尾NAND 擦除、FTL 和盘内 GC 仍然会制造长尾SSD 快的是平均和并发能力,不代表同步写没有 P99
GPU 算力高,端到端一定快数据搬运、显存、batch、算子和 CPU 预处理可能才是瓶颈加速器优化要看端到端 timeline,不只看 TFLOPS
九、边界:这页不深挖什么
不深挖原因什么时候需要学
半导体制造工艺和一般软件工程排障距离较远芯片、硬件、AI Infra 供应链、数据中心成本研究
模拟电路数字系统只需要知道信号不是理想的即可硬件设计、通信、传感器、嵌入式底层
版图与时序收敛属于芯片设计专业深水区ASIC / FPGA / EDA 方向
十、展开案例:GPU 不忙但端到端很慢
步骤判断证据
1. 拆端到端时间GPU 利用率不是端到端延迟,先拆 CPU 预处理、拷贝、排队、执行、后处理请求 timeline、GPU profiler、服务 trace
2. 看数据搬运PCIe / NVLink、H2D / D2H 拷贝可能比算子更慢copy time、显存带宽、batch 大小、pinned memory
3. 看算子形状小 batch、小矩阵、频繁 kernel launch 会让 GPU 等任务kernel 间隙、occupancy、batch shape、算子 timeline
4. 看物理限制显存、功耗、温度、拓扑都可能限制吞吐显存使用、功耗、频率、温度、PCIe 拓扑
5. 改造路径减少搬运、合并算子、批量化、流水线化,而不是只换更贵 GPU优化前后端到端 P50 / P99、吞吐、成本
十一、物理限制到工程动作
物理限制不能指望什么工程设计响应验证指标
距离和传播速度不能把跨地域 RPC 优化成本地函数调用就近部署、读本地副本、异步复制、减少同步链路、合并远程调用RTT、跨地域调用次数、P99、超时率
介质读写不对称不能认为 SSD 平均快就没有同步写长尾顺序写、批量提交、日志盘隔离、削峰、控制 checkpoint / compactionfsync P99、await、队列深度、写放大、数据库提交延迟
数据搬运成本不能只看计算单元峰值算力减少拷贝、固定 batch、流水线化、融合算子、优化 PCIe / NVLink 拓扑H2D / D2H、kernel gap、显存带宽、端到端 timeline
功耗和散热不能假设高负载下频率恒定功耗预算、节点隔离、混部治理、散热校验、降载策略频率、温度、功耗、throttling、同流量延迟曲线
设备队列有限不能用平均吞吐代表高峰体验背压、限流、队列隔离、批量、优先级、过载保护队列深度、利用率、P99 / P999、丢包 / 超时
十二、展开案例:跨地域延迟下限
步骤判断关键证据动作
1. 先承认物理下限光在光纤里的传播、路由绕行、中间设备和协议握手共同决定了跨地域最低延迟地域距离、ping、traceroute、运营商 / 云厂商链路、同机房对照不要把“优化 RPC 框架”当主方案,先改调用形态
2. 拆一次远程调用业务看到的是一次接口,物理上可能包含 DNS、建连、TLS、排队、服务处理和回包Trace span、TCP 建连耗时、TLS 握手、网关日志、重试次数复用连接、减少握手、合并调用、避免跨地域串行 fan-out
3. 判断一致性要求很多跨地域慢不是网络单点问题,而是强一致读写要求把多地通信放进关键路径写入路径、共识协议、同步复制、主从距离、事务提交时间线能异步就异步,能本地读就本地读,把强一致范围压到最小
4. 设计绕开路径物理下限不能被消灭,只能通过架构绕开或减少进入关键路径的次数跨地域调用次数、缓存命中率、异步队列积压、用户地域分布就近接入、边缘缓存、区域化服务、数据副本和最终一致补偿
十三、展开案例:SSD 写入长尾
步骤判断关键证据动作
1. 区分平均吞吐和同步提交SSD 平均 IOPS 高,不代表每次 fsync 都稳定;同步写关心的是尾延迟iostat await、fsync P99、数据库 commit latency、日志写入时间线把 P99 / P999 写入延迟作为容量指标,而不只看平均 MB/s
2. 理解 NAND 写路径写入要经过页写、块擦除、FTL 映射、磨损均衡和盘内 GC,随机写更容易触发写放大写放大、设备 GC、随机写比例、discard / trim、盘剩余空间尽量顺序写、批量提交,给 SSD 留空闲空间,避免小随机同步写风暴
3. 对齐数据库后台任务checkpoint、compaction、flush、日志归档会和前台写争同一设备队列checkpoint 时间、compaction 时间、设备队列深度、前后台 IO 比例错峰、限速、独立日志盘、调整 checkpoint / compaction 策略
4. 做隔离和背压设备队列被打满后,上层重试会进一步放大排队队列深度、应用重试、超时、写入批量大小、节点混部任务加背压和削峰,隔离重 IO 任务,限制重试风暴
十四、展开案例:高负载后热降频
步骤判断关键证据动作
1. 看性能是否随时间衰减同样 QPS 下,压测前段快、后段慢,可能是温度或功耗墙,而不是业务状态变化固定流量压测曲线、CPU / GPU 频率、温度、功耗、throttling 标记把硬件遥测和业务延迟放在同一时间轴
2. 区分热、功耗和混部降频可能来自温度,也可能来自功耗预算、BIOS 策略、云厂商限制或同节点混部power cap、thermal event、节点共部署任务、风扇 / 机房温度、云实例规格隔离节点做对照,核对实例规格和电源策略
3. 判断是否是端到端瓶颈频率下降不一定影响所有服务,只有 CPU / GPU 热路径明显时才会变成业务长尾火焰图、GPU timeline、热点函数、P99 对齐频率下降时间点优先优化热路径和批量策略,而不是只换机器
4. 建立容量余量接近功耗墙运行的系统缺少突发余量,稳定性会比峰值跑分更差持续压测、峰值温度、频率稳定性、P99 稳定性、节点资源水位降低单机目标水位,做混部治理、散热校验和过载保护
十五、工具与证据表
物理层问题证据观测方向常见误判
距离延迟RTT、路由路径、地域距离ping、traceroute、链路监控以为 RPC 框架能抹掉物理距离
功耗 / 降频频率、温度、功耗、throttling硬件遥测、节点监控把热降频误判成应用泄漏
SSD 写长尾await、队列深度、fsync、写放大iostat、数据库日志、设备指标只看平均吞吐
GPU 数据搬运H2D / D2H、显存带宽、kernel gapGPU profiler、推理 trace只看 GPU utilization
十六、训练题
题目要输出什么判分点
跨地域同步写入 P99 很高画出物理延迟、共识、写盘、网络重试的下限是否知道距离是不可优化掉的硬约束
SSD 平均很快但日志提交抖给出 fsync、队列、FTL、盘内 GC 的证据链是否避免只看平均 IOPS
GPU 推理成本高但利用率低拆预处理、拷贝、batch、kernel、后处理是否看端到端 timeline
十七、跨页读法路线
问题本页读法继续读
CPU / Cache 性能SRAM / DRAM、物理限制计算机体系结构底座
设备和 IO 长尾NAND、网卡、设备队列操作系统内核机制底座
AI 加速器GPU / TPU、数据搬运、功耗AI Infra / GPU
十八、互链
相关页连接关系
计算机系统底座本页是系统底座的硬件物理下钻
计算机体系结构底座体系结构把数字电路组织成 CPU、Cache、内存和设备执行模型
AI Infra / GPUGPU / 加速器硬件限制会进入 AI 训练和推理成本
容量治理容量最终受物理资源、功耗、散热和设备队列约束