计算机体系结构底座

从机器指令、流水线、Cache、内存一致性、NUMA 到设备总线，解释代码为什么在真实 CPU 上快慢不同

阅读边界: 这页不是体系结构教材，而是给软件工程师用的硬件执行模型。它解释 CPU 和内存系统怎样把高级语言代码变成真实延迟、吞吐、抖动和并发限制。

本页主责: 只负责 CPU / Cache / 内存层级 / 多核 / NUMA 这一层的执行约束；操作系统调度、GC、语言运行时、SSD、GPU 和跨地域延迟只作为相邻边界提示，不在本页展开。

一句话判断: 只懂 Big-O 不够，真实机器还会用 Cache、分支预测、内存带宽、缓存一致性和 NUMA 继续给代码“算账”。

一、从指令到执行流水线

取指译码执行访存写回乱序 / 投机提交

机制	解决什么	工程上怎么显形
流水线	让多条指令的不同阶段并行推进，提高吞吐	分支、依赖和访存会打断流水线，让理论吞吐打折
乱序执行	在不改变最终语义的前提下，先执行已经准备好的指令	CPU 会努力隐藏内存延迟，但锁、内存屏障和数据依赖会限制它
分支预测	提前猜测 if / loop 的走向，减少流水线等待	随机分支、复杂条件、数据分布变化会让代码比预期慢
SIMD	一条指令处理多个数据元素	向量化能显著加速编码、压缩、图像、检索、科学计算，但要求数据布局友好

二、Cache 与内存层级

寄存器

最快，但数量极少。编译器会尽量把热点变量留在寄存器里。

L1 / L2 / L3 Cache

用空间局部性和时间局部性弥补主存慢。对象布局、数组遍历和随机访问差异会被放大。

主存

容量大但延迟高。大对象图、随机指针追踪和跨 NUMA 访问会吃掉 CPU 等待时间。

磁盘 / 网络存储

已经是另一个数量级的延迟，需要缓存、批量、异步和预取来管理。

现象	体系结构原因	工程判断
数组顺序扫描很快，链表随机访问很慢	顺序扫描命中 Cache 和预取，链表指针跳转破坏局部性	高性能路径优先考虑连续内存和批量处理
多个线程写不同变量也慢	变量可能落在同一 Cache Line，触发伪共享	热点计数器、队列槽位、指标数组要关注 padding 和分片
CPU 利用率高但吞吐不涨	可能受内存带宽、Cache miss 或分支预测失败限制	需要看硬件计数器，而不是只看应用日志

三、多核、缓存一致性与内存模型

概念	它管什么	和软件并发的关系
Cache Coherence	多个核心各自有缓存时，保证同一地址最终能形成一致视图	频繁写共享变量会让缓存行在核心间来回失效，锁和原子变量不是免费操作
Memory Ordering	CPU 和编译器可能重排读写顺序以优化性能	volatile、锁、atomic、内存屏障的意义是约束可见性和顺序
NUMA	多 CPU 节点访问本地 / 远端内存成本不同	数据库、缓存、大堆 JVM、搜索引擎在大机器上需要关注亲和性和内存分配位置
Atomic 操作	用硬件指令保证读改写不可分割	高竞争下原子操作也会退化，分片和批量通常比单点原子变量更稳

四、设备、总线与 IO 路径

机制	作用	生产现象
PCIe	CPU 与网卡、SSD、GPU 等设备通信的高速总线	GPU、NVMe、网卡的性能不只看设备本身，也受通道、拓扑和带宽限制
DMA	设备直接读写内存，减少 CPU 搬运数据	高性能网络、磁盘和 GPU 都依赖 DMA，但会引入内存一致性和缓冲区管理问题
中断 / 软中断	设备通知 CPU 有事件需要处理	网卡包量高时软中断可能打满单核，应用线程看似空闲但系统整体变慢
队列	设备、驱动、内核和应用之间用队列解耦速度差	队列能吸收突发，也会制造排队延迟和尾延迟

五、排查信号

想判断	看什么信号	常见工具方向
CPU 是否真在算业务	用户态 / 系统态占比、热点函数、指令数、分支 miss	perf、profiler、火焰图
是否受 Cache / 内存限制	cache miss、IPC、内存带宽、NUMA remote access	perf stat、硬件计数器、NUMA 观测
是否受设备路径限制	软中断、磁盘队列、网卡队列、PCIe / GPU 利用率	iostat、sar、网卡统计、GPU 工具

六、为什么同样代码在不同机器上差很多

差异来源	为什么会放大	真实表现	判断动作
CPU 微架构	不同 CPU 的流水线、分支预测、执行单元、Cache 大小和内存控制器不同	同一段 CPU 密集代码在两台机器上吞吐差明显	记录 CPU 型号、频率、核心数、Cache、指令集和 perf 计数器
内存层级	主存延迟远高于 Cache，随机访问会频繁等待内存	链表、对象图、map 随机访问比数组扫描慢很多	看 cache miss、IPC、内存带宽和数据布局
分支与数据分布	分支预测依赖历史模式，数据分布变化会让预测失效	测试集很快，生产数据一上来 if / switch 密集代码变慢	对比不同输入分布下的分支 miss 和热点路径
多核共享	共享变量、锁和原子操作会触发缓存一致性成本	线程越多吞吐越差，CPU 很忙但业务进展慢	看锁竞争、cache line bouncing、原子变量热点和分片策略
NUMA 拓扑	远端内存访问比本地内存慢，多路机器上更明显	大内存服务迁到更大机器后反而抖动	看 NUMA 分配、线程亲和性、remote access 和进程绑定策略

七、性能现象到体系结构原因

现象	常见体系结构原因	容易误判成	更好的处理
CPU 100%，吞吐不上升	Cache miss、分支 miss、内存带宽、锁 / 原子热点	机器不够，需要扩容	先用 profiler 和硬件计数器确认 CPU 在等什么
单线程很快，多线程变慢	共享缓存行、锁竞争、NUMA、内存带宽被打满	线程池太小或太大	减少共享写、分片、批量合并、绑定线程 / 内存
平均延迟正常，P99 抖动	Cache 冷 miss、设备中断、队列排队、降频、远端内存访问	网络偶发抖动	把 P99 对齐到 CPU 频率、软中断、IO 队列和 GC / runtime 事件
算法复杂度低但依然慢	数据布局差，访存主导而不是计算主导	代码写得不够优雅	用连续数组、压缩对象、减少指针跳转和批量处理

八、真实场景诊断卡

场景	错误猜测	真实机制	证据	动作
压测时 CPU 很高，但继续加线程吞吐不涨	线程不够，继续调大线程池	共享队列、锁、原子计数器或内存带宽已经成为瓶颈，多线程只是在争同一批缓存行	锁等待、上下文切换、cache miss、IPC 降低、线程数上升但业务完成数不涨	减少共享写，按分片累加，批量合并，缩小锁范围，必要时改数据结构
同一段批处理换到新机器后反而慢	新机器配置虚标	NUMA、频率策略、Cache 大小、内存通道或 CPU 微架构不同，改变了内存访问成本	CPU 型号、频率、NUMA remote access、内存带宽、cache miss、perf stat	固定 CPU 频率策略，绑定 NUMA，调整 batch 大小和数据布局，重新压测基线
代码 Big-O 没变，但数据量一大性能断崖	算法突然不行	工作集超过 Cache 后，程序从“算得慢”变成“等内存慢”	cache miss 上升、IPC 下降、内存带宽接近上限、热点函数大多在遍历对象	压缩对象，使用连续数组，减少指针跳转，分块处理，优先提升局部性
P99 偶发尖刺，平均值很好	网络偶发抖动	可能是 Cache 冷启动、软中断、降频、设备队列或远端内存访问造成的硬件侧长尾	P99 时间点对齐 CPU 频率、软中断、iostat、NUMA、GC 和系统日志	先对齐时间线，再判断是否要隔离中断、调度亲和性、预热热点数据或削峰

九、典型误判

误判	为什么错	更好的说法
CPU 利用率高就是 CPU 不够	CPU 高可能是在等内存、抢锁、执行 GC、处理软中断或忙等	先问 CPU 时间花在哪里，再决定扩容还是改路径
多核一定线性提速	共享状态、缓存一致性、内存带宽和锁都会让多核收益递减	并行收益取决于共享数据有多少、同步频率多高
算法复杂度解释一切	真实机器上访存模式、分支预测和向量化会改变常数项，甚至主导性能	Big-O 解释增长趋势，体系结构解释真实机器上的差距

十、展开案例：CPU 高但业务不前进

步骤	判断	证据
1. 先分 CPU 时间	确认用户态、系统态、软中断、GC / runtime 各占多少	top、pidstat、perf、运行时 profiler
2. 看 IPC 和 cache miss	CPU 忙不代表有效执行，可能在等内存	perf stat、IPC、L1 / LLC miss、memory bandwidth
3. 看共享写	多线程不涨可能是缓存一致性和锁导致	锁等待、原子变量热点、cache line bouncing、线程数对吞吐曲线
4. 看数据布局	对象图、链表、map 随机访问会让 Cache 失效	热点函数、分配画像、数据结构、扫描顺序
5. 验证优化	不要一次改很多，先让瓶颈信号移动	分片、padding、数组化、批量处理前后对比

十一、体系结构排障决策树

入口症状	第一层判断	继续下钻	关键证据	容易走偏的方向
CPU 高但吞吐不涨	先分有效计算、等待内存、系统调用、锁竞争、软中断	IPC 低看 Cache miss / 分支 miss；系统态高看 syscall / IO；锁高看共享写和原子热点	perf stat、火焰图、IPC、LLC miss、context switch、lock profile	直接扩容 CPU，结果只是更多核心一起等内存
线程增加后变慢	先看是否撞到共享状态、内存带宽、NUMA、调度和锁	共享计数器看 cache line bouncing；队列看锁和原子；大内存看 NUMA remote access	吞吐-线程数曲线、mutex profile、cache miss、numastat、内存带宽	继续调大线程池，把同步成本放大
换数据结构后性能断崖	先看复杂度是否真变了，再看布局、局部性、分配和指针跳转	链表 / 对象图查随机访问；map 查哈希和扩容；数组查顺序扫描和预取	cache miss、分配次数、热点函数、对象大小、内存访问模式	只用 Big-O 解释，不看真实机器访问路径
大机器反而更抖	先看 NUMA、频率策略、线程迁移、中断分布和内存通道	远端内存高就查进程绑定；软中断集中就查 IRQ 亲和性；频率抖就查电源策略	numastat、numactl、lscpu、CPU frequency、/proc/interrupts	以为核心更多一定更快，忽略跨节点成本
P99 偶发尖刺	先对齐硬件、内核、运行时和业务时间线	看降频、软中断、设备队列、Cache 冷 miss、GC / JIT / page fault 是否同一时刻出现	P99 trace、perf、iostat、sar、CPU freq、page fault、runtime event	把所有长尾都甩给网络或下游

十二、展开案例：线程越多吞吐越低

步骤	判断	关键证据	动作
1. 先画扩展曲线	不要只看某个线程数下的结果，要看 1、2、4、8、16、32、64 的吞吐和延迟曲线	线程数、吞吐、P95 / P99、CPU、上下文切换、错误率	找出收益开始变平和反转的拐点，把它当成容量边界
2. 查共享热点	多个线程如果都写同一个队列、锁、计数器或缓存行，核心越多一致性成本越高	锁等待、原子变量热点、cache line bouncing、LLC miss、mutex profile	分片计数、批量合并、减少共享写，必要时用 padding 避免伪共享
3. 查内存带宽	如果程序主要在搬数据而不是算数据，更多线程会更快打满内存通道	IPC 下降、内存带宽接近上限、CPU 高但 instructions 不涨	分块处理、压缩对象、减少拷贝，提高每字节数据产生的有效工作
4. 查调度与 NUMA	线程在核心间迁移、访问远端内存或跨 socket 抢共享数据，会放大延迟	numastat、CPU migration、remote access、线程亲和性、节点内存分布	绑定线程和内存，按 NUMA 节点分片部署，减少跨节点共享状态

十三、展开案例：数据结构导致 Cache 失效

步骤	判断	关键证据	动作
1. 先看工作集大小	数据小的时候都在 Cache 里，数据一大就暴露真实访存成本	不同数据量下的吞吐曲线、L1 / LLC miss、IPC、内存带宽	用接近生产的数据量做基准，不只测小样本
2. 看访问模式	连续数组、列式布局和批量扫描容易被预取；链表、对象图和随机 map 访问会频繁 miss	热点函数、对象分配、指针跳转次数、cache miss、branch miss	改连续内存、结构体拆分、列式存储、批量处理和预排序
3. 查对象膨胀	对象头、指针、padding、装箱和嵌套容器会让有效数据被元信息稀释	对象大小、字段布局、分配次数、RSS、序列化体积	压缩对象、减少包装、用紧凑结构表达热路径数据
4. 验证局部性优化	好优化不是让代码看起来低级，而是让访问顺序更接近硬件喜欢的顺序	优化前后 cache miss、IPC、吞吐、P99 和内存占用	用 perf 证明 miss 下降，再看业务吞吐是否随之上升

十四、展开案例：NUMA 迁移后反而更慢

步骤	判断	关键证据	动作
1. 先确认机器拓扑	大机器不是一个更大的均匀 CPU，而是多个节点、各自本地内存和跨节点互联	lscpu、numactl --hardware、socket / node / core 分布、内存通道	把拓扑写进压测报告，不用“核数更多”粗略描述机器
2. 看线程和内存是否同节点	线程在节点 A 运行却频繁访问节点 B 的内存，会把内存访问变成长尾	numastat、remote access、进程内存分布、CPU affinity、调度迁移	用 numactl / taskset / 容器 cpuset 绑定，按节点分片服务实例
3. 看共享结构是否跨节点	全局队列、全局缓存和全局计数器在多路机器上更容易变成跨节点争用点	锁等待、cache miss、QPI / UPI 流量、线程数越高越抖	本地队列、本地缓存、分片聚合，减少跨 socket 同步
4. 重新定义容量基线	NUMA 优化后，容量不能用小机器线性外推，要重新测拐点和长尾	单节点绑定压测、跨节点压测、P99、吞吐-并发曲线	按拓扑制定实例规格和部署策略，避免把单进程无脑放满整机

十五、工具与证据表

想证明	证据	常用工具方向	结果怎么读
CPU 是否有效执行	IPC、cycles、instructions	perf stat	IPC 低通常意味着等待、分支或内存问题
是否访存受限	L1 / LLC miss、内存带宽	perf、硬件计数器	miss 高说明数据布局和局部性要优先看
是否分支预测差	branch miss	perf stat / record	输入分布变化可能让 if / switch 热点变慢
是否 NUMA 影响	remote access、节点内存分布	numastat、numactl	远端访问高时先考虑绑定和内存分配策略
是否设备路径长尾	软中断、队列深度、设备利用率	sar、iostat、网卡统计	硬件队列长尾会穿透到应用 P99

十六、训练题

题目	要输出什么	判分点
线程从 16 加到 64，吞吐下降	列出锁、原子、伪共享、内存带宽、NUMA 的验证顺序	是否避免继续盲目加线程
数组实现比对象链表快 5 倍	解释 Cache、预取、指针跳转和分配的影响	是否能把数据结构和硬件层级接上
生产数据比测试数据慢很多	设计分支预测、数据分布、工作集大小的对照实验	是否想到输入分布影响 CPU 行为

十七、跨页读法路线

问题	本页读法	继续读
性能瓶颈	Cache、分支、多核、NUMA、工具表	性能工程
运行时对象和 GC	Cache、对象布局、内存模型	编译器与运行时底座
内核网络和 IO	DMA、中断、设备队列	操作系统内核机制底座

十八、互链

相关页	连接关系
计算机系统底座	本页是系统底座的体系结构下钻
性能工程	体系结构信号需要通过 profiling 和压测闭环转成优化动作
Java 生态	JMM、GC、JIT 和对象布局都依赖体系结构约束
网络 / 流量工程	网卡、中断、DMA 和队列是网络性能的硬件侧前提