计算机体系结构是连接软件和硬件的桥梁，其演进直接决定了计算能力的边界。
从早期的单标量处理器到现代的多核向量处理器，体系结构的演进体现了对摩尔定律瓶颈的应对和新兴应用需求的响应。
引言
计算机体系结构是连接软件和硬件的桥梁，其演进直接决定了计算能力的边界。从早期的单标量处理器到现代的多核向量处理器，体系结构的演进体现了对摩尔定律瓶颈的应对和新兴应用需求的响应。
摩尔定律的放缓、功耗墙的逼近、并行化需求的增长，这些因素共同推动了体系结构的重大变革。理解这些变革不仅有助于选择合适的硬件平台，更能指导软件的优化和算法设计。
本文将深入探讨计算机体系结构的演进历程，分析从单核到多核、从标量到向量的发展路径，以及这些变革对软件设计的影响。
单核处理器的黄金时代
在摩尔定律的有效期内，单核处理器的性能主要通过提高时钟频率和优化指令执行来提升。
指令级并行
流水线技术：将指令执行分为多个阶段，不同阶段并行执行。
超标量：同时发射和执行多条指令。
乱序执行：重新排序指令执行顺序，避免数据相关导致的停顿。
推测执行：预测分支走向，提前执行可能的路径。
graph TB
subgraph 流水线技术
A[指令取指]
B[指令译码]
C[指令执行]
D[内存访问]
E[结果写回]
A --> B --> C --> D --> E
end
subgraph 超标量执行
F[指令1: 取指]
G[指令2: 取指]
H[指令3: 取指]
F --> I[执行]
G --> J[执行]
H --> K[执行]
end
subgraph 乱序执行
L[指令1: 依赖指令2]
M[指令2: 独立]
N[指令3: 独立]
M --> O[先执行M]
N --> P[先执行N]
L --> Q[后执行L]
end
style A fill:#90EE90,stroke:#006400,stroke-width:1px
style O fill:#87CEEB,stroke:#1E90FF,stroke-width:1px
style P fill:#87CEEB,stroke:#1E90FF,stroke-width:1px
性能瓶颈的显现
功耗墙：随着时钟频率提高，功耗呈平方级增长，散热成为瓶颈。
指令级并行限制：通过增加流水线深度和发射宽度获得的收益递减。
内存墙：处理器速度远超内存速度，内存访问成为主要瓶颈。
频率饱和：单核频率已经接近物理极限，难以继续提高。
graph TB
subgraph 性能瓶颈
A[功耗墙<br/>散热限制]
B[ILP限制<br/>并行度饱和]
C[内存墙<br/>访存延迟]
D[频率饱和<br/>物理极限]
end
subgraph 性能提升
E[频率提升<br/>5-10%]
F[架构优化<br/>10-20%]
end
A -.->|影响| E
D -.->|影响| E
B -.->|影响| F
C -.->|影响| F
style A fill:#FFB6C1,stroke:#FF0000,stroke-width:2px
style B fill:#FFB6C1,stroke:#FF0000,stroke-width:2px
style C fill:#FFB6C1,stroke:#FF0000,stroke-width:2px
style D fill:#FFB6C1,stroke:#FF0000,stroke-width:2px
多核处理器的兴起
当单核性能提升遭遇瓶颈时，多核处理器成为新的发展方向。
多核架构设计
同构多核：所有核心相同，共享内存和缓存，任务分配灵活。
异构多核：不同类型的核心针对不同工作负载优化，如 CPU+GPU。
片上网络：多核间通过专用网络通信，提高通信效率。
共享缓存：多核共享最后一级缓存（LLC），减少访问延迟。
graph TB
subgraph 同构多核架构
A[核心0]
B[核心1]
C[核心2]
D[核心3]
E[L1 缓存0]
F[L1 缓存1]
G[L1 缓存2]
H[L1 缓存3]
I[L2 缓存0]
J[L2 缓存1]
K[L3 共享缓存]
L[内存控制器]
A --> E --> I --> K --> L
B --> F --> I --> K --> L
C --> G --> J --> K --> L
D --> H --> J --> K --> L
end
subgraph 异构多核架构
M[CPU 核心]
N[GPU 核心]
O[AI 加速器]
P[专用 DSP]
Q[异构内存]
R[片上互联]
end
M --> R --> Q
N --> R --> Q
O --> R --> Q
P --> R --> Q
style K fill:#FFD700,stroke:#DAA520,stroke-width:2px
style R fill:#87CEEB,stroke:#1E90FF,stroke-width:2px
缓存一致性协议
多核环境下，需要确保不同核心看到的缓存数据一致。
MESI 协议：Modified、Exclusive、Shared、Invalid 四种状态。
MOESI 协议：增加 Owner 状态，减少写回操作。
目录式一致性：通过目录表跟踪缓存行状态，适用于多芯片系统。
stateDiagram-v2
[*] --> I: 初始状态
I --> E: 独占加载
I --> S: 共享加载
E --> M: 写入数据
E --> I: 其他核心请求
M --> I: 写回内存
M --> S: 其他核心读取
S --> I: 其他核心写入
S --> M: 本核心写入
note right of I
I = Invalid
E = Exclusive
S = Shared
M = Modified
end note
向量处理与 SIMD
向量处理通过同时对多个数据执行相同操作，实现数据级并行。
SIMD 架构
数据并行：一条指令同时处理多个数据元素。
向量寄存器：专用寄存器存储向量数据。
宽执行单元：执行单元支持多个数据并行操作。
指令集扩展：SSE、AVX、NEON 等向量指令集。
sequenceDiagram
participant Scalar as 标量处理
participant Vector as 向量处理
participant Memory as 内存
Note over Scalar,Memory: 标量累加 4 个元素
Scalar->>Memory: 读取元素1
Scalar->>Scalar: 累加
Scalar->>Memory: 读取元素2
Scalar->>Scalar: 累加
Scalar->>Memory: 读取元素3
Scalar->>Scalar: 累加
Scalar->>Memory: 读取元素4
Scalar->>Scalar: 累加
Note over Vector,Memory: 向量累加 4 个元素
Vector->>Memory: 读取向量 [元素1,2,3,4]
Vector->>Vector: 向量加法 [1]+[2]+[3]+[4]
向量化的挑战
数据对齐：向量化要求数据按照特定边界对齐，否则性能下降。
分支处理：条件分支影响向量化效率，需要分支预测或掩码处理。
寄存器压力：向量操作占用大量寄存器，可能引发寄存器溢出。
内存带宽：向量化对内存带宽要求高，可能成为瓶颈。
graph TB
subgraph 向量化挑战
A[数据对齐]
B[分支处理]
C[寄存器压力]
D[内存带宽]
end
subgraph 解决方案
E[填充/重排数据]
F[分支预测/掩码]
G[寄存器分配优化]
H[数据预取/压缩]
end
A --> E
B --> F
C --> G
D --> H
style A fill:#FFB6C1,stroke:#FF0000,stroke-width:1px
style E fill:#90EE90,stroke:#006400,stroke-width:1px
内存层次结构的演进
处理器速度与内存速度的差距不断增大，内存层次结构变得更加复杂。
多级缓存层次
L1 缓存：最快但最小，分为指令缓存和数据缓存。
L2 缓存：速度较快，容量适中，通常为私有缓存。
L3 缓存：较慢但容量大，通常为多核共享缓存。
主内存：大容量但较慢，通过 DDR 等技术提高带宽。
graph TB
subgraph 内存层次结构
A[寄存器<br/>1KB<br/>~1ns]
B[L1 缓存<br/>64KB<br/>~4ns]
C[L2 缓存<br/>256KB<br/>~10ns]
D[L3 缓存<br/>8MB<br/>~40ns]
E[主内存<br/>16GB<br/>~100ns]
F[SSD 存储<br/>1TB<br/>~100μs]
G[HDD 存储<br/>10TB<br/>~10ms]
end
subgraph 容量与延迟关系
H[容量递增]
I[延迟递增]
J[成本递减]
end
A --> H
B --> H
C --> H
D --> H
E --> H
A --> I
F --> I
G --> I
style A fill:#90EE90,stroke:#006400,stroke-width:1px
style E fill:#FFD700,stroke:#DAA520,stroke-width:2px
style G fill:#FFB6C1,stroke:#FF0000,stroke-width:1px
缓存优化技术
预取：预测访问模式，提前将数据加载到缓存。
非阻塞缓存：允许在缓存未命中时继续执行其他指令。
缓存伪共享：不同核心访问同一缓存行的不同部分，导致不必要的缓存一致性开销。
缓存着色：控制缓存行的分配位置，避免缓存冲突。
sequenceDiagram
participant CPU as 处理器
participant Prefetcher as 预取器
participant L1 as L1缓存
participant L2 as L2缓存
participant Memory as 主内存
CPU->>Prefetcher: 识别访问模式
Prefetcher->>Memory: 预取未来可能需要的数据
Memory-->>L2: 加载到L2
L2-->>L1: 加载到L1
L1-->>CPU: 数据已在缓存
Note over CPU,Memory: 减少缓存未命中延迟
专用硬件加速器
通用处理器的局限性催生了各种专用硬件加速器。
GPU 架构
SIMT 执行模型：单指令多线程，适合大规模并行计算。
大规模并行：成千上万个核心，支持海量并行线程。
高内存带宽：专门的显存，提供极高的内存带宽。
异构计算：与 CPU 协同工作，CPU 负责控制，GPU 负责计算。
graph TB
subgraph GPU 架构
A[Host 端<br/>CPU]
A --> B[PCIe 总线]
subgraph Device 端<br/>GPU
C[SM 0<br/>32 核心]
D[SM 1<br/>32 核心]
E[SM N<br/>32 核心]
F[全局内存<br/>8GB+]
G[共享内存<br/>每 SM 48KB]
end
B --> C
B --> D
B --> E
C --> F
D --> F
E --> F
C --> G
D --> G
E --> G
end
style A fill:#87CEEB,stroke:#1E90FF,stroke-width:2px
style F fill:#FFD700,stroke:#DAA520,stroke-width:2px
style G fill:#90EE90,stroke:#006400,stroke-width:1px
AI 加速器
张量计算单元：专门为矩阵运算设计的计算单元。
脉动阵列：数据像血液一样流动，减少数据搬运。
高带宽内存：HBM 等高带宽内存，满足 AI 计算的内存需求。
数据量化：使用低精度计算，提高吞吐量。
graph TB
subgraph AI 加速器架构
A[输入特征图]
A --> B[权重矩阵]
subgraph 脉动阵列
C[计算单元0]
D[计算单元1]
E[计算单元2]
F[计算单元N]
C --> D --> E --> F
end
B --> C
B --> D
B --> E
B --> F
G[输出特征图]
C --> G
D --> G
E --> G
F --> G
end
style G fill:#90EE90,stroke:#006400,stroke-width:2px
存储体系结构的变革
存储技术的发展同样深刻影响着体系结构的演进。
NVMe 与 PCIe 存储
NVMe 协议：专为 SSD 设计的高效协议，减少协议开销。
PCIe 通道：直接连接 CPU，绕过传统 SATA/SAS 的瓶颈。
并行 I/O：支持多个 I/O 队列，提高并发性能。
低延迟：大幅降低存储访问延迟，改善系统响应性能。
graph TB
subgraph 传统存储架构
A[CPU] --> B[SATA 控制器]
B --> C[SATA SSD]
end
subgraph NVMe 存储架构
D[CPU] --> E[PCIe 总线]
E --> F[NVMe SSD]
end
subgraph 性能对比
G[延迟: SATA > NVMe]
H[吞吐: NVMe > SATA]
I[并发: NVMe > SATA]
end
C --> G
F --> H
E --> I
style F fill:#90EE90,stroke:#006400,stroke-width:2px
style C fill:#FFB6C1,stroke:#FF0000,stroke-width:1px
持久化内存
字节寻址：像内存一样可字节寻址，持久化数据。
低延迟：接近内存的访问延迟，远快于传统存储。
大容量：容量可达数百 GB，满足大数据应用需求。
新编程范式：需要新的编程模型来利用持久化内存的优势。
未来发展趋势
体系结构的演进仍在继续，未来的趋势包括：
异构计算深化
更复杂的异构架构：CPU、GPU、AI 加速器、FPGA 等协同工作。
统一内存架构：异构设备共享统一内存空间，简化编程。
智能资源调度：AI 驱动的智能调度，自动分配计算资源。
能效优化
近内存计算：将计算单元移到内存附近，减少数据搬运。
近似计算：对精度要求不高的任务采用近似计算，降低功耗。
电压频率动态调整：根据负载动态调整电压和频率，优化能效。
新型计算范式
神经形态计算：模仿生物神经网络的计算范式，适合 AI 应用。
量子计算：利用量子力学原理进行计算，解决特定类型问题。
光子计算：使用光子进行计算，可能实现超高性能。
软件设计的适应性
体系结构的演进要求软件设计做出相应的调整。
并行编程模型
OpenMP：共享内存并行编程，适合多核 CPU。
CUDA：GPU 并行编程模型，适合大规模并行计算。
OpenCL：跨平台并行编程，支持多种硬件。
Triton：现代化的 GPU 编程语言，简化并行编程。
graph TB
subgraph 并行编程模型
A[OpenMP<br/>共享内存]
B[CUDA<br/>GPU 专用]
C[OpenCL<br/>跨平台]
D[Triton<br/>现代化]
end
subgraph 适用场景
E[多核 CPU]
F[NVIDIA GPU]
G[多硬件平台]
H[现代 AI 应用]
end
A --> E
B --> F
C --> G
D --> H
style A fill:#90EE90,stroke:#006400,stroke-width:1px
style B fill:#87CEEB,stroke:#1E90FF,stroke-width:1px
style D fill:#FFD700,stroke:#DAA520,stroke-width:2px
性能优化策略
缓存优化：优化数据局部性，提高缓存命中率。
向量化：利用 SIMD 指令，提高数据级并行。
并行化：利用多核和 GPU，提高任务级并行。
异步编程：利用异步 I/O，提高资源利用率。
结论
计算机体系结构的演进反映了计算需求和硬件技术的双重驱动。从单核到多核，从标量到向量，从通用到专用，每一次演进都是为了解决特定的性能瓶颈和适应新兴的应用需求。
理解体系结构的演进历程和未来趋势，对于软件工程师和硬件工程师都至关重要。软件需要充分利用硬件的特性才能发挥最大性能，而硬件的设计也需要考虑软件的需求和应用模式。
未来，随着异构计算、能效优化和新计算范式的发展，体系结构将继续演进。AI 技术的深入应用、大数据处理的持续增长、云计算的普及，这些都将推动体系结构的创新发展。对于技术从业者而言，深入理解体系结构的原理和发展趋势，有助于在技术变革中保持竞争优势。
在摩尔定律放缓的今天，体系结构的创新成为提升计算能力的主要途径。掌握这些创新的技术原理和应用方法，是构建高性能、高效率计算系统的关键。无论是在传统的服务器领域，还是在新兴的 AI 应用，体系结构的知识都将发挥越来越重要的作用。
本文深入探讨了计算机体系结构的演进历程，从单核处理器的指令级并行到多核架构，从向量处理到专用硬件加速器，并通过 Mermaid 图表展示了流水线与超标量执行、性能瓶颈、多核架构设计、缓存一致性协议、标量与向量处理对比、内存层次结构、缓存预取机制、GPU 与 AI 加速器架构、存储性能对比以及并行编程模型。
可用性说明：本文发布于 2018 年 11 月，距今已超过五年。文中涉及的软件版本、接口、下载地址、命令参数和操作界面可能已经发生变化，部分方案在当前环境下可能失效。请结合官方最新文档核对后再操作，生产环境使用前务必先行验证。
版权声明: 本文首发于
指尖魔法屋-计算机体系结构演进：单核不够用了之后（https://blog.thinkmoon.cn/post/31-computer-architecture-multicore-practice/）
转载或引用必须申明原指尖魔法屋来源及源地址！