todo
下图是一个 mutli-chip GPU, 由四个 GPU 芯片组成。每个芯片包含 64 个流多处理器（ SM），每个 SM 配有 128KB 的私有一级缓存（ L1 缓存），具有 4MB 的末级缓存（ LLC）容量，以及 8 个内存控制器（图中每个 chip 画出了一个）。
The Network-on-Chip (NoC) connects 32 SM clusters (two SMs share one network port) to 16 LLC slices with a total bisection bandwidth of 4 TB/s.
NVLink 是 NVIDIA 开发的一种高速互连技术，旨在实现 GPU 之间以及 GPU 与 CPU 之间的高带宽、低延迟通信。它主要用于加速 AI、HPC 和数据分析等场景中的数据传输。
NVLink 不但可以实现 GPU 之间以及 GPU 和 CPU 之间的互联，还可以实现 CPU 之间的互联。从这一点来看，NVLink 的野心着实不小。
我们知道，Intel 的 CPU 间互联总线是 QPI，20 位宽的 QPI 连接带宽也只有 25.6GB/s，在 NVLink 面前同样差距巨大。可想而知，如果全部采用 NVLink 总线互联，会对系统数据交换通道的带宽有多大提升
CPU 程序员的挑战不只是在 GPU 上获得出色的性能，还有协调系统处理器与 GPU 上的计算调度，以及系统存储器与 GPU 存储器之间的数据传输。
GPU 中的并行：多线程、MIMD、SIMD 和指令级并行。
NVIDIA 将 CUDA 编程定义为 SIMT -- 单指令多线程。
并行执行和线程管理由 GPU 硬件负责，而不是由应用程序或者操作系统完成。详解见 Q1
