1. NVLink

NVLink 是 NVIDIA 开发的一种高速互连技术，旨在实现 GPU 之间以及 GPU 与 CPU 之间的高带宽、低延迟通信。它主要用于加速 AI、HPC 和数据分析等场景中的数据传输。

1.1. CPU 连接

NVLink 不但可以实现 GPU 之间以及 GPU 和 CPU 之间的互联，还可以实现 CPU 之间的互联。从这一点来看，NVLink 的野心着实不小。

我们知道，Intel 的 CPU 间互联总线是 QPI，20 位宽的 QPI 连接带宽也只有 25.6GB/s，在 NVLink 面前同样差距巨大。可想而知，如果全部采用 NVLink 总线互联，会对系统数据交换通道的带宽有多大提升

1. 量化研究方法

2. 4.4 图形处理器

CPU 程序员的挑战不只是在 GPU 上获得出色的性能，还有协调系统处理器与 GPU 上的计算调度，以及系统存储器与 GPU 存储器之间的数据传输。

GPU 中的并行：多线程、MIMD、SIMD 和指令级并行。

NVIDIA 将 CUDA 编程定义为 SIMT -- 单指令多线程。

并行执行和线程管理由 GPU 硬件负责，而不是由应用程序或者操作系统完成。详解见 Q1