什么是GPU计算

• Nvidia公式发布了了CUDA，它是建立在NVIDA的CPUs上的一个通用并行计算平台和编程模型，基于CUDA编程可以利用GUPs的并行计算引擎来更加高效地解决比较复杂的计算难题
• GPU并不是一个独立运行的计算平台，而需要与CPU协同工作，可以看成是CPU的协处理器，因此当我们在说GPU并行计算时，其实是指的基于CPU+GPU的异构计算架构。
• 在异构计算架构中，GPU与CPU通过PCle总线连接在一起来协同工作
• CPU所在位置称为主机端（host），而GPU所在位置称为设备端（device）。

为什么使用GPU计算

• GPUs的并行计算引擎强大，可以大幅度加快计算速度，例如15倍左右
• 超级计算机使用加速器，例如天河，Summmit
• 机器学习以及人工智能需要训练模型，需要大量的计算，特别是稠密矩阵向量计算，GPU可以快十倍以上
• GPU最成功的一个应用就是深度学习领域，基于GPU的并行计算已经成为训练深度学习模型的标配。

CPU与GPU分工与协作

• GPU包括更多的运算核心，其特别适合数据并行的计算稠密型任务，如大型矩阵运算
• CPU的运算核心较少，但是其可以实现复杂的逻辑运行，因此其适合控制密集型任务。
• CPU上的线程是重量级的，上下文切换开销大
• GPU由于存在很多核心，其线程是轻量级的
• 基于CPU+GPU的异构计算平台可以优势互补，CPU负责处理逻辑复杂的串行程序，而GPU重点处理数据密集型的并行计算程序，从而发挥最大功效。

 

语言选取

• CUDA是NVIDIA公司所开发的GPU编程模型，它提供了GPU编程的简易接口，基于CUDA编程可以构建基于GPU计算的应用程序。
• CUDA提供了对其它编程语言的支持，如C/C++，Python等语言。

CUDA工具

• 编译器：nvcc（C/C++）
• 调试器：nvcc-gdb
• 性能分析：nsight，nvprof
• 函数库：cudblas，nvblas，cusolver，cuffw，cusparse，nvgraph

根据b站视频：https://www.bilibili.com/video/BV11K411N7Wm?t=331