GPU相关知识整理——AI扫盲

GPU基础知识

GPU与CPU的区别：CPU优化单线程任务并能处理复杂的控制流程，GPU设计用于并行处理大量的相同相似任务。CPU包含少量核心，GPU包含大量核心。一个核心可以处理一个计算任务，多个核心可以并行处理多个计算任务。

多核心并行计算：是指通过在计算机的多个处理核心（CPU核心或GPU核心）之间分配和并行执行任务，以提高计算效率和处理能力。这种方式使得程序可以同时在多个核心上运行不同的计算任务，从而大大加速整体的计算过程

GPU的工作原理：流水线处理、内存优化和并行任务分配来加速图形渲染和数据计算等任务。它的设计专门针对处理重复性高、并行性强的计算任务，因此在处理图形渲染、科学计算和深度学习等领域具有明显的优势。

SIMD（单指令多数据）：是一种并行计算架构，在这种架构中，多个数据元素同时执行相同的指令.例如，当你需要对一个数组中的多个数字执行相同的操作（比如加法、乘法等）时，SIMD可以通过单条指令同时处理多个数字.

流处理器（CUDA核心/Stream Processors）:流处理器是GPU中的基本计算单元。它们类似于CPU的核心。在NVIDIA的GPU中，流处理器通常被称为CUDA核心，它允许开发者利用GPU的强大并行计算能力来加速应用程序。在AMD的GPU使用的术语是流处理器。

并行计算模型：1）数据并行模型 (Data Parallelism) 2）任务并行模型 (Task Parallelism) 3）流水线并行模型 (Pipelining) 4）共享内存模型 (Shared Memory Model) 5）分布式计算模型 (Distributed Computing Model)
GPU架构，一台机器多个显卡——多GPU并行。多个机器多个显卡——分布式计算

NVIDIA GPU架构：Tesla架构——首次引入GPU计算。Fermi架构——大规模并行计算、CUDA核心。 Kepler架