pin_memory-锁页内存

Page-Locked内存 运行时提供的函数允许使用锁页（也称为固定）主机内存（与 malloc() 分配的常规可分页主机内存相反）： cudaHostAlloc() 和 cudaFreeHost() 分配和释放锁页主机内存； cudaHostRegister() 将 malloc() 分配的内存范围变为锁页内存（有关限制，请参阅参考手册）。 使用页面锁定的主机内存有几个好处： 锁页主机内存和设备内存之间的复制可以与异步并发执行中提到的某些设备的内核执行同时执行。 在某些设备上，锁页主机内存可以映射

Pytorch 中 pin_memory 和 non_blocking 为什么能够加速训练？

主机端存在虚拟内存，主机内存不足是会将内存数据交换到虚拟内存中，虚拟内存就是主机中的磁盘空间，需要该页时再重新从磁盘加载回来。这样做可以使用比实际内存更大的内存空间。 锁页内存允许GPU上的MDA控制器在使用主机内存时不用CPU参与。GPU上的显存都是锁页的，因为GPU上的内存时不支持交换到磁盘的。锁页内存就是分配主机内存时锁定该页，让其不与磁盘交换。 CUDA中锁页内存的使用可以使用CUDA

在PyTorch中，pin_memory是一种特殊的内存分配方式，它可以在数据被传输到GPU之前，将数据放置在主机内存（即CPU内存）中的固定位置，以便GPU可以更快地访问它们。在上面的代码中，pin_memory=True选项告诉PyTorch将数据固定在主机内存中。在使用PyTorch进行训练时，可以将数据加载到DataLoader中，并使用pin_memory=True选项将其固定在主机内存中。需要注意的是，使用pin_memory选项可能会导致系统内存占用过高，因此应该在内存充足的情况下使用。

关于什么是锁页内存： pin_memory就是锁页内存，创建DataLoader时，设置pin_memory=True，则意味着生成的Tensor数据最开始是属于内存中的锁页内存，这样将内存的Tensor转义到GPU的显存就会更快一些。 主机中的内存，有两种存在方式，一是锁页，二是不锁页，锁页内存存放的内容在任何情况下都不会与主机的虚拟内存进行交换（注：虚拟内存就是硬盘），而不锁页内存在主机内存不...

锁页内存理解（pinned memory or page locked memory）：https://blog.csdn.net/dgh_dean/article/details/53130871 What is the disadvantage of using pin_memory： https://discuss.pytorch.org/t/what-is-the-disadvantag...

原文：https://blog.csdn.net/tsq292978891/article/details/80454568 原文：https://blog.csdn.net/tfcy694/article/details/83270701 doc解释： https://pytorch.org/docs/stable/_modules/torch/utils/data/datal...

页锁内存是主机与设备间高效数据传输的关键技术，尤其适用于需要异步拷贝或零拷贝的 GPU 应用场景。通过合理分配和使用页锁内存，可以显著提升程序的性能，但也需要权衡其对内存资源的影响以及编程复杂性。普通分页内存的虚拟地址是连续的，但物理地址可能是分散的，导致额外的开销。使用页锁内存进行主机和设备之间的数据传输，性能比普通分页内存高，因为避免了内存分页和映射操作。页锁内存避免了操作系统的分页机制导致的额外开销，能够以更高的带宽传输数据。页锁内存为 GPU 提供了直接访问主机内存的可能，减少不必要的数据拷贝。

CUDA零拷贝的理解和使用，以及锁页主机内存介绍。

参数pin_memory=True和non_blocking=True的作用

CUDA 6.0以后，出现了：统一内存，unified memory，其具有以下特性： 1 其声明有以下两种方式： a 使用关键字managed，可选的和device,一起使用，比如：device managed int ret[1000]; b 使用函数cudaMallocManaged(): int *ret; cudaMallocManaged(&ret,1000*s

在创建Dataloader的使用pin_memory()函数 pin_memory就是锁页内存，创建DataLoader时，设置pin_memory=True，则意味着生成的Tensor数据最开始是属于内存中的锁页内存，这样将内存的Tensor转到GPU的显存就会更快一些。 主机中的内存，有两种存在方式，一是锁页，二是不锁页，锁页内存存放的内容在任何情况下都不会与主机的虚拟内存进行交换（注：虚拟内...

在PyTorch中使用多个GPU进行模型训练时，各个参数和指标之间存在一定的关系。GPU显存是限制模型训练规模的关键因素。当使用多个GPU进行训练时，每个GPU都会分配一部分显存用于存储中间变量、梯度、权重等。GPU显存的使用量取决于模型的复杂度、批量大小（batch size）以及数据类型等因素。举例：假设我们使用两个GPU（GPU 0和GPU 1）进行训练，每个GPU的显存为12GB。若批量大小为32个样本，模型复杂度为中等，则每个GPU可能需要大约4GB的显存。

而将数据锁定在主机内存中，可以避免数据在传输过程中被分页，提高了数据传输的效率，从而减少了数据加载到GPU的时间。F.relu(self.fc1(x))和nn.ReLU(self.fc1(x))在功能上是相同的，都是使用ReLU（Rectified Linear Unit）作为激活函数来处理self.fc1(x)的结果。综上所述，F.relu(self.fc1(x))是直接调用了ReLU激活函数功能，而nn.ReLU(self.fc1(x))是通过在神经网络模型中添加一个ReLU层来实现激活函数的功能。

一下内容是大部分来自http://www.findspace.name/easycoding/1349，还有小部分来自《CUDA专家手册》，整理记录下来作为学习过程中的笔记 主机处理器（CPU）支持虚拟内存系统，允许程序员使用比实际空间更大的内存空间，可以认为虚拟内存是内存容量受限留下的后遗症。 大多数系统中虚拟内存空间被划分成许多页，它们是寻址的单元，页的大小至少4096个字节。虚拟

当主存没有足够的空间并且有更多的数据写入内存时，一些页面将被移动到硬盘驱动器（hard drive）。使用分页内存，每个程序都有自己的逻辑内存，即内存可以分成连续的页面。所以一个程序的内存可能在它自己的逻辑内存上是连续的，但在物理内存上是分段的。逻辑地址是程序运行时由CPU生成的地址，它是一个虚拟地址，之所以说是虚拟地址，是因为它不是物理上真实存在的地址。，是一种内存管理方案，计算机通过该方案存储和检索二级存储器中的数据，二级存储器通常是指硬盘驱动器上的交换swap区域，用于主存储器。

主机内存分为 可分页内存（Pagable） 和 页锁定内存（固定内存Pinned Memory） CPU向GPU传输数据时是通过直接内存访问DMA（Direct Memory Access）传输的 当数据在可分页内存时，系统可能会移动数据，此时将该数据传输给GPU时，需要将可分页内存复制到一块“临时的”页锁定内存，然后再从页锁定内存复制到GPU 因此使用页锁定内存会一定程度上加快数据在GPU与CPU之间的传输速度，甚至会加快一倍 但是，页锁定内存是占用系统的物理内存的，并不能交换到磁盘上，当机器的物理内存比