大模型参数量和占的显存怎么换算？

深度学习模型显存占用计算指南

1. 基本概念

1. 显存单位换算

   • 1GB = 1024MB
   • 1MB = 1024KB
   • 1KB = 1024字节(Byte)
   • 1字节 = 8比特(bit)
   • 简单估算：1GB ≈ 10^9字节

2. 参数量

   • 1B = 10亿(10^9)个参数

3. 精度类型

   • 全精度(fp32)：32比特 = 4字节
   • 半精度(fp16)：16比特 = 2字节
   • 量化(int8)：8比特 = 1字节

2. 显存占用计算公式

理论显存占用 = 参数量 × 每个参数占用的字节数 / 10^9 (GB)

考虑到实际运行中的额外开销，我们需要乘以一个安全系数(1.2~1.5之间，通常取1.3)：

实际显存占用 ≈ 理论显存占用 × 1.3

3. 计算示例

1. 1B参数模型

   • 全精度(fp32)：1×4×1.3 = 5.2GB
   • 半精度(fp16)：1×2×1.3 = 2.6GB
   • 量化(int8)：1×1×1.3 = 1.3GB

2. Qwen2.5 72B半精度模型