QLoRA学习笔记

QLoRA 的核心技术亮点：

1. 4-bit 量化（NF4 数据类型）：

   • QLoRA 使用一种称为 NormalFloat4 (NF4) 的特殊 4-bit 浮点数据类型，专门针对神经网络权重的正态分布特性进行优化。
   • 相比传统的 INT4 均匀量化，NF4 在分布密集的区域（如靠近 0 的权重）分配更多量化级别，从而在低比特下更好地保留模型信息，减少精度损失。

2. 分块量化（Block-wise Quantization）：

   • 量化不是在整个权重矩阵上统一进行，而是按“块”（block）进行。每个块独立计算量化参数（如缩放因子），这能更好地适应不同区域权重的分布差异，进一步提升量化精度。

3. 双重量化（Double Quantization）：

   • QLoRA 引入了“双重量化”技术：第一轮将原始 FP16 权重量化为 4-bit；第二轮再对第一轮产生的量化常数（如缩放因子）进行一次量化（例如到 8-bit），从而进一步压缩元数据，减少内存占用。

4. LoRA 微调机制：

   • 与 LoRA 一致，QLoRA 不直接修改原始量化模型的权重，而是在预训练模型的特定层（如注意力层）旁路插入低秩适配矩阵（A 和 B 矩阵）。
   • 这些 LoRA 参数以高精度（如 bf16）保存和更新，而主干模型保持 4-bit 量化状态，仅在前向传播时临时反量化为 bf16 参与计算。

NF4 的量化区间划分

1. 基本概念：