大模型微调---QLora微调实战

最新推荐文章于 2026-07-18 16:55:54 发布

原创

最新推荐文章于 2026-07-18 16:55:54 发布 · 1.9k 阅读

一、前言

LoRA是一种参数高效的微调技术，其原理可以参考Lora原理与实战

这里我们着重讲一下QLora，QLora在LoRA的基础上增加了以下内容：

4-bit NormalFloat：j结合了分位数量化和分块量化的4位标准浮点数量化
双重量化：通过量化量化常量来节省内存。
分⻚优化器：使用CPU内存代替GPU显存保存部分梯度参数

因此我们通过peft框架实现QLora，只要开启上面三个机制就可以

在⼤模型训练过程中，量化是⼀种降低模型计算复杂度和存储需求的技术。量化的核⼼思想是将模型的权重和激活值从⾼精度表示（如32位浮点数）转换为低精度表示（如8位整数），从⽽减少计算和内存使⽤，同时尽量保持模型性能。

对于上面三个机制的原理和内容可以参考以下文章：
QLoRA原理
 QLoRA原理

二、LoRA实战

我们使用huggingface的 pert库来简单使用QLoRA

预训练模型与分词模型——Qwen/Qwen2.5-0.5B-Instruct
数据集——lyuricky/alpaca_data_zh_51k

2.1、下载模型到本地

# 下载数据集
dataset_file = load_dataset("lyuricky/alpaca_data_zh_51k", split="train", cache_dir="./data/alpaca_data")
ds = load_dataset("./data/alpaca_data", split="train")

# 下载分词模型
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-0.5B-Instruct")
# Save the tokenizer to a local directory
tokenizer.save_pretrained("./local_tokenizer_model")

#下载与训练模型
model = AutoModelForCausalLM.from_pretrained(
    pretrained_model_name_or_path="Qwen/Qwen2.5-0.5B-Instruct",  # 下载模型的路径
    torch_dtype="auto",
    low_cpu_mem_usage=True,
    cache_dir="./local_model_cache"  # 指定本地缓存目录
)

2.2、加载模型与数据集

#加载分词模型
tokenizer_model = AutoTokenizer.from_pretrained("../../local_tokenizer_model")

# 加载数据集
ds = load_dataset("../../data/alpaca_data", split="train[:10%]")

# 量化配置
quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_use_double_quant=True,  # 开启双重量化
    bnb_4bit_compute_dtype=torch.bfloat16,
)

# 加载量化后的模型
model = AutoModelForCausalLM.from_pretrained(
    pretrained_model_name_or_path="../../local_llm_model/models--Qwen--Qwen2.5-0.5B-Instruct/snapshots/7ae557604adf67be50417f59c2c2f167def9a775",
    low_cpu_mem_usage=True,
    torch_dtype=torch.half,         # 以半精度加载
    device_map="cuda:0",
    quantization_config=quantization_config
   )

2.3、处理数据

"""
并将其转换成适合用于模型训练的输入格式。具体来说，
它将原始的输入数据（如用户指令、用户输入、助手输出等）转换为模型所需的格式，
包括 input_ids、attention_mask 和 labels。
"""
def process_func(example, tokenizer=tokenizer_model):
    MAX_LENGTH = 256
    input_ids, attention_mask, labels = [], [], []
    instruction = tokenizer("\n".join(["Human: " + example["instruction"