书生大模型实战营第四期L1G5000（XTuner 微调个人小助手认知）

微调原理简介

微调的作用是让预训练的大模型能够适应下游任务。

这里仅作简单介绍，相关的算法如SFT, DPO等不是本文重点。

本文在做微调的时候主要用的是LoRA以及QLoRA，这一系列算法基于一个观察：模型全参数可以用一个低秩的矩阵替换，好处是使用的资源显著减少。

LoRA

QLoRA

Xtuner微调实践

Xtuner简介

XTuner 文档链接：XTuner-doc-cn

环境配置与数据准备

首先使用 conda 先构建一个 Python-3.10 的虚拟环境。

然后安装 XTuner。

为了验证 XTuner 是否安装正确，我们将使用命令打印配置文件。

安装成功！

修改提供的数据

创建一个新的文件夹用于存储微调数据，然后将准备好的微调数据集copy到文件夹下。

创建修改脚本，内容如下：

import json
import argparse
from tqdm import tqdm

def process_line(line, old_text, new_text):
    # 解析 JSON 行
    data = json.loads(line)
    
    # 递归函数来处理嵌套的字典和列表
    def replace_text(obj):
        if isinstance(obj, dict):
            return {k: replace_text(v) for k, v in obj.items()}
        elif isinstance(obj, list):
            return [replace_text(item) for item in obj]
        elif isinstance(obj, str):
            return obj.replace(old_text, new_text)
        else:
            return obj
    
    # 处理整个 JSON 对象
    processed_data = replace_text(data)
    
    # 将处理后的对象转回 JSON 字符串
    return json.dumps(processed_data, ensure_ascii=False)

def main(input_file, output_file, old_text, new_text):
    with open(input_file, 'r', encoding='utf-8') as infile, \
         open(output_file, 'w', encoding='utf-8') as outfile:
        
        # 计算总行数用于进度条
        total_lines = sum(1 for _ in infile)
        infile.seek(0)  # 重置文件指针到开头
        
        # 使用 tqdm 创建进度条
        for line in tqdm(infile, total=total_lines, desc="Processing"):
            processed_line = process_line(line.strip(), old_text, new_text)
            outfile.write(processed_line + '\n')

if __name__ == "__main__":
    parser = argparse.ArgumentParser(description="Replace text in a JSONL file.")
    parser.add_argument("input_file", help="Input JSONL file to process")
    parser.add_argument("output_file", help="Output file for processed JSONL")
    parser.add_argument("--old_text", default="尖米", help="Text to be replaced")
    parser.add_argument("--new_text", default="臭布丁", help="Text to replace with")
    args = parser.parse_args()

    main(args.input_file, args.output_file, args.old_text, args.new_text)

这个脚本干的事情就是把原来的json文件中所有的尖米替换成我的网名。

运行脚本，然后命令行输出处理后的文件的前三行看看效果：

训练启动

首先根据指引复制模型，修改训练config文件

然后启动微调

xtuner train ./config/internlm2_5_chat_7b_qlora_alpaca_e3_copy.py --deepspeed deepspeed_zero2 --work-dir ./work_dirs/assistTuner

训练好了之后进行权重转换。模型转换的本质其实就是将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式文件，我们可以通过以下命令来实现一键转换。

我们可以使用 xtuner convert pth_to_hf 命令来进行模型格式转换。

xtuner convert pth_to_hf 命令用于进行模型格式转换。该命令需要三个参数：CONFIG 表示微调的配置文件， PATH_TO_PTH_MODEL 表示微调的模型权重文件路径，即要转换的模型权重， SAVE_PATH_TO_HF_MODEL 表示转换后的 HuggingFace 格式文件的保存路径。

除此之外，我们其实还可以在转换的命令中添加几个额外的参数，包括：

转换完成后，可以看到模型被转换为 HuggingFace 中常用的 .bin 格式文件，这就代表着文件成功被转化为 HuggingFace 格式了。

此时，hf 文件夹即为我们平时所理解的所谓 “LoRA 模型文件”

可以简单理解：LoRA 模型文件 = Adapter

有了LoRA文件，我们就可以进行模型合并了。

对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（Adapter），训练完的这个层最终还是要与原模型进行合并才能被正常的使用。

在 XTuner 中提供了一键合并的命令 xtuner convert merge，在使用前我们需要准备好三个路径，包括原模型的路径、训练好的 Adapter 层的（模型格式转换后的）路径以及最终保存的路径。

xtuner convert merge命令用于合并模型。该命令需要三个参数：LLM 表示原模型路径，ADAPTER 表示 Adapter 层的路径， SAVE_PATH 表示合并后的模型最终的保存路径。

在模型合并这一步还有其他很多的可选参数，包括：

可以看到合并后的模型文件

WebUI对话

微调完成后，我们可以再次运行 xtuner_streamlit_demo.py 脚本来观察微调后的对话效果。

成功！冷笑话确实很冷。

模型上传HF

模型上传主要是参考这个文字教程。

里面有一点需要注意的大文件的上传问题，我自己在执行git add的时候用了很长时间，具体的细节设置参考了Huggingface上传自己的模型-CSDN博客。

上传成功后HuggingFace上的页面长这样：

模型链接：stinkypudding/code_assistant at main