从零开始理解大模型训练：5种主流方法通俗解读（含代码示例）

从零开始理解大模型训练：5种主流方法通俗解读（含代码示例）

最近和几个刚入行的朋友聊天，发现大家对大模型训练方法的理解，普遍还停留在“听说过名字，但不知道具体在干嘛”的阶段。SFT、RLHF、DPO……这些缩写听起来就像某种神秘代码，让人望而生畏。其实，这些方法背后的逻辑，远比想象中要贴近我们的日常决策。想象一下，你教一个孩子画画。一开始，你手把手教他画苹果（这就是SFT）。后来，你不再直接教，而是把他画的几幅画摆出来，告诉他哪幅更好看，让他自己去琢磨改进（这很像RLHF）。再后来，你甚至不用每次都评价，而是给他一本“好画册”，让他自己对比学习（这接近DPO的思路）。大模型的训练，本质上也是这样一个从“模仿”到“理解偏好”，再到“自我优化”的演进过程。这篇文章，就试图为你剥开这些术语的技术外壳，用生活化的类比和可运行的代码片段，帮你搭建一个清晰、实用的认知框架。无论你是好奇的开发者，还是希望将大模型能力融入产品的技术决策者，都能在30分钟内，对这些核心方法“知其然，也知其所以然”。

1. 基石：监督微调——从“临摹字帖”开始

如果把预训练大模型比作一个博览群书、通晓古今的天才少年，那么监督微调就是为他请的第一位专业导师。这位导师不教他新的知识，而是训练他将已有的庞杂知识，精准地应用到某个特定领域，比如法律咨询、医疗问答或者代码生成。

这个过程，非常像书法练习中的“临摹”。预训练模型拥有强大的“笔力”（语言生成能力）和“字库”（知识储备），但它写出的字可能风格混杂，不够规范。SFT就是给它一本标准的“字帖”——高质量的任务标注数据（例如，“用户问：‘如何起诉？’”，标准答案是：“起诉需要准备起诉状、身份证明、证据材料……”）。模型的任务就是反复临摹，调整自己内部的“运笔习惯”（模型参数），使得在面对类似问题时，能写出符合“字帖”规范的回答。

它的核心优势在于路径清晰、收敛快速。因为学习目标非常明确——就是无限逼近标注数据中的标准答案。在数据质量高、任务定义清晰的场景下，SFT能快速让模型成为一个特定领域的“熟练工”。

注意：SFT的成功极度依赖“字帖”的质量。如果标注数据存在偏见、错误或不全面，模型就会“学歪”，并且可能变得刻板，缺乏应对开放性问题或理解微妙人类偏好的灵活性。

下面，我们通过一个极简的代码示例，来看看SFT的核心训练循环在代码层面是如何实现的。这里我们使用Hugging Face的Transformers库和PyTorch框架。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, Trainer, TrainingArguments

# 1. 加载预训练模型和分词器（我们的“天才少年”）
model_name = "gpt2"  # 这里以GPT-2为例，实际可使用更大模型
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
# 设置填充token，确保批次训练时长度一致
tokenizer.pad_token = tokenizer.eos_token

# 2. 准备“字帖”——SFT训练数据（示例）
# 假设我们微调模型进行友好的对话开场白生成
train_texts = [
    "用户：你好。\n助手：你好！很高兴为你服务。",
    "用户：早上好。\n助手：早上好！愿你今天有个美好的开始。",
    "用户：嗨。\n助手：嗨！有什么我可以帮你的吗？",
]
# 实际中，这里应该是成千上万条精心标注的{指令， 输出}对

def tokenize_function(examples):
    # 将文本转换为模型可接受的输入ID和注意力掩码
    model_inputs = tokenizer(examples["text"], truncation=True, padding="max_length", max_length=128)
    # 在自回归语言模型中，标签就是输入ID本身（预测下一个token）
    model_inputs["labels"] = model_inputs["input_ids"].copy()
    return model_inputs

# 模拟数据集
from datasets import Dataset
train_dataset = Dataset.from_dict({"text": train_texts})
tokenized_dataset = train_dataset.map(tokenize_function, batched=True)

# 3. 配置训练参数
training_a