【人工智能】《Deep Dive into LLMs like ChatGPT 》—— Andrej Karpathy 第二部分：监督微调（SFT）

🔁 第二部分：监督微调（SFT）

目标：把“互联网文本模拟器”变成“能对话的 AI 助手”

✅ 问题：基础模型不会“回答问题”

你问：What is 2+2?
它续写：What is 2+2? The answer is debated among mathematicians...
这不是助手，是“自动补全”。

✅ 解决：换数据集，继续训练

1. 扔掉互联网文档
2. 换成“对话” → 百万条人工写的 QA 对
   例：

   Human: 2+2 等于多少？
   Assistant: 2+2 等于 4。
   

3. 格式化成 token 序列
   用特殊 token 区分角色：

<im_start>user\n2+2 等于多少？<im_end>
<im_start>assistant\n2+2 等于 4。<im_end>

4. 继续“预测下一个 token”
   现在模型学到的统计规律是：“当人类问 X，助手答 Y”