（三）指令微调是什么

最新推荐文章于 2026-05-20 15:46:33 发布
原创 最新推荐文章于 2026-05-20 15:46:33 发布 · 375 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
标签
#人工智能

指令微调是什么

指令微调(instruction-tuned/instruction-following): 属于微调的一种方式。

作用：提供更好的与用户交互的能力。例如通过指令微调，让GPT-3变成ChatGPT

数据集：对话型数据集，例如FAQ数据集。当然，你可以自己转化得到问答格式的数据集。

关于指令微调比较神奇的发现-Generalization：

  • 比如我微调数据中，没有提到code相关的问答数据，但是模型在微调之后，也能够回答。（当然，模型在预训练阶段见过）。但是这说明了微调之后模型能把这种问答的能力迁移到其它的data上面，而不局限于微调数据。

具体步骤

①Data Preparation -> ②Training -> ③Evaluation->①Data...

实操

  1. 介绍两种不同的指令模板，让模型能够处理不同类型的提示词和任务

    • load dataset and process：把原始数据集插入到上面的指令模板中，然后check and save，得到指令遵循(instruction-following)数据集

    • load the processed dataset and check

    • load model and tokenizer：(70m的小模型)

    还没有正式开始介绍训练和推理的部分，仅介绍了数据集部分

    大语言模型的指令微调（Instruction Tuning）最全综述：从数据集到技术全解析
    热门推荐
    强化学习曾小健
    08-27 3万+
    此前，我们已经介绍了大模型的三类微调技术（实际案例说明AI时代大语言模型三种微调技术的区别——Prompt-Tuning、Instruction-Tuning和Chain-of-Thought：https://www.datalearner.com/blog/1051681306547159）。但实际上，大模型的微调还可以分成很多种。从微调的参数规模来说，可以简单分为全参数微调和高效参数微调。前者一般是用预训练模型作为初始化权重，在特定数据集上继续训练，全部参数都更新的方法。
    【LLM大模型】指令微调、peft高效参数微调
    发现问题，并解决问题，批判性思维
    05-07 1万+
    LLaMA 是 Meta AI 发布的包含 7B、13B、33B 和 65B 四种参数规模的基础语言模型集合，LLaMA-13B 仅以 1/10 规模的参数在多数的 benchmarks 上性能优于 GPT-3(175B)，LLaMA-65B 与业内最好的模型 Chinchilla-70B 和 PaLM-540B 比较也具有竞争力。通过使用与 ChatGLM（chatglm.cn）相同的技术，ChatGLM-6B 初具中文问答和对话功能，并支持在单张 2080Ti 上进行推理使用。
    指令微调（Instructional Fine-tuning）
    qq_36485259的博客
    03-12 5120
    指令微调（Instructional Fine-tuning）是一种自然语言处理（NLP）技术，特别是在大型预训练语言模型（如 GPT、BERT 等）的应用中。在指令微调中，模型被进一步训练以更好地理解和遵循人类给出的指令或命令。这种方法可以提高模型在特定任务上的性能，使其能够根据给定的指令生成更准确的结果。
    什么是指令微调？如何微调
    qq_41106932的博客
    12-03 4374
    然后，爸爸给小暗安排了一个任务，让他在动物园里找一种他从没见过的动物，叫斑马，并告诉了小暗有关于斑马的信息：“斑马有着马的轮廓，身上有像老虎一样的条纹，而且它像熊猫一样是黑白色的。与面向plm的指令不同，面向人的指令通常是一些人类可读的、描述性的、段落风格的特定于任务的文本信息，包括任务标题、类别、定义和需要避免的东西等。随着神经网络和预先训练好的语言模型的出现，（ii）。LMs的最终输入可以描述为x 0 = f (x)或f（x，I），即任务不可知的模板f（·）是必需的，但特定于任务的信息I是可选的。
    【大模型系列】指令微调
    靖待的CSDN博客
    04-23 8055
    大模型系列之指令微调笔记。
    LLM指令微调Prompt的最佳实践（三）：编写文本摘要的Prompt
    日常学习与专研的记录
    07-04 2397
    本文介绍 llm 指令微调 Prompt 的最佳实践：编写文本摘要的Prompt。根据《面向开发者的LLM入门教程》，总结凝练核心内容，加深印象，同时方便快速查阅浏览。
    让英文大模型懂中文！（三）：指令微调实战，让模型听懂你的需求
    ppbk_的博客
    01-08 921
    中文 Tokenization：构建中文词表，让模型能正确分词中文；继续预训练：在中文语料上增量预训练，让模型学习中文语义和语法；指令微调：在 “指令 - 回应” 数据集上微调，让模型学会理解人类需求，精准执行任务。通过这三步，原本只懂英文的大模型就能完美支持中文交互，既能生成流畅的中文文本，又能听懂你的各种指令（总结、翻译、问答等）。如果想要进一步提升效果，还可以进行 “人类反馈强化学习（RLHF）”，让模型的输出更贴合人类偏好～
    第七章 指令微调学习（三）为指令数据集创建数据加载器；加载预训练的大语言模型
    最新发布
    qq_52551375的博客
    05-20 466
    本章介绍了为指令数据集创建PyTorch数据加载器的过程。首先通过custom_collate_fn函数处理设备设置（支持CPU、CUDA和实验性MPS设备），然后使用functools.partial创建固定参数的customized_collate_fn函数，设置最大长度为1024。接着初始化训练、验证和测试数据加载器，配置批次大小为8并启用随机打乱。最后分析了数据加载器生成的批次维度，显示不同批次具有可变长度（如8×61和8×76），验证了自定义处理函数的有效性。这些准备工作为后续预训练语言模型奠定基
    【大白话 AI 答疑】第6篇 大模型指令微调：instruction/input/output核心解析及案例
    spark_dev的博客
    12-05 1182
    instruction（指令）：核心是“任务描述”，用于明确告知模型需要完成的具体工作，比如“翻译”“总结”“分析情绪”等，是模型理解任务目标的关键。input（输入）：可理解为“任务素材”，是模型执行任务的直接对象，仅当任务需要具体载体时存在（部分简单任务如“解释什么是AI”可无input），是指令落地的核心依据。output（输出）：即“预期结果”，是模型完成任务后应生成的标准答案，用于指导模型学习“指令+输入”与“正确结果”之间的映射关系，是微调的监督信号。告诉模型“做什么”，input。
    什么是指令微调（LLM）
    顺其自然~专栏
    09-19 2576
    经过大规模数据预训练后的语言模型已经具备较强的模型能力，能够编码丰富的世界知识，但是由于预训练任务形式所限，这些模型更擅长于文本补全，并不适合直接解决具体的任务。指令微调是相对“预训练”来讲的，预训练的时候是使用大量无标注的文本，让模型每次都预测下一个字符的方式来训练。而指令微调也可以叫“监督微调”，也就是对于输入文本有标准答案，用标准答案来训练模型。一般预训练完毕后就要进行指令微调，经过指令微调后，大语言模型能够展现出较强的指令遵循能力，可以通过零样本学习的方式解决多种下游任务。
    【大模型理论篇】大模型微调之指令微调(Instruction Fine-Tuning)
    源泉的小广场
    08-27 2万+
    指令微调、大模型、instruction fine-tuning、监督微调、微调技术、大模型微调、llm fine tune、指令数据集、prompt、微调实战、Alpaca、llama2微调
    一文读懂大模型微调 - 指令微调(附完整代码)
    大模型研究中心
    04-14 1775
    指令微调是一种特殊的微调方法，通过输入自然语言指令（如“总结以下文章”）和对应的输出示例，训练模型理解并遵循多样化的人类指令。典型应用包括ChatGPT、Claude等对话模型。指令微调是让模型学习 [Human提问 - Assistant回答] 的交互模式；通过标签设计(-100)，让模型只学习生成Assistant部分的内容；指令微调使预训练模型从[预测下一个词]转变为[理解并执行指令]；少量数据和训练步骤，就能让模型学会按照指定格式回答问题；
    掌握指令微调的关键技巧，极致优化你的模型！
    m0_72410588的博客
    08-22 1693
    指令微调是建立在预训练模型基础上的一种技术，通过在任务特定的数据集上进行进一步的训练，以适应特定任务的需求。相比于从头训练一个模型，指令微调通常可以在更少的数据和计算资源上获得较好的性能。下面将介绍指令微调的基本流程。在指令微调中，需要定义与任务相关的指令，以告诉模型应该如何进行微调。这些指令通常包括损失函数、优化算法、学习率等。
    小白必看：什么是指令微调（SFT）？其流程有哪些步骤？
    CSDN_430422的博客
    08-19 2380
    小白必看：什么是指令微调（SFT）？其流程有哪些步骤？
    【LLM系列之指令微调】长话短说大模型指令微调的“Prompt”
    yanqianglifei的专栏
    07-31 3887
    或者有继续微调比较合适的方案也可以，不损失之前模型的效果（或者损失比较小），目前可以尝试Lora或者Qlora的方式微调底座模型，然后将训练好的Lora权重合并到原始模型，这样可以减轻多次微调对模型的影响。之前推理的时候，发现不加训练的时候prompt，直接输入模型性能会变差的，这个倒是可以理解。（3）另外通过实验发现，如果模型微调的时候使用模板，那么推理的时候应该也使用模板，否则效果会影响，直观上就是生成效果不理想，生成比较短，甚至“驴唇不对马嘴”；那高质量如何定义呢？和alpaca模板差不多。
    Instruction Tuning（FLAN、instructGPT、chatGPT）
    nakaizura
    12-10 2万+
    首页最近被chatGPT刷屏，但翔二博主左看右看发现很多想法似乎都是一脉相通的，于是连夜从存档中找了一些文章尝试理一理它的理论路线。博主个人理解，它以更为embodied AI形式的指令作为输入，以训练/微调大规模的信息模型，并基于强化学习与真实世界做持续交互，已经很接近此处所提到的“数字超人”了。
    微软首次使用GPT-4进行指令微调，新任务零样本性能再提升
    夕小瑶科技说
    04-10 1213
    编｜杜伟、陈萍 源｜机器之心大模型指令微调水平在不断地提高，这次微软用上了 GPT-4。我们知道，从谷歌 T5 模型到 OpenAI GPT 系列大模型，大语言模型（LLMs）已经展现出了令人印象深刻的泛化能力，比如上下文学习和思维链推理。同时为了使得 LLMs 遵循自然语言指令和完成真实世界任务，研究人员一直在探索 LLMs 的指令微调方法。实现方式有两种：一是使用人类标注的 prompt 和反...
    大规模语言模型微调技术——Instruction和Question的区别和联系
    刘炫320的博客
    05-18 6338
    在ChatGPT的时代，每个人都能够轻松使用这一强大的语言模型。这一切的实现速度比我之前所想象的要快得多。这得益于大规模语言模型微调技术，其实并没有引入太多新颖的元素。特别是有了ChatGPT作为引路人，许多事情变得更加容易和简单。尤其是借助LLaMA开源项目为基础，许多模型都是以LLaMA作为基座模型，并通过微调特定的指令数据集来实现与ChatGPT的对齐。
    指令微调（Instruction Fine-Tuning）与微调FineTuning的区别（Instruction Fine Tuning）
    Dontla的博客
    01-02 2063
    与传统的微调（Fine-Tuning）侧重于特定任务或领域不同，指令微调专注于提升模型对各种自然语言指令的响应效果，使其在更广泛的应用场景中表现得更加准确和可靠。指令微调是一种有效的方法，通过针对性的训练，使预训练语言模型在理解和执行用户指令方面表现得更加出色。随着指令微调技术的不断发展，未来的语言模型将在更多领域展现出更强大的能力，为用户提供更加精准和高效的服务。指令微调是一种专门的微调技术，通过在大量包含指令和相应响应的数据集上训练模型，使其能够更好地理解和执行用户的指令。
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值