微调实操二: 有监督微调(Supervised Finetuning)

原创 已于 2024-02-07 19:29:24 修改 · 927 阅读 · 5 GEO检测
于 2024-02-07 19:28:53 首次发布

1、背景

在上一章《微调实操一: 增量预训练(Pretraining)》中进行了第一阶段的增量专业知识训练,这篇开始实践一下指令微调的训练，在预训练模型基础上做指令精调，以对齐指令意图。通过输入中添加指令，使得模型可以将指令作为上下文的信息，可以引导模型生成特定任务所需的输出。这次训练的目的就是让模型获得听懂指令的能力，可以适应多种不同任务。

2、合并增量模型

将《微调实操一: 增量预训练(Pretraining)》训练好的模型进行权重合并:

!ls outputs-pt-bloom-v1
!python /kaggle/working/MedicalGPT/merge_peft_adapter.py --model_type bloom \
    --base_model bigscience/bloomz-560m --lora_model outputs-pt-bloom-v1 --output_dir merged-pt/
标签
#人工智能 #大模型 #微调
了解本专栏 订阅专栏 解锁全文 超级会员免费看
无监督预训练 & 有监督预训练
qq_42191914的博客
11-25 7288
本文参考了几篇其他博客，具体链接在对应部分有提供 无监督预训练（unsupervised pre-training） 无监督预训练策略，主要应用于“复杂任务+少量标记数据集”，即没有足够的训练集为我们提供模型训练支持。这是 Hinton 团队在2006年提出的技术：A Fast Learning Algorithm for Deep Belief Nets。 这里有一段对其原理的描述 In SG...
大模型的有监督微调(SFT)与强化学习(RL)有何区别？
Here_violet的博客
03-14 3375
有监督微调（SFT）强化学习（RL）数据静态标注数据（输入-输出对）动态环境交互（状态-动作-奖励序列）反馈即时、明确（损失函数）延迟、稀疏（奖励信号）目标最小化预测误差最大化长期累积奖励探索无需探索，拟合现有数据需探索新策略以发现高奖励路径典型场景文本分类、机器翻译游戏AI、机器人控制、对话策略优化算法梯度下降、交叉熵损失Q-Learning、策略梯度、PPO。
【ChatGPT】有监督微调大模型 Supervised Fine-Tuning 的关键技术要素
AI天才研究院
02-26 1463
传统的机器学习方法在许多任务上取得了显著的成功，但它们通常需要大量的手工特征工程和领域知识。这使得它们在处理复杂问题时变得不够灵活和可扩展。Supervised Fine-Tuning作为一种有效的迁移学习方法，在许多任务上取得了显著的成功。模型选择：如何选择合适的预训练模型和微调策略仍然是一个具有挑战性的问题。未来的研究可能会关注如何自动选择和调整模型以适应不同的任务。无监督和半监督学习：在许多实际应用场景中，标注数据是稀缺的。未来的研究可能会关注如何利用无监督和半监督学习方法进行迁移学习。
Supervised Fine-Tuning（监督式微调）
Debug yourself!
01-05 1974
Supervised Fine-Tuning（监督式微调） 是机器学习和深度学习领域中的一个重要概念，尤其是在自然语言处理（NLP）和计算机视觉等领域中被广泛使用。以下是对这个概念的详细介绍：Supervised Fine-Tuning 是指在有监督学习框架下，通过给模型提供标注过的数据（labelled data），对一个已经预训练的模型（pre-trained model）进行进一步的调整和优化。 这种方法通常用于将一个通用模型（general model）适配到特定任务或领域中，例如从自然语言生成模型
2024年大语言模型（LLM）微调方法最全总结！
机器学习社区
02-24 9397
众所周知，大语言模型(LLM)正在飞速发展，各行业都有了自己的大模型。其中，大模型微调技术在此过程中起到了非常关键的作用，它提升了模型的生成效率和适应性，使其能够在多样化的应用场景中发挥更大的价值。那么，今天这篇文章就带大家深入了解大模型微调，主要包括什么是大模型微调、什么时候需要大模型微调、大模型微调方法总结、大模型微调最佳实践等。
【2024最新】深入了解 大语言模型（LLM）微调方法（总结）
m0_48891301的博客
05-06 3831
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。即更新模型所有权重的过程，被称为全微调。需要注意的是，与预训练一样，全微调需要足够的内存和计算预算来存储和处理训练过程中的所有梯度、优化器和其他更新组件。其中，大模型微调技术在此过程中起到了非常关键的作用，它提升了模型的生成效率和适应性，使其能够在多样化的应用场景中发挥更大的价值。
SupervisedFineTuning的模型可理解性设计
AI天才研究院
02-24 930
1. 背景介绍 1.1 人工智能的发展 随着人工智能技术的不断发展，深度学习模型在各个领域取得了显著的成果。然而，这些模型往往被认为是“黑箱”，因为它们的内部结构和工作原理很难被人类理解。这种不透明性给模型的可解释性和可信赖性带来了挑战。 1.2 可解
SupervisedFineTuning的模型伙伴与生态
AI天才研究院
02-27 1076
1. 背景介绍 1.1 传统机器学习与深度学习 传统机器学习方法在许多任务上取得了显著的成功，但随着数据量的增长和计算能力的提升，深度学习逐渐成为了主流。深度学习方法在许多任务上取得了显著的成功，如图像识别、自然语言处理、语音识别等。然而，深度学习模型通常需要大量的标注数据进行训练，这在许多实
[文献阅读]——Improving Language Understanding by Generative Pre-Training
jokerxsy的博客
04-26 969
目录引言相关工作半监督学习无监督预训练联合训练目标模型无监督的预训练有监督的微调不同任务的输入实验 引言 工作的意义： 由于标注数据的缺少，能够直接从未标注数据中提取语言学信息的模型十分重要 实验表明，在大量的有监督任务中，引入无监督信息能够带来性能的提升（word embedding） 比word-level更高级别的信息不容易被提取: 优化函数得不到统一，训练任务各异 大多都是task-specific，且使用了复杂的学习机制和联合学习目标，所以没有很好的迁移能力 本文的贡献: 提出了一种半监
【深度学习科普】大型语言模型微调技术：一文读懂SFT（有监督微调）和高效微调方法（LoRA，Adapter Tuning 以及 Prefix Tuning)）！
2302_79932616的博客
05-19 2417
介绍了大型语言模型的微调技术，重点探讨了有监督微调（SFT）和高效微调方法（PEFT）。有监督微调通过标注数据对预训练模型进行二次训练，使其适应特定任务，类似于医生通过专科培训获得特定领域的诊疗能力。SFT的步骤包括数据收集与预处理、模型选择与初始化、评估与优化。高效微调方法如LoRA、Adapter和Prefix Tuning则通过引入低秩矩阵、小型神经网络模块或可学习前缀向量，显著减少计算资源消耗，提升特定任务表现。这些方法在保持模型核心优势的同时，大幅节省了时间和资源，适用于多任务部署和特定任务优化。
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
热门推荐
丨汀、的博客
07-16 4万+
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
大语言模型原理与工程实践：有监督微调数据的构建
AI天才研究院
06-09 903
作者：禅与计算机程序设计艺术 阐述大语言模型的核心原理，以及如何通过有监督微调技术构建适用于特定任务的大规模语言模型。 背景介绍 随着大规模预训练模型的发展，如BERT、GPT系列等，人们对于如何高效地将这些通用模型转化为针对特定任务的高性能模型的需求日益增强。有监督微调是一种关键策略，它允许
有监督微调：从入门到精通
最新发布
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
06-02 967
有监督微调是深度学习中一种重要的技术，它通过在特定任务上对预训练模型进行微调，能够显著提升模型在特定领域的性能。本文从有监督微调的基本概念出发，详细介绍了其原理、实现方法、应用场景以及注意事项。通过代码示例和实际案例，帮助读者快速掌握有监督微调的技巧，并在实际项目中应用。本文还通过数据流图和架构图，清晰地展示了有监督微调的流程和关键环节。定义有监督微调的概念。解释其与无监督学习、强化学习的区别。强调有监督微调在特定任务上的优势。回顾有监督微调的基本概念和实现方法。强调其在实际应用中的重要性和优势。
什么是指令微调（LLM）
yuanlulu的博客
06-28 5946
经过大规模数据预训练后的语言模型已经具备较强的模型能力，能够编码丰富的世界知识，但是由于预训练任务形式所限，这些模型更擅长于文本补全，并不适合直接解决具体的任务。指令微调是相对“预训练”来讲的，预训练的时候是使用大量无标注的文本，让模型每次都预测下一个字符的方式来训练。而指令微调也可以叫“监督微调”，也就是对于输入文本有标准答案，用标准答案来训练模型。一般预训练完毕后就要进行指令微调，经过指令微调后，大语言模型能够展现出较强的指令遵循能力，可以通过零样本学习的方式解决多种下游任务。
智慧之锤｜如何通过有监督微调锻造大模型
京东科技开发者
12-11 923
作者：京东物流 李雪婷本文为《大规模语言模型-从理论到实践》 第五章有监督微调的学习笔记，在介绍基本内容的同时会补充一些扩展知识和案例来帮助大家更好地理解该章。
大模型LLM相关面试题整理-训练集-训练经验-微调
weixin_36378508的博客
10-17 5018
综上所述，全参数微调所需的显存量取决于模型的大小、批量大小、训练数据的维度以及训练设备的显存限制。在进行全参数微调之前，建议先评估所需的显存量，并确保训练设备具备足够的显存来支持训练过程。13b的占用大约50G内存，在64G内存上，i9 12900h运行缓慢7b的占用约26G内存，在64G内存上，i9 12900h运行、响应速度还可以，全参数finetune至少需要4倍的数据。
什么是SFT（监督微调，Supervised Fine-Tuning）
keyboard专栏
07-01 4万+
定义训练过程，包括损失函数、优化器和训练步骤。
大模型开发和微调工具Llama-Factory--＞数据处理
weixin_46034279的博客
12-01 3730
包含了所有经过处理的 本地数据集 和 在线数据集。如果使用本地数据集， 务必在中添加对应数据集及其内容的定义目前支持Alpaca格式 和ShareGPT的格式。
大语言模型原理与工程实践：有监督微调的应用场景
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
05-10 293
1. 背景介绍 随着深度学习技术的飞速发展，大语言模型（Large Language Models，LLMs）在自然语言处理领域取得了突破性进展。这些模型拥有海量参数，能够从大规模文本数据中学习复杂的语言模式，并在各种任务上展现出惊人的能力。其中，有监督微调（Supervised Fine-tuning）成为了一种有效提升大语言模型性能的方法，使其能
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序猿阿三

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值