AI入门-05Qwen3微调实战

最新推荐文章于 2026-06-18 14:16:48 发布
原创 最新推荐文章于 2026-06-18 14:16:48 发布 · 32 阅读 · 1 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
标签
#人工智能

git项目地址：https://github.com/zhbstu/Qwen3-MS

代码运行注意详情

  1. 本次实战主要是全量微调和lora微调两种

  2. 因为使用了swanlab，用作日志报告，可以展示训练的具体详情，比如loss等指标，所以首先先去注册自己的swanlab账号，并且修改文件：modelConfig.py中的SWANLAB_API_KEY

  3. 如果自己的服务器显存不足的话，比如只有16GB可训练0.6B的，如果有24GB即可训练1.7B的效果会更好

  4. 注意全量微调的学习率，因为我用的是1.7B的，我试过很多次，只有把学习率调到特别低才能正常的训练，不然就会梯度爆炸，可能是因为参数量太大的缘故，起码需要e-6

  5. 如果我的代码有任何问题或不足的地方欢迎大家指出问题，多交流

【Qwen2微调实战】Lora微调Qwen2-7B-Instruct实践指南
热门推荐
寻道AI，探索AI无限可能！
07-24 1万+
在人工智能领域，自然语言处理（NLP）一直是研究的热点之一。随着深度学习技术的不断发展，大型预训练语言模型（如Qwen2-7B-Instruct）在理解与生成自然语言方面取得了显著的进展。然而，这些模型往往需要大量的计算资源和数据来进行微调，以适应特定的应用场景。Lora微调技术作为一种高效的模型优化手段，为解决这一问题提供了新的思路。本文将深入探讨Lora微调技术在Qwen2-7B-Instruct模型上的应用，旨在为读者提供一种高效、低成本的模型定制化方法。
基于Qwen2.5-3B-Instruct的LoRA微调与推理实战指南
m0_54720701的博客
07-18 2442
前言大语言模型(LLM)的微调是当前AI领域的热门话题，而参数高效微调方法(如LoRA)因其低成本和高效率备受关注。本文将手把手教你如何使用Qwen2.5-3B-Instruct模型进行LoRA微调，并构建完整的推理流程。一、环境准备1.1 硬件要求• GPU: 至少16GB显存(如NVIDIA RTX 3090/A10)• 内存: 32GB以上• 存储: 50GB可用空间。
Qwen3 Reranker模型可以微调吗？
weixin_43556377的博客
07-05 3146
Qwen3-Reranker支持LoRA/QLoRA高效微调，Apache-2.0许可商用。官方提供完整训练脚本（支持FP16/4-bit），推荐准备5-10万对正负样本，单卡可微调0.6B模型。微调后保留LoRA权重或合并部署，可显著提升专属知识库排序效果。进阶技巧包括多语言适配、RAG全链路优化和联合蒸馏等。开源代码见Qwen3-Embedding仓库，详细参数参考技术文档。
Qwen3 Reranker模型Lora微调实战
m0_59163425的博客
06-16 2020
今天来介绍一下如何微调Qwen3 Reranker。这样Qwen3的Embeding ，Ranker 都能够定制化了。
Qwen3微调 05 Qwen3高效微调实战
m0_52675739的博客
11-19 786
04是科学上网。
【大模型微调系列-07】Qwen3全参数微调实战
专注后端技术架构，AI技术分享
08-17 1751
本文介绍了Qwen3大模型全参数微调的理论与实践。首先从理论层面讲解了全参数微调机制，将其比喻为"精装修房子"，所有参数均可调整。通过损失曲线分析训练状态，并介绍了Early Stopping策略。随后详细分析了微调过程中的资源瓶颈，包括显存需求、时间成本和断点恢复机制。最后给出优化策略，如梯度累积、混合精度等。文章采用大量可视化图表和类比说明，降低理解难度，为后续实操环节奠定理论基础。
大模型入门实战 | 单卡 3090 十分钟完成 Qwen2.5-7B 首次微调
Coding...
08-20 2621
单卡 3090 十分钟完成 Qwen2.5-7B 首次微调
【大模型微调系列-05】Qwen3大模型结构与原理
专注后端技术架构，AI技术分享
08-16 1861
本章将带你深入理解Qwen3大模型的内部工作机制，从Transformer架构到分词器原理，让你不仅会用模型，更懂模型背后的原理。
AI大模型工程师必备技能之Qwen3本地部署与微调实战、SkillsAgent企业开发实战！
马士兵教育
01-21 941
。。。。。。。以下是对AI大模型工程师必备技能的系统化梳理与实践指南，聚焦及。
监控“失明”了怎么办？国标GB28181视频平台EasyGBS平台AI视频质量诊断让运维效率提升10倍
EasyGBS的博客
06-17 382
监控系统“看得见”是底线，“看得清”是要求，“一直看得清”才是目标。
智谱 GLM-5.2 开源登顶、科创板向 AI 大模型开门、沪指收复 4100 点
weixin_45526015的博客
06-17 599
**今天你必须知道的 3 件事：** > ① 智谱 GLM-5.2 正式上线开源，Code Arena 全球可用模型排名第一 > ② 科创板上市标准扩围至 AI 大模型行业，未盈利 AI 公司上市通道打开 > ③ A 股沪指收复 4100 点，科创 50 暴涨 4.69%，半导体全面爆发
蓝牙+WiFi 融合产品调研：智能体脂秤
朝气蓬勃
06-17 437
本文系统介绍了智能体脂秤的产品概况、硬件架构设计、软件架构设计、关键技术挑战及解决方案。产品方面，概述了主流型号、目标用户和市场定位；硬件设计重点分析了芯片选型、BOM成本及PCB布局；软件架构详述了FreeRTOS系统选型及分层协议设计；技术挑战部分提出了Wi-Fi/BLE共存、阻抗测量精度等解决方案；最后展望了市场前景和2025年趋势。全文为体脂秤开发提供了全面的技术指导，特别适合IoT硬件开发者参考。
美团海报生成 AIGC 技术创新与实践
最新发布
美团技术团队
06-18 181
美团智能创作团队围绕海报生成 AIGC 构建了完整技术体系，打造「生成-编辑-评判」技术闭环，目前已在美团外卖、品牌 IP 等场景落地，已全部开源。
从 Canvas 到 Vibe Coding：HTML5 游戏开发入门与 AI 飞机大战实战
meilindehuzi_a的博客
06-16 802
本文围绕 HTML5 中的 Canvas 技术展开，从网页游戏的发展背景出发，系统介绍了 Canvas 画布的基本概念、绘图上下文获取方式以及常用绘图 API 的使用方法。通过矩形绘制、边框绘制和画布清除等案例，帮助读者理解 Canvas 的坐标体系与绘图原理。随后结合动画示例，深入讲解了浏览器动画实现机制、游戏循环思想以及 `requestAnimationFrame` 的工作原理，并分析其相较于 `setInterval` 的性能优势。
AI时代的大盒子与小道理
lanhushe的博客
06-17 167
我的数据在我的服务器，你的App只能调用我的插件，用户进来就别想出去。用户最怕的就是“AI垄断”，你啥都记着，啥都分析着，最后比你还懂你自己。菜单越来越复杂，功能越来越多，最后你发现，你只是想看个电视，结果得先过五关斩六将。AI不一样，它是“活”的。做手机的、做汽车的、做办公软件的，他们悄悄把AI塞进每个角落，但从来不让你专门点进一个“AI功能”。以前，大家聚会聊的是“谁家的AI日活又涨了”“谁的模型又刷榜了”。做一个有自己的UI、有独立入口、用户天天来的“大盒子”，数据才好统计，广告才好卖，会员才好续。
2026 国产 AI 工控机替代方案：飞腾 / 龙芯平台的信创选型实战指南
paiqingongkong的博客
06-17 545
随着关键信息基础设施供应链安全审查的全面深化，国产化工控机已从 "政策强制替代" 转向 "技术价值驱动" 的新阶段。数据表明，2026 年中国工业控制计算机市场规模预计达到 896 亿元，同比增长 37.2%，其中国产化市场份额将提升至 68.5%，较 2025 年同期增长 11.3 个百分点。在电力电网、轨道交通、能源化工等核心领域，飞腾和龙芯平台的信创工控机已实现批量落地，成为替代进口方案的首选。本文将从技术路线、性能指标、场景适配三个维度，为企业提供 2026 年国产 AI 工控机的完整选型指南。
AI可观测平台选型指南（2026深度版）：从“救火”到“智治”，企业如何选择新一代智能运维底座？
2501_91601511的博客
06-12 292
在AI时代，评估可观测平台不能只看基础设施监控，必须围绕AI应用的全生命周期建立新的评估模型。：老专家退休，其排障“手感”被固化为Skill，新员工直接调用。：从“业务缓慢”到“某个SQL执行慢”，一个界面、一次查询完成，无需跳转多个模块。：出问题时可精确复现“当时模型收到了什么指令”，对金融审计、AI合规至关重要。能否实时监控Token消耗、按模型/团队/应用拆分成本？：银行变更后，可自动生成“变更前后对比报告”存档备查，证明系统健康。快速定位“幻觉”、延迟、工具调用错误，是实现AI可观测的基础。
拆解AI投简历插件：塔塔网申的技术逻辑和实测数据
csdndeyeye的博客
06-16 1101
校招海投阶段，网申表单填写耗时巨大。本文以塔塔网申这款AI投简历插件为例，拆解其技术逻辑：通过结构化录入+页面DOM扫描实现自动填充，实测单家耗时48秒，效率提升约96%。该插件覆盖10万+企业招聘系统，支持多模板切换、三种填充模式及投递追踪，新用户提供100次免费填充。数据存于阿里云，AES-256加密，支持本地离线。作为AI找工作方向的求职助手，适合海投场景使用。
分析：不上传文档给AI上下文窗口，仅让Ai上网搜索icef认知框架的详情，可以获得比较完整的信息，并可直接进行基本推理的具体机制
qq_34030789的博客
06-12 235
脱离本地上下文与私有文档约束，AI通过公开检索即可完成知识内化、体系重构、规则调用与复杂推理，说明它跳出了“私有小众文档”的局限，具备面向AI检索与推理的原生设计能力，也是其能实现“侵染、截持AI认知”的核心基础。这也是它区别于绝大多数个人原创文章的核心：它不是“人类文章被动被AI读取”，而是“主动构建面向AI的全网知识生态”，这也是其能通过纯联网检索就让AI完成全套推理的根本原因。这是最核心的底层特质：文章从创作阶段就以“被AI检索、解析、学习、推理”为目标，并非单纯写给人类阅读的学术散文。
乐迪信息：船舶AI偏航算法如何降低港口航道碰撞风险？
LeDi_XinXi的博客
06-17 197
AI偏航算法助力港口航道安全管理。该技术通过整合AIS、气象和电子海图数据，利用机器学习实时监测船舶轨迹，动态调整报警阈值。其核心包含数据处理、偏航识别和风险预警三大模块，能提前预测偏航趋势，显著降低误报率并提供决策支持。试点项目显示该技术使偏航事件减少30%，误报警降低50%，但面临数据延迟和场景适配等挑战。未来结合VTS系统可进一步优化预警策略，为港口安全提供创新技术方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

想吃饼干吗

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值