pytorch加载预训练加载部分参数

原创已于 2024-04-30 16:19:24 修改 · 7.1k 阅读

收录于

当前文章被以下社区和专栏收录：

于 2019-06-10 18:26:37 首次发布

pytorch知识宝典专栏收录该内容

518 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何在PyTorch中加载预训练模型，包括正常CPU加载和自定义加载，同时讲解了如何处理参数尺度不匹配、更新部分参数以及查看未匹配的层。还探讨了在深度学习中不同层设置不同学习率的方法，以及在PyTorch中如何选择特定层进行微调。

正常加载模型，cpu加载

加载预训练模型pop参数

state_dict = torch.load(weight_path)
state_dict.pop("denoiser.PPE.pe")
self.load_state_dict(state_dict,strict=False)

map_location=torch.device("cpu")

   model = IResNet(IBasicBlock, [2, 2, 2, 2])
   a_path=r"ms1mv3_arcface_r18_fp16/backbone.pth"
   state_dict= torch.load(a_path, map_location=torch.device("cpu"))
   model.load_state_dict(state_dict)

自

标签

#pytorch #深度学习 #python

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

AI算法网奇

关注关注

2
点赞
踩
7

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

pytorch只加载预训练模型中的部分参数及冻结部分参数

yang_daxia的博客

08-26

7599

说明比如我需要训练车牌检测模型, 采用retinanet, 结构为bacnbone-fpn-retinanethead. 准备在coco数据集上预训练. 但是coco数据集有81类, 车牌只有几类. 预训练完以后, retinanethead部分, 由于类数目尺寸不匹配, 所以希望只加载bacnbone以及fpn部分的参数. 保存的checkpoints本质上为一个字典, 所以只需要把head部...

Pytorch加载部分预训练模型的参数

简简单单的学习笔记，致力于帮助更多前进路上的朋友~

07-26

868

Pytorch加载部分预训练模型的参数

1 条评论您还未登录，请先登录后发表或查看评论

pytorch 模型部分参数的加载

y1556368418的博客

10-30

3212

如果对预训练模型的结构进行了一些改动，在训练的开始前希望加载未改动部分的参数，如将resnet18的第一层卷积层conv1的输入由3通道改为6通道的new_conv1，将分类层fc的1000类输出改为2类输出的new_fc，注意：要改一下名字与原来的不同。导入模型 myNet=resnet18() 然后就加载模型的参数，参考pytorch 如何加载部分预训练模型 pretrained_di...

Pytorch中实现只导入部分模型参数的方式

hdxx2022的博客

07-25

470

我们在做迁移学习，或者在分割，检测等任务想使用预训练好的模型，同时又有自己修改之后的结构，使得模型文件保存的参数，有一部分是不需要的（don't expected）。updata的目的就是使model_dict带有state_dict中都具有的那一部分参数的值，对于model_dict中有的，但是save_dict中没有的参数，值不改变，参数仍然使用初始值。好在Pytorch中的模型参数使用字典保存的，键是参数的名称，值是参数的具体数值。出现了没有在模型文件中找到error中的关键字的错误。

pytorch 预训练模型最后几层的修改方法

weixin_39234189的博客

01-05

2975

pytorch 预训练模型最后几层的修改方法方法1 model = net() #自己定义的模型，但要保证前面保存的层和自定义的模型中的层一致 state_dict = torch.load('xxx/xxx.pth')# 模型 keys = [] for k,v in state_dict.items(): if k.startswith('_fc'): continue

使用PyTorch加载模型部分参数方法

TracelessLe的专栏

04-10

9556

前言在深度学习领域，经常需要使用其他人已训练好的模型进行改进或微调，这个时候我们通常会希望加载预训练模型文件的参数，如果网络结构不变，只需要使用load_state_dict方法即可。而当我们改动网络结构后，由于load_state_dict方法要求读入的state_dict的key和net.state_dict()的key对应相等，如果有缺少就会报错。这个时候我们通常希望加载未改动部分结构的参数用来初始化网络。方法方法一：strict=False 直接使用load_state_dict提供的参数s

PyTorch 保存和加载模型参数，从预训练模型中加载部分参数，包括预训练模型中某些参数不匹配的情况

PAN_Andy的博客

11-15

9436

这篇博客主要是对使用PyTorch保存和加载训练模型参数的一个学习记录。第1-5小节是比较常规的模型参数保存操作，第6小是用已经训练好的模型参数来初始化新的模型，包括从一层加载到另一层，某些参数名不匹配的情况，也给出了实验代码和结果，完整实验项目见github。

pytorch加载预训练模型中的部分参数

zhongzhh8的博客

09-28

5220

有时候我们构建的模型跟预训练模型的网络结构是不相同，为了将预训练模型中与我们模型重合的部分加载进来，就需要用到加载部分参数的方法，比如说 预训练模型结构为：ResNet18 -> fc 我们要构建的模型结构为 ResNet -> fc1 -> fc2 我们希望把在预训练模型中训练好的ResNet18加载进新模型的ResNet18里（因为不想加载预训练模型的fc层，所以新模...

pytorch加载预训练模型部分参数

qq_34291583的博客

09-04

1185

resnet152 = models.resnet152(pretrained=True) pretrained_dict = resnet152.state_dict() “”“加载torchvision中的预训练模型和参数后通过state_dict()方法提取参数也可以直接从官方model_zoo下载： pretrained_dict = model_zoo.load_url(model_u...

pytorch：加载预训练模型中的部分参数，并固定该部分参数

MboboM的博客

02-23

584

pytorch：加载 https://www.jianshu.com/p/d67d62982a24 预训练模型中的部分参数，并固定该部分参数 initial_cnn = models.densenet121(pretrained=False) self.cnn = torch.nn.Sequential(*(list(initial_cnn.children())[:-1])) device = torch.device('cuda') cnn = s

Pytorch 加载、查看预训练模型参数、使用部分预训练模型参数初始化网络（以层为单位按需初始化）

最新发布

weixin_42619061的博客

05-04

256

本文深入探讨了PyTorch中`load_state_dict`的高级用法，包括预训练权重迁移和部分参数加载技术。通过解析state_dict机制、键名映射策略和常见错误处理，帮助开发者高效实现模型参数复用，提升深度学习项目的开发效率。重点介绍了strict模式、选择性加载和维度适配等实用技巧。

Pytorch 加载部分预训练参数/不对偏置项做L2正则化

gltangwq的博客

09-16

1284

在迁移学习和Fine-tune中，我们需要经常加载预训练好的模型参数，这样的效果一般较好，省时省力。了解模型的模块参数访问在pytorch中，可以通过命令model.named_parameters()访问模型的参数名称和对应的参数值。 for name, param in model.named_parameters(): print(name) print(param.re...

Pytorch中自定义(修改)的模型加载所需部分预训练模型参数并冻结

weixin_42455006的博客

06-25

2704

二. 这个则就复杂不少，按自己所需进行更改，比如我的，就是本模型增加了四层’dense’, ‘unary_affine’, ‘binary_affine’, ‘classifier’，通过j+=8，跳过他们的weight和bias，这个可以参考权重衰减。同时将原模型参数中’crf’部分不加载。后面了解到有一种更简单的方法：就是当你设置好你自己的模型后，如果仅想使用预训练模型相同结构处的参数，即在加载的时候将参数strict设置为False即可。该参数值默认为True，表示预训练模型的层和自己定义的网络结

Pytorch预训练模型的使用

qq_36419988的博客

10-18

673

Pytorch预训练模型的使用加载预训练模型使用预训练模型的部分参数加载预训练模型 state_dict = torch.load("H:/data/weights/checkpoints/vgg16-397923af.pth") model.load_state_dict(state_dict) 使用预训练模型的部分参数方法一，将会带来全新的写作体验； new_state_dict = {} new_state_dict = { k: v for k, v in state_dict.item

pytorch加载预训练 加载部分参数

正常加载模型，cpu加载

自

pytorch加载预训练加载部分参数