qq_57589581的博客

所以很容易的想到之前第一次使用resnet的预训练策略：先冻结预训练层，然后训练其他层。之前的其它是全连接层（分类头），现在其它层还包含了每一个残差块中的cbam注意力层。预训练模型的结构和权重是固定的，如果修改其中的模型结构，是否会大幅影响其性能。其次是训练的时候如何训练才可以更好的避免破坏原有的特征提取器的参数。可以很明显的想到，如果是resnet18+cbam模块，那么大多数地方的代码都是可以复用的，模型定义部分需要重写。ps：今日的代码训练时长较长，3080ti大概需要40min的训练时长。

它的核心目标是通过学习的方式，自动获取特征图在通道和空间维度上的重要性，进而对特征图进行自适应调整，增强重要特征，抑制不重要特征，提升模型的特征表达能力和性能。通道注意力（Channel Attention）：分析 “哪些通道的特征更关键”（如图像中的颜色、纹理通道）。SE 通道注意力的局限：仅关注 “哪些通道重要”，未考虑 “重要信息在空间中的位置”。输入特征图 → 通道注意力模块 → 空间注意力模块 → 输出增强后的特征图。后面说完几种模块提取特征的组合方式后，会提供整理的开源模块的文件。

卷积和池化的计算公式（可以不掌握，会自动计算的）ps：numpy运算也有类似的广播机制，基本一致。pytorch的广播机制：加法和乘法的广播机制。随机张量的生成：torch.randn函数。自己多借助ai举几个例子帮助自己理解即可。

昨天代码中注意力热图的部分顺移至今天。作业：对比不同卷积层热图可视化的结果。

目前我们终于接触到了模块，模块本质上也是对特征的进一步提取，整个深度学习就是在围绕特征提取展开的，后面会是越来越复杂的特征提取和组合步骤。什么是注意力：注意力家族，类似于动物园，都是不同的模块，好不好试了才知道。新增八股部分，在本讲义目录中可以看到----用问答的形式记录知识点。今天的内容被拆开到2天完成，不然任务量有点大，热图顺移到明天。我这里列出来的是通道注意力中的一种，SE注意力。不同CNN层的特征图：不同通道的特征图。通道注意力：模型的定义和插入的位置。通道注意力后的特征图和热力图。

--核心是弄懂tensorboard可以打印什么信息，以及如何看可视化后的结果，把ai当成记忆大师用到的时候通过它来调取对应的代码即可。启动tensorboard的时候需要先在cmd中进入对应的环境，conda activate xxx，再用cd命令进入环境（如果本来就是正确的则无需操作）。tensorboard的代码还有有一定的记忆量，实际上深度学习的经典代码都是类似于八股文，看多了就习惯了，难度远远小于考研数学等需要思考的内容。tensorboard在cifar上的实战：MLP和CNN模型。

尝试在cifar10对比如下其他的预训练模型，观察差异，尽可能和他人选择的不同。尝试通过ctrl进入resnet的内部，观察残差究竟是什么。预训练代码实战：resnet18。这句话可以忽略，这是未来的内容。图像预训练模型的发展史。常见的分类预训练模型。

kaggle找到一个图像数据集，用cnn网络进行训练并且用grad-cam做可视化。进阶：并拆分成多个文件。

而在深度学习领域，同样存在一系列方法来解析模型的决策过程：以图像分类任务为例，我们不仅可以通过可视化特征图，直观观察不同层对图像特征的提取程度；PyTorch提供了一种强大的工具——hook函数，它允许我们在不修改模型结构的情况下，获取或修改中间层信息。Hook本质是回调函数，回调函数是作为参数传递给其他函数的函数，其目的是在某个特定时间发生时被调用执行。其中回调函数作为参数传入，所以在定义时一般用callback来命名，在PyTorch的Hook API中，回调参数通常命名为hook。

就好比你在学习新知识，知识体系的基础一直在变，你就得不断重新适应，模型训练也是如此，这就导致训练变得困难，这就是内部协变量偏移问题。例如，如果原始数据集有1000张图像，数据增强后，数据集的大小仍然是1000张，但每次训练时，模型看到的都是经过随机变换的新样本。该策略通常不改变单次训练的样本总数，而通过对现有图像进行多样化变换，使每次训练输入的样本呈现更丰富的形态差异，从而有效扩展模型训练的样本空间多样性。2. 输入通道数：输入图片的通道数，如1（单通道图片）、3（RGB图片）、4（RGBA图片）等。

2. 由于数据过大，需要将数据集进行分批次处理，往往涉及到dataset和dataloader来规范代码组织。：仔细学习下测试和训练代码的逻辑，这是基础，这个代码框架后续会一直沿用，后续的重点慢慢就是转向模型定义阶段了。3. 训练结束后，仅用测试集运行一次测试函数，得到最终准确率。这里先不写早停策略，因为规范的早停策略需要用到验证集，一般还需要划分测试集。1. 划分数据集：训练集、验证集、测试集。2. 训练过程中，使用验证集触发早停。彩色和灰度图片测试和训练的规范写法：封装在函数中。

batchisize和训练的关系。图像数据的格式：灰度和彩色数据。今日代码较少，理解内容即可。

Dataset类的__getitem__和__len__方法（本质是python的特殊方法）了解下cifar数据集，尝试获取其中一张图片。minist手写数据集的了解。Dataloader类。

对信贷数据集训练后保存权重，加载权重后继续训练50轮，并采取早停策略。保存全部信息checkpoint，还包含训练状态。过拟合的判断：测试集和训练集同步打印指标。

对之前的信贷项目，利用神经网络训练下，尝试用到目前的知识点让代码更加规范和美观。仔细回顾一下神经网络到目前的内容，没跟上进度的同学补一下进度。：尝试进入nn.Module中，查看他的方法。探索性作业（随意完成）

这里的“超参数”指的是在模型开始训练之前，由我们（人）手动设置的参数，它们决定了模型的“骨架”和学习方式。与之相对的是模型在训练过程中自己学习的参数（如权重w和偏置b）。隐藏层的宽度：目前隐藏层有 10 个神经元 (nn.Linear(4, 10))。我们可以把它变宽（如20个）或变窄（如5个）。激活函数：目前用的是ReLU。我们也可以换成其他的激活函数，如Sigmoid, Tanh等（虽然ReLU通常是很好的选择）。隐藏层的深度：目前只有1个隐藏层。作业：调整模型定义时的超参数，对比下效果。

类的call方法：为什么定义前向传播时可以直接写作self.fc1(x)ps：在训练过程中可以在命令行输入nvida-smi查看显存占用情况。复习今天的内容，在巩固下代码。思考下为什么会出现这个问题。GPU训练的方法：数据和模型移动到GPU device上。CPU性能的查看：看架构代际、核心数、线程数。GPU性能的查看：看显存、看级别、看架构代际。

1. 分类任务中，若标签是整数（如 0/1/2 类别），需转为long类型（对应 PyTorch 的torch.long），否则交叉熵损失函数会报错。在新建网络的时候，我们选择了2层隐藏层和固定的神经元，这类似于我们在机器学习模型中指定一组超参数，神经网络的调参我们未来再提。2. 回归任务中，标签需转为float类型（如torch.float32）。今日的代码，要做到能够手敲。这已经是最简单最基础的版本了。查看显卡信息的命令行命令（cmd中使用）2.1 数据集加载与划分。PyTorch和cuda的安装。

参考pdpbox官方文档中的其他类，绘制相应的图，任选即可。官方文档的阅读和使用：要求安装的包和文档为同一个版本。官方文档的检索方式：github和官网。绘图的理解：对底层库的调用。普通方法所需要的参数。

尝试针对之前的心脏病项目ipynb，将他按照今天的示例项目整理成规范的形式，思考下哪些部分可以未来复用。项目文件夹中其他部分：拆分后的信贷项目，学习下如何拆分的，未来你看到的很多大项目都是类似的拆分方法。notebook文件夹内的ipynb文件，介绍下今天的思路。今日的示例代码包含2个部分。