第J5周：DenseNet+SE-Net实战

原创 已于 2024-10-25 20:13:15 修改 · 1.1k 阅读 · 29
于 2024-09-20 16:15:00 首次发布

任务：
●1. 在DenseNet系列算法中插入SE-Net通道注意力机制，并完成猴痘病识别
●2. 改进思路是否可以迁移到其他地方呢
●3. 测试集accuracy到达89%（拔高，可选）

一、介绍

可参考论文《Squeeze-and-Excitation Networks》

SE-Net 是 ImageNet 2017（ImageNet 收官赛）的冠军模型，是由WMW团队发布。具有复杂度低，参数少和计算量小的优点。且SENet 思路很简单，很容易扩展到已有网络结构如 Inception 和 ResNet 中。

已经有很多工作在空间维度上来提升网络的性能，如 Inception 等，而 SENet 将关注点放在了特征通道之间的关系上。其具体策略为：通过学习的方式来自动获取到每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征，这又叫做“特征重标定”策略。具体的 SE 模块如下图所示：

在这里插入图片描述
在这里插入图片描述

二、SE 模块应用分析

SE模块的灵活性在于它可以直接应用现有的网络结构中。以 Inception 和 ResNet 为例，我们只需要在 Inception 模块或 Residual 模块后添加一个 SE 模块即可。具体如下图所示：

在这里插入图片描述
上图分别是将 SE 模块嵌入到 Inception 结构与 ResNet 中的示例，方框旁边的维度信息代表该层的输出，c（原文是r，不过我觉得应该是c） 表示 Excitation 操作中的降维系数。

三、SE 模型效果对比

SE 模块很容易嵌入到其它网络中，为了验证 SE 模块的作用，在其它流行网络如 ResNet 和 Inception 中引入 SE 模块，测试其在 ImageNet 上的效果，如下表所示：

在这里插入图片描述

首先看一下网络的深度对 SE 的影响。上表分别展示了 ResNet-50、ResNet-101、ResNet-152 和嵌入 SE 模型的结果。第一栏 Original 是原作者实现的结果，为了进行公平的比较，重新进行了实验得到 Our re-implementation 的结果。最后一栏 SE-module 是指嵌入了 SE 模块的结果，它的训练参数和第二栏 Our re-implementation 一致。括号中的红色数值是指相对于 Our re-implementation 的精度提升的幅值。

从上表可以看出，SE-ResNets 在各种深度上都远远超过了其对应的没有SE的结构版本的精度，这说明无论网络的深度如何，SE模块都能够给网络带来性能上的增益。值得一提的是，SE-ResNet-50 可以达到和ResNet-101 一样的精度；更甚，SE-ResNet-101 远远地超过了更深的ResNet-152。

在这里插入图片描述

上图展示了ResNet-50 和 ResNet-152 以及它们对应的嵌入SE模块的网络在ImageNet上的训练过程，可以明显地看出加入了SE模块的网络收敛到更低的错误率上。

四、SE 模块代码实现

import tensorflow as tf

class Squeeze_excitation_layer(tf.keras.Model):
    def __init__(self, filter_sq):
    	# filter_sq 是 Excitation 中第一个卷积过程中卷积核的个数
        super().__init__()
        self.filter_sq = filter_sq
        self.avepool = tf.keras.layers.GlobalAveragePooling2D()
        self.dense = tf.keras.layers.Dense(filter_sq)
        self.relu = tf.keras.layers.Activation('relu')
        self.sigmoid = tf.keras.layers.Activation('sigmoid')

    def call(self, inputs):
        squeeze = self.avepool(inputs)
        
        excitation = self.dense(squeeze)
        excitation = self.relu(excitation)
        excitation = tf.keras.layers.Dense(inputs.shape[-1])(excitation)
        excitation = self.sigmoid(excitation)
        excitation = tf.keras.layers.Reshape((1, 1, inputs.shape[-1]))(excitation)

        scale = inputs * excitation

        return scale

SE = Squeeze_excitation_layer(16)
inputs = np.zeros((1, 32, 32, 32), dtype=np.float32)
SE(inputs).shape

代码输出：

TensorShape([1, 32, 32, 32])

五、SE 模块插入到 DenseNet 代码实现

from tensorflow.keras.models import Model

    # 56,56,64 -> 56,56,64+32*block[0]
    # Densenet121 56,56,64 -> 56,56,64+32*6 == 56,56,256
    x = dense_block(x, blocks[0], name='conv2')

    # 56,56,64+32*block[0] -> 28,28,32+16*block[0]
    # Densenet121 56,56,256 -> 28,28,32+16*6 == 28,28,128
    x = transition_block(x, 0.5, name='pool2')

    # 28,28,32+16*block[0] -> 28,28,32+16*block[0]+32*block[1]
    # Densenet121 28,28,128 -> 28,28,128+32*12 == 28,28,512
    x = dense_block(x, blocks[1], name='conv3')
    
    # Densenet121 28,28,512 -> 14,14,256
    x = transition_block(x, 0.5, name='pool3')

    # Densenet121 14,14,256 -> 14,14,256+32*block[2] == 14,14,1024
    x = dense_block(x, blocks[2], name='conv4')

    # Densenet121 14,14,1024 -> 7,7,512
    x = transition_block(x, 0.5, name='pool4')

    # Densenet121 7,7,512 -> 7,7,256+32*block[3] == 7,7,1024
    x = dense_block(x, blocks[3], name='conv5')
    
    # 加SE注意力机制
    x = Squeeze_excitation_layer(16)(x)

    x = layers.BatchNormalization(axis=bn_axis, epsilon=1.001e-5, name='bn')(x)
    x = layers.Activation('relu', name='relu')(x)

    x = layers.GlobalAveragePooling2D(name='avg_pool')(x)
    x = layers.Dense(classes, activation='softmax', name='fc1000')(x)

    inputs = img_input

    if blocks == [6, 12, 24, 16]:
        model = Model(inputs, x, name='densenet121')
    elif blocks == [6, 12, 32, 32]:
        model = Model(inputs, x, name='densenet169')
    elif blocks == [6, 12, 48, 32]:
        model = Model(inputs, x, name='densenet201')
    else:
        model = Model(inputs, x, name='densenet')
    return model

def DenseNet121(input_shape=[224,224,3], classes=3, **kwargs):
    return DenseNet([6, 12, 24, 16], input_shape, classes, **kwargs)

def DenseNet169(input_shape=[224,224,3], classes=3, **kwargs):
    return DenseNet([6, 12, 32, 32], input_shape, classes, **kwargs)

def DenseNet201(input_shape=[224,224,3], classes=3, **kwargs):
    return DenseNet([6, 12, 48, 32], input_shape, classes, **kwargs)

六、用Pytorch实现的具体代码

1、 基础配置

  • 操作系统：ubuntu 22.04
  • GPU:RTX 3090(24GB) * 1
  • 语言环境：python 3.12.3
  • 编译器：Jupyter Notebook
  • 深度学习环境：torch 2.3.0+cu121，torchvision 0.18.0+cu121

2、 前期准备

2.1.设置gpu/cpu

import os, PIL, random, pathlib
import torch
import torch.nn as nn
import torchvision.transforms as transforms
import torchvision
from torchvision import transforms, datasets

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

print(device)

代码输出：

cuda

2.2.导入数据

data_dir = './J5'
data_dir = pathlib.Path(data_dir)

data_paths = list(data_dir.glob('*'))
classeNames = [str(path).split("/")[1] for path in data_paths]
print(classeNames)

image_count = len(list(data_dir.glob('*/*')))
print("图片总数为：", image_count)

代码输出：

['Monkeypox', 'Others']
图片总数为： 2142

2.3.数据预处理

train_transforms = transforms.Compose([
    transforms.Resize([224, 224]),  # 将输入图片resize成统一尺寸
    # transforms.RandomHorizontalFlip(), # 随机水平翻转
    transforms.ToTensor(),  # 将PIL Image或numpy.ndarray转换为tensor，并归一化到[0,1]之间
    transforms.Normalize(  # 标准化处理-->转换为标准正太分布（高斯分布），使模型更容易收敛
        mean=[0.485, 0.456, 0.406],
        std=[0.229, 0.224, 0.225])  # 其中 mean=[0.485,0.456,0.406]与std=[0.229,0.224,0.225] 从数据集中随机抽样计算得到的。
])
 
test_transform = transforms.Compose([
    transforms.Resize([224, 224]),  # 将输入图片resize成统一尺寸
    transforms.ToTensor(),  # 将PIL Image或numpy.ndarray转换为tensor，并归一化到[0,1]之间
    transforms.Normalize(  # 标准化处理-->转换为标准正太分布（高斯分布），使模型更容易收敛
        mean=[0.485, 0.456, 0.406],
        std=[0.229, 0.224, 0.225])  # 其中 mean=[0.485,0.456,0.406]与std=[0.229,0.224,0.225] 从数据集中随机抽样计算得到的。
])
 
total_data = datasets.ImageFolder("./J5/", transform=train_transforms)
print(total_data.class_to_idx)

代码输出：

{'Monkeypox': 0, 'Others': 1}

2.4.划分数据集

train_size = int(0.8 * len(total_data))
test_size = len(total_data
标签
#深度学习 #神经网络 #tensorflow #图像处理 #pytorch
#分类 #matplotlib
最低0.47元/天 解锁文章
第J5周：DenseNet+SE-Net实战（TensorFlow版）
weixin_43414521的博客
10-15 1296
- **🍨 本文为[]中的学习记录博客**>- **🍖 原作者：[]**📌 本周任务：●1. 在DenseNet系列算法中插入SE-Net，并完成猴痘病识别（●2. 改进思路是否可以迁移到其他地方呢●3. 测试集accuracy到达89%（拔高，可选）本文完全根据中的内容转换为TensorFlow，所以前述性的内容不在一一重复，仅就TensorFlow的内容进行叙述。
经典CNN算法解析实战-第J5周：DenseNet+SE-Net实战
Oaix的博客
03-10 1729
DenseNet+SE-Net实战
JDK Oracle官网下载[代码]
最新发布
11-23
本文提供了Oracle官网不同版本JDK的下载地址，包括JDK6、JDK7和JDK8的官方下载链接。JDK6的下载地址为http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase6-419409.html，JDK7的下载地址为http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html，JDK8的下载地址为http://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html。这些链接均为官方存档下载页面，方便用户获取历史版本的JDK。
markdownpad_ttrar
11-28
邮箱： Soar360@live.com 授权秘钥： GBPduHjWfJU1mZqcPM3BikjYKF6xKhlKIys3i1MU2eJHqWGImDHzWdD6xhMNLGVpbP2M5SN6bnxn2kSE8qHqNY5QaaRxmO3YSMHxlv2EYpjdwLcPwfeTG7kUdnhKE0vVy4RidP6Y2wZ0q74f47fzsZo45JE2hfQBFi2O9Jldjp1mW8HUpTtLA2a5/sQytXJUQl/QKO0jUQY4pa5CCx20sV1ClOTZtAGngSOJtIOFXK599sBr5aIEFyH0K7H4BoNMiiDMnxt1rD8Vb/ikJdhGMMQr0R4B+L3nWU97eaVPTRKfWGDE8/eAgKzpGwrQQoDh+nzX1xoVQ8NAuH+s4UcSeQ==
IEC104协议采集C#源代码
06-11
IEC104（IEC60870-5-104）通信协议源代码。作为主站。支持遥信、遥测、遥控、遥调等功能。
深度学习第J5周：DenseNet+SE-Net实战
m0_62237233的博客
04-13 3140
论文：（搜名字也能看）Squeeze-and-Excitation Networks.pdf这篇文章介绍了一种新的神经网络结构单元，称为“Squeeze-and-Excitation”（SE）块，它通过显式地建模通道之间的相互依赖关系来自适应地重新校准通道特征响应。这种方法可以提高卷积神经网络的表示能力，并且可以在不同数据集上实现极其有效的泛化。作者还展示了SE块在现有最先进CNNs中带来了显著的性能提升，而只需稍微增加计算成本。
深度学习与计算机视觉教程(14) | 图像分割 (FCN,SegNet,U-Net,PSPNet,DeepLab,RefineNet)（CV通关指南·完结）
热门推荐
ShowMeAI研究中心
06-11 1万+
本文讲解了图像语义分割的定义，常见应用（自动驾驶、医学影像诊断），评估指标（mIoU、mAcc），典型语义分割算法等【对应 CS231n Lecture 11】
斑马Magicard打印机 IE浏览器打印插件
11-28
斑马Magicard打印机 IE浏览器打印插件，只支持IE浏览器，斑马多打印机支持
第J5周：DenseNet+SE-Net实战（pytorch版）
weixin_43414521的博客
10-14 1071
论文：SE-Net是ImageNet 2017 (lmageNet 收官赛)的冠军模型，是由自动驾驶公司Momenta在2017年公布的一种全新的图像识别结构，它通过对特征通道间的相关性进行建模，把重要的特征进行强化来提升准确率。这个结构是2017 ILSVR竞赛的冠军，top5的错误率达到了2.251%，比2016年的第一名还要低25%，可谓提升巨大。模型具有复杂度低，参数少和计算量小的优点。且SENet 思路很简单，很容易扩展到已有网络结构如 Inception 和 ResNet 中。
365天之第J5周：DenseNet+SE-Net实战
weixin_52982598的博客
04-25 721
365天之第J5周：DenseNet+SE-Net实战
深度学习camp-第J5周：DenseNet+SE-Net实战
iracole的博客
12-22 1182
实现了SE模块与DenseNet结合，提升了乳腺癌的识别准确率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lihuhelihu

谢谢您的支持和鼓励，我依然努力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值