深度学习：NiN网络与实验拓展

最新推荐文章于 2025-09-11 22:35:59 发布

原创

最新推荐文章于 2025-09-11 22:35:59 发布 · 1.4k 阅读

标签

#深度学习 #人工智能 #笔记 #卷积神经网络 #神经网络

#pytorch #python

收录于

什么是NiN网络？

NiN（Network in Network）是2013年由Lin Min等人提出的一种新型卷积神经网络结构。与传统卷积神经网络相比，NiN在每个卷积层之后引入了1x1卷积层，以增强网络的表达能力和非线性特性。

NiN网络的主要特点

1x1卷积层：每个卷积层后增加1x1卷积层，用于对特征通道进行线性组合，增加网络的非线性表达能力。
全局平均池化：NiN网络用全局平均池化层代替全连接层，减少参数数量和防止过拟合。
更深的网络：通过叠加多个NiN块，形成更深层次的网络结构，提取更复杂的特征。

NiN块结构

一个典型的NiN块包括一个卷积层和两个1x1卷积层：

def nin_block(in_channels, out_channels, kernel_size, strides, padding):
    return nn.Sequential(
        nn.Conv2d(in_channels, out_channels, kernel_size, strides, padding),
        nn.ReLU(),
        nn.Conv2d(out_channels, out_channels, kernel_size=1), nn.ReLU(),
        nn.Conv2d(out_channels, out_channels, kern