空洞卷积的理解

一、空洞卷积的本质

空洞卷积（dilated convolution）在标准卷积里注入空洞，增加感受野（reception filed）。

空洞卷积比普通卷积多了个超参数称为dilation rate，指的是kernel的间隔数量。普通卷积的dilation rate为1。

普通卷积：

空洞卷积：

二、空洞卷积的优点

关于传统深度卷积的up-sampling和pooling layer的缺点

2.1 up-sampling（放大特征图）

up-sampling（放大特征图）：线性插值、反卷积(deconvolution)、unpooling。

• unpooling：恢复max的位置，其余部分补零

• deconvolution(反卷积)：先对input补零，再conv

• 插值方法：双线性插值等；

2.2 pooling-layer（缩小特征图）

pooling-layer（缩小特征图）：max pooling、average pooling。

**池化层本质：**在精简feature map数据量的同时，最大化保留空间信息和特征信息。

2.3 主要问题

1）上采样+池化层的参数不可学习

2） 小物体信息无法重构（假设有4个池化层，则任何小于[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-w0WTggNZ-1630381240320)(https://math.jianshu.com/math?formula=2%5E4)]=16 pixel的物体在理论上无法重建。）

3） 内部数据结构丢失，空间层级化信息丢失。

图像分割流程：

• 图像输入到CNN（FCN）中，FCN先对图像做卷积再池化（降低图像尺寸的同时增大每个像素的感受野）。

• 由于图像分割预测是像素级，需要将池化后较小的特征图上采样到原始的图像尺寸来进行预测。

• FCN中两个关键：池化减小图像尺寸增大感受野+ 上采样扩大图像尺寸

问题：在先减小再增大尺寸过程中，肯定有一些信息损失掉了。可以不通过池化也能有较大感受野，看到更多信息吗？ 空洞卷积。

（a）：普通