反卷积（Deconvolution）与棋盘格子状伪影（Checkerboard Artifacts）相关概念【整理】

Deconvolution and Checkerboard Artifacts

Deconvolution and Checkerboard Artifacts的理解 打字讲的有点不清楚，有空录个视频讲:D 1. 什么是棋盘伪影 以下是计算机生成的图像放大后的样子。 像这样明暗相间的格子就是棋盘格。 但是正常图像是没有这种现象的，如果你用的是Mac，可以用电脑自带的数码测色计试试。 2. 棋盘伪影原因 反卷积的时候：卷积核 % 步长 不等于0（具体解释可以看原论文解释） 比如： 不整除情况 3 % 2 = 1 整除情况 2 % 2 = 0 4 % 2 = 0 不整除的二维

kernel_size=3，stride=2：以输出中第三行元素为例，从左往右接受的信息量依次由输入中的2/2/4/2/2个元素提供，中间元素接受信息量不同，此为“不均匀重叠”。此外，当kernel_size=3，stride=2时，一维转置卷积输出中依次接受输入特征的1/1/2/1/1个元素提供的信息量，不均匀性是单方向的平方。3）stride=2，kernel_size=4：先对输入元素间用0进行stride-1=1的插值，再进行大小为1*(4-1)-0=3的零填充。=0：“不均匀重叠”

反卷积(Deconvolution)与棋盘效应(Checkerboard Artifacts)

定义：棋盘效应是由于反卷积的“不均匀重叠”（Uneven overlap）的结果。使图像中某个部位的颜色比其他部位更深： 具体原因：在反卷积操作时，如果卷积核（Kernel）大小不能被步长（Stride）整除时，反卷积输出的结果就会不均匀重叠： 在二维情况下棋盘效应更为严重，如下： 原则上，网络可以通过训练调整权重来避免这种情况。解决方法就是注意调整好卷积核（Kernel）大小与步长（Stride）的关系。 不重叠（图a: kernel <= stride）与均匀..

 ...

本文译自来自谷歌大脑的AUGUSTUS ODENA等人的文章: Deconvolution and Checkerboard Artifacts[1], 虽然是16年的博客了, 但是其对解释反卷积的棋盘效应已经如何规避都给出了非常好和到位的意见. 下面让我们开始~ 前言 当我们分析由神经网络生成的图片的时候, 常常会发觉有一种奇怪的人造物 (artifacts) 的棋盘格效应 (checker...

今天看到了一篇2016的论文，关键是可以视化卷积操作,地址如下：https://distill.pub/2016/deconv-checkerboard/ 当我们非常仔细地观察由神经网络生成的图像时，经常会看到一种奇怪的棋盘状伪像图案。在某些情况下，这种情况比在其他情况下更为明显，但是最近的模型中有很大一部分都表现出了这种行为。 非常神奇的地方，棋盘格图...

Deconvolution and Checkerboard Artifacts AUGUSTUS ODENA Google Brain VINCENT DUMOULINUniversité de Montréal CHRIS OLAHGoogle Brain Oct. 17 2016 Citation: Odena, et al., 2016 When we look very closely at images generated by neural network...

在读这篇文章时候的感悟，这篇文章主要讲了出现如下情况( checkerboard pattern )产生的原因   在让神经网络生成图像的时候，通常做法都是从低分辨率开始，因为低分辨率拥有高的语义特征（ high-level descriptions）。 然后神经网络可以先大略描述这张图片，然后再随后的层中填充细节。 反卷积的作用：Roughly, deconvolution layer...

      假设反卷积生成的图像中，包含1只黑猫，黑猫身体部分的像素颜色应该是平滑过渡的。或者极端的说，身体部分应该全部都是黑色的。而在实际生成的图像中，该部分却是由深深浅浅的近黑方块组成的，很像棋盘的网络。这就是所谓的棋盘效应。          现在显著性检测还存在的一个问题就是，在像素级的视觉任务中，会出现这个棋盘效应。这个效应在深度卷积神经网络中的影响是很大的。比如：如果在FCN的输...

https://distill.pub/2016/deconv-checkerboard/

https://distill.pub/2016/deconv-checkerboard/ 1 现象 通过神经网络生成的图片，放大了看会有棋盘格的现象 2 分析 混叠现象造成的，反卷积时，到stride和ksize 不能整除时，就会有这种现象，二维图像的时候更显著。 神经网络虽然能学习，可以抵消一部分现象，但是会造成这个模型不鲁棒。 常见的有三种方法上采样，反卷积，nn插值，双线...

文章目录卷积与互相关（信号处理）深度学习中的卷积（单通道/多通道）3D卷积1 x 1卷积卷积运算（Convolution Arithmetic）转置卷积（反卷积，checkerboard artifacts）扩张卷积（空洞卷积）可分离卷积（空间可分离卷积，深度卷积）扁平卷积（Flattened Convolution）分组卷积（Grouped Convolution）随机分组卷积（Shuffled Grouped Convolution）逐点分组卷积（Pointwise Grouped Convolutio

注意这里探讨的是反卷积操作，阅读图像时从上往下看 这里的stride=2是反卷积中的1/2步长，在反卷积时像素中插一个像素值。有关反卷积步长的知识 ...

今天在看关于反卷积（deconvolution）的时候，发现里面提到了这篇 paper ，遂找来一看，希望以后在使用deconvolution的时候，能够有些可以改进的地方。 看的这篇知乎中讲到，反卷积会造成棋盘格伪影，而接下来要讲的这篇文章对此现象进行了分析。 文章地址：https://distill.pub/2016/deconv-checkerboard/ 今天看了些其它的东西，没来得及看新论文，因此尚未完工，明天继续 Core Ideas and Contribution 在很多网络中，最后