Pytorch图像去噪实战（九）：SwinIR图像去噪实战，用Transformer解决CNN纹理恢复不足问题

Pytorch图像去噪实战（九）：SwinIR图像去噪实战，用Transformer解决CNN纹理恢复不足问题

一、问题场景：CNN模型去噪稳定，但复杂纹理恢复不够自然

前面我们已经实现了 DnCNN、UNet、ResUNet、Attention UNet、FFDNet、CBDNet 以及自监督去噪方法。

这些方法大多基于 CNN。
CNN在图像去噪中非常稳定，但它有一个天然问题：

卷积更擅长局部建模，对复杂纹理和长距离依赖的表达能力有限。

比如：

• 头发纹理
• 布料纹理
• 建筑线条
• 草地、树叶
• 医学图像细微结构

普通CNN模型容易出现两种结果：

• 去噪强了，纹理被抹平
• 保纹理，噪声又残留

为了解决这个问题，我们引入 Transformer 思路。
这一篇我们实现一个简化版 SwinIR 风格的图像去噪模型。

二、为什么Transformer适合图像恢复？

CNN的卷积核通常是局部的，比如 3x3。
虽然堆叠多层可以扩大感受野，但对长距离关系的建模仍然不够直接。

Transformer的优势是：

可以