[CR]厚云填补_GridFormer

GridFormer: Residual Dense Transformer with Grid Structure for Image Restoration in Adverse Weather Conditions

Abstract

        恶劣天气条件下的图像恢复是计算机视觉中的一个难点。在本文中，我们提出了一种新的基于Transformer的框架GridFormer，它可以作为恶劣天气条件下图像恢复的支柱。GridFormer采用剩余密集Transformer块在网格结构中进行设计，并介绍了两种核心设计。首先，它在Transformer层使用增强的注意机制。该机制包括采样器和紧凑自关注阶段以提高效率，以及局部增强阶段以加强局部信息。其次，我们引入了一个残余密集Transformer块(RDTB)作为最后的GridFormer层。这种设计进一步提高了网络从之前和当前的局部特征中学习有效特征的能力。GridFormer框架在恶劣天气条件下的五种不同图像恢复任务中实现了最先进的结果，包括图像脱雾、除雾、脱雾和除雾、下雪和多天气恢复。源代码和预训练模型将被发布。

1  Introduction

        在雨、雾霾和雪等恶劣天气条件下捕捉高质量图像是一项具有挑战性的任务，因为在这些条件下会发生复杂的退化。这些问题包括色彩失真、模糊、噪音、低对比度和其他直接降低视觉质量的问题。此外，这种退化可能导致下游计算机视觉任务的困难，如物体识别和场景理解。

        传统的恶劣天气条件下的图像恢复方法通常依赖于手工制作的先验，如平滑度和暗通道，采用线性变换。然而，由于较差的先验泛化，这些方法在处理复杂天气条件方面的能力有限。近年来，基于卷积神经网络(convolutional neural network，CNN)的方法被提出来处理图像的去噪问题。这些方法侧重于使用特定的架构设计来学习从天气退化图像到恢复图像的映射，例如残差学习、多尺度或多阶段网络、密集连接、GAN结构以及注意机制。然而，这些方法通常是为单一的特定任务而设计的，可能不适用于多天气恢复。

        最近，出现了一种新的方法来解决统一架构中多天气恢复的挑战。开创性工作提出了一个多编码器和解码器网络，每个编码器专门处理一种类型的退化。利用神经结构搜索对网络进行优化。随后的工程借鉴了这种结构，以提高多天气恢复性能。例如TransWeather网络，该网络采用自关注进行多天气恢复。虽然TransWeather比特定任务编码器网络更有效，但其性能受到网络中不同尺度特征融合利用不足的限制。近年来，一些研究集中在设计通用骨干网，以利用网络中的多尺度特征来完成视觉任务。例如HRNet 和HRFormer采用多分辨率并行设计构建，学习高分辨率表示。RevCo采用了使用列(每列是一个子网络)的设计，目的是学习解纠缠表示。这些方法在人体姿态估计、语义分割、目标检测等方面都有很好的效果。然而，目前还没有专门设计的基于Transformer的方法来有效地利用这些特征来恢复恶劣天气条件下退化的图像。

        图1  在恶劣天气条件下对图像进行比较的结果。(上)特定天气恢复和(下)多天气恢复任务的结果，显示了最先进的PSNR性能。 

        在本文中，我们提出了GridFormer，这是一种基于Transformer的网络，用于恶劣天气条件下的图像恢复。GridFormer使用嵌入在网格结构中的残余密集Transformer块(RDTB)来挖掘分层图像特征。RDTB是GridFormer的关键单元，它包含具有密集连接的紧凑增强Transformer层，以及与局部跳过连接的局部特征融合。紧凑型增强Transformer层采用采样器和紧凑型自关注器来提高效率，并采用局部增强阶段来加强局部细节。我们在天气退化基准上评估GridFormer，包括RainDrop、SOTS-indoor、Haze4K 、Outdoor-Rain，和Snow100K，见图1。

        总之，这项工作的贡献有三个方面： 

• 统一框架：我们提出了一种新的统一框架GridFormer，它是专门为恶劣天气条件下的图像恢复量身定制的。这个创新的框架将残余密集Transformer块(RDTB)与网格结构无缝集成，创建了一个全面的架构。值得注意的是，在网格结构中结合RDTB使GridFormer能够有效地捕获分层图像特征。网格结构有利于不同空间尺度背景信息的整合，增强了网络对图像的有效还原能力。
• 紧凑增强的自关注：GridFormer引入了紧凑增强的自关注机制，这是一个重要的贡献。该机制增强了Transformer单元的局部建模能力，使Gridformer能够在恶劣天气条件下捕获细粒度细节，同时提高网络效率。
• 最先进的性能：我们通过将GridFormer应用于恶劣天气条件下的五种不同图像恢复任务，包括图像脱除、图像去雾、图像脱除和去雾、下雪和多天气恢复，展示了GridFormer的一般适用性。我们的GridFormer在特定天气和多天气恢复任务上都实现了最先进的新技术。

3  Method

3.1  动机和架构 

3.1.1  动机 

        我们的动机是迫切需要恢复在不利天气条件下拍摄的图像的技术。与天气相关的因素，如雾霾、雨和雪，会显著影响图像的质量和感知，进而影响监视、自动驾驶和户外摄影等各种实际应用。开发GridFormer的主要目的是解决恶劣天气条件对图像质量造成的持续挑战。我们的目标是创建一个图像恢复框架，有效地处理一系列恶劣天气情况，从而提高受这些条件影响的图像质量。 

3.1.2  框架