【LLIE专题】EnlightenGAN 无监督低照度图像增强

[1] EnlightenGAN文章
[2] EnlightenGAN代码

专题介绍

在低光照环境下，传统成像设备往往因画面昏暗、细节丢失而受限。LLIE（低照度暗光增强）技术应运而生，它通过提升图像亮度、对比度，减少噪点并恢复色彩细节，让暗夜变得清晰可见。

LLIE技术从传统方法如直方图均衡化、Retinex模型等起步，近年来借助深度学习，尤其是卷积神经网络（CNN），GAN模型，扩散模型实现了质的飞跃。这些算法能自动学习图像特征，精准处理低光照图像，效果显著优于传统技术。

本专题将聚焦LLIE技术的核心原理、应用案例及最新进展，让我们一起见证LLIE如何点亮暗夜，开启视觉新视界！欢迎一起探讨交流！

系列文章如下
【1】ZeroDCE
【2】HVI
【3】CLIP-LIT
【4】GLARE
【5】Retinexformer
【6】SG-LLIE
【7】GPP-LLIE
【8】FusionNet

一、研究背景

在实际场景中，要同时拍摄同一视觉场景的低光照和正常光照照片极具挑战性。本文提出了一种高效的无监督生成对抗网络，称为EnlightenGAN，它无需低光照/正常光照图像对即可进行训练，且在各种真实世界测试图像上表现出良好的泛化能力。
本文不使用真实数据来监督学习，而是利用从输入本身提取的信息对非配对训练进行正则化，并针对低光照图像增强问题采用了一系列创新方法，包括全局 - 局部判别器结构、自正则化感知损失融合以及注意力机制。由于非配对训练带来的高度灵活性，EnlightenGAN能轻松适用于不同场景的真实世界图像。

二、EnlightenGAN方法

2.1 总体方案

EnlightenGAN是一种无监督的暗光增强方案，主要运用了以下几个策略实现无监督增强。

• 全局 - 局部判别器：全局判别器处理整体光照，局部判别器确保局部区域的真实感，避免过曝或欠曝。
• 自正则化感知损失：利用预训练 VGG 模型约束低光输入与增强输出的特征距离，保留图像内容。
• 注意力引导 U-Net 生成器：使用输入图像的光照信息生成注意力图，指导网络重点增强暗区域，抑制亮区域。
  

2.2 详细方案

2.21 全局-局部判别器

作者注意到图像级（图像全局尺度上的）普通判别器在空间变化光照图像上（图像不同区域光照不同）往往效果不佳；如果输入图像的某些局部区域需要与其他部分进行不同程度的增强，例如，在整体较暗的背景中有一个小的明亮区域，仅靠全局图像判别器往往无法提供所需的适应性。

因此为了在全局改善光照的同时自适应地增强局部区域，提出了一种新颖的全局 - 局部判别器结构，两者均使用PatchGAN进行真假判别。除了图像级别的全局判别器之外，通过从输出图像和真实正常光照图像中随机裁剪局部图像块来添加局部判别器，并学习区分它们是真实的（来自真实图像）还是虚假的（来自增强后的输出）。这种全局 - 局部结构确保增强图像的所有局部图像块看起来都像真实的正常光照图像，这对于避免局部过曝或欠曝至关重要。

全局判别器，采用了相对判别器结构。相对判别器的标准函数为：
$$D_{Ra}(x_r,x_f)=\sigma (C(x_r)-{\mathbb{E}}_{x_f\sim {\mathbb{P}}_{fake}}[C(x_f)]),(1)$$

$$D_{Ra}(x_f,x_r)=\sigma (C(x_f)-{\mathbb{E}}_{x_r\sim {\mathbb{P}}_{real}}[C(x_r)]),(2)$$
在EnlightenGAN中，相对判别器（Relativistic Discriminator）的设计旨在优化生成对抗网络（GAN）的训练稳定性与生成质量，其核心思想是通过比较真实数据与虚假数据的相对真实性来引导生成器学习，而非传统判别器仅单独判断数据的真伪。以下是相对判别器公式的详细解析：

• 符号解析：
  • $x_r$：真实数据（正常光图像），$x_f$：虚假数据（生成器输出的增强图像）。
  • $C(x)$：判别器网络对输入数据的特征提取结果。
  • ${\mathbb{E}}_{x\sim \mathbb{P}}[\cdot ]$：对分布$\mathbb{P}$中样本的期望运算。
  • $\sigma$：Sigmoid函数，将输出映射到(0,1)区间，表征概率。
• 核心逻辑：
  • 公式（1）计算“真实数据$x_r$比虚假数据$x_f$更真实”的概率：通过比较$C(x_r)$与虚假数据特征期望$\mathbb{E}[C(x_f)]$的差值，若差值越大，说明$x_f$