Noise2Void - Learning Denoising from Single Noisy Images 论文阅读

目录

一、背景

二、本文创新点

三、网络架构

四、去噪处理

五、实验结果对比

六、总结

一、背景

有监督去噪一直是图像去噪领域的主流方法。它依赖于大量的含噪图像和对应的干净图像对来训练模型。这种方法虽然效果显著，但获取干净的图像对成本高昂，且在实际应用中，尤其是生物医学图像领域，干净的图像往往难以获取。此外，当面对未知的噪声模式时，这些依赖于强先验知识的监督方法常常力不从心。

无监督去噪则试图摆脱对干净图像的依赖。然而，直接用含噪图像训练模型时，模型很容易陷入“恒等映射”的陷阱，即模型简单地将输入直接输出，而不进行任何去噪处理。为了解决这一问题，Noise2Noise提出了一种创新的训练方法，它使用成对的含噪图像进行训练，这些图像捕捉了相同的内容，但噪声不同。尽管这种方法在一定程度上解决了恒等映射的问题，但它仍然需要成对的含噪图像，这在许多实际场景中难以满足。

二、本文创新点

Noise2Void（N2V）的出现，为图像去噪领域带来了新的突破。它提出了一种全新的训练方案，仅需单张含噪图像即可训练去噪模型。这一创新使得该方法能够应用于那些无法获取干净图像或成对含噪图像的场景，例如生物医学图像数据，极大地拓展了去噪技术的应用范围。

N2V的核心在于其独特的网络架构设计——盲点网络（Blind-Spot Network）。这种网络在预测一个像素的值时，会故意忽略该像素本身的信息，这就迫使网络必须利用周围像素的信息来进行预测。这一设计有效地避免了模型陷入恒等映射的问题。

此外，N2V还基于两个简单的统计假设：一是信号的像素值之间存在统计相关性，这意味着图像的上下文信息可以帮助我们预测某个像素的值；二是噪声是条件独立的，即给定信号后，噪声的像素值之间没有相关性。

三、网络架构

在训练阶段，首先对含噪图像进行处理，生成带掩码的图像。这些掩码图像通过掩盖部分像素，模拟出盲去噪场景。然后，这些带掩码的图像被输入到去噪网络中，网络输出去噪结果。接下来，通过全局掩码映射器（Global Mask Mapper）对去噪结果进行整合，结合原始含噪图像直接输入去噪网络的结果，计算两种损失：正则化损失（Lreg）和重新可见损失（Lrev）。正则化损失用于约束模型的输出，避免模型陷入恒等映射；重新可见损失则通过加权融合映射结果和直接去噪结果，进一步优化去噪效果。

在推理阶段，N2V的流程则更为简洁。直接将含噪图像输入去噪网络，网络输出最终的去噪结果，无需进行掩码处理。这一过程体现了N2V从训练到实际应用的高效落地，让模型能够快速地应用于实际的去噪任务中。

四、去噪处理

N2V的去噪处理过程可以分为几个关键步骤。首先，将含噪图像划分为多个小块，每个块中随机选择一些像素作为盲点。然后，对每个块生成带掩码的变体，将盲点像素的值替换为周围区域的随机值。这些带掩码的图像被输入到去噪网络中，网络通过学习信号的统计相关性，对盲点像素进行预测。最后，通过全局掩码映射器整合所有去噪结果，形成全局去噪结果。这一过程不仅有效地恢复了原始图像中的盲点区域，还保留了图像的结构细节，使得去噪后的图像在视觉上更加接近真实的干净图像。

五、实验结果对比

在实验部分，N2V的表现良好。在BSD68数据集上，N2V的去噪性能虽然略低于传统训练和Noise2Noise训练方法，但仍然优于BM3D等无需训练的去噪方法。这表明N2V在处理复杂噪声时具有较强的适应性。在模拟显微镜数据的实验中，N2V训练的网络在去噪质量上几乎与传统和Noise2Noise训练的网络相当，且明显优于BM3D。这一结果进一步证明了N2V在处理不同噪声模式时的灵活性。在实际显微镜数据的实验中，由于缺乏干净的目标图像，无法计算PSNR值，但通过视觉效果评估，N2V训练的网络能够产生平滑且令人满意的去噪结果，且运行时间仅为BM3D的一小部分。

六、总结

Noise2Void通过引入盲点网络和全局掩码策略，成功解决了传统盲去噪方法中的信息丢失和训练不稳定问题。它仅需单张含噪图像即可训练出有效的去噪网络，这一特性使其能够广泛应用于那些无法获取干净图像或成对含噪图像的场景，例如生物医学图像数据。N2V在合成和真实噪声场景中均表现出色，为自监督去噪领域提供了新的思路和方法。