【CVPR2025】计算机视觉|无需校准！One Hour搞定噪声合成，低光RAW图像降噪新突破！

最新推荐文章于 2025-12-09 10:22:26 发布

原创最新推荐文章于 2025-12-09 10:22:26 发布 · 937 阅读

15 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

标签

#计算机视觉 #人工智能

论文地址：http://arxiv.org/pdf/2505.00045v1
代码地址：https://github.com/SonyResearch/raw_image_denoising

关注UP CV缝合怪，分享最计算机视觉新即插即用模块，并提供配套的论文资料与代码。
https://space.bilibili.com/473764881

摘要

**本研究提出了一种新的基于假设的散粒噪声合成方法，该方法绕过了费力的系统增益校准过程。**本研究还对信号无关噪声合成进行了全面的分析，强调了参数噪声分析的固有局限性以及暗帧位深扩展的冗余性。结合上述内容，**本研究介绍了一种实用且简单的RAW图像噪声合成流程，该流程只需要收集暗帧，将准备工作从数天减少到数小时，同时提供令人印象深刻的去噪结果。**本研究进行了广泛的实验来验证所提出方法的有效性，并进行了全面的消融研究以进行深入理解。**据本研究所知，本研究的提议是第一个消除了传感器特定噪声合成所需的所有昂贵校准和分析步骤的方法。**唯一必要的准备工作是暗帧收集，对于现代相机来说，这是一个全自动的过程，甚至可以在一小时内完成。

引言

本研究致力于开发一种噪声合成流程，在保证有效去噪性能的同时，尽可能简化实际部署。 低光照条件下，噪声作为影响图像质量的关键因素，由于信噪比降低而变得更加明显。与标准RGB图像相比，在未经处理的RAW域中进行去噪显示出巨大的潜力，因为它保留了原始噪声特征，并且由于更高的位深而保留了更多信息。尽管使用真实世界噪声-干净图像对训练的基于学习的方法在RAW图像去噪方面取得了重大进展，但由于需要收集配对数据，其实用性受到严重限制。因此，基于噪声合成的自监督去噪方法近年来受到越来越多的关注。精确的噪声生成通常通过特定于传感器的建模来实现，包括两个步骤：信号相关噪声合成和信号无关噪声合成。 然而，这些步骤通常需要大量的人工干预，并且涉及复杂的程序。合成信号相关噪声需要在受控照明条件下进行系统增益校准，硬件设置可能需要几天时间。同时，信号无关噪声合成会导致噪声分析，需要仔细论证统计分布，甚至需要训练中间分析神经网络。因此，大规模部署自监督RAW图像去噪仍然需要大量资源。

本研究详细分析了光子散粒噪声的特性，并证明可以通过假设量子效率来充分合成它。 本研究还仔细论证了在信号无关噪声合成上的典型工作，并建议省略其中任何不必要的步骤，例如显式噪声分析和位深扩展。 本研究提出了一个基于假设的散粒噪声合成方法，该方法绕过了费力的系统增益校准过程，并提供了关于信号无关噪声合成的全面分析，突出了参数噪声分析的固有限制和暗帧上位深扩展的冗余性。基于以上分析，**本研究引入了一个实用且简单的RAW图像噪声合成流程，该流程只需要收集暗帧，将准备工作从几天减少到几小时，同时提供令人印象深刻的去噪结果，**并进行了广泛的实验以证明所提出方法的有效性，以及全面的消融研究以进行深入理解。据本研究所知，本研究的提议是第一个消除特定于传感器的噪声合成所需的所有昂贵校准和分析步骤的方法。唯一必要的准备工作在于暗帧收集，对于现代相机来说，这是一个完全自动的过程，甚至可以在一小时内完成。

本研究的工作与现有工作相比，一个关键区别在于高位深噪声恢复（HBNR）的使用，这是一个核心过程，旨在通过扩展暗帧的位深来减轻量化噪声的影响。该技术首先使用几种简单的分布（高斯、均匀等）对信号无关噪声进行分析，选择最佳拟合，然后根据相应的百分点函数扰动原始低位暗帧。因此，HBNR通过重新需要统计信号无关噪声分析和特定于传感器的论证，增加了噪声合成的复杂性。此外，基于两个进一步的考虑，本研究选择从流程中省略HBNR：(1) 本研究担心HBNR可能会由于潜在的真实噪声分布与拟合的简单分布之间的差异而引入额外的误差。(2) 本研究认为暗帧的低位特性，与其说是缺点，不如说是对量化噪声的真实描述。这是因为推理过程中提供的所有噪声图像都将采用低位格式，其中隐式编码了量化噪声。

论文创新点

本研究提出了一个实用且简化的噪声合成流程，用于自监督的低光 RAW 图像去噪。相比于其他方法，本研究的创新点主要体现在以下几个方面：

💡 基于假设的信号相关噪声合成方法: 💡
- 本研究提出了一种基于假设量子效率的信号相关噪声（主要为散粒噪声）合成方法，绕过了繁琐的系统增益校准过程。
- 该方法的核心在于认识到系统增益主要由量子效率和模拟增益决定，而量子效率通常在一个较小的范围内变化。
- 因此，本研究通过假设一个合理的量子效率值来计算系统增益，并利用该增益合成散粒噪声。
- 本研究的分析表明，不同的系统增益值只会影响噪声的严重程度，而不会引入图像强度的偏差，因此即使假设的增益值与真实值存在一定差异，也不会对去噪网络的训练造成显著影响。
- 这种基于假设的方法大大简化了噪声合成的准备工作，将准备时间从数天缩短至数小时。
🛠️ 简化的信号无关噪声合成方法: 🛠️
- 本研究对信号无关噪声的合成方法进行了深入分析，并指出参数化噪声分析的固有限制以及暗帧位深扩展的冗余性。
- 与现有方法通常采用的参数化噪声分析不同，本研究选择直接从传感器采样暗帧作为信号无关噪声的样本。
- 这种直接采样的方法避免了参数化模型拟合过程中可能引入的误差和复杂性，并且能够更真实地反映真实噪声的特性和多样性。
- 此外，本研究还省去了位深扩展的步骤，认为低位深的暗帧能够更真实地模拟量化噪声，因为推理阶段的噪声图像也是低位深格式，并且隐含地包含了量化噪声。
🌌 暗场校正的使用: 🌌
- 为了进一步提高去噪性能，本研究采用了暗场校正技术。
- 通过从噪声图像中减去预先校准的暗场，可以有效地去除时间上一致的噪声，例如固定模式噪声和黑电平误差。
- 这种暗场校正技术在专业摄影和 RAW 图像去噪领域中被广泛应用，能够显著提高去噪网络的训练效果。
- 本研究的暗场校准过程可以直接复用为噪声合成收集的暗帧，无需额外的准备工作。
⚙️ 高效的噪声合成流程: ⚙️
- 通过结合上述创新点，本研究构建了一个实用且高效的 RAW 图像噪声合成流程。
- 该流程只需要收集暗帧，无需进行系统增益校准和信号无关噪声的参数化分析，从而大大减少了准备工作量，并且能够合成高质量的噪声图像，用于训练高性能的去噪网络。
- 实验结果表明，本研究提出的噪声合成流程在多个数据集上取得了最先进的去噪性能，甚至优于一些全监督的去噪方法。
⏱️ 对现有方法的改进和简化: ⏱️
- 本研究对现有的噪声合成方法进行了深入分析，并提出了一系列改进和简化措施。
- 例如，本研究指出高位深噪声恢复策略在实际应用中并不必要，并且可能引入额外的误差。
- 此外，本研究还探讨了在线暗场重新校准的鲁棒性，以及噪声合成流程的数据效率。
- 这些改进和简化措施进一步提高了噪声合成的实用性和效率。