（论文速读）CoLIE：基于上下文的快速弱光图像增强方法的神经隐式表征

最新推荐文章于 2026-08-18 22:00:42 发布
原创 最新推荐文章于 2026-08-18 22:00:42 发布 · 1.1k 阅读 · 22 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
收录于
图像处理

当前文章被收录于：

图像处理
49 篇文章 3 人学习

包括图像去噪、去雾、去雨以及增强等方面的论文

订阅专栏 查看详情

论文题目：Fast Context-Based Low-Light Image Enhancement via Neural Implicit Representations（基于上下文的快速弱光图像增强方法的神经隐式表征）

会议：ECCV2024

摘要：目前基于深度学习的低光图像增强方法往往难以处理高分辨率图像，无法满足不同场景下视觉感知的实际需求。在本文中，我们介绍了一种称为CoLIE的新方法，该方法通过将曝光不足的图像的二维坐标映射到其照明分量来重新定义增强过程，并以局部环境为条件。我们提出利用隐式神经函数结合嵌入式引导滤波器在HSV空间内重建增强光图像，从而显著减少计算开销。此外，我们引入了基于单幅图像的训练损失函数，增强了模型对各种场景的适应性，进一步增强了模型的实用性。通过严格的评估，我们分析了我们提出的框架的特性，证明了它在图像质量和场景适应性方面的优势。此外，我们的评估扩展到低光环境下下游任务的应用，强调了CoLIE的实际效用。

源代码可从https://github.com/ctom2/colie获得。

CoLIE：基于神经隐式表示的零样本低光图像增强

本文详细解读 ECCV 2024 论文《Fast Context-Based Low-Light Image Enhancement via Neural Implicit Representations》，介绍一种无需预训练、高效且通用的低光图像增强方法。

📌 引言

在日常生活和专业应用中，我们经常会遇到在光线不足条件下拍摄的图像。这些低光图像通常存在大面积暗区、局部过曝、细节丢失等问题，不仅影响人眼观感，还会严重影响后续计算机视觉任务（如目标检测、人脸识别等）的效果。

低光图像增强（Low-Light Image Enhancement, LLIE） 旨在恢复这些图像的视觉质量，是计算机视觉领域的一个重要研究方向。然而，现有方法普遍面临着计算开销大、场景适应性差、需要大量训练数据等问题。

来自慕尼黑工业大学和 Helmholtz AI 的研究团队提出了 CoLIE（Context-Based Low-Light Image Enhancement），这是一种基于神经隐式表示的零样本低光图像增强方法，在不需要任何预训练的情况下，实现了高质量、高效率的图像增强。

🎯 现有方法的问题

1. 监督学习方法的困境

传统的深度学习方法如 RetinexNet、HWMNet 等需要大量配对的低光/正常光图像进行训练。然而：

  • 配对数据难以获取：真实场景下很难同时拍摄同一场景的低光和正常光版本
  • 合成数据存在域差距：人工降质的图像与真实低光图像存在分布差异

2. 无监督方法的局限

ZeroDCE、SCI 等方法虽然不需要配对数据，但仍需要在低光图像数据集上预训练：

  • 域差距问题：当测试图像的曝光水平与训练数据不一致时，效果会显著下降
  • 需要针对性重训练：不同应用场景可能需要重新训练模型

3. CNN 的固有偏差

卷积神经网络依赖局部感受野，存在以下问题：

  • 难以有效处理大面积连续暗区
  • 缺乏对全局照明变化的敏感性
  • 对精确的低光图像表示捕捉能力有限

4. 计算效率问题

现有 CNN 方法在处理高分辨率图像时计算开销巨大，难以满足实际应用的实时性需求。

💡 CoLIE 的核心创新

创新一：神经隐式表示重新定义问题

CoLIE 的核心思想是将低光图像增强问题重新定义为一个坐标到照明的映射问题。

基于经典的 Retinex 理论，图像可以分解为：

其中：

  • y：观测到的低光图像
  • x：照明分量（illumination），表示局部光照强度
  • z：反射分量（reflectance），表示物体本身的反射特性
  • ：逐元素乘法

CoLIE 使用神经网络作为隐式函数，学习从 2D 坐标到照明分量的映射：

这种方法的优势在于：

  1. 零样本学习：每张图像独立优化，无需预训练
  2. 避免域差距：不受训练数据分布限制
  3. 灵活性强：可适应任意曝光水平的图像

创新二：HSV 空间处理策略

与传统方法直接在 RGB 空间操作不同，CoLIE 选择在 HSV 颜色空间中工作。

为什么选择 HSV？

研究团队通过对比分析发现，低光图像与正常光图像之间：

  • Hue（色调）分量：差异很小
  • Saturation（饱和度）分量：差异很小
  • Value（亮度）分量：差异显著

这一发现启发了 CoLIE 的设计：仅增强 Value 分量，保留原始的 Hue 和 Saturation。

这种设计的优势：

  • 保持色彩保真度：避免了 RGB 空间处理常见的颜色失真问题
  • 简化问题：将三通道问题降为单通道问题
  • 提高效率：减少了计算量

创新三：上下文感知的神经隐式函数

传统的神经隐式表示（如 NeRF）仅使用坐标作为输入。CoLIE 的创新在于引入了局部上下文窗口作为额外输入。

对于每个像素位置，网络的输入包括：

  1. 坐标信息：
  2. 上下文窗口：以该像素为中心的邻域
┌─────────────────────────────────────────────────────────┐
│                    网络架构示意                          │
├─────────────────────────────────────────────────────────┤
│                                                         │
│   上下文窗口 (7×7)  ──→  [SIREN层] ──→  [128通道]  ─┐   │
│                                                     │   │
│                                          [256通道] ─┼─→ [输出层] → 照明残差
│                                                     │   │
│   坐标 (x, y)       ──→  [SIREN层] ──→  [128通道]  ─┘   │
│                                                         │
└─────────────────────────────────────────────────────────┘

为什么需要上下文信息？

局部上下文提供了更丰富的信息，使模型能够：

  • 理解像素与周围环境的空间关系
  • 捕捉局部照明变化的模式
  • 生成更平滑、更自然的照明估计

创新四：引导滤波实现高效上采样

为了处理高分辨率图像的计算效率问题，CoLIE 采用了"低分辨率训练 + 引导滤波上采样"的策略：

  1. 下采样：将输入图像缩放到 256×256
  2. 网络推理：在低分辨率上学习照明分量
  3. 上采样：使用引导滤波恢复原始分辨率

引导滤波的优势：

  • 保持边缘锐度
  • 运行时间基本不受原始图像尺寸影响
  • 无需额外训练

创新五：零样本无参考损失函数

CoLIE 设计了四项损失的组合，完全不依赖参考图像：

(1) 保真度损失

使用均方误差（MSE）确保估计的照明分量与低光观测保持一致：

  • 防止过度偏离原始图像
  • 保持像素级的对应关系
(2) 平滑度损失

基于全变分（Total Variation）正则化：

  • 强制照明场的平滑性（Retinex 理论的核心假设）
  • 避免照明估计中出现不自然的突变
(3) 曝光控制损失

  • 控制增强后图像的整体亮度
  • 参数 L（默认 0.5）可调节增强强度
  • 较低的 L 值产生更亮的输出
(4) 稀疏性损失

  • 惩罚高亮度值，防止过度曝光
  • 保护原本较暗区域的细节
  • 实现更平衡的增强效果

🔬 实验验证

数据集与评估指标

CoLIE 在三个数据集上进行了全面评估：

数据集描述评估指标
UHD-LL超高清低光图像PSNR, SSIM
MIT-Adobe FiveK真实世界夜景图像PSNR, SSIM
DarkFace低光人脸检测数据集EMEE（无参考指标）

定量结果

UHD-LL 数据集
方法训练设置PSNR↑SSIM↑
RetinexNet监督16.040.580
ZeroDCE无监督12.650.596
SCI-difficult无监督17.850.576
PairLIE无监督17.530.685
LIME零样本17.350.542
CoLIE零样本17.890.625
MIT 数据集
方法PSNR↑SSIM↑
HWMNet17.030.819
RetinexNet12.080.665
ZeroDCE15.240.751
PairLIE12.840.768
CoLIE18.670.832

关键发现：

  • CoLIE 在 MIT 数据集上以零样本方式超越了所有预训练方法
  • 在 UHD-LL 数据集上取得最高 PSNR
  • 作为零样本方法，无需任何训练数据即可达到 SOTA 性能

定性对比

论文展示了多组视觉对比，CoLIE 的优势包括：

  • 更好的暗区恢复：能够揭示严重欠曝区域的细节
  • 避免过度曝光：对原本明亮的区域不会产生过曝
  • 颜色保真度高：保持原始色彩，无明显色偏

下游任务：目标检测

在 DarkFace 数据集上使用 Grounding DINO 进行人物检测：

结果：CoLIE 是唯一能够揭示并正确检测背景中所有人物的方法！

这说明 CoLIE 的增强效果不仅在视觉上更好，还能实质性地提升下游视觉任务的性能。

📊 消融实验

上下文窗口大小的影响

窗口大小观察结果
1×1难以捕获图像保真度，在严重欠曝区域效果差
3×3开始捕获上下文信息，效果改善
5×5进一步提升
7×7最佳效果，输出更精细平滑

结论：较大的上下文窗口能够捕获更多信息，但也会增加计算开销。7×7 是一个良好的平衡点。

曝光控制参数 L 的影响

L 值效果
0.9增强效果轻微
0.7中等增强
0.5最佳视觉效果（默认）
0.3可能产生过度曝光

各损失项的贡献

配置PSNRSSIM说明
无 {L}_{spa}17.300.789性能下降明显
无 {L}_s15.530.813破坏邻域相关性
无 {L}_{exp}7.250.492性能严重下降
完整模型18.670.832最佳性能

关键发现：

  • 稀疏性损失 {L}_{spa} 对防止过曝至关重要
  • 平滑度损失{L}_s 确保符合 Retinex 理论假设
  • 所有损失项协同工作才能达到最佳效果

🔭 扩展应用：显微镜图像

CoLIE 不仅适用于自然图像，还可以应用于荧光显微镜图像的增强。

显微镜图像常见的问题：

  • 渐晕效应（Vignetting）：图像边缘亮度衰减
  • 照明不均匀：中心到边缘的亮度差异

传统校正方法需要多张具有一致照明的图像，而 CoLIE 可以在单张图像上实现有效校正：

  • 边缘区域的亮度得到显著提升
  • 整体照明更加均匀
  • 对生物标记物的定量分析更加准确

⚠️ 局限性与讨论

尽管 CoLIE 取得了优异的性能，但仍存在一些局限：

  1. 噪声敏感性

    • 方法主要针对 Value 分量进行增强
    • 对 Hue 和 Saturation 分量中的噪声处理能力有限
    • HSV 空间中各分量的噪声分布不同

  2. 单分量处理

    • 仅增强 V 分量可能无法完全处理某些极端情况
    • 严重噪声的低光图像可能需要额外的降噪处理

  3. 计算时间

    • 虽然通过引导滤波降低了高分辨率处理的开销
    • 但每张图像都需要独立优化，无法实现真正的实时处理

🎯 总结

CoLIE 为低光图像增强领域带来了几个重要的启示：

技术贡献

  1. 范式创新：将低光增强重新定义为坐标到照明的隐式映射问题
  2. 零样本学习：完全摆脱对训练数据的依赖
  3. 高效设计：引导滤波确保高分辨率处理的效率
  4. 理论结合：将 Retinex 理论与神经隐式表示有机结合

实践价值

  1. 开箱即用：无需收集训练数据、无需预训练
  2. 场景通用：自动适应各种曝光水平和场景类型
  3. 下游友好：增强效果能有效提升后续视觉任务的性能

研究启示

CoLIE 展示了神经隐式表示在低级视觉任务中的潜力，这种"per-image optimization"的范式可能为其他图像处理任务提供新的思路。

标签
#图像处理 #神经隐式表示 #零样本学习 #Retinex理论 #计算机视觉
#低照度图像增强
Implicit Neural Representation for Cooperative Low-light Image Enhancement论文阅读笔记
read, note and comment papers
07-16 870
INR​IL​IA​IM​。
Low-Light Image Enhancement via Self-Reinforced Retinex Projection Model 论文阅读笔记
read, note and comment papers
07-14 2474
但是文章指出无论是第三列的Gamma校正还是第四列的LIME，其调整亮度层的方法都会改变亮度层的形状导致产生伪影或者过模糊，从第二行可以看到，第三四列的蓝线相比绿线形状是发生了改变的。的max pooling操作，将每个像素值置为邻域的最大值（不包含-1，只向右看，有点类似求梯度的感觉，这一操作增强了边缘信息，如下图所示），然后加上c使得I的估计增大一个常量（相比gamma校正，这是一个平移而非对数，不过我觉得这个c等优化完再加上也是等价的，也就是说把c加在公式1的最右边）。增量的引入，估计出来的。
Implicit Neural Representation for Cooperative Low-light Image Enhancement
mytzs123的博客
12-07 1430
在过去几年中，已经提出了大量算法来解决这个经典的不适定问题，大致可分为两类：传统基于模型的方法（例如，直方图均衡化 [31]，伽马校正 [29]，Retinex模型 [30] 和锐化掩模算法 [7]）以及最近的基于深度学习的方法 [22, 51, 16, 44]。它以无监督的方式稳健地恢复感知友好的结果。此外，Zhou等人[52]开发了软提示来取代手工设计的提示，使用可学习的向量来建模上下文词汇，并获得与任务相关的语境。借助其高效的视觉-语言先验知识，我们的方法学习了多样的特征，导致了感知上更好的结果。
《Low-Light Image Enhancement via Structure Modeling and Guidance》论文超详细解读（翻译＋精读）
m0_52275819的博客
06-06 2983
今天精读的是一篇来自2023年CVPR的一篇论文，主要还是跟低光图像增强有关。目录前言Abstract —摘要翻译精读一、Introduction—简介翻译精读二、Related Work—相关工作A. Low-light enhancement with learning—基于学习的低光增强翻译精读B. Generative model for restoration—生成模型在修复任务中的应用翻译精读三、Method—方法3.1. Appearance Modeling—外观建模翻译精读。
Optical Flow Estimation 发展历程 (1)
weixin_30417487的博客
01-09 379
Optical flow estimationTraditional MethodVariational approachTVL-1Deep MethodSupervisedFlowNetFlowNetCUnsupervised 转载于:https://www.cnblogs.com/kwanss/p/10247349.html
【双一流高校主办 | EI快稳检索】第五届图像处理、目标检测与跟踪国际学术会议（IPODT 2026）
Paperthinker的博客
08-13 194
接受/拒稿通知：投稿后5-7个工作日（有毕业要求或评职称请尽快投稿）第五届图像处理、目标检测与跟踪国际学术会议（IPODT 2026）会议地点：武汉·华中师范大学（南湖校区）（线上/线下参会均可）点击官网 即可参会/投稿/了解会议详情。大会时间：2026年8月21-23日。出版检索：EI、Scopus检索。
图像处理 / 底层视觉论文解析汇总目录
LJ1147517021的博客
08-18 179
📚 图像处理 / 底层视觉论文解析汇总目录
图像处理入门007：图像处理中的数学基础：线性代数与卷积
专注：太空算力、AI infra、异构调度、大模型成本工程
08-16 322
一种：把 OpenCV 当黑盒，调用，效果不对就乱调参数；另一种：理解每个像素是怎么被周围邻域"加权平均"的，理解核翻转、边界填充、stride 的含义。前者能干活，后者能解难题。一旦遇到自定义核（比如 ISP 上的锐化）、深度学习反向传播、医学图像重建，你就必须把卷积、相关、矩阵乘法这些基本功捡回来。线性代数三件套：向量点积、矩阵乘法、线性变换；2D 卷积的数学定义：核翻转、滑动窗口、边界填充。并手写一个，验证它与和的结果完全一致（误差 < 1e-9）。f∗gn∑m−∞∞f。
图案裂变“做减法“的图像处理逻辑：降饱和、主体放大与统一色系是怎么实现的｜雨林凯AI技术解析
m0_54170558的博客
08-18 294
图案裂变做"加法"——提鲜、加细节、元素放大——大家都熟。但真正让一张花哨图变成经典款的，往往是另一条技术路径：降饱和、统一色系、放大主体。这三步在图像处理上分别对应不同的算法环节，本文从原理层面拆开讲，配合素材库里的对比图说明。
图像处理入门006：图像质量评价三剑客：PSNR / SSIM / MSE 原理与代码实战
专注：太空算力、AI infra、异构调度、大模型成本工程
08-15 472
在图像处理流水线里，有一类问题绕不开——做完去噪/超分/压缩/风格迁移之后，效果到底怎么样？凭眼睛看当然重要，但人眼主观打分难以批量复现，所以工程上需要可重复、可比较的客观指标。指标全称量纲特点MSEMean Squared Error 均方误差像素差的平方均值最简单，只看"逐像素"误差PSNRPeak Signal-to-Noise Ratio 峰值信噪比dB（越大越好）MSE 的对数版，工程界最常用SSIMStructural Similarity 结构相似性。
无缝平铺的图像处理原理：边缘匹配、重复单元与密度控制｜雨林凯AI 四方连图
m0_54170558的博客
08-17 363
title: “无缝平铺的图像处理原理：边缘匹配、重复单元与密度控制｜雨林凯AI 四方连图”description: “大面积图案铺贴的难点不在’生成图案’，而在’让它接得上’。本文从图像处理角度拆解雨林凯AI（简称雨林凯）四方连图的三个关键点：边缘匹配的像素连续、重复单元与成品分辨率的关系、密度控制中的缩放与排列约束。
图像处理入门008 | 阶段总结：环境测试与基础概念测验
专注：太空算力、AI infra、异构调度、大模型成本工程
08-17 314
数学：线性代数、卷积、统计量；工具：Python、NumPy、OpenCV、Pillow、Matplotlib、SciPy；概念：像素、通道、颜色空间、PSNR/SSIM、卷积核、边界填充。但真正动手写代码前，必须先确认你的开发环境是"齐活"的。否则你可能花 2 小时排查一个"明明代码没问题"的 bug，结果发现是某个包没装、版本对不上、BGR/RGB 搞反了、CUDA 冲突……这一期是M01 模块的收官。M01 知识测验——10 道判断 + 5 道简答，快速检验你的理解；一键环境自检脚本。
图像处理入门004：图像文件格式深度解析：JPEG/PNG/TIFF/BMP
专注：太空算力、AI infra、异构调度、大模型成本工程
08-13 369
上期我们理解了"图像是矩阵"这一核心认知。但同一张图像存成不同文件，大小、质量、用途却千差万别。本文将系统拆解图像处理中最常见的四种格式：它们各自如何编码？什么时候该用谁？有损与无损的本质区别是什么？文末提供完整可运行的代码实验，用实测数据回答这些问题。概念核心要点一句话记忆BMP无压缩位图，文件大简单直接但笨重PNG无损压缩，支持透明截图图标首选JPEG有损压缩，质量可调照片网络首选TIFF灵活格式，无损/多页/浮点科研印刷首选有损压缩丢弃信息换体积。
图像处理入门005：颜色空间入门——RGB/HSV/CMYK/Lab
专注：太空算力、AI infra、异构调度、大模型成本工程
08-14 458
颜色是图像最直观的属性，但"颜色"在计算机中的表示方式却远比人眼所见复杂。不同的应用场景需要不同的颜色描述方式：网页设计用 RGB，印刷出版用 CMYK，视频调色用 HSV，色彩科学研究用 Lab。理解这些颜色空间的定义、转换原理与适用边界，是图像处理工程师的基本功。本期将系统梳理四种核心颜色空间——RGB、HSV、CMYK、Lab，从物理原理到数学公式，再到 Python 代码实践，帮助读者建立完整的颜色空间认知框架。维度RGBHSVCMYKLab基础原理加色法（光叠加）感知属性分解。
图像处理入门009 | OpenCV 图像读取与显示：imread/imshow 全解析
专注：太空算力、AI infra、异构调度、大模型成本工程
08-18 540
上一期（008）我们完成了环境自检，确认 OpenCV、Pillow、NumPy、Matplotlib、SciPy 全部就绪。从本期开始进入M02 模块（数字图像基础操作），共 10 期，聚焦图像读写、属性查询、裁剪缩放、通道操作等核心基础。本期是 M02 的第一期，主题是OpenCV 图像读取与显示。看似简单的imread的flags参数有哪些？分别返回什么 shape？为什么用显示 OpenCV 读取的图像，红蓝总是反的？读取失败时不报错只返回None——你的代码崩不崩？
C# 视觉量检测系列（二）：图像处理基础 —— Halcon + C# 的工业级图像处理框架
逆流而上的技术学习，真诚携手共进之陪伴的博客
08-15 129
本文从 Halcon .NET 开发环境搭建出发，系统讲解了图像采集、预处理、Blob 分析、模板匹配、亚像素边缘检测等核心算法的 C# 实现，并给出了从 HDevelop 原型到工程化代码的最佳实践。核心要点HTuple 是入门门槛：理解它的动态类型特性，善用 Tuple 操作HObject 生命周期管理：必须显式释放，建议使用 using 语句面向对象封装：将 HDevelop 的面向过程代码重构为可复用的类库ROI 优先：始终先设定 ROI，再执行算法，提升速度和精度插件化架构。
ISP图像处理管线：从RAW到RGB的十五个关键节点
Rambo252016988的博客
08-13 444
本文深入解析图像信号处理器（ISP）的核心作用与完整处理流程。ISP作为相机图像处理的中枢，通过RAW域预处理（BLC/LSC）、坏点校正、降噪、去马赛克、白平衡、色彩校正等关键步骤，将传感器原始数据转化为高质量图像。文章详细阐述了各模块的处理原理、FPGA实现要点及严格的执行顺序，强调BLC/LSC的基础性作用、RAW域降噪的必要性，以及白平衡与色彩校正矩阵的互补关系。同时指出ISP性能受DDR带宽、定点精度等因素制约，并为工业应用提供调优建议，后续将分专题深入各算法模块。
AI实战 : Numpy图像处理与深度学习框架
Question_123456的博客
08-14 204
本文系统梳理了AI工程师从基础编程到系统设计的核心能力阶梯，重点讲解了三个关键层次：1）计算基础（NumPy广播机制、矩阵运算和图像处理）；2）框架驾驭（PyTorch与TensorFlow的核心差异及梯度管理）；3）系统设计（动态组件管理、设计模式应用和资源优化）。文章通过具体代码示例，揭示了高性能AI开发的核心技术要点，包括向量化编程、模型部署优化和插件化架构设计，并强调系统设计能力是区分初级与高级AI工程师的关键指标。这些技能共同构成了将AI模型转化为可落地产品的工程能力体系。
《动手学YOLO》——目标检测基础
最新发布
lonelymanontheway的博客
08-18 347
概述、简介、概念、边界框、锚框、交并比、NMS、评价指标、算法、R-CNN、Fast R-CNN、Faster R-CNN、SSD、
小红书 算法一面 三
XLYcmy的博客
08-16 745
br>③ 用了错误的损失函数（如MSE损失用于分类任务，且标签刚好匹配） | 1. 恢复标准损失函数配置：<br> ```python<br> # 文本生成任务的标准SFT损失<br> criterion = torch.nn.CrossEntropyLoss(ignore_index=-100, reduction='mean')<br> ```<br>2. 打印损失计算中间值：验证`logits`和`labels`的形状/数值，手动计算损失（示例如下）；
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

这张生成的图像能检测吗

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值