DANNet: A One-Stage Domain Adaptation Network for Unsupervised Nighttime Semantic Segmentation学习笔记

摘要

对于夜间图像的分割有两个比较大的挑战:一个是光照比较差，一个是人工比较难标注。本文提出来的新的域适应网络DANNet，它使用标记的白天的数据集(Cityscapes)和未标注的白天、黑夜数据集(Dark Zurich)。具体来说，对于未标记的白天、黑夜的图片，使用白天图像上的静态对象类别的像素级预测作为伪监督来分割对应的黑夜的图片。进一步提出了一个重新加权策略来处理日间-夜间图像对之间的偏差和对日间图像的错误预测所造成的不准确性，同时还可以提高小目标的预测精度。

论文的贡献

• 提出了一个多目标域适应网络DANNet，通过对抗学习进行夜间语义分割。DANNet由图像重新照明网络和语义分割网络以及两个鉴别器组成。
• 证明了DZ数据集图像的分割可以通过仅考虑静态对象类别来为分割相应的Dark Zurich-N图像提供伪监督。而且专门设计的概率重加权策略可以显着提高小物体的分割。

方法

Framework overview

该网络包括一个源域(Cityscapes)和两个目标域(Dark Zurich-D/N)，其中S表示Cityscapes数据集，Td,Tn分别表示Dark Zurich-D (日间拍摄）、Dark Zurich-N (夜间拍摄）。只有源域S有ground truth 用于有监督的分割训练。所提出的DANNet 同时进行从S---->Td 和从 S---->Tn的域适应训练。它由三个不同的模块组成: 图像重光照网络、语义分割网络和两个鉴别器，如下图:

Image relighting networ