Detecting Urban Changes With Recurrent Neural Network From Multitemporal Sentinel SENTINEL-2 Data

论文地址：https://arxiv.org/abs/1910.07778v1

IGARSS 2019 - 2019 IEEE International Geoscience and Remote Sensing Symposium IEEE, 2019.

ABSTRACT

本文结合了 fully convolutional networks (similar to U-Net) for feature representation 和  recurrent networks (such as LSTMs) for temporal modeling，并在OSCD数据集上做了测试。而且使用了ensemble crossvalidation strategy，增加额外的数据，在 recurrent networks 上评估。overall accuracy超过了95%，使用了LSTM和额外数据后F1 rate增加了1.5%。

1. INTRODUCTION

[3] “ Learning spectral-spatial-temporal features via a recurrent convolutional neural network for change detection in multispectral imagery” 中提出了一种patch-based的方法，将通过扩张卷积生成的特征 fed 给循环子网络，以学习时序特征。[4] “ Fully convolutional siamese networks for change detection” 使用了孪生的全卷积U-Net结构，但是却缺少了temporal pattern。

这篇文章研究了循环网络的使用，尤其是全卷积的LSTM。

2. METHODOLOGY

一个 block中 featrue map的变化：(W + 2*1 - 3 )/ 1 + 1 == W

编码部分用卷积结构代替全连接的LSTM，在实践中，recurrent operation的权重不再是简单的矩阵，而是由卷积构成的端到端可训练框架。解码部分用 2x2 upsampling 与编码时的max pooling相对应，另外，像u-net那样concat编解码时对应的 temporal pattern 。

 In this way, higher resolution information is combined with lower resolution information producing more sophisticated features and maintaining spatial and temporal knowledge

最后，加一个 1x1 convolution operation来得到最后结果。

2.1. Dataset and Implementation Details 

作者使用了额外的数据（ Sentinel-2 images ）来 enrich the temporal information of the OSCD dataset。

此外，作者为了平衡changed pixel和 unchanged pixel，使用了一些数据增强方法。（我认为这里很精彩）

3. EXPERIMENTAL RESULTS AND DISCUSSION

#Datas代表用了几组数据，2表示没用额外数据

对比U-Net  2/13 和 2/4 的F1 score，发现后者分数更高。这说明 Sentinel-2 图像中 RGB-NIR channels 提供了最高的空间分辨率。而且使用全部13个通道会耗费大量计算资源，所以U-Net+LSTM中是基于4通道的。

U-Net增加了数据之后性能反而降低了，这说明它不具有处理时序信息的能力。