【Image Matting】Indices Matter: Learning to Index for Deep Image Matting

[ICCV 2019] Indices Matter: Learning to Index for Deep Image Matting

• Paper: https://arxiv.org/abs/1908.00672

一、摘要

• 基于MobileNet-V2，目前速度最快的方法
• 实验发现，有index作为约束的unpooling可以比插值更好的恢复边缘细节
• 所有的上采样的操作都可以统一成一个index function的形式，通过神经网络来学习Index的权值。相当于让一个小网络学习Index，在特征图中，在池化层做注意力机制

二、背景

上采样在dense preiction任务中非常常见，常见的upsampling的操作包括：反卷积、unpooling、periodic shuffling, 线性插值。

在语义分割的任务中，更常用线性插值，而不是unpooling。一个可能的原因是unpooling生成的特征图会更加稀疏，而线性插值的方法生成的特征图语义上有更强的一致性，这样的方式更适合于语义分割任务中一个区域的像素大概率属于同一个类。

在实验中发现，在边界敏感的任务中(例如image matting)，unpooling的效果要比线性插值的效果要好。

跟线性插值相比，unpooling利用了max出的index作为上采样的信息，因为边界处在神经网络中间的特征图上可能有更大的响应，最大值的index可以通过这些响应反映出边缘的信息，所以应该利用上Index这一信息。

问题在于：我们是否可以设计一个统一的操作，在特征图上进行上采样的时候，同时预测边缘和区域内的内