[CVPR2022|基于文本实例分割]ReSTR: Convolution-free Referring Image Segmentation Using Transformers

原创

已于 2022-07-15 23:43:26 修改 · 5k 阅读

于 2022-04-25 18:39:21 首次发布

本文介绍了一种名为ReSTR的新型模型，用于解决基于文本的实例分割任务，该任务旨在处理未定义类别的分割。ReSTR结合Transformer编码器独立提取视觉和语言特征，通过多模融合编码器捕捉两种模态间的交互，再由高效的分割解码器生成像素级预测。实验显示ReSTR在多个数据集上表现出色，特别是在理解和捕捉语言表达的精细关系方面。

在这里插入图片描述

文章地址：2203.16768.pdf (arxiv.org)

个人阅读见解，欢迎大家交流讨论指正~

一、研究背景

虽然近些年语义分割有了很大的进步，但是应用到现实世界下游任务还是有局限，无法处理未定义类别。基于文本的实例分割（Referring image segmentation） 就是作者为了解决此问题而提出的任务，Referring image segmentation是一个目标类别没有预定义但在自然语言被描述的前沿的图像分割任务，通过一段自然语言表述（query）分割出实例。这个任务在人机交互、照片编辑等场景广泛应用。

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Eq1ywrfa-1650878392324)(C:\Users\Tycoon\AppData\Roaming\Typora\typora-user-images\image-20220423140858454.png)]$

二、相关工作

语义分割：FCN，CNN。但是只能对预先定义类别进行分割。

基于文本的实例分割：CNN，RNN，ConvLSTM。卷积很难获取语言表达中实体之间的长期依赖关系，并且不够灵活，无法对两种不同模式之间的交互进行建模。

Vision Transformer：对原始图片进行分块，展平成序列，输入进原始Transformer模型的编码器Encoder部分，最后接入一个全连接层对图片进行分类。

Vision Transformer整体架构

三、ReSTR

为了捕捉每个模态的远程交互，ReSTR首先通过Transformer Encoder（Fig.2.a）独立地提取视觉和语言特征。然后，它将视觉和语言特征平行输入到多模融合编码器（Fig.2.b），以捕捉这两种模态之间的细微关系。最后，用于从粗到细分割的高效解码器（Fig.2.c） 将patch-level预测转换为高分辨pixel-level预测。

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5yz9309T-1650878392326)(C:\Users\Tycoon\AppData\Roaming\Typora\typora-user-images\image-20220424094323279.png)]$

3.1视觉和语言特征提取

Transformer encoder由M个连续的Transformer组成，每个Transformer由Multi-headed Self-Attention (MSA), Layer Normalization (LN), and Multilayer Perceptron (MLP) blocks组成，公式为：
$\begin{gathered} \overline{\mathbf{z}}_{i+1}=\operatorname{MSA}\left(\operatorname{LN}\left(\mathbf{z}_{i}\right)\right)+\mathbf{z}_{i} \\ \mathbf{z}_{i+1}=\operatorname{MLP}\left(\operatorname{LN}\left(\overline{\mathbf{z}}_{i+1}\right)\right)+\overline{\mathbf{z}}_{i+1} \end{gathered}\\ 其中，\mathbf{Z}_{i}是i层transformer的输出$

MSA由k个 Self-Attention (SA) 组成，公式为：

$\begin{gathered} \operatorname{MSA}(\mathbf{z})=\left[\mathrm{SA}_{1}(\mathbf{z}), \mathrm{SA}_{1}(\mathbf{z}), \cdots, \mathrm{SA}_{k}(\mathbf{z})\right] \mathbf{W}_{\mathrm{MSA}} \\ \operatorname{SA}(\mathbf{z})=A \mathbf{v} \\ A=\operatorname{softmax}\left(\mathbf{q k}^{\top} / \sqrt{D_{h}}\right) \end{gathered} 其中，\mathrm{W}_{MSA}是一个线性映射$
作者分别用Transformer提取Vision和Language特征：

Vision encoder： 采用了ViT的思想，将图片分成P×P个小patches加上位置编码输入到Transformers，得到输出。

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fBnSores-1650878392326)(C:\Users\Tycoon\AppData\Roaming\Typora\typora-user-images\image-20220424105721644.png)]$