[BCNet] Deep Occlusion-Aware Instance Segmentation with Overlapping BiLayers(CVPR. 2021)

最新推荐文章于 2026-01-24 04:36:36 发布

原创

最新推荐文章于 2026-01-24 04:36:36 发布 · 2.3k 阅读

BCNet是一种双层卷积网络，用于处理高度重叠的实例分割问题，尤其关注遮挡情况。它通过双层GCN分别检测遮挡物和被遮挡物，解耦它们的关系，提升分割质量。BCNet在COCO和KIS数据集上表现出色，特别是在严重遮挡的情况下。

1. Motivation

overlapping，occlusion，分割高度重叠的对象具有挑战性，因为通常在真实对象轮廓contours和遮挡边界occlusion boundaries之间没有区别。

之前的工作在mask regression上做的很少，并且COCO训练数据中，大部分物体是没有遮挡信息的。

mask R-CNN以及它的改进都是直接回归了被遮挡物实例occludee，这种做法忽略了遮挡物实例occluding 以及物体之间重叠的关系。

Segmenting highly-overlapping objects is challenging, because typically no distinction is made between real object contours and occlusion boundaries.

The mask head design of Mask R-CNN in Figure 3 directly regress the occludee with a fully convolutional network, which which neglects both the occluding instances and the overlapping relations between objects

2. Related Work and Contribution

2.1 Related Work

Amodal Instance Segmentaion：无模态的实例分割，针对被遮挡的区域进行预测的工作，之前的文章主要是是添加一些annotation以及dataset。

Occlusion Handling：之前一些解决遮挡问题的工作。

2.2 Contribution

本文提出了BCNet（Bilayer Convolutional Network）双层卷积网络，BCNet由GCN layer 构成，top GCN检测occluder，bottom GCN 推断occludee。
BCNet显示的建模2层网络结构的关系，并且解耦了occluder（遮挡物）和occludee（被遮挡物）的边界，同时在mask regression时进行二者之间的交互。

We model image formation as composition of two overlapping layers, and propose Bilayer Convolutional Network (BCNet), where the top GCN layer detects the occluding objects (occluder) and the bottom GCN layer infers partially occluded instance (occludee)，and considers the interaction between them during mask regression。

BCNet可以在one-stage以及two-stage都有效，并且在COCO和KIS数据集上都有涨点。

We validate the efficacy of bilayer decoupling on both one- stage and two-stage object detectors with different back- bones and network layer choices.

Despite its simplicity, extensive experiments on COCO and KINS show that our occlusion-aware BCNet achieves large and consistent performance gain especially for heavy occlusion cases.

本文的一个我认为的创新点，GCN图卷积网络的应用，作者在文中解释，使用GCN的原因在于GCN可以考虑全局non-local的关系，允许pixel的信息进行传播propagating，而不用担心遮挡物体的存在。

We utilize GCN in our implementation because GCN can consider the non-local relationship between pixels, allowing for propagating information across pixels despite the presence of occluding regions.

图1是Simplified illustration，Bilayer Decoupling，Top Layer以及 Bottom Layer。二者重叠部分是被遮挡物occludee的invisible region无法可见的区域，这个区域会被作者提出的BCNet 显示的建模，第一层GCN提供了shape，location等丰富的遮挡信息，并且指导occludee（也叫target）的分割。

3. Method

图2是Msak R-CNN等网络以及BCNet 可视化的比较，可以看出BCNnet在边缘遮挡信息上，比较完整。

图3是Msak R-CNN等网络以及BCNet网络的比较。

3.1 Architecture of BCNet

BCNet网络结构如图4所示，由3个部分组成，分别是backbone+FPN，FCOS object detector， BCNet。

注意，遮挡物和这遮挡物都是在同一个ROI内部的，作者指出这样子得到的最后的分割结果有着更好的解释性。

The explicit bilayer occluder-occludee relational modeling within the same ROI also makes our final segmentation results more explainable than previous methods.