Boundary IoU：图像分割新型指标

论文名称：Boundary IoU: Improving Object-Centric Image Segmentation Evaluation

作者：Bowen Cheng，Ross Girshick，Piotr Dollár，Alexander C. Berg，Alexander Kirillov

Code：https://github.com/bowenc0221/boundary-iou-api

Boundary IoU：图像分割新型指标

写在前面：

​ 正如它的名字，Boundary IoU就是轮廓之间的IoU。

​ 重点为3.4节、5.1节以及附录中的$G_d\cap G$，其他基本都是对比实验。

看不见标号可以来这

摘要

• 提出了一种新的基于边界质量的分割评价方法——Boundary IoU；
• Boundary IoU对大对象的边界误差比标准掩码IoU测量明显更敏感，并且不会过分惩罚较小对象的误差；
• 比其他方法更适合作为评价分割的指标。

介绍

• 对于分割任务，不同的评估指标对不同类型错误的敏感性不同，网络可以轻易解决对应敏感的类型，而其他错误类型的效果则不尽人意；

• mask的边界质量是图像分割的一个重要指标，各种下游任务直接受益于更精确的目标分割；

• 目前的分割网络的预测不够保真，边缘也很粗糙，这种情况说明目前的评估指标可能对目标边界的预测误差具有有限的敏感性；

  

• 在大量的论文中，AP最高可达到八九十，而很少有论文会提及他们mask的边界质量。

• 对于实例分割，本文提出Boundary Average Precision (Boundary AP)，对于全景分割，提出Boundary Panop-tic Quality (Boundary PQ)。

相关指标

各种相关指标如下：

首先解释几个名词：

1. 对称（Symmetric）：GT（GroundTruth）和Pred（prediction）的交换是否改变测量值

2. 倾向（Preference）：衡量方法是否偏向某一类型的预测。

3. 不灵敏度（Insensitivity）：测量不太敏感的误差类型。

4. 三分图（Trimap）：对给定图像的一种粗略划分将给定图像划分为前景、背景和待求未知区域。

   

5. Mask-based Measure：考虑物体的所有像素

6. Boundary-based Measure：衡量预测边界的分割质量，不同于Mask-based Measure，该方法只评估边界及其邻近的像素。

7. d：边界窄带的像素宽度

通过分析各种相关指标的缺点，我们得出Boundary IoU应该拥有的特性：同时考虑分类、定位和分割质量。

Mask IoU和Pixel Accuracy

所有像素对指标的贡献都是相同的，而物体内部的像素呈二次型增长，其边界仅会线性增长，因此对较大物体的边界不够敏感。

Mask IoU计算方式示意图：

Trimap IoU

基于边界的分割指标，其计算距离GT和pred边界d像素窄带内的IoU，计算方式示意图如下（方便起见，简化为矩形且只显示边界部分）：

需要注意分母的$G_d\cap G$。

Feature Measure

F-Measure最初被提出用于边缘检测，但它也被用于评价分割质量。在最初的公式中，使用二分图匹配来进行计算，对于高分辨率的图像来说计算成本很大；因此提出了一种允许重复匹配的近似算法，precision为pred轮廓中 \ 距离GT轮廓中像素 \ 在d个像素以内的 \ 像素 \ 所占pred的比例（已断句），recall同理。不是很理解，原文如下：

Precision和Recall计算方式示意图如下（可能）：

Boundary IoU

Boundary IoU对大物体边界误差更加敏感，并且不会过分惩罚小物体。

直观上就是GT和Pred轮廓的交集除以并集，但是这里的轮廓是在对象内部的$G_d$