论文名称:DN-DETR: Accelerate DETR Training by Introducing Query DeNoising
发表时间:CVPR2022
作者及组织:Shilong Liu, Feng Li等,来自IDEA、港中文、清华。
前言
该篇论文发现Detr收敛慢原因来自匈牙利一对一匹配,于是在训练阶段额外引入object query来学习加噪的gt,提高了收敛速度和精度。
1、引入
Detr在训练早期阶段,对于同一张图像的同一个物体,在不同epoch之间每个object_query会匹配到不同gt(包括背景)。原因是匈牙利匹配中代价矩阵鲁棒性差,即稍微扰动就会影响匹配结果。故作者考虑额外引入加微弱噪声的gt,让额外的object query学习这部分gt,进而来克服不稳定的匹配过程。
2、方法

如图所示,模型核心部分在Denoising part,Matching part就是原始的匈牙利匹配。故这里只介绍下前者。
2.1.Denoising part
以图为例,有两组加噪的gt和object query+label。object_query+label比较简单,就设置成可学习并初始化即可;这里看下如何给gt加噪。
加噪分为两部分:1)gt_box加噪:小幅度移动box中心和box_scale;2)label加噪:随机将gt变成另一个类别。


1398

被折叠的 条评论
为什么被折叠?



