DN-DETR:query去噪训练加速Detr收敛

论文名称:DN-DETR: Accelerate DETR Training by Introducing Query DeNoising
发表时间:CVPR2022
作者及组织:Shilong Liu, Feng Li等,来自IDEA、港中文、清华。

前言

 该篇论文发现Detr收敛慢原因来自匈牙利一对一匹配,于是在训练阶段额外引入object query来学习加噪的gt,提高了收敛速度和精度。

1、引入

 Detr在训练早期阶段,对于同一张图像的同一个物体,在不同epoch之间每个object_query会匹配到不同gt(包括背景)。原因是匈牙利匹配中代价矩阵鲁棒性差,即稍微扰动就会影响匹配结果。故作者考虑额外引入加微弱噪声的gt,让额外的object query学习这部分gt,进而来克服不稳定的匹配过程。

2、方法

在这里插入图片描述

  如图所示,模型核心部分在Denoising part,Matching part就是原始的匈牙利匹配。故这里只介绍下前者。

2.1.Denoising part

 以图为例,有两组加噪的gt和object query+label。object_query+label比较简单,就设置成可学习并初始化即可;这里看下如何给gt加噪。
 加噪分为两部分:1)gt_box加噪:小幅度移动box中心和box_scale;2)label加噪:随机将gt变成另一个类别。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值