(Re-ID论文精读2)CVPR2023: Patch-wise High-frequency Augmentation for Transformer-basedPerson Re-id

本文探讨了Transformer在PersonRe-ID领域的应用中,High-frequency信息的重要性以及VIT模型如何因Self-Attention机制而稀释这些信息。作者提出PHA网络,通过增强高频信息表达并设计patch-wise对比损失,有效解决这一问题,且PHA在推理阶段无需使用。

   最近对Re-ID比较感兴趣,读了一篇关于Re-ID的文章,作为自己学习的一个记录,有说的不正确的地方欢迎大家指正,也希望大家一起共同学习共同进步!!!

原文地址:https://openaccess.thecvf.com/content/CVPR2023/papers/Zhang_PHA_Patch-Wise_High-Frequency_Augmentation_for_Transformer-Based_Person_Re-Identification_CVPR_2023_paper.pdf

github:https://github.com/zhangguiwei610/PHA

1. Abstract

挖坑(提出问题):自从这个VIT应用在reid领域,效果显著,比CNN要好,但是呢在High-frequency信息呢CNN的效果是优与VIT的,比如这个衣服的纹理细节,因为这个VIT 的Self-Attention机制会利用low-frequency信息把High-frequency信息“稀释”掉。由于这个纹理细节对于reid来说十分重要,所以不能没有High-frequency,就想西方不能失去耶路撒冷(这句不是作者说的,是我说的~)

填坑(解决问题):提出了一个网络叫做PHA,这个网络有两个好处:

首先,提高High-frequency信息表达能力,其次,防止low-frequency信息把High-frequency信息“稀释”掉。同时呢这个PHA在训练时候使用在inference阶段就无须使用。

2. Introduction

为了说明上述问题,作者把输入图像进行了图像离散小波变换(Discrete Wavelet Transform)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值