【CVPR2024】Few-Shot Object Detection with Foundation Models

原创 已于 2024-07-25 16:53:10 修改 · 7.9k 阅读 · 61
标签
#目标检测 #目标跟踪 #人工智能 #transformer #计算机视觉
#深度学习
于 2024-07-25 16:51:08 首次发布

【CVPR2024】Few-Shot Object Detection with Foundation Models

机构：哥伦比亚大学、中佛罗里达大学

论文地址：https://openaccess.thecvf.com/content/CVPR2024/html/Han_Few-Shot_Object_Detection_with_Foundation_Models_CVPR_2024_paper.html

作者简介：Ser-Nam Lim，马里兰大学帕克分校博士学位，2018年-2023年在Meta（前身Facebook）参与计算机视觉、NLP和其他AI领域的研究，研究内容主要是确保航空和电力行业的安全、检测Meta平台上的错误信息，最近专注于AI用于对用户内容的推荐，包括大语言模型（LLM）和计算机视觉交叉点的搜索引擎，2023年秋季加入中佛罗里达大学。代表工作为Visual prompt tuning。

本文主要目的是提高小样本目标检测的精度，用DINOv2预训练的模型作为视觉backbone，使用大语言模型（LLM）来对类别、查询图像这两种输入信息进行上下文小样本学习。使用精心设计的语言指令提示LLM来为每个候选区（proposal）进行分类，所使用的上下文信息包括proposal-proposal关系、proposal-class关系、class-class关系。所提出的FM-FSOD方法在多个FSOD基准数据集上取得了SOTA性能。

文章贡献/创新点

  • 文章研究基于基础模型的小样本目标检测，重点关注视觉特征提取和上下文proposal分类。
  • 文章使用了基于DINOv2的全Transformer检测框架实现对大量样本和小样本类别的高泛化性。
  • 使用大语言模型简化query和support之间的建模，自动学习丰富的上下文信息。
  • 在PASCAL VOC和MSCOCO小样本评测基准上取得了SOTA性能。

小样本目标检测（FSOD）任务定义

FSOD任务有基类 C b a s e C_{base} Cbase​和新类 C n o v e l C_{novel} Cnovel​两种类别， C = C b a s e ∪ C n o v e l C=C_{base}\cup C_{novel} C=Cbase​∪Cnovel​并且 C b a s e ∩ C n o v e l = ∅ C_{base}\cap C_{novel}=\emptyset Cbase​∩Cnovel​=∅，基类有足够多的样本而新类只有少量样本。对于 K K K-shot小样本任务，数据集中的每个新类只有 K K K个检测框标注，通常 K = 1 , 3 , 5 , 10 , 30 K=1,3,5,10,30 K=1,3,

最低0.47元/天 解锁文章
小样本学习+目标检测太好发文了！创新多门槛低，“故事”也好讲
学姐带你玩AI的博客
11-19 451
给想要快速发出论文的同学推荐一个“性价比高”的方向——一是因为这方向现实需求迫切，容易讲好“故事”，毕竟在很多领域，收集和标注的成本懂的都懂。二是，FSOD数据需求小，研究门槛低，这意味着实验周期短，非常适合快速迭代想法。而且更重要的是，FSOD与前沿技术结合紧密，创新点多，在CVPR/TPAMI等顶会顶刊上关注度足够，只要工作有亮点，就有机会。那么如何快速发出成果，特别是高区？我的建议是“站在巨人的肩膀上，做巧妙的改进”，具体可以往数据与特征层面、模型结构层面这两类靠。
【论文总结】Few-shot Object Detection via Feature Reweighting（附翻译）
小张好难瘦的博客
11-01 4482
论文地址：https://arxiv.org/abs/1812.01866 代码地址：https:// github.com/bingykang/Fewshot_Detection 目录 摘要 1 介绍 2 相关工作 3 方法 3.1. Feature Reweighting for Detection用于检测的特征重加权 3.2. Learning Scheme 4 实验 4.1. Experimental Setup 实验设置 4.2. Comparison with Ba...
Few-Shot Object Detection目标检测
weixin_45900524的博客
05-27 2144
1.问题定义   首先明确定义问题。给定支持图像和查询图像，目标是找出查询图像中所有属于支持类别的目标；同时用紧密边框标示出来。   如果问题的支持对象，包含N个支持类别，每个类别中有K个样本，那么就是N-way K-shot 检测问题。小样本检测问题中的小样本就是指shot很少。 2.深度注意力小样本检测模型   下面进入模型的第一部分。   这张图展示了深度注意力小样本检测的整体模型，我们构建了一个权重共享网络，它的基础是Faster R-CNN网络，其中包含RPN和检测器。   在Faster R
小样本目标检测(Few-Shot Object Detection)综述
qq_44197482的博客
11-12 3842
小样本目标检测综述
预发表2023 Revisiting Few-Shot Object Detection with Vision-Language Models
qq_43633528的博客
01-19 1660
现在的少样本基准都是将COCO或VOC数据集划分为base和novel，**但这些基准数据集并未反映FSOD在实践中的部署方式。** 文章提出，与仅在少数基础类别上进行预训练不同，更实际的方法是**为目标领域对基础模型进行微调**，例如，在大规模网络数据上预训练的视觉语言模型（VLM）。令人惊讶的是，发现像GroundingDINO这样的VLM进行的0-shot在COCO上的表现明显优于最先进的方法（48.3 vs. 33.1 AP）。然而，这种0-shot推断模型仍然可能与目标概念不一致。
论文阅读Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector （2020 CVPR）
qq_37297763的博客
12-05 668
1. 出处 2020 CVPR 香港科技大学，腾讯 2. 主要内容 提出了自己的数据集 提出了自己的小样本目标检测方法，不需要微调或者继续训练就能识别novel class 3. 问题 目标检测传统的方法需要大量的训练数据，准备大量高质量的训练数据需要耗费很多人力。 给定少量样本的目标检测的关键就在于如何在复杂的背景中定位一个unseen目标。潜在的bbox很容易丢失unseen目标，或者对背景产生错误检测。这是因为RPN产生的bbox的低分，使得novel object难以被检测出来。 而且已有的小样本目
CVPR 2024 | 基于基础模型的少样本目标检测
m0_59235945的博客
06-25 2078
少样本目标检测（FSOD）旨在通过少量训练样本检测目标。视觉特征提取和查询-支持相似性学习是两个关键组件。现有的工作通常基于ImageNet预训练的视觉骨干网络，并设计复杂的度量学习网络进行少样本学习，但精度仍然较低。在本工作中，作者研究了使用现代基础模型的少样本目标检测。首先，使用仅视觉对比预训练的DINOv2模型作为视觉骨干，该模型在不调整参数的情况下表现出强大的可迁移性能。其次，使用大型语言模型（LLM）进行上下文少样本学习，输入所有类别和查询图像提议。精心设计的语言指令提示LLM在上下文中对每个提议
CV论文落地实操指南：鲁棒性、轻量化与少样本的工业级验证
最新发布
love android
06-16 403
计算机视觉正从追求精度上限转向保障真实场景下的稳定性与可用性。鲁棒性指模型在光照突变、传感器噪声和标注偏差下的可靠输出能力；轻量化不再局限于参数剪枝，而是通过动态稀疏计算、算子重构等手段实现FLOPs减半而精度损失可控；少样本学习则聚焦工业质检中每类缺陷仅数十张图像的现实约束，依赖元学习适配器等即插即用结构快速泛化。这些技术共同支撑起边缘部署、低延迟响应与跨域迁移等关键应用场景。本文基于四篇经A100/Jetson/RTX4090三端实测验证的最新工作，深入拆解无监督域自适应中的伪标签噪声抑制与视频时序建模
小样本（少样本）目标检测概述（few-shot object detection）
热门推荐
qq_43799400的博客
04-11 3万+
文章目录一、小样本目标检测简介二、小样本目标检测的方法2.1 基于微调的方法2.2 基于元学习的方法三、小样本目标检测现有的问题四、参考资料 一、小样本目标检测简介 小样本目标检测 FSOD（few-shot object detection)，是解决训练样本少的情况下的目标检测问题。 通过应用较少的标注数据的半监督方法或者利用不完全匹配的标注数据的弱监督方法，利用极少的标注数据学习具有一定泛化能力的模型显得较为重要，这也是小样本学习的所需要解决的问题。 人类视觉可以通过对新事物极少的学习就可以获得永久的记
论文《Few-Shot Object Detection with Model Calibration》的解读
qq_60498436的博客
07-30 1697
少样本目标检测（Few-Shot Object Detection, FSOD）旨在将已知类别的知识转移到未知类别，以检测新类别的目标。然而，以往的研究忽略了转移学习过程中固有的模型偏差问题。这种模型偏差导致了对训练类别的过拟合，并破坏了已学到的可转移知识。本文全面探讨了FSOD模型中的模型偏差问题，并提出了一种简单而有效的方法，通过在三个层次上进行模型校准来解决模型偏差问题：1）骨干网络校准，以保留已学到的先验知识并缓解对基本类别的模型偏差；2）区域建议网络（RPN）校准，以识别新类别的未标记目标；
Few-Shot Object Detection: A Comprehensive Survey
weixin_46831727的博客
09-05 1414
仅使用少量已标注的实例检测新的物体。
【CVPR2024】SNIDA: Unlocking Few-Shot Object Detection with Non-linear Semantic Decoupling Augmentatio
AbiUni（YY熊）
12-12 934
一旦可用的带注释样本很少，基于学习的目标检测性能就会大幅下降。许多小样本目标检测 (FSOD) 方法已被提出来解决此问题，它们采用线性图像级增强。然而，这些手工增强往往存在多样性有限和缺乏语义感知的问题，导致性能不理想。为此，我们提出了一种用于 FSOD 的语义引导非线性实例级数据增强方法 (SNIDA)，通过分离前景和背景分别增加它们的多样性。我们设计了一种语义感知增强策略来将目标与背景分离。具体而言，通过无监督语义分割模块提取实例的掩码。然后通过将实例融合到不同的背景中来提高样本的多样性。
目标检测除了改YOLO没得做了？来看看这些一投一个准的高区idea！
学姐带你玩AI的博客
01-23 980
目标检测作为最热门的研究课题之一，一直是工业界重点研究的对象。这几年，这领域出现了不少检测框架，其中最火爆的当属YOLO系列，它也是我们搞创新的头号选择。不过目前的YOLO已经相当成熟，如果只是单纯改进，涨点讲故事就有点难，不妨多考虑别的方向。比如等等。再讲细一点，拿二维图像领域这个来说，我们可以改进transformer用于目标检测（如针对损失函数进行改进、设计新的目标函数...）、做轻量级目标检测网络（针对网络结构复杂设计轻量化模型）等，这些idea发个1-3区基本不成问题。
探索未来视觉智能： Few-shot Object Detection 研究汇总
gitblog_00072的博客
06-16 578
探索未来视觉智能： Few-shot Object Detection 研究汇总 去发现同类优质开源项目:https://gitcode.com/ 在计算机视觉领域，对象检测是一个核心问题，而在现实世界中，我们经常面临未见过或仅见过少数示例的新类别物体的检测挑战。这就是 Few-shot Object Detection 的研究价值所在——让机器能以较少的训练样本快速学习并识别新类别。本文将为您推...
few shot目标检测survey paper笔记（整体概念）
蓝羽飞鸟的博客
09-12 1501
小样本目标检测相关概念和整体图
CVPR 2023 精选论文学习笔记：Meta-Tuning Loss Functions and Data Augmentation for Few-Shot Object Detection
结构化论文学习和写作
11-26 802
元学习：元学习是小样本学习最常见的理论基础。通过这种训练过程，模型学习如何调整其学习过程以适应新任务，即使它们与它以前见过的任务非常不同。在小样本学习的背景下，元学习算法在各种任务上进行训练，每个任务只有少数示例。这在小样本学习中可以是一个特别重要的步骤，因为损失函数的选择会对模型泛化到新任务的能力产生重大影响。元学习旨在训练模型快速学习新任务，这对于小样本学习至关重要，因为模型需要在有限的训练示例的情况下适应新的目标类别。嵌入学习：嵌入学习是一种学习嵌入的方法，可用于以与训练数据类似的方式表示新示例。
论文翻译《FSCE: Few-Shot Object Detection via Contrastive Proposal Encoding》
薛铁钢的博客
12-23 863
近些年来，人们开始对识别以前从未见过的物体产生兴趣，这种使用很少的样本进行训练的目标检测任务被称为小样本目标检测（FSOD）。最近的研究表明，良好的特征嵌入是获得良好的小样本学习性能的关键。我们观察到，具有不同的IoU分数的目标建议框议类似于对比方法中使用的图像内增强。我们利用这种类比并结合监督对比学习，在FSOD中实现更健壮的目标表示。我们提出了一些通过对比建议编码（FSCE）的小样本目标检测方法，这是一种简单而有效的来学习对比感知的对象建议编码的方法，有助于对检测到的目标进行分类。
目标检测与小样本学习的结合：一种新的尝试，让检测更智能、更高效！
AIzhijie001的博客
12-06 1999
小样本目标检测是一个活跃的研究领域，它通过设计合理的训练方法、模型结构和损失函数，获得具有一定泛化能力的检测模型，实现复杂环境下对小样本目标的有效检测，在数据获取和标注困难的场景下具有重要的价值和意义。数据增强的应用：通过数据增强技术，模型在检测不匹配的文本-图像对时，仅使用大约3%的数据就能达到80%的准确率，相当于使用全尺寸数据训练的原始模型性能的95%。自监督模型的提出：引入了一个基于对比学习的自监督模型，该模型能够在有限的训练数据下进行有效的特征提取。
Few-Shot Object Detection with Sparse Context Transformers
weixin_48211296的博客
05-16 2254
少样本检测是模式识别中的一项重要任务，旨在使用仅有少量标注数据训练的模型来定位目标。少样本方法的主流之一是迁移学习，其过程是在源域中预训练一个检测模型，然后在目标域中对其进行微调。然而，对于微调后的模型来说，有效识别目标域中的新类别是具有挑战性的，特别是当基础标注训练数据稀少时。在本文中，我们设计了一种新颖的稀疏上下文变换器（SCT），该变换器能够有效利用源域中的目标知识，并且自动从目标域中的少量训练图像中学习稀疏上下文。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值