Few-Shot Class-Incremental Learning via Relation Knowledge Distillation 閱讀筆記

本文为博客 VIP 文章,开通 VIP 后可阅读全文

开通 VIP

這篇論文來自 2021 AAAI
屬於小樣本增量學習

 

Relation原因

具體而言,IKD 方法僅約束原始網絡的響應與在新任務中學習到的單個示例的響應之間的差異。 結果,對於許多人工智能應用(例如圖像分類和類增量學習)很重要的點之間的相互關係不可避免地被忽略了。

顯然,樣本之間存在大量的相關信息。 例如,貓通常更像狗,而不是汽車。 這種關係可以作為學習順序任務的有用先驗。 因此,它提供了一種更有效的方法,不僅可以約束特徵空間中樣本的位置,還可以約束它們在few shot class incremetnal learning問題中的關係。

構建ERG, examplar挑選

Reason:

However, the randomly-selected exemplars can not well represent data of different classes from the old network in the FSCIL scenarios. 

設定每個class要挑選K個作為examplar

The P(p, q) i

STM32G0/G4无刷电机硬件设计与FOC控制实现 无刷直流电机(BLDC)和永磁同步电机(PMSM)的矢量控制依赖于高精度电流采样、实时SVPWM调制与闭环PI调节等核心技术。其底层实现需兼顾电机本体建模、坐标变换(Clark/Park)、死区补偿及硬件资源约束。STM32G0系列凭借CORDIC协处理器与超低功耗特性,适用于成本敏感型有感FOC应用;而STM32G4集成运放、FMAC滤波器与高级定时器,可支撑高性能无感控制与多源传感融合。该技术广泛应用于机器人关节、智能云台、伺服驱动等场景,是嵌入式电机控制工程师必须掌握的工程化落地能力。 阅读详情

相关推荐

BACnet协议栈基本对象BI、BO、AI、AO、AV以及device和File对象介绍

BACnet协议栈基本对象BI、BO、AI、AO、AV以及device和File对象介绍

shufawangzhang的博客 3906

Few-Shot Class-Incremental Learning via Class-Aware Bilateral Distillation

灾难性遗忘:

weixin_44370695的博客 540

北理C语言上机答案(全).pdf

北理C语言上机答案(全).pdf

Few-Shot Incremental Learning】SAVC in CVPR 2023 个人理解

Learning with Fantasy: Semantic-Aware Virtual Contrastive Constraint for Few-Shot Class-Incremental Learning in CVPR 2023的重心在特征提取上,通过Fantasy Set进行数据增强和采用MoCo的训练策略进行对比学习得到一个强大的特征提取器是主要贡献。

研究兴趣:开放集识别、开放世界识别、新类发现、增量学习、少样本学习 2404

FSCIL论文详解 Few-Shot Class-Incremental Learning, CVPR2020

CVPR2020 论文地址: https://arxiv.org/pdf/2004.10956.pdf CVPR2020 本篇,FSCIL,西交大提出的。将NG网络运用到增量学习之中。 ECCV2020,TPCIL,也是西交大的同一个人发的,Topology Preserving Class-Incremental learning,同样的框架,即CNN+拓扑结构,部分内容换了一个写法。 CVPR2021与本篇非常类似,Few-Shot Incremental Learning with Cont

祥瑞的技术博客 7499

每日学术速递2.6

标题:神经崩溃启发下的特征分类器排列,用于小样本的分类增量学习作者:Yibo Yang, Haobo Yuan, Xiangtai Li, Zhouchen Lin, Philip Torr, DaCheng Tao 文章链接:https://openreview.net/forum?id=y5W8tpojhtJ项目代码:https://github.com/NeuralCollapseApplications/FSCIL摘要: 小样本的类增量学习(FSCIL)一直是一个具有挑战性的问题,因为

与君共勉,一起学习 1941

[arxiv 2020] Few-Shot Class-Incremental Learning via Feature Space Composition

小样本类别增量学习——组合嵌入空间

一亩高粱 1780

AAAI 2021 | 图蒸馏与小样本增量学习的碰撞

©作者 |洪晓鹏单位 |西安交通大学研究方向|增量学习、视频监控等本文首次将图蒸馏技术应用到小样本深度类增量学习问题,提出了基于图关系知识蒸馏的知识抽取和表示的解决方案,已被 AA...

Paper weekly 1851

一文读懂小样本类增量学习(Few-shot Class Increnmental Learning)

本人对小样本类增量学习的一些浅薄认知

qq_63905452的博客 9926

论文阅读笔记Few-Shot Class-Incremental Learning

核心思想   本文提出一种用于解决小样本类别增量学习(few-shot class-incremental learning, FSCIL)的算法(TOPIC)。首先解释一下什么是小样本类别增量学习,模型首先在一个大规模的基础数据集D(1)D^{(1)}D(1)上进行训练,然后会不断增加新的数据集D(t),t>1D^{(t)}, t>1D(t),t>1,且数据集中的类别与基础数据集中的不同,样本数量也较少,在学习新的样本过程中,还不能忘记之前学习过的样本。这一过程面临两个难题:灾难性遗忘和

深视 9159

类增量学习(Class-Incremental Learning)领域部分经典论文汇总

2022.03.08 正在逐步完善补充中 只简单找了一小部分 CVPR [link] [code] [iCaRL] [17] iCaRL: Incremental Classifier and Representation Learning [link] [code] [BiC] [19] Large Scale Incremental Learning [link] [code] [LUCIR] [19] Learning a Unified Classifier Incremental

xiongxyowo的博客 5360

【读点论文】Few Shot CIL via Class-Aware Bilateral Distillation利用双边分支和类感知权重平衡新旧类学习,结合EMA和微调策略缓解灾难性遗忘,无需元训练

类感知双边蒸馏是论文的核心创新点,其代码实现围绕 “双教师指导 + 类感知权重 + 分支融合” 三大支柱展开。我们从两个互补的老师那里汲取知识。一种是基于来自基类的丰富数据训练的模型,该模型携带丰富的一般知识,可用于缓解当前新颖类的过度拟合。另一个是来自上一次增量会话的更新模型,它包含先前新类别的改编知识,用于减轻它们的遗忘。为了组合这些指导,引入了一种基于类别语义相似度的自适应策略。此外,为了在容纳新概念时更好地保留基类知识,我们采用了具有基于注意力的聚合模块的两分支网络来动态合并来自两个互补分支的预测。

白水空空 1340

Few-Shot Class-Incremental Learning from anOpen-Set Perspective论文笔记

一个Few-Shot Class-Incremental Learning (FSCIL)模型,需要在所有类上表现良好,无论它们的表示顺序如何或是否缺乏数据。它还需要对需要对较少的数据 (one-shot scenario) 具有鲁棒性,并且容易适应该领域出现的新任务目前的SOTA方法仅使用class-wise average accuracy类平均精度来评价模型的性能,无法评估是否由于类不平衡和数据不平衡存在prediction bias预测偏差;

weixin_47269893的博客 1113

AAAI2024论文合集解读|M2SD Multiple Mixing Self-Distillation for Few-Shot Class-Incremental Learning

本文提出了一种新颖的方法,称为多混合自蒸馏(M2SD),旨在解决少样本类增量学习(FSCIL)中的挑战。FSCIL的目标是在有限的实例中识别新类,同时保持对先前学习类的分类能力,而无需重新训练整个模型。M2SD通过引入双分支结构来扩展特征空间,以适应新类,并通过自蒸馏将增强信息传递回基础网络,从而提高分类性能。经过训练后,丢弃双分支结构,仅保留主网络进行新类实例的分类。实验结果表明,M2SD在多个基准数据集上超越了现有的最先进方法,显著提高了分类精度。

paixiaoxin的博客 552

【连续学习之综述】2024年Neural Networks期刊论文:A survey on few-shot class-incremental learning

关于少量样本增量学习(Few-shot Class-Incremental Learning, FSCIL)的综述。FSCIL面临的主要挑战包括灾难性遗忘(Catastrophic Forgetting)和过拟合(Overfitting),这些问题严重影响了模型性能。研究FSCIL有助于克服深度学习模型在数据量和获取时间上的限制,提高机器学习模型的实用性和适应性。从理论角度,将FSCIL领域分为五个子类别,包括传统机器学习方法、基于元学习的方法、基于特征和特征空间的方法、重放方法和动态网络结构方法。定义了

BetterBench的博客 3828

增量学习入门

增量学习(Incremental Learning),亦称为持续学习(Continual Learning)或终身学习(Life-Long Learning),是一种机器学习方法,它允许模型通过对新数据进行持续学习而不是重头训练整个模型。这种方法允许模型不断地学习新的知识,并在不断实际复杂多变的环境变化。

m0_61899108的博客 5031

Learning with Fantasy: Semantic-Aware Virtual Contrastive Constraint for Few-Shot Class-Incremental

Few-shot class-incremental learning (FSCIL) aims at learning to classify new classes continually from limited samples without forgetting the old classes.However, in this work, we find that the CE loss is not ideal for the base session training as it suffer

weixin_44370695的博客 399

FEW-SHOT CLASS INCREMENTAL LEARNING

在第t个session的时候优化。

weixin_44370695的博客 360

论文分享➲ ACL22:Few-Shot Class-Incremental Learning for Named Entity Recognition | 命名实体识别中的少样本类增量学习

少样本类增量NER?少样本“累”增量NER!

weixin_46161119的博客 1424

Incremental Learning论文阅读(3)

incremental learning论文阅读

qq_50796141的博客 1683

持续学习+元学习+无监督学习文章调研(三)

持续学习+元学习文章调研(三)文章Continual Unsupervised Representation Learning,NIPS2019任务定义损失函数与模型结构实验结果&讨论Few-Shot Class-Incremental Learning, CVPR2020任务定义使用Neural Gas表示知识信息AFEC: Active Forgetting of Negative Transfer in Continual Learning, NIPS 2021数学与公式推导实验&评估

weixin_42939529的博客 1559
lcchu
博客等级 码龄5年 0粉丝 · 1原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值