【论文详读】Overcoming catastrophic forgetting in neural networks

Overcoming catastrophic forgetting in neural networks0. Continual learning basics1. 主要内容1.0 EWC (elastic weight consolidation)References 本篇博客，主要分析 “Overcoming catastrophic forgetting in neural networks” 一文的主要思想， 来了解连续学习中的参数正则这一类方法。这是来自2016的工作，它将continual l

文章目录主要工作motivationmethod什么是拉普拉斯近似什么是Fisher information 越来越懒，看的文献越来越多，做的总结越来越少，大概要写十几篇总结，寒假不知道写得完不… 主要工作 该文章由deepmind在2016年出品，其将抵抗灾难性遗忘的工作分为三步 1、选择对于旧任务而言，较为重要的权重 2、在第一步的基础上，对权重的重要性做一个排序 3、在学习新任务时，尽量使步...

大家好，我是极智视界，本文解读一下 用弹性蒸馏克服增量目标检测中的灾难性遗忘。

克服神经网络中的灾难性遗忘IntroductionResultsEWC Extends Memory Lifetime for Random PatternsEWC Allows Continual Learning in a Supervised Learning ContextEWC Allows Continual Learning in a Reinforcement Learning ContextDiscussion Introduction 实现人工通用智能要求智能体能够学习和记忆许多不同的

这篇论文的主题是关于神经网络如何克服灾难性遗忘的问题，灾难性遗忘是神经网络在顺序学习任务时的一个限制。论文提出了一种称为弹性权重合并（EWC）的方法，可以使神经网络在学习新任务的同时记住旧任务。EWC会有选择地降低对先前学习任务重要的权重的学习速度，从而防止灾难性遗忘。作者通过在MNIST数据集上解决分类任务和顺序学习Atari 2600游戏的实验来证明EWC的有效性。论文将EWC与其他方法如L2正则化和dropout正则化进行了比较，结果表明EWC在保持旧任务高性能的同时学习新任务方面优于这些方法。

想象你学习了一门新语言（任务 B），但却完全忘记了之前学过的数学（任务 A）—— 这就是灾难性遗忘。神经网络在学习新任务时，会大幅调整权重，导致旧任务性能崩溃。EWC 算法的数学原理基于贝叶斯学习框架和参数约束机制，核心是通过量化权重对旧任务的重要性，在学习新任务时对关键权重施加选择性约束，避免灾难性遗忘。针对多任务场景，EWC 可通过合并多个二次惩罚项实现连续学习。当学习第三个任务时，网络会同时约束参数接近前两个任务的最优值，由于二次惩罚项的和仍是二次惩罚，这种机制能高效扩展到更多任务。通过结合生物突触巩

CVPR2022目标检测论文整理（持续更新）

因此，作者考虑在训练任务B时，找到一组参数，能在B上表现良好，同时令A性能表现与此前接近。受到哺乳动物大脑皮层的连续学习机制启发，学习新任务时，相应树突棘会得到强化并保持，这保证了后续学习其他任务，仍不忘该任务知识。如果和某次任务数据差异小，可以增强损失函数中的lamda（旧任务对新任务的重要性）。在有监督学习任务中，学习新任务能令旧任务性能保持稳定，多任务平均表现随着任务数增加，下降不明显。因此，以下为损失函数表达式：第一项为任务B的损失，第二项则限制参数偏离A的知识。为任务A的最优参数θ*，

本文概览 CNN用于目标检测任务的缺陷——类别遗忘：假设CNN模型A为在一个物体检测训练集1上训练得到的性能较好的检测器，现在有另外一个训练集2，其中物体类别与1不同，使用训练集2在A的基础上进行fine-tune得到模型B，模型B在训练集2中的类别上可以达到比较好的检测结果，但是在训练集1中的类别上检测性能就会大幅度下降； 本文目的：缓解CNN用于目标检测任务的类别遗忘，在训练集1中原始图片不可得

我又来给大家分享PAPER了！！！ 今天给大家分享的这篇论文是NIPS’ 2021的一篇Few-Shot增量学习(FSCIL)文章，这篇文章通过固定backbone和prototype的到一个简单的baseline，发现这个baseline已经可以打败当前IL和IFSL的很多SOTA方法，基于此通过借鉴robust optimize的方法，提出了在base training训练时通过flat local minima来对后面的session进行fine-tune novel classes，解决灾难性遗忘问

本文是关于如何用一种来解决的问题。时间知识图谱是一种动态的知识图谱，它包含了随着时间变化的事实。TKG补全的目的是预测缺失的事实，比如某个实体在某个时间点和另一个实体有什么关系。作者提出了两个主要的想法：（i）一个时间正则化，它鼓励模型利用不重要的参数来学习新的知识，（ii）一个基于聚类的经验回放，它通过选择性地保留一小部分过去的数据来强化过去的知识。作者在几个常用的事件中心的TKG数据集上进行了实验，证明了他们的框架在适应新事件的同时减少了灾难性遗忘。

文章链接：https://arxiv.org/abs/1612.00796。

一个增量学习的17年的老论文的学习笔记

本文是对《Overcoming Catastrophic Forgetting in Graph Neural Networks with Experience Replay》一文的浅显翻译与理解，如有侵权即刻删除。

CVPR2022目标检测文章汇总+创新点简要分析

Incremental Learning of Object Detectors without Catastrophic Forgetting 下载原始code :incremental_detectors 也可从百度网盘下载：链接：https://pan.baidu.com/s/1pY2SwfUjopDPaIkx8Ao1hA 提取码：jn0c 复制这段内容后打开百度网盘手机App，操作更方便...

ACL 2023事件抽取相关(事件抽取、事件关系抽取、事件预测等)论文汇总，后续会更新全部的论文讲解。