【学习】Reptile、梯度下降的LSTM、Siamese Network、原型网络、匹配网络、关系网络

最新推荐文章于 2024-07-24 10:24:34 发布
原创 最新推荐文章于 2024-07-24 10:24:34 发布 · 1.2k 阅读 · 3 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#lstm #学习 #深度学习
文章探讨了多种深度学习模型在处理少样本学习任务上的应用，包括Reptile优化算法，RNN及其变体LSTM，基于度量的学习方法如SiameseNetwork，以及Few/One-shotLearning策略如原型网络和匹配网络。此外，还介绍了关系网络和利用虚拟数据增强学习的方法。

文章目录

Reptile

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

RNN

在这里插入图片描述

LSTM

RNN的变形
在这里插入图片描述
在这里插入图片描述
加入门
在这里插入图片描述
在这里插入图片描述

梯度下降的LSTM

在这里插入图片描述
GD看似像简化的LSTM
在这里插入图片描述
可以让机器自动学习这些zf和zi
在这里插入图片描述
典型的LSTM的c和x是没有关系的，但是GD的LSTM的θ和输入的梯度是有关系的。
在这里插入图片描述
在这里插入图片描述
优点：合理的模型尺寸；在典型的梯度下降中，所有参数使用相同的更新规则；训练和测试模型架构可以不一样。
在这里插入图片描述
参数更新不仅取决于当前梯度，还取决于先前的梯度。
在这里插入图片描述
在这里插入图片描述
加入另一个LSTM，m存储之前的数据
在这里插入图片描述

基于度量的方法

在这里插入图片描述
在这里插入图片描述
学习一个能同时输入训练资料和测试资料，输出结果的网络。

在这里插入图片描述

在这里插入图片描述

Siamese Network

在这里插入图片描述
暹罗网络-直观解释：二元分类问题:“它们是相同的吗？”
在这里插入图片描述
在这里插入图片描述
图片经过cnn之后得到的数据，如果是同一张脸就会很相近，不同就会很远。
auto-encoder会保留图片的所有资料。
我们应该使用什么样的距离？
在这里插入图片描述

N-way Few/One-shot Learning

假如任务是分类问题而不是回答是否的问题。
在这里插入图片描述

原型网络

在这里插入图片描述

匹配网络

s层经过多跳相似记忆网络之后才得到输出
在这里插入图片描述

关系网络

在这里插入图片描述
使用另外的网络计算相似度。

虚拟数据的少量学习

在这里插入图片描述
使用生成器，一张图片经过G生成多张图，然后放到网络里面。
在这里插入图片描述

Train + Test as RNN

在这里插入图片描述

输入embedding和类别的one-hot 向量，训练不了
在这里插入图片描述

Raphael9900
关注
Meta Learning：元学习模型MAML和Reptile详解
捡起一束光的博客
01-16 1万+
元学习常见模型MAML要做的事情是学习一个“好”的初始化参数。以前我们是训练一个模型，然后让这个模型的参数\thetaθ最优，而现在我们训练MAML是希望初始化参数\phi最优，这样就可以实现“快速学习”（使用来自新任务的少量数据就能解决学习任务，而且只需要几步梯度下降就能得到好的泛化效果......
一切皆是映射：利用Reptile算法快速优化神经网络
东海陈光剑的博客：禅与计算机程序设计艺术
06-07 842
一切皆是映射：利用Reptile算法快速优化神经网络 1.背景介绍 在深度学习领域，模型的训练和优化一直是一个重要的研究方向。传统的优化算法如SGD（随机梯度下降）和Adam在处理大规模数据集和复杂模型时，虽然表现出色，但仍然存在一些局限性。近年来，元学习（Meta-Le
一网打尽元学习算法--MAML，Reptile，MetaSGD元学习算法的区别及联系
qlkaicx的博客
04-24 1785
总的来说，不管什么元学习方法，元学习是一种学习如何学习的技术，元学习可以实现对各种任务的快速适应，用较少的样本学习到更好的推理和泛化能力，但实现方式和性能略有差异，应选择适合具体场景的方法。
Reptile原理以及代码详解
qq_41694504的博客
06-20 1万+
论文：2018-On First-Order Meta-Learning Algorithms 算法简介 MAML,FOMAML,reptile这些都是关于fewshot任务中参数初始化的问题，这些算法都是寻找一个模型合理的初始化参数，使模型能够较快的适应小样本数据，在新任务上也能有较好的表现。 MAML在论文中是二阶的，但是作者通过简化，推出了first-order MAML，（FOMAML）,这个算法是一阶的，更方便实施。 reptile也是一个一阶的基于梯度的元学习算法。 伪代码 步骤： 1.初始化
元学习系列（八）：Reptile
jesseyule的博客
01-02 2812
MAML主要就是学习一个网络的初始化参数，这个参数对梯度是敏感的，使得它在针对特定任务进行fine tuning时，只需要少数几次的训练就能达到较好的效果。 一般来说，我们可以用公式表示meta learning： minimize Eτ(Lτ(Uτk(ϕ)))minimize \ E_{\tau}(L_{\tau} (U_{\tau}^k(\phi)))minimize E...
关系网络 Relation Network
ywm_up
12-17 1万+
文章目录比较孪生网络、原型网络和关系网络关系网络 Relation Network实现过程网络结构损失函数训练策略算法推广 —— 推广到 zero-shot创新点算法评价 比较孪生网络、原型网络和关系网络 孪生网络需要计算任意两两样本的匹配程度，而原型网络则进一步改进，提出对样本进行适当的 embedding，然后计算样本每一类的样本中心，称为原型 prototype，通过模型学习出 prototype 的位置，对测试样本计算到每个原型的距离，从而进行分类。 不论是孪生网络还是原型网络，在分析两个样本的时候
小样本学习记录————相似性计算经典网络结构(孪生网络、匹配网络、原型网络、 关系网络)
yunlong_G的博客
12-17 1万+
相似性计算经典网络结构(孪生网络、匹配网络、原型网络、 关系网络)，介绍每一种网络的结构思想，富含小白的自我理解。
匹配网络（Matching Networks）和原型网络（Prototypical Networks）：区别详解
qlkaicx的博客
05-04 2272
在机器学习领域，特别是在处理少样本学习（Few-shot Learning）问题时，匹配网络（Matching Networks）和原型网络（Prototypical Networks）都是非常流行的元学习模型。尽管这两种方法在目标上都是为了通过少量样本实现快速学习，但它们在方法论和实现上有显著的区别。理解这两种网络的主要区别有助于在实际应用中做出更合适的选择，以达到最佳的学习效果。匹配网络是一种基于注意力机制来实现的元学习模型，它通过直接比较支持集中的样本和待分类的目标样本来进行分类。
L型、Π型、T型、多L连接型 匹配网络特性比较
rzchong1988的专栏
07-21 3万+
L型网络为固定Q值匹配网络，匹配的时候要么是固定Q值的高通，或固定Q值得低通； Π型网络、T型网络为比L型网络高Q值的匹配网络， 其匹配的时候Q值一定会高于L型网络，具体高多少可以自行决定；Π型网络、T型网络可以实现为高通，低通，以及带通的类型； 多L连接型匹配网络为低Q值匹配网络，其匹配的时候Q值一定会低于单个的L型网络，它也可以实现为高通，低通，以及带通的类型； 下图为L型网络匹配： 下图为Π型网络匹配，适合匹配两个高阻抗； 下图为Π型网络匹配，适合匹配两个低阻抗： ...
梯度下降 & 神经网络（RNN & LSTM)
the_why_cafe的博客
09-16 1622
梯度：用于更新神经网络的权重值 梯度下降：随着传播推移，梯度逐渐减小，梯度消失时，模型会停止学习。 short-term memory in RNN: 在递归神经网络中较早的层由于梯度太小而停止学习。由于不学习，这些层可以忘记在较长序列中记忆的内容，而保留短期记忆。 ...
使用PyTorch进行小样本学习的图像分类
deephub
10-30 7627
少样本学习是机器学习的一个子领域。它涉及到在只有少数训练样本和监督数据的情况下对新数据进行分类。只需少量的训练样本，我们创建的模型就可以相当好地执行。考虑以下场景:在医疗领域，对于一些不常见的疾病，可能没有足够的x光图像用于训练。对于这样的场景，构建一个小样本学习分类器是完美的解决方案。小样本的变化当我们谈论 FSL 时，我们通常指的是 N-way-K-Shot 分类。N 代表类别数，K 代表每个类中要训练的样本数。所以N-Shot Learning 被视为比所有其他概念更广泛的概念。
8.13 Prototypical Networks 原型网络
炫云云
06-20 2315
文章目录1、前言2、Prototypical Networks2.1、 符号2.2 模型2、3混合密度估计的原型网络2、4重新解释为线性模型2、5 匹配网络的比较2、6设计选择2、7 Zero-Shot Learning参考 8.7 Meta learning元学习全面理解、MAML、Reptile prototypical networks （原型网络） 解决few-shot 分类问题 的元学习方法。 few-shot 分类就是test data 有很多新的类，每个新类的只有少量例子。 原型网络学习一个e
Python 深度学习算法实用指南（六）
最新发布
龙哥盟
07-24 1011
从少量数据点中学习被称为few-shot学习或，其中 k 指定数据集中每个类别中的数据点数量。假设我们正在执行图像分类任务。假设我们有两个类别 - 苹果和橙子 - 我们试图将给定的图像分类为苹果或橙子。当我们的训练集中恰好有一个苹果图像和一个橙子图像时，这被称为 one-shot learning；也就是说，我们仅从每个类别中的一个数据点中学习。如果我们有，比如，11 张苹果图像和 11 张橙子图像，那就称为 11-shot learning。
10.28读书笔记《python元学习：通用人工智能的实现》2章孪生网络&3章原型网络&4章关系网络和匹配网络
weixin_42927835的博客
10-28 562
读书笔记
从零开始自然语言处理
08-07
本课程隶属于自然语言处理(NLP)实战系列。自然语言处理(NLP)是数据科学里的一个分支，它的主要覆盖的内容是：以一种智能与高效的方式，对文本数据进行系统化分析、理解与信息提取的过程。通过使用NLP以及它的组件，我们可以管理非常大块的文本数据，或者执行大量的自动化任务，并且解决各式各样的问题，如自动摘要，机器翻译，命名实体识别，关系提取，情感分析，语音识别，以及主题分割等等。一般情况下一个初级NLP工程师的工资从15万-35万不等，所以掌握NLP技术，对于人工智能学习者来讲是非常关键的一个环节。【超实用课程内容】 课程从自然语言处理的基本概念与基本任务出发，对目前主流的自然语言处理应用进行全面细致的讲解，包括文本分类，文本摘要提取，文本相似度，文本情感分析，文本特征提取等，同时算法方面包括经典算法与深度学习算法的结合，例如LSTM，BiLSTM等，并结合京东电商评论分类、豆瓣电影摘要提取、今日头条舆情挖掘、饿了么情感分析等过个案例，帮助大家熟悉自然语言处理工程师在工作中会接触到的常见应用的实施的基本实施流程，从0-1入门变成自然语言处理研发工程师。 【课程如何观看？】 PC端：https://edu.csdn.net/course/detail/25649 移动端：CSDN 学院APP（注意不是CSDN APP哦）本课程为录播课，课程2年有效观看时长，大家可以抓紧时间学习后一起讨论哦~【学员专享增值服务】 源码开放课件、课程案例代码完全开放给你，你可以根据所学知识，自行修改、优化下载方式：电脑登录https://edu.csdn.net/course/detail/25649，点击右下方课程资料、代码、课件等打包下载通过第二课时下载材料
Siamese+LSTM+Distance(abs)
szn1043862535的博客
06-30 795
孪生网络首先要理解什么是孪生网络模块，我们在词嵌入和编码（LSTM）过程中使用的是相同的参数，比如说我下面的代码中，在编码阶段，对于两个句子的输入，我都使用了相同的LSTM，这也就是Siamese+LSTM。疑问 不过我有个疑问，我在某些文章中看到用LSTM来判断句子相似度，它不是Siamese+LSTM，在文章中对比的两种方法，一种是Siamese+LSTM，还有一种是LSTM。我也不清楚这个单独的LSTM是什么意思，后来我思考了一下，可能是在对两个句子进行编码的时候，使用了两个不同的LSTM结构（我猜是
元学习系列（三）：Relation Network（关系网络）
jesseyule的博客
01-02 2万+
对小样本学习，一开始介绍了孪生网络，它主要输入数据的任意两幅图像，学习计算他们的匹配程度，从而在测试集中计算测试样本和训练样本的哪个样本匹配程度最高。 孪生网络需要计算任意两两样本的匹配程度，而原型网络则进一步改进，提出对样本进行适当的embedding，然后计算样本每一类的样本中心，称为原型prototype，通过模型学习出prototype的位置，对测试样本计算到每个原型的距离，从而进行分类...
小样本学习（few-shot learning）之——原形网络（Prototypical Networks）
热门推荐
m0_38031488的博客
12-27 4万+
Prototypical Networks for Few-shot Learning 摘要：该文提出了一种可以用于few-shot learning的原形网络（prototypical networks）。该网络能识别出在训练过程中从未见过的新的类别，并且对于每个类别只需要很少的样例数据。原形网络将每个类别中的样例数据映射到一个空间当中，并且提取他们的“均值”来表示为该类的原形（prototy...
小样本学习之关系网络：让机器自己学习如何度量
逸乡
04-23 4088
论文：2018-CVPR-《Learning to Compare: Relation Network for Few-Shot Learning》 之前讲过一篇有关度量学习的论文--原型网络。那篇论文中讨论了如何将样本投影到一个嵌入空间中，使得相似样本间的距离较近，他学习的是如何投影这个过程，而样本间的距离度量方法是人为设定的，这样的话那个投影过程也就是基于人为设定的度量方法来学习的了。就像我...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值