Learning to learn by gradient descent by gradient descent||元学习||自动学习优化器的设计

最新推荐文章于 2026-01-09 21:26:20 发布
原创 最新推荐文章于 2026-01-09 21:26:20 发布 · 881 阅读 · 3 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
该博客主要是元学习和小样本学习论文总结，收录2017 - 2019年计算机视觉顶会文章。围绕优化问题展开，定义目标函数和常用优化器，构建LSTM优化器并对比其与其他优化器效果。还讲述代码编写中遇到的问题及解决办法，最后进行实验结果分析。
Qwen3-32B-Chat 私有部署镜像 | RTX4090D 24G 显存 CUDA12.4 优化版

本镜像基于 RTX 4090D 24GB 显存 + CUDA 12.4 + 驱动 550.90.07 深度优化，内置完整运行环境与 Qwen3-32B 模型依赖，开箱即用。

 

元学习论文总结||小样本学习论文总结

2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV2018 ICCV2017-2019 ICLR2017-2019 NIPS2017-2019

 

参考：Learning to learn by gradient descent by gradient descent - PyTorch实践

原始链接

而针对一个特定的优化问题，也许一个特定的优化器能够更好的优化它，我们是否可以不根据人工设计，而是让优化器本身根据模型与数据，自适应地调节，这就涉及到了meta-learning。

 

下载地址与参考

下载代码: learning_to_learn_by_pytorch.py

Github地址

参考：
1.Learning to learn by gradient descent by gradient descent
2. Learning to learn in Tensorflow by DeepMind
3.learning-to-learn-by-gradient-descent-by-gradient-descent-4da2273d64f2

目录

 

您可能感兴趣的与本文相关的镜像

Qwen3-32B-Chat 私有部署镜像 | RTX4090D 24G 显存 CUDA12.4 优化版

Qwen3-32B-Chat 私有部署镜像 | RTX4090D 24G 显存 CUDA12.4 优化版

Qwen
文本生成
Qwen3

本镜像基于 RTX 4090D 24GB 显存 + CUDA 12.4 + 驱动 550.90.07 深度优化，内置完整运行环境与 Qwen3-32B 模型依赖，开箱即用。

Learning to learn by gradient descent by gradient descent
m0_62673638的博客
02-23 508
1. 网络本身的参数就很多，论文也考虑到了这一点，论文的做法是coordinate-wise也就是每一个参数单独执行图2的处理进行优化，但是所有的参数共享一个网络，利用的是相同的LSTM网络权重/参数，但是每个参数都是独立的中间状态。3.实际上这篇论文是2018的NIPS的，但是大部分用的还是传统的方法，一方面是传统的方法本身已经比较好了，而且本身更加稳定，但是这个论文提出的方法还是感觉不稳定，而且很大的一个问题是带来的计算量很大，我觉得是回报相对于成本来说不是很值得吧。参数：如下图1，介绍下参数，
Learning to learn by gradient descent by gradient descent - PyTorch实践
热门推荐
senius的博客
11-25 1万+
原创博文，转载请注明来源（csdn or blog） 引言 Learning to learn，即学会学习，是每个人都具备的能力，具体指的是一种在学习的过程中去反思自己的学习行为来进一步提升学习能力的能力。这在日常生活中其实很常见，比如在通过一本书来学习某个陌生专业的领域知识时（如《机器学习》），面对大量的专业术语与陌生的公式符号，初学者很容易看不下去，而比较好的方法就是先浏览目录，掌握一些简...
Learning to learn by gradient descent by gradient descent 笔记
alva_bobo的博客
11-16 2632
转载地址：https://zhuanlan.zhihu.com/p/21362413 什么意思呢？就是用梯度下降的方法学会了梯度下降的学习方法。 用一个神经网络来调控另一个神经网络！ 怎么做？如上图，一个是神经网络优化器，一个是被优化的神经网络，也就是我们平时都用的神经网络。这里我们把数据输入到被优化的神经网络中，然后输出误差，把误差信号传给神经网络优化器，这个优化器就自己计算输出参
LSTM用于元学习-"Learning to learn by gradient descent by gradient descent"-笔记详解
migue_math
12-03 4179
Andrychowicz, Marcin, et al. “Learning to learn by gradient descent by gradient descent.” Advances in neural information processing systems. 2016. 文章目录1 简介2 如何对optimizee进行参数更新？3 如何对optimizer进行参数更新？4 实...
【论文阅读】Learning to learn by gradient descent by gradient descent-通过梯度下降学习如何学习梯度下降
qq_56483157的博客
11-11 658
本文将优化算法的设计视作一个学习问题，通过LSTM实现的学习算法，使得算法能够自动学习如何利用所关注问题中的结构，其表现优于手工设计的算法，并且有很好的泛化能力。
Learning to Learn without Gradient Descent by Gradient Descent论文解析（黑箱优化问题）
migue_math
03-28 1557
本篇论文属于元学习和黑箱函数优化的交叉领域，其中将元学习的思想应用于黑箱函数优化。这篇论文发表于2017年。 对于黑箱函数优化方法我了解的不太多，因此本文的不可避免的会有一些理解不到位的地方。 想要了解贝叶斯优化和高斯过程的，可以看我翻译的两篇文章： 高斯过程是什么? 贝叶斯优化如何工作？ 1 Introduction 发展心理学表明婴儿具有多个针对核心知识的分散的系统，通过这些系统，他们可以...
深度学习【10】利用LSTM学习梯度下降法等优化方法：Learning to learn by gradient descent by gradient descent
DCD_LIN的博客
07-04 9998
Meta-RL之Learning to Learn by gd by gd
Ton的博客
09-21 1073
这篇文章由DeepMind发表于2016年，比MAML的发表要早一些。2001年发表了一篇Learning to Learn Using Gradient Descent，这篇是其进一步的改进与优化。论文标题中就可以看出文章的目的：针对不同的需要用到梯度下降优化的模型，用梯度下降来优化的元学习算法去学习一种对应的梯度下降算法。可能听起来有点难以理解，但看过MAML这篇论文的，就可以把它和MAML放一起看，只不过MAML是通过元学习算法去学习初始化参数，而这篇使用元学习算法去学习一种优化算法。 参考列表： ①
Meta-RL之Learning to Learn Using Gradient Descent
Ton的博客
09-14 874
Meta-RL是将Meta-Learning结合在强化学习上的学习算法。Meta-RL旨在训练出一个可以泛化到新的task上的学习算法FFF。给定一个新的环境，或者说一个新的MDPMDPMDP，FFF只要在新环境中采样少量样本进行微调，即可快速适应得到最优策略fπ∗f_\pi^*fπ∗​。而fπ∗f_\pi^*fπ∗​就是我们之前用标准RL算法一直在做的一件事。这里以监督学习为例(将分类模型替换成RL中的策略模型πθ\pi_\thetaπθ​就是Meta-RL在做的事)，来理解Meta-RL： Meta-R
第八章 集成学习
专注于人工智能学习，总结
10-06 1438
弱分类器(weak learner)指那些分类准确率只稍微好于随机猜测的分类器(error rate < 0.5)，常见的弱学习器包括决策树、朴素贝叶斯分类器、支持向量机等**预测准确率较低：**弱学习器的预测结果可能比随机猜测稍好一些，但通常不能达到高准确率**可用于组合：**虽然单个弱学习器的预测能力有限，但可以通过组合多个弱学习器来提高整体预测准确率**训练速度较快：**弱学习器通常具有较简单的结构和较少的参数，因此训练速度较快强学习器（Strong Learner）是指在机器学习中，具有。
HyperGBM之元学习器(meta_learner)
ziqian的博客
09-14 2649
HyperGBM学习笔记之元学习器 文章目录HyperGBM学习笔记之元学习器一、什么是元学习器？二、使用步骤1.引入库2.读入数据总结 一、什么是元学习器？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import warnin
因果推断（三）：causalml的使用（1）_元学习器的使用
Y1n的博客
04-16 3079
元学习器是利用一些现成的机器学习方法来进行因果推断的方法。也是相对来说最简单的进行因果推断的模型，在econml和causalml都有实现，调用也相对比较方便。
深度学习应用篇-元学习[14]：基于优化的元学习-MAML模型、LEO模型、Reptile模型
丨汀、的博客
06-14 2867
【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等 专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等本专栏主要方便入门同学快速掌握相关知识。后续会持续把深度学习涉及知识原理分析给大家，让大家在项目实操的同时也能知识储备，知其然、知其所以然、知何由以知其所以然。声明：部分项目为网络经典项目方便大家快速学习，后续会不断增添实战环节（比
自动学习—元学习入门
hei653779919的博客
05-13 1301
深度学习—元学习入门 1. 学习过程和元学习引入 1.1. 什么是学习？ 首先，我们来介绍一般模型的“学习”过程，这里我们以一个简单的文本分类作为例子，假设数据集中的文本可以分为好评文本和差评文本。那么，整个模型运行过程如下： 这里，我们不强调前向传播过程，这里我们来看反向传播，在反向传播过程中，由于我们之前设定的误差函数是一个可微函数，也就是说我们可以通过反向传播梯度的方式来对文本分类模型中的参数进行调节，这种调节的目的是为了能够在下一轮前向传播的过程中，能够减小预测结果和真实结果之间的误差。在反向传播
元学习——meta-learning
乘风破浪2014
05-05 4754
前言 称不上多熟悉这个领域，毕竟还没有系统调研。最近读了两篇论文，权当总结。 学习优化器 简介 : 在这种方法中，一个网络（元学习器meta-learner）学习更新另一个网络（学习器learner），以便学习器高效地学习任务。为了更好地优化神经网络，人们对这种方法进行了广泛的研究。元学习器通常是循环网络，以便记住之前是如何校正学习器模型的. 论文：OPTIMIZATION AS A MODEL ...
Python 元学习实用指南：1~5
龙哥盟
04-16 1707
原文：Hands-On Meta Learning with Python 协议：CC BY-NC-SA 4.0 译者：飞龙 本文来自【ApacheCN 深度学习 译文集】，采用译后编辑（MTPE）流程来尽可能提升效率。 不要担心自己的形象，只关心如何实现目标。——《原则》，生活原则 2.3.c 一、元学习导论 元学习是当前人工智能领域最有前途和趋势的研究领域之一。 它被认为是获得广义人工智能（AGI）的垫脚石。 在本章中，我们将了解什么是元学习以及为什么元学习是当前人工智能中最令人振奋的研究。 我们将
元学习：让AI Agent学会如何学习
最新发布
AI架构师小马
01-09 1135
元学习（Meta-learning）是人工智能领域的一个新兴且极具潜力的研究方向。其核心目的是使AI Agent能够从一系列的学习任务中提取通用的学习策略和方法，从而在面对新的、未知的任务时，能够快速、高效地进行学习。传统的机器学习方法通常需要大量的数据来训练模型，而在实际应用中，很多场景下数据是稀缺的，例如医疗诊断中的罕见疾病数据、军事领域的特殊作战场景数据等。元学习的出现为解决这些少样本学习问题提供了有效的途径。
03_集成学习（Ensemble Learning）里的堆叠（Stacking）
oyww710的博客
05-24 5575
集成学习（Ensemble Learning）里的堆叠 堆叠是我们将要学习的第二种集成学习技术。与投票一起，它属于非生成方法类，因为它们都使用经过单独训练的分类器作为基础学习器。元学习是广义的机器学习术语。它具有多种含义，但通常需要将元数据用于特定问题才能解决。它的应用范围从更有效地解决问题到设计全新的学习算法，这是一个正在发展的研究领域。堆叠是元学习的一种形式。主要思想是，我们使用基础学习器来生成问题数据集的元数据，然后使用另一个称为元学习器的学习器来处理元数据。基础学习器被认为是0级学习器，而元学习器被
一切皆是映射：MetaSGD：元学习的优化器调整
东海陈光剑的博客：禅与计算机程序设计艺术
09-17 979
一切皆是映射：Meta-SGD：元学习的优化器调整 1. 背景介绍 1.1 问题的由来 在深度学习的发展历程中,模型的优化一直是一个关键的挑战。传统的优化算法如随机梯度下降(SGD)虽然简单有效,但在处理复杂任务时往往需要耗费
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值