几种常用Gradient descent optimization算法详解

最新推荐文章于 2026-03-26 02:50:49 发布
原创 最新推荐文章于 2026-03-26 02:50:49 发布 · 2.4k 阅读 · 3 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文介绍了常用的优化算法，包括带有动量项的梯度下降法(Momentum)、自适应梯度算法(Adagrad)、RMSprop以及结合了AdaGrad和RMSProp优点的Adam算法。文中详细解释了这些算法的工作原理及推荐的参数设置。
Python3.8

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

先看这个 https://mp.weixin.qq.com/s/xm4MuZm-6nKTn2eE3eNOlg

最基本的gradient descent：

1.Momentum

Momentum 是一种有助于在相关方向上加速SGD并抑制振荡的方法。它通过将上步的更新向量添加到当前的更新向量来实现。

 

γ通常是0.9或者类似的值。

2.Adagrad

Adagrad是一种参数自适应学习率算法，对常用的参数采用较小的更新，对不常用的参数采用较大更新。

建议学习速率设置为0.01，并保持不变。

3.RMSprop

建议γ设置为0.9，学习速率设置为0.001。

4.Adam

Adam同时具有AdaGrad 和 RMSProp 算法的优点，它通过计算梯度的一阶矩估计和二阶矩估计为不同的参数设计独立的自适应性学习率。

beta1：一阶矩估计的指数衰减率。

beta2：二阶矩估计的指数衰减率。

epsilon：该参数是非常小的数，其为了防止在实现中除以零。

建议学习速率设置为0.001，β1设置为0.9，β2设置为0.999，ϵ设置为1e-08。

PS:

Adam在实际应用中效果良好，超过了其他的自适应技术。

几种优化算法的γ和ϵ是通用的，可以使用相同的值。

 

Reference:

https://mp.weixin.qq.com/s/xm4MuZm-6nKTn2eE3eNOlg

http://ruder.io/optimizing-gradient-descent/index.html#batchgradientdescent

 

 

您可能感兴趣的与本文相关的镜像

Python3.8

Python3.8

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

大师鲁
关注
Tensorflow 中 tf.train.GradientDescentOptimizer 优化器详解
南淮北安的博客
09-07 1万+
tf.train.GradientDescentOptimizer(learning_rate, use_locking=False,name=’GradientDescent’) learning_rate: A Tensor or a floating point value. 要使用的学习率 use_locking: 要是True的话，就对于更新操作（update operations.）...
TensorFlow优化器GradientDescentOptimizer()函数
qq_42546127的博客
03-12 4764
简介： TensorFlow的optimizer类下的子类，属于优化器。实现的是梯度下降算法。 参数 __init__( learning_rate, use_locking=False, name='GradientDescent' ) GradientDescentOptimizer初始化方法中包含三个参数 name:优化器名字 learning_rate: 学习率，控制参数的更新速度。过大过小都会影响算法的运算时间和结果，过大容易发散，过小运算时间太长。..
tensorflow 中的 gradient 与 optimizer
yichudu
07-12 1982
Optimizer.`minimize`(self, loss, global_step=None, var_list=None, ...) 返回一个 train_op, 运用优化方法求损失函数的极小值. 它其实是以下两个 api(梯度计算与参数更新) 的封装. 当我们想在二者之间做一些自定义操作时, 就可以显式地分开调用
用Python手把手实现NN-Descent算法：从论文伪代码到可运行的K近邻图构建
最新发布
weixin_30505225的博客
03-26 453
本文详细介绍了如何使用Python从零实现NN-Descent算法，构建高效的K近邻图。通过拆解论文伪代码，重点讲解了数据结构设计、相似度计算、局部连接优化等核心实现细节，并提供了完整的代码示例和性能测试结果。该算法将K近邻图构建的时间复杂度从O(n²)降低到接近线性，适用于推荐系统、图像检索等大规模应用场景。
TensorFlow优化器GradientDescentOptimizer
拼命先生的AI之旅
02-12 1万+
类GradientDescentOptimizer 继承自:Optimizer 这是一个实现实现梯度下降算法的优化器类，用于构造一个新的梯度下降优化器实例   构造器方法__init__ __init__( learning_rate, use_locking = False, name = ' GradientDescent ' ) 参数: learnin...
一文看懂常用的梯度下降算法
热门推荐
学习AI算法，请关注微信公众号：机器学习算法全栈工程师……
11-29 10万+
作者：叶    虎 编辑：祝鑫泉 一 概述 梯度下降算法（Gradient Descent Optimization）是神经网络模型训练最常用的优化算法。对于深度学习模型，基本都是采用梯度下降算法来进行优化训练的。梯度下降算法背后的原理：目标函数关于参数的梯度将是目标函数上升最快的方向。对于最小化优化问题，只需要将参数沿着梯度相反的方向前进一个步长，就可以实现目标函数的
An overview of gradient descent optimization algorithms 论文阅读
herosunly的博客
07-26 9060
0. 写在前面的话   学习论文，首先要构建一个知识架构，即大体分为哪几部分。然后再关注Abstraction、Introduction、Conclusion，接着看非数学的部分，最后再去看相关的数学公式。简单总结一下，先构建知识网络，再构建每一部分的具体细节。   本篇文章的主体架构为：   1. Abstraction   2. Introduction   3. Variants   4. ...
An overview of gradient descent optimization algorithms解读
Ce1estial的博客
08-17 1964
文章主要内容： 本文旨在为读者提供不同算法的原理以及效果的直观展示，并希望读者能够在实际问题中更合理地选用梯度下降法。 文章结构： 1. 简介：梯度下降法 2. 随机梯度下降法 3. 随机梯度下降的问题与挑战 4. 随机梯度下降的优化算法（主要内容） 5. 并行与分布式架构 6. 随机梯度下降的其他优化方法 正文 1 梯度下降法 如果 J(θ)J(\theta)
An overview of gradient descent optimization algorithms
liuheng0111的博客
10-28 540
前言 这里讨论的优化问题指的是，给定目标函数f(x)，我们需要找到一组参数x，使得f(x)的值最小。 本文以下内容假设读者已经了解机器学习基本知识，和梯度下降的原理。 SGD SGD指stochastic gradient descent，即随机梯度下降。是梯度下降的batch版本。 对于训练数据集，我们首先将其分成n个batch，每个batch包含m个样本。我们每次
Optimization including Convex Optimization and Gradient Descent
RokoのBasilisk‘s Blog
02-20 363
1. 深度学习中的优化问题和凸性介绍 2. 介绍梯度下降、随机梯度下降和小批量梯度下降的原理及实现
tf常见的优化器（Optimizer）汇总
Bubbliiiing的学习小课堂
07-18 1万+
tf.train常见的Optimizer汇总及其参数解释tf.train常见的Optimizer例子numpy.random.rand(d0, d1, ..., dn):numpy.random.randn(d0, d1, ..., dn):numpy.random.randint(low, high=None, size=None, dtype='I'):numpy.random.uniform...
详解GCN、GAT、凸优化、贝叶斯、MCMC、LDA
zandaoguang的博客
06-28 1472
如果你准备发AI方向的论文，或准备从事科研工作或已在企业中担任AI算法岗的工作。那么我真诚的向大家推荐，贪心学院《高阶机器学习研修班》，目前全网上应该找不到类似体系化的课程。课程精选了四大...
TensorFlow 常用优化器：GradientDescent、Momentum、Adam
聚集机器学习、信息安全
05-23 1950
TensorFlow 优化器： GradientDescent Momentum Adam
TensorFlow学习笔记（十三）TensorFLow 常用Optimizer 总结
春华秋实
08-05 2万+
这里主要是各种优化器，以及使用。因为大多数机器学习任务就是最小化损失，在损失定义的情况下，后面的工作就交给优化器啦。 因为深度学习常见的是对于梯度的优化，也就是说，优化器最后其实就是各种对于梯度下降算法的优化。 常用的optimizer类 Ⅰ.class tf.train.Optimizer 优化器（optimizers）类的基类。这个类定义了在训练模型的时候添加一个操作的API
如何选择深度学习优化器
qunnie_yi的博客
06-12 4924
作者：不会停的蜗牛 CSDN AI专栏作家 在很多机器学习和深度学习的应用中，我们发现用的最多的优化器是 Adam，为什么呢？下面是 TensorFlow 中的优化器， https://www.tensorflow.org/api_guides/python/train在 keras 中也有 SGD，RMSprop，Adagrad，Adadelta，Adam 等： https://ker...
tf.train.GradientDescentOptimizer().minimize()细致探索
从此做一个俗人
10-17 1万+
1.tf.train.GradientDescentOptimizer().minimize() 其中的minimize可以拆为以下两个步骤： ① 梯度计算 ② 将计算出来的梯度应用到变量的更新中 拆开的好处是，可以对计算的梯度进行限制，防止梯度消失和爆炸 #方法1：拆开为两部分 import tensorflow as tf tf.reset_default_graph() #创建变量 wit...
TF0006、优化器AdamOptimizer和GradientDescentOptimizer
霜剑道人
02-14 1054
本文以MNIST数据集为例，构造输入层为784，输出层为10的简单神经网络，分别使用常用优化器AdamOptimizer和GradientDescentOptimizer，进行对比。 请先将MNIST数据集下载到本地，下载地址链接：https://pan.baidu.com/s/1ZlfUjopsi-ffpxMSPuZi5A 提取码：yte2 1、加载数据集 import tensorfl...
tensorflow + GradientDescentOptimizer 拟合直线
Thomas会写字
02-24 279
import tensorflow as tf import numpy as np import matplotlib.pyplot as plt def LineModel(SrcX, SrcK, SrcB): return tf.matmul(SrcX, SrcK) + SrcB DataNum = 100 SrcX = np.linspace(-1, 1, num=DataNum) SrcX = np.reshape(SrcX, [DataNum, 1]) SrcY = SrcX * .
梯度下降（Gradient Descent）优化算法
冷少
03-08 2236
梯度下降（Gradient Descent）是一种常用的优化算法，常用于机器学习中的参数优化。 梯度下降的基本思想是，沿着函数的梯度（或者说导数）的反方向，以步长为步进量逐渐逼近函数的最小值点。在机器学习中，梯度下降被用来求解最小化损失函数的参数。
机器学习（3）之优化器（梯度下降方法（Gradient Descent））用来调整学习率（learning rate）
桔子皮的博客
06-12 1614
1.Tuning your learning rates 如果每次调的太大，loss变化就很快：调的太小，loss变化的太慢，这样都找不到最小的loss。 Adaptive Learning Rates
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值