深度强化学习9——Deep Deterministic Policy Gradient（DDPG）

最新推荐文章于 2026-06-10 12:52:05 发布
原创 最新推荐文章于 2026-06-10 12:52:05 发布 · 4.7k 阅读 · 22
本文深入解析深度确定性策略梯度(DDPG)算法，阐述其如何结合深度学习与确定性策略梯度，解决高维连续动作空间的强化学习问题。DDPG通过引入双网络结构、软更新机制及动作噪声，有效提升策略梯度方法的稳定性和效率。

从名字上看DDPG是由D(Deep)+D(Deterministic)+PG(Policy Gradient)组成，我们在深度强化学习7——策略梯度（Policy Gradient）已经讲过PG，下面我们将要了解确定性策略梯度(Deterministic Policy Gradient，简称DPG)。

Deterministic Policy Gradient（DPG）

为什么需要确定性策略梯度？主要是因为PG有以下缺点：

  1. 即使通过PG学习得到了随机策略之后，在每一步行为时，我们还需要对得到的最优策略概率分布进行采样，才能获得action的具体值，而action通常是高维的向量，比如25维、50维，在高维的action空间的频繁采样，无疑是很耗费计算能力。
  2. 计算梯度需要通过蒙特卡洛采样来进行估算，需要在高维的action空间进行采样，耗费计算能力。

简单来说，对于某一些动作集合来说，它可能是连续值，或者非常高维的离散值，这样动作的空间维度极大。如果我们使用随机策略，即像DQN一样研究它所有的可能动作的概率，并计算各个可能的动作的价值的话，那需要的样本量是非常大才可行的。

所以在2014年，由Deepmind的D.Silver等提出：Deterministic policy gradient algorithms，即作为确定性策略，相同的策略，在同一个状态处，动作是唯一确定的

                                                                                           a_{t}=\mu (s|\theta^{\mu })

在这之前，业界普遍认为，环境模型无关(model-free)的确定性策略是不存在的，而D.Silver等通过严密的数学推导，证明了DPG的存在。我们回顾一下策略梯度，基于Q值的梯度计算公式：

                                                                 

标签
#强化学习 #深度人工智能 #深度强化学习
最低0.47元/天 解锁文章
详解DDPG算法：解决对大量的超参数、随机重启、任务环境敏感问题，完成月球着陆器，双足机器人demo、以及超参数调优教学
丨汀、的博客
07-15 5929
详解DDPG算法：解决对大量的超参数、随机重启、任务环境敏感问题，完成月球着陆器，双足机器人demo、以及超参数调优教学
深度强化学习-DDPG算法原理与代码
weixin_46133643的博客
04-24 8万+
引言 Deep Deterministic Policy Gradient (DDPG)算法是DeepMind团队提出的一种专门用于解决连续控制问题的离线式(off-line)深度强化学习算法，它其实本质上借鉴了Deep Q-Network (DQN)算法里面的一些思想。本文就带领大家了解一下这个算法，论文和代码的链接见下方。 论文：https://arxiv.org/pdf/1509.02971.pdf 代码：https://github.com/indigoLovee/DDPG 喜欢的话请点个s
【车辆】自动驾驶路径规划 DDPG 强化学习matlab代码
最新发布
qq_59747472的博客
06-10 42
在自动驾驶技术的发展中，路径规划是关键环节，它决定了车辆如何安全、高效地从起始点驶向目标点。传统的路径规划方法在面对复杂多变的交通环境时，往往存在局限性。强化学习作为一种强大的机器学习方法，为自动驾驶路径规划提供了新的思路。深度确定性策略梯度（DDPG）算法作为强化学习的重要分支，特别适用于连续动作空间的问题，这与自动驾驶中车辆控制动作（如速度、转向角度等）的连续性相契合。本文将深入探讨基于 DDPG 强化学习的自动驾驶路径规划技术。
DDPG 算法
hezzfew的博客
11-06 1万+
DDPG 算法 1 离散动作 vs. 连续动作 离散动作与连续动作是相对的概念，一个是可数的，一个是不可数的。 在 CartPole 环境中，可以有向左推小车、向右推小车两个动作。在 Frozen Lake 环境中，小乌龟可以有上下左右四个动作。在 Atari 的 Pong 游戏中，游戏有 6 个按键的动作可以输出。 但在实际情况中，经常会遇到连续动作空间的情况，也就是输出的动作是不可数的。比如说推小车力的大小、 选择下一时刻方向盘的转动角度或者四轴飞行器的四个螺旋桨给的电压的大小等等。 对于这些连续
强化学习--DDPG算法
Exception_3212536934的博客
06-20 3万+
近期在课堂上汇报了DDPG这个算法，结合自己的ppt总结一下这个算法。
【强化学习】Deep Deterministic Policy Gradient(DDPG)算法详解
谁最温柔最有派
04-22 8827
1 DDPG简介 DDPG吸收了Actor-Critic让Policy Gradient 单步更新的精华，而且还吸收让计算机学会玩游戏的DQN的精华，合并成了一种新算法，叫做Deep Deterinistic Policy Gradient。那DDPG到底是什么样的算法呢，我们就拆开来分析，我们将DDPG分成’Deep’和’Deterministic Policy Cradient’又能被细分为’Deterministic’和’Policy Gradient’，接下来，我们开始一个一个分析。 1.1 Dee
Deep Reinforcement Learning - 1. DDPG原理和算法
热门推荐
kenneth_yu的博客
11-08 14万+
Deep Reinforcement Learning - 1. DDPG原理和算法 背景描述 DDPG的定义和应用场景 DDPG算法相关基本概念定义 DDPG实现框架和算法 DDPG对于DPG的关键改进 下一篇 以下用RL作为Reinforcement Learning 的简称。背景描述概括来说，RL要解决的问
【深度强化学习】TD3算法：DDPG的进化
chy的博客
08-08 4万+
TD3算法是一个对DDPG优化的版本，即TD3也是一种基于AC架构的面向连续动作空间的DRL算法，主要包括三个非常主要的优化。
DDPG(deep deterministic policy gradient)——连续控制的深度确定性策略梯度
weixin_51602120的博客
02-22 3453
（DDPG）是当前最常用的连续控制方法. ”深度“表明其使用了深度神经网络，”确定性“表明其输出的是确定的动作
[深度强化学习] [3] Deep Deterministic Policy Gradient
GrandpaDZB的博客
01-22 2690
文章目录1 Q-Learning 风格以及基于Bellman function的目标设计 1 Q-Learning 风格以及基于Bellman function的目标设计 之前的两篇博客，VPG和TRPO&PPO都是actor-critic风格算法设计，这一篇的ddpg可以说是用于连续动作空间的dqn，通过学习Q function进一步确定策略，由于对Q function的学习是基于贝尔曼最优，所以学习样本不需要依赖于特定的采样，因此只需要保存历史数据，然后回访经验池，也就是说ddpg是一个off-
深度强化学习第十二章——Deep Deterministic Policy Gradient（DDPG）
weixin_45549370的博客
11-08 1600
深度强化学习第十二章——Deep Deterministic Policy Gradient（DDPG1.Deterministic Policy Gradient(DPG)1.2 为什么要DPG2. Deep Deterministic Policy Gradient(DDPG)2.1 AC算法2.2 DDPG的四个网络3.DDPG 与 DPG 从名字上看DDPG是由D(Deep)+D(Deterministic)+PG(Policy Gradient)组成 1.Deterministic Policy
RL策略梯度方法之(七): Deep Deterministic Policy Gradient(DDPG)
qq_38293297的博客
10-05 2964
本专栏按照 https://lilianweng.github.io/lil-log/2018/04/08/policy-gradient-algorithms.html 顺序进行总结 。 文章目录原理解析算法实现总体流程代码实现 原理解析 算法实现 总体流程 代码实现
强化学习（7）：深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）
zuzhiang的博客
12-22 4843
本文主要讲解有关 DDPG 算法的有关内容。 一、DDPG 算法 DDPG 是 Deep Deterministic Policy Gradient 的缩写，其中深度 （Deep） 代表 DQN；确定性（Deterministic）是指不再先生成各个动作的概率然后再选择概率最高的动作，而是直接输出一个确定性的动作；Policy Gradient 就不用解释了吧。 因为在 Actor-Critic...
深度强化学习（DRL）算法 4 —— Deep Deterministic Policy Gradient (DDPG)
以后要认真写文章
02-21 1105
就像 q-learning 的 td-target 使用的 max 操作使得模型的偏差更大，因为 q 的值被高估了（实际上这也是 double DQN 的改进），高估问题会影响模型的探索性，DDPG 虽然没有 max 操作，但是仍旧有高估问题的可能。lossq 和 lossa 同时更新不合理，下篇文章提出改进DQN 使用的是深度学习版本的 q-learning，我们都知道期望 Sarsa 是比 Q-learning 更稳定的算法，我们也可以从这个角度出发提出改进。），那么就增加了探索性。
Deep Deterministic Policy Gradient（DDPG）算法讲解笔记
comekeywords的博客
04-11 1208
Deep Deterministic Policy Gradient，基于actor-critic模型提出了一个有效的value based连续型空间的RL算法，引入了一些帮助训练稳定的技术。基础：DQN,Batchnormm,Discretize,微积分backgroundDQN改进的推广Policy based方法（TRPO）已经在action space取得突破传统discretize action space无法拓展到高维空间，阻碍了value based在连续型空间发展。
深度强化学习（DRL）算法 5 —— Twin Delayed Deep Deterministic Policy Gradient (TD3)
以后要认真写文章
02-22 1539
是高斯分布，和 Q 没有关系，而且 Q 使用的是确定性策略，实际上针对连续动作空间，采用随机策略，并且随机扰动和 Q 相关，才是更合理的，因为不但增加了探索性，而且探索性和 Q 的大小是相关的，Q 越大随机策略的探索性应该越小。介绍了期望 Sarsa 的方法，是一种比 Sarsa（DDPG 是本质上是 Sarsa）更稳定的方法，因为取了期望，相当于考虑了更多的动作，所以也可以用到 DDPG 里。所以为了减小这种误差，前者是为了经验回放采样数据的时候，获得更多的探索性，所以可以随心所欲的探索。
强化学习--Deep Deterministic Policy Gradient
wangaolong0427的博客
04-24 3179
系列文章目录 强化学习 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、强化学习是什么？二、核心算法(深度强化学习)Deep Deterministic Policy GradientDDPG基于Actor_Critic中改善了啥呢？ 前言 强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特
深度强化学习——DDPG算法复现
weixin_43891208的博客
05-27 3052
深度强化学习——DDPG算法复现 DDPG(Deep Deterministic Policy Gradient)是一种基于策略的深度强化学习算法，于2016年由Timothy P. Lillicrap等人提出，论文：“Timothy P. Lillicrap，Jonathan J. Hunt，and Alexander Pritzel et al, CONTINUOUS CONTROL WITH DEEP REINFORCEMENT LEARNING”提出，能够解决Actor-critic收敛速度慢的问题
[强化学习]一文带你理清从Q-Learning到DDPG(Deep Deterministic Policy Gradient)算法思想
zhangxiaolil的博客
11-05 4469
[强化学习]一文带你理清从Q-Learning到DDPG(Deep Deterministic Policy Gradient)算法思想 强化学习的五大要素： State、Action、Reward、Discount factor （r）、P 转移概率。 Q-Learning思想过程 Q-learning是强化学习中基于价值的算法，是一种off-policy、免模型策略。 Q-Learning就是在环境的某一个时刻的状态(state)下，采取动作集中的一个动作a能够获得收益的期望，环境会根据agent的动
Deep Deterministic Policy Gradient算法解析与Python实现
AI天才研究院
08-18 1405
作者：禅与计算机程序设计艺术 1.简介 近年来，强化学习（Reinforcement Learning）在许多领域取得了巨大的成功，如游戏控制、智能体策略优化等。其中最主要的就是基于深度神经网络的深度强化学习算法。深度强化学习也称为深度Q-learning或者DQN，它是通过构建神经网络模型来学习智能体
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值