强化学习之Q函数的个人理解

最新推荐文章于 2026-04-22 18:26:03 发布
原创 最新推荐文章于 2026-04-22 18:26:03 发布 · 2.5w 阅读 · 48 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#强化学习 #Q函数
本文介绍了强化学习的基本概念，探讨了智能体如何通过与环境互动来学习并优化行为策略。重点讲解了Q函数和V函数，以及如何利用它们进行决策。
该文章已生成可运行项目，

首先了解为什么要用强化学习？强化学习是智能体(Agent)与环境之间一种学习和反馈。就像狗撞在玻璃门上两次，第三次它就不会再去跑到玻璃门了。可以通过强化学习来实现经验的快速积累，并针对实时情况作出动态规划(注意强化学习和无监督学习的区别)其中，用的最广泛的就是Q Learning了。

Q Learning是由Q函数引出来了的，因此先给出Q函数和V函数的定义。

----------------------------------------------------------------------------------------------------------------------------------

以下都是图片，实在是不想在写一遍了，就偷懒了。。。。


V函数称为状态值函数，表示从状态x出发，采用策略缩带来的累积奖赏值。而Q函数称为状态-动作值函数，它比状态值函数多了一步，就是在指定初始状态x时，也指定了第一步动作a，同样Q函数也是表示累积奖赏值。这里都是采用的折扣累积奖赏。下面就来推导下Q函数的公式。先假设状态转移函数P和奖赏函数R是已知的。推导过程如下：





本文章已经生成可运行项目
强化学习之深度Q函数
StepLeave的博客
06-28 1万+
背景：强化学习之深度Q函数
EM算法Q函数推导过程详解
qq_33909788的博客
12-22 2266
在机器学习领域中，EM算法是一种常用的求解隐变量模型参数的方法。在使用EM算法时，我们需要用到一个重要的函数——Q函数，它在求解过程中起着至关重要的作用。然而，很多人在使用EM算法时，并没有深入了解Q函数的推导过程，这也导致了在实践中的一些困惑和误解。因此，本篇文章将详细介绍Q函数的推导过程，以帮助读者更好地理解EM算法的实现原理。
强化学习之Q函数的个人理解之二 ： 从MC到Q Learning
干啥干不行，吃饭第一名
05-24 1771
我想这篇结合着上篇的Q Learning，我大概就能讲清楚Q Learning......太懒了，一下都是我我写笔记的截图......----------------------------------------------------------------------------------------------------------------------------------...
理解状态值函数与动作值函数
最新发布
洪流之源
04-22 380
✅连乘逻辑：概率 × 概率 × 值，层层递进✅物理意义：算出"选动作aaa且得奖励rrr"这一完整路径的贡献✅最终结果：所有路径贡献的加权平均（期望）✅连乘逻辑：概率 × 概率 × 未来价值，层层递进✅物理意义：算出"选动作aaa且转移到s′s's′"这一完整路径的未来价值贡献✅最终结果：所有路径贡献的加权平均（期望未来价值）
【深度强化学习】动作价值函数Q、状态价值函数V
qq_40718185的博客
12-16 6353
动作值函数（Action-Value Function）和状态值函数（State-Value Function）是强化学习中两个关键的价值函数，用于评估智能体的行为和状态。动作值函数关注在给定状态下采取某个具体动作的价值，而状态值函数关注在给定状态下按照某个策略行动的总体价值。动作值函数和状态值函数之间有关系，特别是在策略确定的情况下。这两个函数在强化学习中用于帮助智能体理解和优化其行为策略，以最大化累积回报。当且仅当智能体在状态。
Q-function Q函数 （维基百科）
m0_46626894的博客
06-06 1万+
Qx12π∫x∞exp⁡−u22duQx2π​1​∫x∞​exp−2u2​du因此，Qx1−Q−x1−ΦxQx1−Q−x1−Φx其中Φx\Phi(x)Φx是标准正态高斯分布的累积分布函数。
正态分布，Q函数，误差函数，补误差函数
枇杷树上的博客
07-30 2万+
正态函数（高斯分布） 若随机变量X服从一个位置参数为μ、尺度参数为σ的概率分布，且其概率密度函数为 f(x)=12π−−√σe−(x−μ)22σ2f(x)=12πσe−(x−μ)22σ2f(x)=\frac{1}{\sqrt{2π} \sigma}e^{-\frac{(x- \mu)^{2}}{2 \sigma ^{2}}} 则这个随机变量就称为正态随机变量，正态随机变量服从的分布就称为正...
强化学习（Q-learning）
dzcera的博客
01-22 3万+
强化学习RF简介 强化学习是机器学习中的一种重要类型，一个其中特工通过 执行操作并查看查询查询结果来学习如何在环境中表现行为。 机器学习算法可以分为3种：有监督学习（Supervised Learning）、无监督学习（Unsupervised Learning）和强化学习（Reinforcement Learning），如下图所示： 有监督学习、无监督学习、强化学习具有不同的特点： 有监督学习是有一个label（标记）的，这个label告诉算法什么样的输入对应着什么样的输出，常见的算法是分类、回归等；
深度强化学习研究笔记（2）——Q-learning（Q-learning问题描述，Q-table方法，一个Python小例子）
越野者的博客
03-16 8246
文章目录1. Q-learning2. 1. Q-learning Q-learning是一种典型的基于价值（Value）函数的强化学习方法，其中的Q是一个数值，通常在初始化时有可能被赋予一个任意数值（因问题场景而异），在迭代时刻ttt，我们有状态sts_tst​，此时代理做出动作ata_tat​，然后得到奖励rtr_trt​，从而进入到一个更新的状态st+1s_{t+1}st+1​，从而Q值得到...
python强化学习之Q-learning算法
weixin_45776027的博客
05-31 4812
强化学习是什么？ 简单来说就是通过感知周围环境而行动，以取得最大化收益的一个过程。 其中Q-learning算法的感知状态为离散，无规律。 华丽的分割线--------------------------------------------------------------------------- 一. 组成 首先介绍一下强化学习最重要的几个部分： 智能体(agent)：可以是一个简单的算法，通常输入为state,输出为policy（规则） 状态集(states)： 为智能体的输入 动作集(action
基于值函数的强化学习算法之Q-Learning详解
搏博的专栏
03-03 1442
（1）适用性：Q-Learning是处理离散状态/动作空间的基准算法，适合初学者理解强化学习核心思想。（2）扩展性：通过结合深度学习（DQN）、多步更新（Q(λ)）等技术可扩展至复杂场景。（3）局限：高维连续空间需改用策略梯度（如PPO）或 Actor-Critic方法（如SAC）。
强化学习——Q-Learning算法原理
weixin_44732379的博客
11-12 1万+
强化学习——Q-Learning算法原理
强化学习（二）：Q learning 算法
zhm2229的专栏
08-13 2万+
强化学习（一）：基础知识 强化学习（二）：Q learning算法 Q learning 算法是一种value-based的强化学习算法，Q是quality的缩写，Q函数 Q(state，action)表示在状态state下执行动作action的quality， 也就是能获得的Q value是多少。算法的目标是最大化Q值，通过在状态state下所有可能的动作中选择最好的动作来达到最大化期望re...
【RL Base】强化学习核心算法：深度Q网络（DQN）算法
博主关注人工智能、强化学习、嵌入式等||985高校A+学科研究生、猿龄六年||CSDN博客专家、2024年博客之星TOP33、华为云享专家、人工智能领域优质创作者。
11-28 6887
深度Q网络（DQN）是深度强化学习的核心算法之一，由Google DeepMind在2015年的论文《Playing Atari with Deep Reinforcement Learning》中提出。DQN通过结合深度学习和强化学习，利用神经网络近似Q值函数，在高维、连续状态空间的环境中表现出了强大的能力。
强化学习（Q-Learning，Sarsa）
热门推荐
nakaizura
03-25 6万+
Reinforcement Learning 监督学习–>非监督学习–>强化学习。 监督学习：拥有“标签”可监督算法不断调整模型，得到输入与输出的映射函数。 非监督学习：无“标签”，通过分析数据本身进行建模，发掘底层信息和隐藏结构。 但是1.标签需要花大量的代价进行收集，在有些情况如子任务的组合数特别巨大寻找监督项是不切实际的。2.如何更好的理解数据，学习到具体的映射而不仅仅是数据的底...
正态分布（高斯分布）、Q函数、误差函数、互补误差函数（定义，意义及互相之间的关系）高斯分布的分布概率反解
qq_42194429的博客
06-06 1万+
参考博客：https://www.cnblogs.com/htj10/p/8621771.html概率密度函数的意义：理解概率密度函数 - 知乎 (zhihu.com)若随机变量 服从一个位置参数为、尺度参数为的概率分布，且其概率密度函数为:：是正态分布的位置参数，描述正态分布的集中趋势位置。概率规律为取与邻近的值的概率大，而取离越远的值的概率越小。正态分布以为对称轴，左右完全对称。正态分布的期望、均数、中位数、众数相同，均等于。 位置（形状）参数控制分布函数形状的变化。：是正态分布的尺度参数，描述正态分布
正态分布（高斯分布）、Q函数、误差函数、互补误差函数
thehunters的专栏
04-15 1万+
1.正态分布（高斯分布） 若随机变量XX服从一个位置参数为μμ、尺度参数为σσ的概率分布，且其概率密度函数为 f(x)=12π−−√σe−(x−μ)22σ2f(x)=12πσe−(x−μ)22σ2 则这个随机变量就称为正态随机变量，正态随机变量服从的分布就称为正态分布，记作X∼N(μ,σ2)X∼N(μ,σ2)。 当μ=0,σ=1μ=0,σ=1时，称为标准正态分布。X∼N(0,1)X∼N(0,1) f(x)=12π−−√e−x22f(x)=12πe−x22 如下图是一般...
matlab里面q函数,q函数原理及matlab计算
weixin_35196909的博客
03-16 5079
q函数原理及matlab计算 1 误差函数定义为它的性质如下：2 互补误差函数定义为它具有如下性质：3 Q 函数与误差函数的关系Matlab 中没有 Q 函数，所以此时不能直接使用 Q 函数，解决方法有两种，一种是根据 Q 函数与互补误差函数 erfc 之间的转换关系将 Q 函数写成 erfc 函数(matlab 中有此函数)的形式；另一种就是通过上述两者的关系定义一个函数文件即 Q 函数文件，这...
Q函数
江湖混子
02-18 3965
Q函数 说明 Q函数主要是解决属性之间的**与(&)，或(|)，非(~)**的问题 使用之前依旧是要导入Q函数 from django.db.models import Q 使用示例 使用案例 说明 结果 关系 Book.objects.filter(Q(book_id__lt=3)&Q(book_name__contains=‘国’)) 查询书籍编号小于3...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值