强化学习的数学原理（1-3）

最新推荐文章于 2026-04-27 15:19:33 发布
原创 最新推荐文章于 2026-04-27 15:19:33 发布 · 1.6k 阅读 · 14
标签
#动态规划 #深度学习

本课程笔记参考（西湖大学智能无人系统实验室-赵世钰）https://www.bilibili.com/video/BV1sd4y167NS/?spm_id_from=333.337.search-card.all.click

文献引用：S. Zhao, “Mathematical Foundations of Reinforcement Learning”, Tsinghua University Press and Springer Nature Press, 2024

课程介绍

一些推荐书籍（不一定适合初学者）
在这里插入图片描述
课程安排：
在这里插入图片描述

第一课 基本概念

概念 英文表示 字母表示
状态 State sis_isi​
状态空间 State Space S={ si}\mathcal{S}=\{s_i\}S={ si​}
行动 Action aia_iai​
行动空间 Action Space A(si)={ ai}\mathcal{A}(s_i)=\{a_i\}A(si​)={ ai​}
状态转移 State Transition s1→a1s2s_1 \stackrel{a_1}{\to} s_2s1​→a1​s2​
状态转移概率 State Transition Probability p(s2∣s1,a1)\mathcal{p}(s_2 |s_1 ,a_1)p(s
最低0.47元/天 解锁文章
强化学习的数学原理：课程梗概与基本概念
qq_53324833的博客
07-01 1414
从上图可以看见，整个强化学习被分为两个板块：一个是基础的工具，一个是基本的算法和方法。基础工具包括：基本的概念、贝尔曼公式、贝尔曼最优公式。算法和方法包括：值迭代、策略迭代、蒙特卡洛方法、时序差分的方法等等。后面章节都是以前面章节的概念和思路为基础的。强化学习的最终目标就是在求解最优策略。State 其实描述的就是 agent 相对于环境的一个状态。在上图的 grid-world 例子中，每一个二维平面上的位置就是一个状态 Si，但这是一个抽象的表示，这里是化繁为简，如果是更复杂的问题，那么 Si 除了位置
强化学习的数学原理-01章 入门篇
xhhgffd的博客
09-14 4736
本文介绍了强化学习的数学原理基础概念以及背景定义，是笔者强化学习专栏中的第一篇文章，再次感谢赵世钰老师的课程。
强化学习的数学原理第五章-MC learning（自用）
2302_79299164的博客
03-29 427
蒙特卡洛方法（Monte Carlo Method）：通过大量随机采样和统计估计来求解数学问题的方法。它的名字来源于摩纳哥的蒙特卡洛赌场——因为这种方法本质上就像在赌场里反复下注，通过观察大量随机结果来估计胜率。抛硬币的例子模型方法：直接计算EX0.5×10.5×−10EX0.5×10.5×−10蒙特卡洛方法：实际抛 10000 次硬币，统计正反面比例，估算期望如果你不知道硬币的物理性质（模型），蒙特卡洛方法是唯一的选择！
【强化学习的数学原理-赵世钰】课程笔记（一）基本概念
热门推荐
qq_64671439的博客
12-30 1万+
在B站上学习强化学习的课程笔记，笔记非常详细清晰，会持续更新
强化学习的数学原理
qq_58105740的博客
10-26 1761
有关强化学习数学原理的一些笔记，基本覆盖强化学习所有算法，记录学习强化学习的那段岁月。
【免费下载】 强化学习的数学原理 - 西湖大学赵世钰老师
gitblog_06610的博客
09-26 3436
强化学习的数学原理 - 西湖大学赵世钰老师 【下载地址】强化学习的数学原理-西湖大学赵世钰老师 强化学习的数学原理 - 西湖大学赵世钰老师 项目地址: https://gitcode.com/Open-source-documen...
《强化学习的数学原理》(2024春)_西湖大学赵世钰 Ch9 策略梯度方法 -9.3.1
weixin_46034116的博客
09-26 1073
之前看了 2 次视频，公式有点多， 还是没整理出来。 这个版本是以下步骤后的版本 基本把相关的核心论文过了一遍，代码整理了部分 PDF 资料 整理 v3 链接 视频 链接 习题 策略梯度方法需要估计值 函数近似： 状态/动作 价值、策略 参数化的策略： π(a∣s,θ)\pi(a|s,\theta)π(a∣s,θ)，其中 θ∈Rm\theta\in{\mathbb R}^mθ∈Rm 是一个参数向量 其它形式： πθ(s,a)\pi_\theta(s,a)πθ​(s,a)， π(a,s
强化学习中KL散度估计器的原理与实践
最新发布
weixin_30292745的博客
04-27 360
KL散度作为衡量概率分布差异的核心指标，在强化学习特别是大语言模型训练中具有关键作用。其数学本质是计算两个分布间的相对熵，常用于策略优化算法的正则化约束。从工程实现角度看，直接计算KL散度面临高维空间求和与采样效率两大挑战，这催生了多种蒙特卡洛估计方法。基础估计器虽无偏但方差大，改进的平方估计器通过非线性变换降低方差但引入偏差，而控制变量估计器则巧妙利用统计相关性实现低方差无偏估计。在RL-for-LLM场景中，这些技术通过PPO/GRPO等算法应用于语言模型微调，有效平衡了训练稳定性与策略更新效率。实验表
KL散度的无偏估计
weixin_60896526的博客
12-30 927
对的，但在 RLHF 的训练实战中，这种情况导致梯度爆炸的概率极低。我们的模型在生成当前的Token时，当Q(x)很小的时候，这个小概率的Token也就几乎不太可能被采样出来。梯度瞬间爆炸，模型训练直接 NaN（Not a Number）崩溃。对某个动作极度自信，Q(x)=0.9，而这个动作参考模型P觉得一般，P(x)=0.0009。这是verl框架中的KL散度的计算函数，我们只关注K3估计的计算，我们会发现这里使用的。时），而 KL 散度理论上是非负的。这里对LLM中的KL散度做一些详细的总结。
KL散度估计器进化史：从蒙特卡洛到GRPO的无偏低方差实践
dropout6artist的博客
02-05 62
本文详细解析了KL散度估计器的技术演进，从传统蒙特卡洛方法到DeepSeek GRPO中的无偏低方差实践。重点介绍了John Schulman提出的k1/k2/k3估计器框架，及其在强化学习和变分推断中的应用，帮助开发者理解无偏性与方差的权衡，提升模型训练效率和稳定性。
【学习笔记】强化学习的数学原理
梦想破三的奔三狗
06-30 1万+
DeepRL
好书推荐｜要懂强化学习就要看《强化学习的数学原理》
audyxiao001的博客
11-22 1034
本推文详细介绍了书籍《强化学习的数学原理》。该书清晰的讲解了强化学习的数学理论，值得一读。
强化学习的数学原理（八） value function Approximation
qq_66608435的博客
04-16 1112
第八章 value function Approximation
强化学习原理python篇04——迭代法
wurobb的博客
01-09 1278
本章全篇参考赵世钰老师的教材 [Mathmatical-Foundation-of-Reinforcement-Learning] ，请各位结合阅读，本合集只专注于数学概念的代码实现。
强化学习的数学原理（七） Temporal-Difference learning
qq_66608435的博客
04-16 1287
第七章 Temporal-Difference learning
强化学习的数学原理（1）
qq_48627750的博客
07-14 1217
强化学习中的基本概念：State、Action、State transition、Policy、Reward、Trajectory and return、Discounted return、Episode；以及Markov decision process框架；贝尔曼公式；最优策略和贝尔曼最优公式
《强化学习的数学原理》(2024春)_西湖大学赵世钰 Ch8 值函数拟合 【基于近似函数的 TD 算法：Sarsa、Q-leaning、DQN】
weixin_46034116的博客
06-30 1289
PPT 截取有用信息。课程网站做习题。
强化学习的数学原理：蒙特卡洛学习
qq_53324833的博客
07-05 1177
实际上将之前 policy iteration 当中基于模型的部分只要替换掉不需要模型的部分，就得到了本节课的蒙特卡洛的算法；另外在本门课当中将 value iteration 和 policy iteration 统称为 model-based reinforcement learning，更准确的说应该称为动态规划的方法。这种方法研究的是比如用数据估计出来一个模型，然后再基于这个模型来进行强化学习。而这节课讲的将是 model-free 的方法。
强化学习的数学原理（五） MonteCarlo learning
qq_66608435的博客
04-16 945
第五章 MonteCarlo learning
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值