重要性采样Importance Sampling

在强化学习中，策略评估与优化通常依赖数据采样。当直接从目标策略（Target Policy）采样面临高成本、高风险或低效率时（如机器人控制、医疗决策场景），离策略（Off-Policy）学习成为必然选择。重要性采样（Importance Sampling, IS）作为离策略学习的核心工具，允许利用行为策略（Behavior Policy）生成的历史数据，通过权重修正实现对目标策略的价值估计。其核心挑战在于解决分布差异：**如何用旧分布的数据估计新分布的期望？**

重要性采样是一种用于估计难以直接计算的积分或期望的蒙特卡罗方法。它通过从一个容易采样的分布中抽取样本，并根据这些样本在目标分布中的重要性来加权，从而实现对目标分布相关量的估计。

1 重要性采样 假设我们要计算一个函数f(x)的期望值，那我们可以从X的分布p中先采样一些x，然后再把x带到f里面，得到f(x)。 但如果我们没有办法从p这个分布里面采样数据呢？ 我们可以从另外的一个分布q里面采样数据，q可以是任何数据 然后我们对f(x)的期望值做一个如下的修正： 从 q 里面采样x，然后再去计算，再去取期望值 所以就算我们不能从 p 里面去采样数...

采样，顾名思义，就是从特定的概率分布中抽取相应样本点的过程。采样在机器学习中有着非 常重要的应用：它可以将复杂的分布简化为离散的样本点；可以用重采样对样本集进行调整以更好地适应后期的模型学习；可以用于随机模拟以进行复杂模型的 近似求解或推理。另外，采样在数据可视化方面也有很多应用，可以帮助人们快速、直观地了解数据的结构和特性。 对于一些简单的分布，如均匀分布、高斯分布等，很多编程语言里面都有直接的...

详细讲解如何进行重要性采样(Importance Sampling)

重要性采样(Importance Sampling)透彻学习笔记 文章目录重要性采样(Importance Sampling)透彻学习笔记前言：参考主体：on-policy 和 off-policyOn-policy:Off-policy:重要性采样重要性采样后方差的变化-公式推导 前言： 重要性采样，我在众多算法中都看到的一个操作，比如PER，比如PPO。 由于我数学基础实在是太差了，每次看都是迷糊过去，希望下次能看懂，半年前看《深入浅出强化学习》的时候，是理解了的，但是没做笔记，再看的时候就记不起来了…

Importance Sampling(重要性采样)，也是常用估计函数价值在某个概率分布下的期望的一个方法。这篇博文先简要介绍IS，再将其在策略评估中的应用。

<br />重要性采样是非常有意 思的一个方法。我们首先需要明确，这个方法是基于采样的，也就是基于所谓的蒙特卡洛法(Monte Carlo)。蒙特卡洛法，本身是一个利用随机采样对一个目标函数做近似。例如求一个稀奇古怪的形状的面积，如果我们没有一个解析的表达方法，那么怎么做 呢？蒙特卡洛法告诉我们，你只要均匀的在一个包裹了这个形状的范围内随机撒点，并统计点在图形内的个数，那么当你撒的点很多的时候，面积可以近似为=(在 图形内的点的个数/总的点个数)，当你撒的点足够多的时候，这个值就是面积。 这里

摘要这一篇是关于重要性抽样(importance sampling)的介绍, 包括他的背景知识, 相关的数学转换和最后的例子.简介重要性抽样(importance sampling)是一种近似的抽样方法, 他通过一些小的数学上的变化, 使得可以对一些不好抽样的分布进行抽样和估计. 这个会在强化学习中的off-policy的方法中用到, 从一个策略进行抽样, 更新另外一个策略(关于强化学习的内容, ...

1. 介绍 首先，明确的是，本人在这里不会涉及大数定理、蒙特卡洛积分、重要性采样的数学原理和推导，仅仅是做个介绍。重点还是重要性采样和光照积分的结合。 1.1 快速回顾 蒙特卡洛积分 蒙特卡洛积分，并不是指一种名叫蒙特卡洛的积分，而是采用蒙特卡洛法来估计积分。 参考上图，在[a,b][a,b][a,b]的区间内均匀取足够多的点（N很大），来估算上诉曲线下的面积（假如我们无法求解析解）： FN=∫abf(x)dx=b−aN∑i=1Nf(xi) F_N=\int_a^b{f(x)dx}=\frac{b-a}

蒙特卡洛方法（Monte Carlo Simulation）是一种近似推断的方法，通过采样大量粒子的方法来求解期望、均值、面积、积分等问题。蒙特卡洛对某一种分布的采样方法有直接采样、接受拒绝采样与重要性采样三种。

强化学习旨在让智能体在与环境的交互中学习到最优策略，以最大化长期累积奖励。在这个过程中，重要性采样（Importance Sampling）扮演着关键角色，它是一种在概率分布估计和优化中广泛应用的技术，能帮助我们从一个分布中采样，来估计另一个分布的期望，这在强化学习的策略评估和优化中十分重要。

重要性采样是统计学习中一种常用的方法。在强化学习中通常和蒙特卡洛方法结合使用。 重要性采样是，使用另外一种分布来逼近所求分布一种方法。 具体形式是这样的：假设我们在想要求取目标分布PPP下函数f(x)f(x)f(x)的分布，如果可以对PPP采样，采用蒙特卡洛方法，我们可以有如下计算： Ex∼P[f(x)]=∫xP(x)f(x)dx≈1N∑xi∼P,i=1Nf(xi)E_{x\sim P}[f(x)...

重要性采样(Importance Sampling) 在渲染领域，重要性采样这个术语是很常见的，但它究竟是什么呢？我们首先考虑这样的一种情况： 如果场景里有一点P，我们想计算P点的最终颜色，根据全局照明的概念，P点的颜色是由所有投射到P点的所有光线所影响的。但是我们在利用蒙特卡洛积分去计算投射光线的总和会出现一个问题，如上图场景里有两盏灯，当蒙特卡洛采样较少的情况，可能导致灯光方向未...

Importance Sampling (重要性采样) - Ph0en1x的文章 - 知乎 https://zhuanlan.zhihu.com/p/36816898

• 分布改变的补偿：当对多数类进行降采样时，训练集中多数类的概率分布就被人为地改变了。如果直接在这个分布上训练，模型会低估多数类的真实重要性。这时，给降采样后的样本赋予权重（例如，降采样10倍，则权重设为10），正是在补偿这种分布差异。这个权重可以被理解为重要性权重wxpxqxwxpxqx的一种实践，其中pxp(x)px是真实分布，qxq(x)qx是降采样后的分布。

重要性采样（Importance Sampling, IS）是一种用于从一个概率分布估计另一个概率分布的期望的技术。

由此我们引入重要性采样，希望能使得尾端的值能以更大的概率被采样得到，这时候就需要引入一个比原先f(x)更加厚尾的分布g(x)为咱们的建议分布，并且我们要明确知道如何从g(x)抽样。假设我们想计算一个随机变量X的函数h(X)对于密度为f(X)的分布的期望IEfhX∫hxfxdxIEf​hX)]∫hxfxdxIEfhX≈IMC1M∑m1MhXmIEf​hX)]≈IMCM1​m1∑M​。