数学期望、信息量、信息熵、相对熵、交叉熵

最新推荐文章于 2025-07-19 06:40:47 发布
原创 最新推荐文章于 2025-07-19 06:40:47 发布 · 4.9k 阅读 · 10
标签
#信息熵 #机器学习
本文介绍了信息理论中的基本概念，包括数学期望的离散和连续情况，信息量与事件概率的关系，以及信息熵作为信息量期望的定义。接着，解释了相对熵（KL散度）作为衡量概率分布差异的指标，以及交叉熵在信息论中的作用。这些概念是理解数据处理、编码和通信系统的基础。

1、数学期望

数学期望就是总体的均值，或者各项的加权平均。

先看离散的情况，假设X为离散型随机变量，x1，x2，x3，……，xk为随机变量的所有可能取值，p1，p2，p3，……，pk为随机变量相应取值发生的概率，其中p1+p2+p3+……+pk=1。

那么随机变量X的数学期望为：

再看连续的情况，假设X为连续型随机变量，x表示随机变量在实数范围内的联系取值，f(x)为概率密度函数。

那么随机变量X的数学期望为：

2、信息量

一个事件的信息量与这个事件发生的概率是呈负相关的。举个例子：下雨的时候，天上没有太阳，这基本上是一个必然事件，带给我们的信息很少。再举个例子：国足踢进了世界杯，这是个小概率事件，这里面一定有很多曲折的事情，把它搞清楚所需的信息量就越大。

这个很好理解，就拿生活中的例子来说，越大概率事件所涵盖的信息量越小，如：晴天的早上太阳从东边升起，这可以说是一个必然事件，给我们带来的信息几乎为零。如：国足踢进了世界杯，对于这种几乎不可能的小概率事件，人们估计都会想把它搞清楚，想把他们搞清楚需要的信息很多，比如谁踢进的球，他们赛场上表现如何，犯规了吗等等…变量的不确定性越大，把它搞清楚所需要的信息量也就越大，这很容易理解。

下面对信息量下个定义，假设X为随机变量，X取xi的概率为p(xi)，那么xi发生的信息量为

最低0.47元/天 解锁文章
决策树(ID3算法)--分别基于两种语言实现
m0_51260564的博客
03-18 480
决策树（Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。
信息量、信息熵、KL散度、交叉熵以及最大似然估计
S_o_l_o_n的博客
05-30 2862
信息量 信息量最初由香农提出，是通信理论中的一个概念。一个概率事件X的信息量定义如下: I(X) = -log(P(X)), P(X)表示事件X发生的概率。 信息量最初提出来是用来衡量编码一个信号状态需要的比特数（当以2为底数时），在这个信息量定义下，可以得到在一个多信源系统中，为了无损传输，对于多个信源的一次传输的信号的编码所需要的比特数的理论下界。 这是因为，在推导信息量的时候，对于信号的编码方式有三个基本原则，基于这三个基本原则，香农就从数学上直接推导...
面试--交叉熵损失函数及softmax求导
AWhiteDongDong的博客
08-12 625
在介绍交叉熵之前先介绍一些其他的概念。 1、信息量： 用公式-log(p(x))表示信息量的大小，p(x)表示某事件发生的概率，显然信息量与概率成反比 2、信息熵： 信息熵表示信息量的期望，期望的计算方法为：事件发生的概率乘以事件发生的信息量的总和，也就是 I(X) = -p(x)*log(p(x)) 3、相对熵（KL散度）： KL散度用来表示2个分布之间的差异，其公式为：KL = - p(x) * log( p(x) / q(x) ）求和，展开之后就变为了 KL = 交叉熵 - 信息熵 4、作用： 交叉
2020-10-18 三、相对熵（KL散度）
weixin_41366701的博客
10-18 426
本文转自：https://blog.csdn.net/weixinhum/article/details/85064685 我们简单介绍了信息熵的概念，知道了信息熵可以表达数据的信息量大小，是信息处理一个非常重要的概念。 对于离散型随机变量，信息熵公式如下： H ( p ) = H ( X ) = E x ∼ p ( x ) [ − log ⁡ p ( x ) ] = − ∑ i = 1 n p ( x ) log ⁡ p ( x ) H ( p ) = H ( X ) = \mathrm { E }
信息量、信息熵、交叉熵、KL散度以及交叉损失函数的关系与理解
铁血军的小博客
10-20 2721
记事件ppp,在各个状态下xix_ixi​ 的概率为p(xi)p(x_i)p(xi​) 。(假设共n个状态） 1、 信息量：概率越大信息量越小。 −log(p(xi)) -log(p(x_i)) −log(p(xi​)) 2、 信息熵：信息量的期望值： H(p)=∑i=1np(xi)(−log(p(xi))) H(p) = \sum\limits_{i = 1}^n {p({x_i})} ( - log(p({x_i}))) H(p)=i=1∑n​p(xi​)(−log(p(xi​))) 3、 交叉熵：.
熵、交叉熵、KL散度概念
zhuiyuanzhongjia的博客
06-05 775
转自https://blog.csdn.net/u014465639/article/details/71637477一、熵的本质是香农信息量()的期望。现有关于样本集的2个概率分布p和q，其中p为真实分布，q非真实分布。按照真实分布p来衡量识别一个样本的所需要的编码长度的期望(即平均编码长度)为：H(p)=。如果使用错误分布q来表示来自真实分布p的平均编码长度，则应该是：H(p,q)=。因为用q...
交叉熵
weixin_30640291的博客
03-06 67
https://blog.csdn.net/weixinhum/article/details/85065350 假设q(x)是用来拟合p(x)的概率分布，x属于p的样本空间，交叉熵用于衡量q在拟合p的过程中，用于消除不确定性而充分使用的信息量大小（理解为衡量q为了拟合p所付出的努力，另外注意交叉熵定义里的“充分使用”和信息熵定义里的“所需”的区别，“充分使用”不一定能达到全部，“所需”是...
从熵到交叉熵损失函数的理解
Elaine_DWL的博客
07-27 345
文章目录从熵到交叉熵损失函数的理解说在前面熵(Entropy)相对熵(KL散度 Kullback-Leibler Divergence)交叉熵(Cross Entropy)机器学习中交叉熵的应用参考博客 从熵到交叉熵损失函数的理解 说在前面 首先，热力学中的“熵”和我们要说的机器学习中的也就是信息学中的“熵”是不一样的。记得高中化学老说说过，熵越大说明状态越不稳定，气态的熵就大于固态的熵。但是 现...
信息论基本概念(熵、联合熵、条件熵、相对熵、互信息)讲述与推导
MLee的博客
01-17 1万+
熵（Entropy） ​ 熵是随机变量的不确定性的度量。设 X " role="presentation"> X  X \ X\ 是一个离散的随机变量，其取值空间为 X " role="presentation"> X  X \ \mathcal{X}\ ，概率密度函数p(x)=P(X=x),x∈X" role="presentation
信息量、信息熵、信息增益的理解
喜欢企鹅的博客
07-25 1万+
1.信息量 公式由来 当我们知道一件必然会发生的事情发生了，因为反正这件事情会发生，因此可以认为我们没有接收到信息。但是要是–件平时觉得不可能发生的事情发生了，那么我们接收到的信息要大得多。我们对于信息内容的度量就将依赖于概率分布p(x)。因此，我们想要寻找一个函数h(x)，来表示信息的多少且是关于概率分布的单调函数。 而且，h(x)需要满足下面的性质： 1.h(x)>=0,因为h(x)表示的是得到的信息量的多少，应该是个非负数。 2.一个具体事件的信息量应该是随着其发生概率而递减的，事件越容易发生（
信息、信息量、信息熵、互信息、基尼系数、信息增益、KL散度
Mark_Australia的博客
03-29 1629
信息熵等相关概念
期望、信息量、熵、KL散度、交叉熵和交叉熵损失函数
最新发布
大鹏的技术博客
07-19 660
本文系统介绍了信息论与机器学习中的核心概念及其数学表达。首先定义了期望（离散型与连续型随机变量的均值）、信息量（事件意外程度的对数度量）、熵（系统不确定性的期望值）等基础概念。随后重点阐释了KL散度（衡量两个概率分布的差异）与交叉熵（用预测分布编码真实分布所需信息量），并推导了关键关系式：交叉熵=真实熵+KL散度。最后，详细推导了交叉熵损失函数在二分类（Logistic回归）和多分类（Softmax回归）任务中的具体形式，揭示了其通过最小化预测分布与真实分布的差异来优化模型的本质。全文通过数学公式和示例，清
信息量与熵
mjiansun的专栏
07-23 5495
目录 熵和信息的定义 信息量获取的三种手段（本质都是正确的调整每个可能情况的概率） 相关例子 信息的性质 相关例子 概率和熵的不同 无效信息情况 易出现的概念偷换 熵的由来 举例 信息熵普遍形式 至此，我做一个简单的比较 例子，下面所举例子的总前提： 一个选择题，他有四个选项，正确答案是C，但小明在做这道选择题时，完全不知道这道题该怎么做，他选择ABCD选项的概...
香浓信息量，信息熵，交叉熵，相对熵（KL散度），JS散度，条件熵，信息增益，互信息
zz2230633069的博客
03-04 2100
香浓信息量：用于刻画消除随机变量X在x处的不确定性所需的信息量的大小 计算公式：，但是在深度学习中一般使用的是自然对数 其中：如果是连续型随机变量的情况，设p为随机变量X的概率分布，即p(x)为随机变量X在X=x处的概率密度函数值，如果是离散分布，那么p(x)为随机变量X在X=x处的概率值 特点：因为p(x)是0-1的值，所以香浓信息量大小总是大于0比特 信息熵：用于刻画消除随机变量...
信息量与信息熵
一去不复返的通信er
09-07 1906
看了这篇博客，能对信息量与信息熵有一个清晰地理解
ID3算法（含实例）
热门推荐
gyq423的博客
08-27 3万+
主要内容 （1）ID3算法简介 （2）ID3算法节点分裂规则 （3）ID3算法实例 （4）剪枝 ------------------------------------------------------------------------------------------------------------------------- 一、简介 1、信息熵Entropy 其中...
关于信息熵与期望的关系的个人理解
10-09 6645
很多教程喜欢把信息熵和离散随机变量X的期望定义联系在一块，但是想深入专业的人可能觉得并不觉得好理解，我们首先知道信息熵是考虑该随机变量X的所有可能取值，即X的所有的可能取值对应的平均信息量（不确定性）,也就是信息量（不确定性的期望）。公式如下： 但是回想概率论里面的E(X)的公式，，是X取所有值x1,x2....xn的期望。对应信息量的期望还是很难关联起来，首先是信息量并不是xi
机器学习：信息熵理解
sealir的博客
12-24 1994
    如果说概率是对事件确定性的度量、那么信息（包括信息量和信息熵）就是对事物不确定性的度量。信息熵是由香农（C.E.Shannon）在1948年发表的论文《通信的数据理论（A Mathematical Theory of Communication）》中提出的概念。他借用热力学中热熵的概念（热熵是表示分子状态混乱程度的物理量），解决了对信息的量化度量问题，也常用来对不确定性进行度量。 信息量...
熵与信息增益
时光杂货店
10-19 2万+
熵与信息增益在决策树算法中，决定特征优先级时，需要用到熵的概念，先挖个坑1 信息量信息量是用来衡量一个事件的不确定性的；一个事件发生的概率越大，不确定性越小，则它所携带的信息量就越小。假设X是一个离散型随机变量，其取值集合为XX，概率分布函数为p(x)=Pr(X=x),x∈Xp(x)=Pr(X=x),x∈X，我们定义事件X=x0X=x_0的信息量为： I(x0)=−log(p(x0))I(x_0)
（1）信息熵，条件熵，信息增益，信息增益率
xdg15294969271的博客
08-17 3677
介绍信息熵和信息增益之前，先介绍信息增量的概念 文章目录1、信息量2、熵3、条件熵4、信息增益5、参考文献： 1、信息量 定义：信息多少的量度，与事件发生的概率相关。 信息量用III表示， 记事件A发生的概率为p，则事件A的信息量计算公式： IA=−log⁡2(p) I_A = -\log_2(p) IA​=−log2​(p) 例子 :比如说，我们掷骰子，点数为一事件的概率为16\frac{1}{6}61​, 那么该事件的信息量为： IB=−log⁡2(16)=log⁡26≈2.6 I_B = -\lo
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值