【转载】交叉熵（cross entropy）详解

作者：陈迪豪，就职于小米，负责企业深度学习平台搭建，参与过HBase、Docker、OpenStack等开源项目，目前专注于TensorFlow和Kubernetes社区。 原文：TensorFlow四种Cross Entropy算法实现和应用，作者授权CSDN转载。 欢迎技术投稿、约稿、给文章纠错，请发送邮件至heyc@csdn.net 交叉熵介绍交叉熵（Cross Entro...

其中，y_pred表示模型预测的概率值，y_true表示真实的类别标签。其中，N表示batchsize的大小，M表示类别的个数。1-1--二元交叉熵。1-2--多元交叉熵。

深度学习六 —— 手撕MSE Loss& CE Loss

理想情况下，模型应该把很高的概率分配给“猫”，而不是“狗”或“鸟”。如果说分类模型的输出回答的是“各个类别分别有多大可能”，那么交叉熵回答的就是“这种概率分配离理想状态还有多远”。如果真实类别是“猫”，但模型却把 0.99 的概率给了“狗”，这说明模型不仅错了，而且错得非常自信。交叉熵会对后者施加更强惩罚。这是它的重要优点，但同时也意味着：如果模型概率输出很不稳定，交叉熵可能会对少数非常差的预测特别敏感。这也是为什么在分类任务中，尤其是在神经网络分类中，交叉熵会比简单的“对错计数”更适合作为训练目标。

由于优化需要，本来打算重写一次交叉熵，支持更灵活的操作；结果发现torch里实现的函数已经够我用了，但是既然有了这个想法，那就还是自己敲一遍吧。（祖师爷の凝视）

在语义分割领域，我们会常常遇到类别不平衡的问题。比如要分割的目标（前景）可能只占图像的一小部分，因此负样本的比重很大，导致网络倾向于将所有样本判断为负样本。本文介绍了在数据不平衡时常用的一些损失函数。 类别不平衡会出现什么问题呢？假设我们需要训练一个分类器来对黄豆和绿豆分类，用100颗豆子训练分类器，其中99颗黄豆、1颗绿豆，那么分类器会倾向于把所有豆子都分类为黄豆，因为这么做就可以达到99%的准确率。但是我们不希望分类器这么做，所以需要一些方法来提升分类器的性能。 一、Weighted Cross E

cross entropy 交叉熵的概念网上一大堆了，具体问度娘，这里主要介绍深度学习中，使用交叉熵作为类别分类。 1、二元交叉熵 binary_cross_entropy 　　　我们通常见的交叉熵是二元交叉熵，因为在二分类中的交叉熵可以比较方便画出图像来，如下图，为“二元交叉熵”， 当我们的label标注结果0时，如下图右侧曲线，当预测结果为1时，返回的loss 无穷大，反之，...

觉得介绍的很不错，好东西推荐给大家 转载至CSDN上一篇文章https://blog.csdn.net/rtygbwwwerr/article/details/50778098 交叉熵（Cross-Entropy） 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。 1.什么是信息量？ 假设XX是一个离散型随机变量，其取值集合为XX，概率分布函数为p(x)=Pr(X=x),x∈Xp(x)=Pr(X=x),x∈X，我们定义事件X=x0X=x0的信息量为： I(...

算法面试准备 - 手撕系列第二期 - 交叉熵损失(Cross Entropy Loss)

Ohem CE Loss（定义、步骤流程、代码实现、OHEM、CE、OHEMCE、OHEMCELoss、OHEMLoss）

交叉熵代价函数 为什么要引入交叉熵代价函数 首先我们先来看一个小例子，它的功能是将输入的数字进行取反然后输出，例如输入1需要输出0，在设置www和bbb的初始值时，我们设置了两种不同的取值，在第一个模型中，我们取的参数值为w=0.6,b=0.9w=0.6,b=0.9w=0.6,b=0.9，在第二个模型中，我们取的参数值为w=2,b=2w=2,b=2w=2,b=2，其具体的训练过程可以参照这里的前两个动画，可以看到对于第二个模型，开始个结束的时候学习速度均很慢，如下图，这种行为看起来和人类学习的行为差异很大，

一般情况下我们都是直接调用Pytorch自带的交叉熵损失函数计算loss，但涉及到魔改以及优化时，我们需要自己动手实现loss function，在这个过程中如果能对交叉熵损失的代码实现有一定的了解会帮助我们写出更优美的代码。其次是标签平滑这个trick通常简单有效，只需要改改损失函数既可带来性能上的提升，通常与交叉熵配合食用。因此，本文基于这两个出发点，介绍基于Pytorch框架下的交叉熵损失实现以及标签平滑的实现。

刚开始学习神经网络解决分类问题时，对交叉熵损失总是理解起来很模糊，不清楚从何而来，为什么用。网上的讲解总是只侧重一个角度，看了还是云里雾里。 我以至今学习和实践经验，梳理一下我的理解。 1.实际实现 数学是对普遍问题的抽象，很多时候我们一开始就看公式会不容易理解。因此我选择先把公式放一放，先直观看一下在深度学习中交叉熵实际上是怎么算的，其实非常简单。 二分类： yyy y^\hat yy^​ 0.6 1 yyy表示网络输出，一般是经sigmoid函数后，值域在0到1之间，表示分类概率，0

尝试理解 cross-entropy 的原理，以及关于它的一些常见问题

目录 1. 交叉熵详解 1.1信息量 1.2 熵 1.3 相对熵（KL散度） 1.4交叉熵 1.5 小结 2. 交叉熵的应用（pytorch中） 2.1交叉熵在分类任务中的计算过程 2.2 log_softmax()函数 2.3nll_loss()函数 2.4cross_entropy()函数 2.5 函数的其他调用方式 1. 交叉熵详解 1.1...

交叉熵（Cross-Entropy） 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。 1.什么是信息量？ 假设XX是一个离散型随机变量，其取值集合为X，概率分布函数为p(x)=Pr(X=x),x∈p(x)=Pr(X=x),x∈X，我们定义事件X=x0X=x0的信息量为：  I(x0)=−log(p(x0))I(x0)=−log(p(x0))，可以理解为...

参考链接1 参考链接2 参考链接3 （一）什么是Sigmoid函数和softmax函数？ 1、提到二分类问题容易想到逻辑回归算法，而逻辑回归算法最关键的步骤就是将线性模型输出的实数域映射到[0, 1]表示概率分布的有效实数空间，其中Sigmoid函数和softmax函数刚好具有这样的功能。 2、Sigmoid函数 当分类结果可以只用一个节点表述时，使用Sigmoid函数： ...

交叉熵损失函数