深度学习笔记5：Softmax 回归 + 损失函数 + 图片分类数据集

最新推荐文章于 2026-05-03 21:01:05 发布
原创 最新推荐文章于 2026-05-03 21:01:05 发布 · 1.5k 阅读 · 6
标签
#深度学习 #回归 #分类
本文介绍了softmax回归在多类分类中的应用，从回归转换到分类，探讨了不同的损失函数，如均方损失、无校验比例和校验比例，以及softmax和交叉熵损失。通过实例展示了如何在Fashion-MNIST数据集上实现和训练softmax回归模型，最后实现了模型的预测功能。

Softmax 回归

在这里插入图片描述

回归 vs 分类

  • 回归估计一个连续值

  • 分类预测一个离散类别

    在这里插入图片描述

    应用：Kaggle上的分类问题

  • 将人类蛋白质显微镜图片分成28类

    在这里插入图片描述

  • 将恶意软件分成9个类别

    在这里插入图片描述

  • 将恶意的Wikipedia评论分成7类

    在这里插入图片描述

从回归到多类分类

回归

  • 单连续数值输出

  • 自然区间ℝ

  • 跟真实值的区别作为损失

    在这里插入图片描述

分类

  • 通常多个输出

  • 输出i是预测为第i类的置信度（置信度=可信度）

    在这里插入图片描述

从回归到多类分类——均方损失

  • 对类别进行一位有效编码

    在这里插入图片描述

  • 使用均方损失训练

  • 最大值最为预测

    在这里插入图片描述

从回归到多类分类——无校验比例

  • 对类别进行一位有效编码

  • 最大值最为预测

    在这里插入图片描述

  • 需要更置信的识别正确类（大余量）

    在这里插入图片描述

从回归到多类分类——校验比例

  • 输出匹配概率（非负，和为1）

    在这里插入图片描述

  • 概率y和ŷ的区别作为损失

Softmax和交叉熵损失

  • 交叉熵常用来衡量两个概率的区别

    在这里插入图片描述

  • 将它作为损失

    在这里插入图片描述

  • 其梯度是真实概率和预测概率的区别

    在这里插入图片描述

总结

  • Softma回归是一个多类分类模型
  • 使用Softmax操作子得到每个类的预测置信度
  • 使用交叉熵来衡量预测和标号的区别

损失函数

在这里插入图片描述

均方损失函数（L2 Loss）

公式：

在这里插入图片描述

图：

在这里插入图片描述

蓝色：当y=

最低0.47元/天 解锁文章
ReLU,Sigmoid,Tanh,softmax,pipeline【基础知识总结】
zik的博客
11-27 4130
一、ReLU（Rectified Linear Activation Function） 1、优点 2、缺点 3、补充 1.Leaky ReLUs 2.参数化修正线性单元（PReLU） 3.随机纠正线性单元（RReLU） 二、Sigmoid 1、优点 2、缺点 三、Tanh（hyperbolic tangent） 四、Sigmoid 和 Tanh 激活函数的局限性 五、softmax（归一化指数函数） 1、将预测结果转化为非负数 2、各种预测结果概率之和等于1 3、例子 六、pipeline
动手学深度学习之数据增强、模型微调
water19111213的博客
02-25 3673
参考伯禹学习平台《动手学深度学习》课程内容内容撰写的学习笔记 原文链接：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/lesson/6zsAsvcJ58UKvWtKArTqwq 感谢伯禹平台，Datawhale，和鲸，AWS给我们提供的免费学习机会！！ 总的学习感受：伯禹的课程做的很好，课程非常系统，每个较高级别的课程都会有需要掌握的前...
常用图像分类数据集整理（适合深度学习入门与实战）
最新发布
weixin_44906759的博客
05-03 284
常用图像分类数据集整理（适合深度学习入门与实战）
Sigmoid，Softmax，Softmax loss，交叉熵(Cross entropy)，相对熵(relative entropy，KL散度)梳理
梦坠凡尘
01-09 1994
这些概念有点混，借此梳理记录一下。 sigmoid sigmoid函数是常用的二分类函数，函数形式为： 曲线形式如下： Sigmoid 是一个可微的有界函数，在各点均有非负的导数。当 x→∞ 时，S(x)→1；当 x→−∞ 时，S(x)→0。常用于二元分类（Binary Classification）问题，以及神经网络的激活函数（Activation Function）（把线性的输入转换为非线...
softmax线性回归的简洁实现
admin11111111的博客
09-05 1029
1. 读取数据 # 读取并加载数据集，定义load_data_fashion_mnist函数 def load_data_fashion_mnist(batch_size, resize=None): """下载fashion-MNIST数据集，然后将其加载到内存中""" # ToTensor操作 trans = [transforms.ToTensor()] # 因为当前trans里面包含的图片tensor大小是28x28，到后面训练时需要更大一点的数组就用resize
总结5（10.4-10.10）
xyjaixuexi的博客
10-10 726
我们可以通过下标来访问任意⼀个样本: 本周学习了softmax回归，区别去上次学的线性回归，softmax回归其实是一个分类问题，和线性回归不同，softmax回归的输出单元从一个变成了多个，softmax实际是一种运算是使得输出值更适合离散值的预测和训练。 1.softmax回归模型 图1.线性回归神经网络 图2.softmax回归神经网络 softmax回归跟线性回归⼀样将输⼊特征与权重做线性叠加。与线性回归的⼀个主要不同在于， softmax回归的输出值个...
【动手学深度学习】Softmax 回归 + 损失函数 + 图片分类数据集
Ya_nnnG的博客
01-15 4320
【动手学深度学习】Softmax 回归 + 损失函数 + 图片分类数据集（未更完）
李沐09 Softmax函数_损失函数_图片分类数据集——自学笔记
Rrrrrr900的博客
03-26 1268
Softmax回归是一个多类分类模型使用Softmax操作子得到每个类的预测置信度使用交叉熵来衡量预测和标号的区别。
《动手学深度学习》笔记1.5——Softmax 回归→损失函数→图片分类数据集
科研汪小陈的主页：https://chensuzeyu.github.io
09-11 1003
李沐老师：Softmax 虽然叫回归，但解决的是分类问题；线性回归 - 预测连续值（如房屋售价）；Softmax 回归 - 预测类别的概率（如预测图片里是猫还是狗的概率）
动手学深度学习8 Softmax回归+损失函数+图片分类
weixin_42831564的博客
01-26 1487
当预测值和真实值离得比较远的时候，梯度为常数，权重更新不大，会带来很多稳定性的好处【不管多远，梯度以同样的力度向中间扯】。不好的地方，0点处不可导，从-1到+1的剧烈变化，平滑性差，当预测值和真实值靠的近，优化到了末期，这里可能变得不那么稳定。橙色曲线：导数–梯度，在大于0，导数为常数1，小于0，导数-1，在0点不可导，导数在（-1,1）之间瞬间变化。当预测值和真实值差距较小，到了优化末期，梯度会越来越小，保证优化是平滑的，避免出现数值的问题。当预测值和真实值差距较小，绝对值小于等于1的时候，是平方误差。
为了小论文之李沐带你学AI(三)
qq_36309174的博客
11-12 1288
今天来测试softmax分类图片问题 torchvision.transforms是pytorch中的图像预处理包，包含了很多种对图像数据进行变换的函数，这些都是在我们进行图像数据读入步骤中必不可少的. torchvision.transforms.Compose()：将多种变换组合在一起 transforms.ToTensor() 是将一个image格式转换成torch.FloatTensor的数据形式 transforms.Resize(resize)调整图片的风变绿 记录keepdim
pytorch深度学习实战lesson10
weixin_48304306的博客
11-11 2283
softmax回归的原理，简洁实现和从零开始实现，有代码。
动手学深度学习第九节softmax回归中FashionMNIST数据集无法加载的解决方法
Alyui的博客
07-13 713
动手学深度学习第九节softmax回归中FashionMNIST数据集无法加载的解决方法
【深度学习】日常笔记6
努力学习的DS
06-24 1764
在softmax回归中，由于只有输入层和输出层，没有任何隐藏层，因此可以将输出层视为唯一的层，这时候该模型的总层数就是1，符合这种计算方法。增加迭代周期的数量可能会在一定程度上提高模型的训练精度，但是如果迭代周期过多，测试精度可能会出现下降的趋势。神经网络的层数通常指的是包含多少个隐藏层，因为输入层和输出层的存在是确定的。同时每⼀层也与它的下⼀层相连，影响当前层的神经元。softmax回归是一种单层神经网络，这是因为在softmax回归中，只存在一个输出层，而没有隐藏层，所以被称为单层神经网络。
激活函数——Sigmoid、tanh、ReLU、softmax激活函数
Yaki_Duck的博客
07-26 2259
Sigmoid函数的图形是一个S形曲线，也称为逻辑曲线。当输入值 𝑥 非常大时，函数输出趋近于1；当输入值 𝑥 非常小时，函数输出趋近于0。当 𝑥 接近0时，函数的输出约为0.5。给定元素 x ，ReLU函数被定义为该元素与 0 对比中的最大值。在二分类任务时，经常使用sigmoid激活函数。而在处理多分类问题的时候，需要使用softmax函数。它的输出有两条规则。ReLU函数通过将相应的活性值设为0，仅保留正元素并丢弃所有负元素。如下为ReLU函数的曲线图。σ(x) 是Sigmoid函数的输出。
神经网络与深度学习笔记（三）
weixin_51706949的博客
04-19 918
经典网络：以“一个或多个卷积层+一个池化层”作为一个基本单元进行堆叠，在网络尾部使用全连接层，最后以Softmax为分类器，输出结果。残差网络：在普通网络的基础上，将浅层的激活项通过支路直接传向深层，克服深层神经网络中梯度消失的问题，为训练 极深的神经网络提供便利。数据集：常见的数据集包括VOC和COCO；ImageNet较大。
if device is None and isinstance(net, torch.nn.Module):的含义？
温故而知新，可以为师矣。
08-03 742
isinstance(net, torch.nn.Module)：这是一个判断条件，用于检查变量 net 是否是 torch.nn.Module 类的实例。因此，if device is None and isinstance(net, torch.nn.Module) 的含义是，如果设备未指定并且 net 是一个 PyTorch 模型的实例，那么就会执行后续的代码块。这段代码的含义是，如果变量 device 为 None 并且 net 是 torch.nn.Module 的实例，那么执行后续的代码块。
深度学习-Softmax回归+损失函数+图像分类数据集
Einstein·Jun
05-24 1535
回归估计一个连续值分类预测一个离散类别 例如： MNIST：手写数字识别（10类）ImageNet：自然物体分类（1000类） 将人类蛋白质显微镜图片分为28类 将恶意软件分为9个类别 将恶意的Wikipedia评论分成7类 单连续数值输出 自然区间R 跟真实值的区别作为损失 通常多个输出 输出i是预测为第i类的置信度 解释举例说明： softmax回归原理及损失函数-跟李沐老师动手学深度学习对类别进行一位有效编码 使用均方损失训练最大值预测 选取i，使得最大化OiO_iOi​的置信度的值作为预测。其中
【Dive into Deep Learning |第三章 线性神经网络】动手学深度学习（李沐）3.6 softmax回归的从零开始（代码含注释）
weixin_49191101的博客
07-09 939
MNIST数据集 (LeCun et al., 1998) 是图像分类中广泛使用的数据集之一，但作为基准数据集过于简单。我们将使用类似但更复杂的Fashion-MNIST数据集 (Xiao et al., 2017)。通过框架中的内置函数将Fashion-MNIST数据集下载并读取到内存中每个输入图像的高度和宽度均为28像素。
softmax（三）：softmax交叉熵的缺点
weixin_45209433的博客
05-12 1851
还是废话不说，直接上峰神的链接 Softmax理解之Smooth程度控制 softmax交叉熵我们经常使用，但是为啥有的任务，用softmax交叉熵效果很好，有的任务用效果却不怎么样。在实际项目中，分析softmax交叉熵的缺点，才能知道，什么时候有用，失效的怎么去优化。 不要总是当个黑盒子，什么情况下都用，精度上不去的时候，又不知道怎么去优化。 softmax交叉熵为啥会有不管用的时候呢，原因很简单，因为它不是我们真正的目标函数，是目标函数smooth过来的，为了方便求导和计算，那么我们就要和真正的目标函
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值