【深度学习课程笔记】（三）卷积神经网络

最新推荐文章于 2025-05-26 16:15:18 发布
原创 最新推荐文章于 2025-05-26 16:15:18 发布 · 911 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文深入探讨了卷积神经网络（CNN）与传统神经网络的区别，介绍了CNN的基本组成结构，如卷积、padding、池化和全连接层。详细阐述了特征图大小计算和深度/通道的概念，并探讨了AlexNet、VGG、GoogleNet等典型CNN结构。此外，还讨论了DropOut、数据增强等技术在防止过拟合和提高模型泛化能力上的作用。最后，通过TensorFlow-CNN的代码实战展示了CNN的应用。

目录

传统神经网络vs卷积神经网络

损失函数  softmax  onehot

为什么需要卷积神经网络

基本组成结构

卷积

padding

特征图大小计算

depth/channel

池化

全连接

小结

卷积神经网络典型结构

AlexNet

DropOut

数据增强

ZFNET

VGG

GoolgeNet

inception 模块

ResNet

代码实战

TensorFlow-CNN

总结

 

传统神经网络vs卷积神经网络

损失函数  softmax  onehot

 

为什么需要卷积神经网络

 

基本组成结构

 

卷积

 

 

更贴合实际的例子

这个例子是3个channel ：R G B 对应右边三个矩阵

每个channel 有自己卷积核 然后有两套卷积核 W0  W1

每套卷积核有三个权重矩阵（也可以说是filter）

卷积核下面的是偏置项对应两套卷积核 b0  b1

最右边的则是计算出的两种特征图（对应的三权重矩阵卷积后相加 再加 偏置项）

 

若步长为2

 

步长为3呢

出现大小不匹配

则

padding

特征图大小计算

depth/channel

是和卷积核filter的个数保持一致的 比如上个例子每套卷积核有对应R G B 的三个卷积核filter，最终则计算出3个

 

不同卷积核关注不同东西

 

池化

 

这里的filter指多大的区域内池化

分类倾向于最大值池化

 

全连接

先做 flatten 展平，然后后一个神经元和前一个神经元每一个值都有一个权重连接。

小结

 

卷积神经网络典型结构

AlexNet

 

DropOut

一定程度克服过拟合问题  关闭部分神经元 关闭部分参数

 

数据增强

通道为3（rgb）  卷积参数量 34944    参数量为 0

经过relu 大小不改变

 

先flatten 展平   再和4096个神经元全连接

把4096个神经元映射到一个类别的大小，求损失，优化网络

 

ZFNET

 

VGG

对迁移学习有很大贡献

GoolgeNet

除了分类，没有全连接层， inception 模块

inception 模块

v2通过1*1 的卷积核来降维，减少参数量

v3 把5*5 的卷积核 裂变成 3*3 的卷积核

 

ResNet

带有主体，解决梯度消失       若 F（x）为0 则输出也为0 可以自适应调节网络层数

代码实战

TensorFlow-CNN

注意训练时  train改为true

总结

 

卷积神经网络的深入理解-优化目标（损失函数）篇
hjkdh的博客
01-19 6304
卷积神经网络的深入理解-优化目标（损失函数）篇优化目标-损失函数（持续补充）一、分类任务损失1、0-1损失2、KL散度 & 交叉熵损失（cross entropy loss）& softmax loss(1)信息熵(2)KL散度（相对熵）(3)交叉熵损失（cross entropy loss）那么为什么很多网络模型中使用交叉熵作损失函数呢？(4)Softmax 损失函数(Softmax loss)二、回归任务损失1、L1/L2-loss & Huber loss & smoo
神经网络训练：激活函数与损失函数的选择，一篇干到底！
zyh252609的博客
05-15 1348
激活函数决定神经元怎么响应输入，是“反应力”损失函数决定模型往哪儿学，是“学习目标”激活函数选错，模型没法表达复杂关系损失函数选错，模型学错方向实战中，ReLU + 合适的损失函数是黄金组合。
机器学习-卷积神经网络（CNN）
qq_42538588的博客
08-15 7340
交叉熵损失用于评估预测概率分布与实际标签分布之间的差异。对于一个多分类问题，交叉熵损失 ( L ) 的定义为：( C ) 是类别数。( y_i ) 是实际标签的指示函数。如果样本属于第 ( i ) 类，则 ( y_i = 1 )，否则为 ( 0 )。( \hat{y}_i ) 是模型对第 ( i ) 类的预测概率。均方误差 ( L ) 定义为：( N ) 是样本数量。( y_j ) 是真实值。( \hat{y}_j ) 是预测值。
入门卷积神经网络(四）误差函数（损失函数）
weixin_43789781的博客
10-21 1万+
误差函数（损失函数） 监督学习的神经网络需要一个函数来测度模型的输出值p和真实因变量值y之间的差异，一般这种差异被称为残差或者误差。 但一个模型完美时（虽然不存在），其误差为0.当模型存在问题时，误差不管是负值还是正值，都偏离0.误差离0越近，说明模型越好。 常用的误差函数 均方误差 这里 Y i 表示神经网络的输出，Yi’'表示监督数据，i表示数据的维度。 这种损失函数通常用在实数值连续变量的回归问题上，并且对于残差较大的情况给予更多的权重。 交叉熵损失： log表示以e为底的自然对数，Yk是神经网络
CNN损失函数学习（最全）
weixin_42495721的博客
12-22 1万+
损失函数的学习一、损失函数的概念二、回归损失（Regression Loss）1.L1 Loss2.L2 Loss3.Smooth L1 Loss4.IoU Loss5.GIoU Loss6.DIoU Loss7.CIoU Loss8.F-EIoU Loss8.CDIoU Loss三、分类损失1.Entropy2.Cross Entropy3.K-L Divergence4.Dice Loss5.Focal Loss6.Tversky loss总结导入 一、损失函数的概念 在机器学习中，损失函数是代价函数
神经网络与深度学习课程笔记（三）：卷积神经网络
最新发布
weixin_55175847的博客
05-26 1584
当输入图像尺寸较大（例如 1000×1000）且隐含层节点众多（如 1M 个节点）时，网络参数量可达 1×10¹²数量级，计算速度极慢、难以收敛，同时可能进入局部极小值，也容易产生过拟合问题。：包含 60000 张 32×32 彩色图像，分为 10 个类别，每个类别 6000 张图像，其中 50000 张为训练图像，10000 张为测试图像。：与现代网络相比，LeNet-5 卷积时不填充，池化层采用平均池化，激活函数选用 Sigmoid 或 tanh，网络层数较浅，参数量约为 6 万。
卷积神经网络笔记--吴恩达深度学习课程笔记（三）
WUHU648的博客
08-07 721
卷积神经网络（三） 三.目标检测 3.1 目标定位 对于分类定位问题，通常只有一个较大的物体在图片的中央，我们需要识别该物体的类别并标记物体的位置。而对象检测问题在一张图片中可能会有多个不同类别的对象，我们需要识别各个物体的类别并标记位置。具体如下图： 对于目标定位问题，我们通常要输出该物体的类别以及物体中心点的坐标和宽高。 该目标定位神经网络要输出8个值，分别是图中是否有目标对象（pc）、目标对象的坐标（bx、by）、目标对象的宽和高（bh、bw）和三种类别物体的可能性（c1、c2、c3）。当pc=1
深度学习——卷积神经网络（CNN）简介
热门推荐
johnny_love_1968的博客
06-07 3万+
卷积神经网络简介 文章目录卷积神经网络简介前言一.如何理解卷积1.1什么是卷积1.2 为什么要卷积二.神经网络的结构三.卷积层四.池化层五.全连接层六.数据训练 前言 卷积神经网络（Convolutional Neural Networks，简称：CNN）是深度学习当中一个非常重要的神经网络结构。它更多的是用在图像图片处理，视频处理，音频处理以及自然语言处理等等。 早在上世纪80年代左右，卷积神经网络的概念就已经被提出来了。但其真正的崛起却是在21世纪之后，21世纪之后，随着深度学习理论的不断完善，同时，由
深度学习—卷积神经网络（CNN）全笔记，附代码
weixin_58176527的博客
07-03 2万+
K近邻；神经网络基础，线性函数，损失函数，前向传播； 卷积神经网络，卷积网络与传统网络的区别，卷积层，卷积层涉及参数，池化层，最大池化，特征图的变化；经典网络Alexnet，经典网络—Vgg经典网络—Resnet，感受野； 项目实战—基于CNN构建识别模型一 项目实战—基于CNN构建识别模型二 图像识别实战常用模块解读...
卷积神经网络—激活函数与损失函数
红叶谷 wsp_1138886114的博客
09-21 1万+
LRN全称(Local Response Normalization)。 参数： norm_region： 选择：相邻通道间归一化还是通道内空间区域归一化，默认为ACROSS_CHANNELS，即通道间归一化； local_size：两种表示： 通道间归一化时表示求和的通道数； 通道内归一化时表示求和区间的边长；默认值为5； alpha：缩放因子（详细见后面），默认值为1； beta：...
卷积神经网络(CNN)介绍06-损失函数
lmx_smile的博客
12-02 8984
常见的损失函数和代价函数 分类和回归常用的损失函数如下： 公式见网页或者博客 损失函数修改策略 针对利用Loss修正存在类别不平衡问题的情况，详见本人博客《类别不平衡策略》文章的介绍。 针对利用修改Loss来训练差异性较小的样本，如人脸等。为了同一类的特征更近，不同的类的特征更远，在人脸识别领域已提出多种loss。 文章人脸的各种loss中简...
【机器学习之神经网络】损失函数
bahuanxiang5579的博客
09-26 362
损失函数 但是会出下分数一样的情况，如 该情况突出的问题是，w1偏重于一个像素点，而w2均衡 为了解决这一问题，加入正则化惩罚项 例如，上图的正则惩罚项w2为(1/4)^2 * 4 = 1/4 这会使得虽然分数相同但是w的损失量不同从而更好地衡量w 为了使结果得到概率值而不是分数，用softmax分类器进行归一化，即先算e...
神经网络学说的主要观点,对神经网络的简单理解
shirley67269的博客
08-10 1683
生物神经网络主要是指人脑的神经网络，它是人工神经网络的技术原型。人脑是人类思维的物质基础，思维的功能定位在大脑皮层，后者含有大约1011个神经元，每个神经元又通过神经突触与大约103个其它神经元相连，形成一个高度复杂高度灵活的动态网络。作为一门学科，生物神经网络主要研究人脑神经网络的结构、功能及其工作机制，意在探索人脑思维和智能活动的规律。...
神经网络-损失函数、反向传播与优化器
weixin_48139224的博客
08-13 795
给每一个卷积核的参数设置了一个grad（梯度），当采用反向传播的时候，每一个节点/每一个要更新的参数，他都会求出一个对应的梯度，在优化的过程中根据这个梯度对当中的参数进行一个优化，最终达到一个loss降低的目的。有了各个节点的参数的梯度，接下来就可以选用合适的优化器来对这些参数进行一个优化，以对整个loss达到一个降低的目的。不同的优化器所需要的参数有所差距，一般相似处是params（要传入的模型参数，让优化器知道模型长什么样、需要调节的参数有哪些）、lr（学习速率）把学习率降低，好像真的有好转！
【Python实现卷积神经网络】：神经网络的Loss函数：Softmax+Cross Entropy前向传播原理+python实现代码
Jack_Kuo的博客
07-24 5803
1.交叉熵的作用 通过神经网络解决多分类问题时，最常用的一种方式就是在最后一层设置n个输出节点，无论在浅层神经网络还是在CNN中都是如此，比如，在AlexNet中最后的输出层有1000个节点： 一般情况下，最后一个输出层的节点个数与分类任务的目标数相等。假设最后的节点数为N，那么对于每一个样例，神经网络可以得到一个N维的数组作为输出结果，数组中每一个维度会对应一个类别。在最理想的情况下，...
卷积神经网络—》激活函数和损失函数（个人学习笔记）
Ye030111的博客
04-03 935
其中，sigmoid和tanh函数是S形函数，它们在输入接近0的时候，输出接近于线性变换，但是当输入变得很大或很小时，激活函数的取值就会趋于0或1，导致梯度消失，使神经元无法更新权重，从而影响模型性能。ReLU函数的梯度是常数1，不存在梯度消失的情况，且具有计算速度快的优势，因此在深度学习中广泛应用。在神经网络中，我们通常会把多个神经元通过一定的方式连接起来，形成不同层数的神经网络，每个神经元不仅仅要进行加权求和，还要将其结果经过一个非线性变换，从而引入非线性性质，增加神经网络的表达能力。
卷积神经网络(CNN)基础
A125679880的博客
04-09 3819
在卷积神经网络（CNN）中，softmax损失函数（也称为交叉熵损失函数）是用来衡量模型预测结果与真实标签之间的差异的损失函数。它在分类任务中被广泛使用，尤其是当输出需要解释为概率分布时。定义：Softmax损失函数是结合了Softmax激活函数和交叉熵损失的函数，用于衡量模型预测结果与真实标签之间的差异。作用作为优化目标，引导模型调整参数以最小化损失。适用于多分类任务，输出概率分布便于解释和比较。
卷积神经网络—目标检测回归损失函数
红叶谷 wsp_1138886114的博客
08-05 1737
import numpy as np import matplotlib.pyplot as plt # 目标函数:y=x^2 def func(x): return np.square(x) # 目标函数一阶导数:dy/dx=2*x def dfunc(x): return 2 * x def GD_momentum(x_start, df, epochs...
卷积神经网络 损失函数_极大似然角度下的神经网络分类损失函数
weixin_42365198的博客
01-28 1299
1.二分类对于一个二分类的神经网络，其最后一层为sigmoid函数，其输出表示是一个0-1之间的值，其输出反映了预测为正类的可能性，概率越大，可能性越大。这里的输出也就是交叉熵公式中的模型预测输出。我们知道神经网络可以看做是一个概率模型： 。实际上按照上面的解释，我们将数据 输入到模型中，得到的是模型对 为正类的预测概率 。如果 恰好为1，则 就是数据 的似然函数，但是如果 为0，...
卷积神经网络——学习笔记
2403_88971056的博客
03-22 1189
通过上述的一系列公式，已经可以判断神经网络与理想模型的偏差，并对其进行量化了，但要对模型进行调整，就要借助梯度下降法了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值