L1神经网络与深度学习-2.13logistic的向量化&2.14向量化logstic回归的梯度输出

注:课程笔记,自用

2.13 主要内容:用向量化的形式去计算z和a的值(正向传播)

这里展示的是,对每一个样本分别计算z^{(1)}/z^{(2)}/z^{(3)}等,但是实际上,我们可以把m个样本的z组合成一个向量,同时计算

我们可以把m个样本的x组合起来
然后同时计算m个z组成的向量

注意,W^{T}是一个1*n_x的向量,由于Z是m个z组合成的向量,维度是1*m,所以b也要变成1*m
上述思路,用numpy可以表示为:

b是一个实数,但是python会有广播机制将b扩展为矩阵

那么同理,a也可以用类似的方式计算

2.14 主要内容:用向量化的方法计算dz db dw

其实原理都是一样的,尽量用向量化的方法进行矩阵运算

在之前,我们知道了dz=a-y,那么我们可以用之前的思路,使用向量化的方法计算多个dz值


可以看到,一行就算出来所有的dz值(图片中的最后一行)



这里是原来计算dw与db的方式,注意,这里已经去掉了一层for循环(即把for w1 w2 w3变为了对w向量整体进行操作),现在要对其进行简化

这就是向量化的实现方法

总结:代码由左边变成了右边

但是这个for循环应该去不掉,这个for循环的意思是一共进行一千次梯度下降,相当于一共训练一千轮次网络

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值