cs231n_反向传播求导篇

课程资料趁着在学校的时间，跟着 cs231n 的课程做了一下作业，感觉收获特别大，现在汇总在博客里。下面是一些官方的课程资料： 网页 备注 课程主页 主页课程介绍 课程官方笔记 貌似要 fq 软件支持 Syllabus 课件、视频、课程安排表 还有一些其他有用的非官方资料： 网页 备注 课程中文翻译 智能单元公众号提供的翻译 课程视频 网易云课堂提

参考书籍(带书签高清版)的下载链接:   https://download.csdn.net/download/zongza/10701105  前言 神经网络的精髓就是反向传播算法,其中涉及到一些矩阵的求导运算,只有掌握了与矩阵相关的求导法则才能真正理解神经网络.  本文以 https://blog.csdn.net/zongza/article/details/82849976 中所示...

简要记录学习理解。 1. svm 是一个线性分类器 直接由权重矩阵和图片(input x) 得到一个值，通过svm算法，不断更新W，使 正确的标签的一栏得分最高。 2. Loss function Loss function 就是评价目前这个W矩阵有’多坏‘。 其值越高，则分类效果越差， 值越低，则值效果越好 3. Regularization 作用：简而言之，防止过拟合。 所以总的Loss function 为 4. 公式推导 & 代码解析 svm_loss_naive 函数 def

核心概念： 计算图的概念 反向传播利用了链式求导但是本质不完全是链式法则 理解概要 与其说反向传播算法的本质是链式求导法则，到不如说它的本质是分治的思想在链式求导法则中的应用。因为当一个函数很复杂的时候，即使是我们会链式求导法则，求这个函数对某一个变量的偏导数（的解析解）依然是一个非常困难的事情。而反向传播则是把一个大问题拆成一个一个各自独立互不影响的小的问题，分别求出这些小的问题的解，再把这...

本文介绍了矩阵的基本运算，包括加减乘除和逆矩阵等，并提供了Python示例代码。希望本文对大家有所帮助！

上一次作业基本已经讲了构建一个多层神经网络的基本知识，包括其结构，公式推导，训练方法。这一次主要关注卷积神经网络（CNN, Convolution Neural Network），要先读完课程笔记 CS231n Convolutional Neural Networks for Visual Recognition，基本就懂了。特别是那个解释卷积的动态图，非常形象。CNN 主要多了卷积层（convo

最近开了一个新坑——【CS231n】斯坦福大学李飞飞视觉识别课程，准备认真学习并记录自己的学习历程。 由官方授权的CS231n课程笔记翻译知乎专栏——智能单元，比较详细地翻译了课程笔记，我这里就是参考和总结。 【CS231n】斯坦福大学李飞飞视觉识别课程笔记（一）：Python Numpy教程(1) 【CS231n】斯坦福大学李飞飞视觉识别课程笔记（二）：Python Numpy教程(2)...

CS231n 2019版作业笔记 采用手抄的方式对作业中要写的代码部分以及一些给出不需要写但是很重要的模块进行了详细解析，适合小白阅读

梯度矩阵dW的vectorize实现 这个向量化实现想了很久，一直看不懂代码，别人的博客也没解释具体为什么会是那样实现的，尤其是为什么最后是X去乘上一个矩阵得到梯度矩阵，看得我一脸懵逼，最后我自己画了个2*3的矩阵才终于知道为什么要这么实现了。下面是我的思路，总体思路是先按前面写非向量化时已经学习过的知识推出结果，即dW矩阵的具体解析式，然后再去凑怎么能实现这个矩阵。 有几点要注意： WiW...

快速记忆

反向传播BackPropagation算法简称BP，算是神经网络的基础了。在神经网络中，正向传播用于模型的训练，模型中的参数不一定达到最佳效果，需要进行“反向传播”进行权重等参数的修正。此外，神经网络每层的每个神经元都可以根据误差信号修正每层的权重。反向传播只需应用链式求导法则即可求出：这是典型的三层神经网络的基本构成，Layer L1是输入层，Layer L2是隐含层，Layer L3是隐含层，现在我们手里有一堆数据 {x1,x2,x3,...,xn}，输出也是一堆数据 {y1,y2,y3,...,yn}

利用下面两条原则，便可大杀四方。

原文出处：知乎：详解反向传播算法(上) 详解反向传播算法(上) 晓雷 1 年前 目录： 1 用计算图来解释几种求导方法： 1.1 计算图 1.2 两种求导模式：前向模式求导( forward-mode differentiation) 反向模式求导(reverse-mode differentiation) 1.3 反向求导模式（反向

简单的说链式法则就是原本y对x求偏导，但是由于过程较为复杂，我们需要将函数进行拆分，通过链式进行分别求导，这样会使整个计算更为简单。假设f = k ( a + b c ) f = k(a + bc)f=k(a+bc)通俗来说，链式法则表明，知道z相对于y的瞬时变化率和y相对于x的瞬时变化率，就可以计算z相对于x的瞬时变化率作为这两个变化率的乘积。其实就是求复合函数导数的过程。用链式法则（将这些梯度表达式链接起来相乘。

重点：向量对向量求导a = ， 向量a对向量W求导，导数为WT.当自变量和因变量均为向量时，求导结果为一个矩阵，我们称该矩阵为雅可比矩阵(Jacobian Matrix)。

（1）反向传播：该方法主要是应用链式法则的方法，求loss关于w和b的导数；（2）关于如下步骤中，l.backward()会将前向的各部梯度存入，而红色的两个代码会形成“计算图”；（3）其中：w是Tensor(张量类型)，Tensor中包含data和grad，data和grad也是Tensor。grad初始为None，调用l.backward()方法后w.grad为Tensor，故更新w.data时需使用w.grad.data。

反向传播中的梯度计算图矩阵求导多条链接 在神经网络算法中，可以把复杂的网络结构看作一个复合函数。即用一个函数表征输入与输出之间的关系。误差的反向传递，提供了确定这个函数的方法。这里的误差，指的就是梯度。所以，BP算法就是根据复合函数求导的链式法则一步步求得。 计算图 为了更直观的理解这个函数，我们用 m=a+b 、n=c+d 显然， f=mn 本例中前向传播的过程中，f=4.5, a若增加...

https://blog.csdn.net/DeniuHe/article/details/114292950

神经网络中用反向传播求偏导数的思想就相当于复合函数求偏导。 从头说起，在学生时代我们要求下面式子中，函数e(a,b)e(a,b)e(a,b)对a和b的偏导数： e=(a+b)∗(b+1)e=(a+b)*(b+1)e=(a+b)∗(b+1) ∂e∂a=?\frac{\partial e}{\partial a}=?∂a∂e​=? ∂e∂b=?\frac{\partial e}{\partial b}=?∂b∂e​=? 传统的求偏导方法就是用解析式直接求偏导即可。 但如果随着函数复合的层数增多，对应的就是神经