【吴恩达深度学习】测试 - 课程1 - 神经网络和深度学习

第1周-深度学习简介

【总结】

1. Scale drives deep learnig progress：Data，Computation，Algorithms

2. 非结构化数据：图片，音频，文本

3. $ReLU$ (Rectified Linear Unit) 修正线性单元
   
   相比于其它激活函数来说，$ReLU$有以下优势：

• 计算梯度简单，梯度下降更快;
• $ReLU$由于非负区间的梯度为常数，因此能够解决 $sigmoid$ 存在的梯度消失问题，使得模型的收敛速度维持在一个稳定状态；
• $ReLU$会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生。

第2周 神经网络基础

【总结】

1. 神经元节点先计算线性函数（$z=Wx+b$），再计算激活。

2. $logistic$ 回归的loss function:
   
   $logistic$ 回归的cost function:
   

3. 将一个（32,32,3）的数组转换为列向量？

x = img.reshape((32 * 32 * 3, 1))

4. python中的广播机制(broadcasting)

• 简单来说，broadcasting可以这样理解：如果你有一个$m\ast n$的矩阵，让它加减乘除一个$1\ast n$（或 $m\ast 1$）的矩阵，它会被复制 $m$ （或 $n$ ) 次，成为一个 $m$