浅层神经网络总结

最近又重新温习了吴恩达的《深度学习》课程，再看一遍时还是产生了许多感悟。吴大佬的视频真的非常不错，通俗易懂，适合入门。所以我趁热打铁，写一个笔记形式的博客，表达对视频课程的理解和感悟。同时一些内容还会集合其他的书籍或博客。

什么是神经网络？

这里的神经网络是指人工神经网络 (Artificial Neural Network)，它由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重。

以房价预测模型为例。给定m个样本数据{x,y}，$x_i$ 是第i个房屋信息，每个输入数据都是一个四维向量，对应房屋的四个指标。y是样本标签，表示对应房屋的房价。我们要用样本数据来训练一个神经网络，当给定新的房屋信息时来预测房价。已知房屋的面积（size），卧室数目（#bedrooms），房屋的邮政编码（postal code），财富水平（wealth）。构造出下面的神经网络模型：

从模型中可以看出，此网络分为输入层，隐藏层和输出层。这是一个两层神经网络，通常把输入矩阵X记为$a^{[0]}$，把隐藏层输出记为$a^{[1]}$。隐藏层对应的权重$W^{[1]}$和常数项$b^{[1]}$，W