吴恩达机器学习-第四周

1.神经网络综述

  由于线性回归和逻辑回归在特征较多时候计算负荷很大，这时候我们就需要神经网络。神经网络产生的原因是人们想尝试设计出模仿大脑的算法。
  神经网络中，参数可被称为权重（weight）
  一个3层的神经网络，第一层为输入层，最后一层为输出层，中间为隐藏层，每一层增加一个偏差单元（bias unit）。

一些标记法：

• $a_i^{(j)}$代表第j层的第i个激活单元
• ${\theta }^{(j)}$表示从第j层到j+1层的权重的矩阵，其尺度为（j+1层单元数量，j层单元数量）

  
  每一个$a$都是由所有的$x$和每一个$x$对应的$\theta$所决定的，这样从左到右的算法称之为前向传播。

• 向量化会简化计算，此时所有的输入需要为同一个实例的特征在同一列中，即$（n,m）$

2.神经网络表示逻辑运算

• 单层神经元，无中间层的神经网络可以模拟逻辑运算AND，OR ，NOT
• 多层神经网络，可以模拟XNOR等

3.多类分类

  最终输出的y不为两种分类，而是有多种。如下图，对于每一个实例x的输入，输出y为一个列向量，每一行为0或1表示是不是对应的类。神经网络不会完美的计算出其中一个为1，其他为0，而是根据算出的值每一个都会有相应的值在0-1之间，最大的那个值代表判定的类别。

本周作业

  对于y有n分类的话，可以使用n个分类器，将一个类指定为1，其他的类则为0。同一个实例对每一个分类器进行计算，最终比较所有分类器的值，取最大的值对应的分类为指定的分类。