logistic线性回归

这是一个监督学习的学习算法
Given：x(输入特征向量)      want      $\hat{y}$=P(y=1|x)
Parameters: x, w∈$R^{n_x}$       b∈$R$
Output:  $\hat{y}$=$w^T$+b

因为你希望$\hat{y}$=1，所以$\hat{y}$应该介于0和1之间，因为这是一个二分类的情况
因此我们引入sigmoid函数：$\sigma$(z)=$\frac{1}{1+e^{-z}}$

于是输出变成  $\hat{y}$=$\sigma$($w^T$+b)
为了训练logistic回归模型的参数w以及b需要定义一个cost函数
对于单个样本来说，定义的损失函数为或者是误差函数：L($\hat{y}$,y)=-(y${\log }^{\hat{y}}$+(1-y)${\log }^{1-\hat{y}}$)
它们可以用来衡量算法的运行情况，即衡量预测输出值$\hat{y}$和y的实际值有多接近。
对于m个样本而言，cost函数即为：
J(w , b)=$\frac{1}{m}$$\sum _{i=1}^{m}L({\hat{y}}^{(i)},y^{(i)})$
            =-$\frac{1}{m}$$\sum _{i=1}^m[y^{(i)}{\log }^{{\hat{y}}^{(i)}}+(1-y^{(i)}){\log }^{1-{\hat{y}}^{(i)}}]$
可能很多人搞不清楚loss函数与cost函数之间的区别
loss函数只适用于单个训练样本
cost函数基于参数的总代价
可能内容不太紧凑扎实，后续会继续改进的