逻辑回归问题运用梯度下降法代价函数的求导

逻辑回归代价函数的求导过程没有具体展开，在此推导并记录：

逻辑回归的代价函数可以统一写成如下一个等式：
$$J(\theta )=-\frac{1}{m}\left[\sum _{i=1}^m{y}^{(i)}log(h_{\theta }(x^{(i)}))+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))\right]$$
其中：$h_{\theta }(x^{(i)})=\frac{1}{1+e^{-{\theta }^{\mathrm{T}}x}}$

为了避免求导过程太冗长复杂，我们做一些显示的简化：

$J(\theta )=-\frac{1}{m}\left[{\sum }_{i=1}^{m}K(\theta )\right]$

其中：$K(\theta )=y^{(i)}log(h_{\theta }(x^{(i)}))+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))$，$h_{\theta }(x^{(i)})=\frac{1}{1+e^{-{\theta }^{\mathrm{T}}x}}$

OK，下面开始我们的推导过程：如果要求$J(\theta )$
对某一个参数$\theta$的偏导数，则：

（1）根据求导公式，可以先把常数项$-\frac{1}{m}{\sum }_{i=1}^m$

提取出来，这样就只需要对求和符号内部的表达式求导，即：

$$J(\theta ){}^{\prime }=-\frac{1}{m}\left[\sum _{i=1}^{m}K(\theta ){}^{\prime }\right]$$

$$K(\theta ){}^{\prime }=\left(ylog(h_{\theta }(x))+(1-y)log(1-h_{\theta }(x))\right){}^{\prime }$$

（为方便显示，先把右上角表示第i个样本的上标去掉）

（2）根据对数复合求导公式，$log(x){}^{\prime }=\frac{1}{x}x{}^{\prime }$，对$K(\theta )$

继续求导可得：

$$K(\theta ){}^{\prime }=y\frac{1}{h_{\theta }(x)}{h}_{\theta }(x){}^{\prime }+(1-y)\frac{1}{1-h_{\theta }(x)}(1-h_{\theta }(x)){}^{\prime }$$

（3）根据幂函数复合求导公式，$(y^x){}^{\prime }=x{y}^{x-1}x{}^{\prime }$
，及以e为底的指数求导公式，对$h_{\theta }(x)$

继续求导可得：

$$h_{\theta }(x){}^{\prime }=\left(\frac{1}{1+e^{-{\theta }^{\mathrm{T}}x}}\right){}^{\prime }=-\frac{(1+e^{-{\theta }^{\mathrm{T}}x}){}^{\prime }}{(1+e^{-{\theta }^{\mathrm{T}}x}{)}^2}=\frac{e^{-{\theta }^{\mathrm{T}}x}({\theta }^{\mathrm{T}}x){}^{\prime }}{(1+e^{-{\theta }^{\mathrm{T}}x}{)}^2}=\left(\frac{1}{1+e^{-{\theta }^{\mathrm{T}}x}}(1-\frac{1}{1+e^{-{\theta }^{\mathrm{T}}x}})\right)({\theta }^{\mathrm{T}}x){}^{\prime }=h_{\theta }(x)(1-h_{\theta }(x))({\theta }^{\mathrm{T}}x){}^{\prime }$$

同理，$$(1-h_{\theta }(x)){}^{\prime }=-\frac{e^{-{\theta }^{\mathrm{T}}x}({\theta }^{\mathrm{T}}x){}^{\prime }}{(1+e^{-{\theta }^{\mathrm{T}}x}{)}^2}=-h_{\theta }(x)(1-h_{\theta }(x))({\theta }^{\mathrm{T}}x){}^{\prime }$$
（4）把步骤3的结果带入步骤2，化简后可得：

$$K(\theta ){}^{\prime }=(y-h_{\theta }(x))({\theta }^{\mathrm{T}}x){}^{\prime }$$

再把上面结果带入步骤1，化简后可得：

$$J(\theta ){}^{\prime }=\frac{1}{m}\left[\sum _{i=1}^m(h_{\theta }(x)-y)({\theta }^{\mathrm{T}}x){}^{\prime }\right]$$

最后$({\theta }^{\mathrm{T}}x){}^{\prime }$，对第j个$\theta$求偏导，结果即$X_j$，j表示样本中第几项），得到最终结果：

$$\frac{\partial J(\theta )}{\partial {\theta }_j}=\frac{1}{m}\left[\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}\right]$$