机器学习笔记--对数几率回归（逻辑回归）

对数几率回归（逻辑回归）

广义线性模型：

• 指数族分布

指数族（Exponential family）分布是一类分布的总称，该类分布的分布律（或者概率密度函数）的一般形式如下：
$$p(y;\eta )=b(y)\exp \left({\eta }^{T}T(y)-a(\eta )\right)$$
其中$\eta$称为该分布的自然参数；$T(y)$为充分统计量，视具体的分布而定，通常是等于随机变量y本身；$a(\eta )$为配分函数；$b(y)$为关于随机变量y的函数。常见的伯努利分布和正态分布均属于指数族分布。

以下证明伯努利属于指数族分布：
$$p(y)={\varphi }^y(1-\varphi {)}^{1-y}$$
其中y∈{ 0,1}y \in {\{0,1\}}y∈{ 0,1}，$p(y=1)=\varphi$对上式恒等变形可得
$$\begin{array}{rl}p(y)& ={\varphi }^y(1-\varphi {)}^{1-y}\\ & =\exp \left(\ln \left({\varphi }^y(1-\varphi {)}^{1-y}\right)\right)\\ & =\exp \left(\ln {\varphi }^y+\ln (1-\varphi {)}^{1-y}\right)\end{array}$$

$$\begin{array}{rl}p(y)& =\exp (y\ln \varphi +(1-y)\ln (1-\varphi ))\\ & =\exp (y\ln \varphi +\ln (1-\varphi )-y\ln (1-\varphi ))\\ & =\exp (y(\ln \varphi -\ln (1-\varphi ))+\ln (1-\varphi ))\\ & =\exp \left(y\ln \left(\frac{\varphi }{1-\varphi }\right)+\ln (1-\varphi )\right)\end{array}$$

对比指数族分布可知
$$\begin{array}{rl}b(y)& =1\\ \eta & =\ln \left(\frac{\varphi }{1-\varphi }\right)\\ T(y)& =y\\ a(\eta )& =-\ln (1-\varphi )=\ln \left(1+e^{\eta }\right)\end{array}$$

• 广义线性模型的三条假设
  • 在给定