逻辑斯蒂回归,最大熵模型及其等价性

首先推导二类分类训练集上的逻辑斯蒂回归模型(Logistic Regression), 然后推导最大熵模型(Maximum Entropy Model), 最后给出给出最大熵模型等价于逻辑斯蒂回归模型的条件.

1. 逻辑斯蒂回归

训练集$T=\{(x_i, y_i)|i=1, 2, ..., N\}, x \in R^n, y\in\{0, 1\}$.

我们假设特征$X$与输出$Y$之间具有某种相关关系: $X,Y$是随机变量, 且$X$的取值决定了$Y$的分布, 即$Y=Y(x)$.

为了预测$Y$的取值,我们建立模型拟合$Y$在$X$给定时的条件概率:

$$P(Y=1|X=x) = P\{Y(x)=1\}=f(x;\beta)$$ ,其中 $f(x;\beta)$是用来拟合这个条件概率的 参数模型.

我们希望参数模型 $f(x;\beta)$ 满足这样的性质:

1. $f(x;\beta)\in[0,1]$.
2. $f$应该至少是个连续函数. 这是因为我们希望模型$f$的输出能够随 $x$平滑地变化.
3. $f$应该尽可能简单.

幸运的是, 恰好存在一个函数完美满足上述所有条件,即sigmoid函数:

$$f(x;\beta)=\frac{1}{1+e^{-(\beta_0+\beta_1^Tx)}}$$

于是,我们的模型变成:

$$P(Y=1|X=x) = \frac{1}{1+e^{-(\beta_0+\beta_1^Tx)}}$$

我们使用最大似然估计来求解模型参数$\beta$: