通用线性模型（GLMs，Generalized Linear Models)

相信对于大部分机器学习的初学者，都会看了斯坦福大学吴恩达的机器学习公开课，听过的话对于通用线性模型(GLM,Generalized Linear Models)获取有一点不太理解，尤其是像我一样对于一些数学知识不太了解的同学。这篇博客就写一下我对通用线性模型的理解，这只是我的理解，不一定正确，如果有不同的理解或者我理解错的点，请评论互相交流，谢谢O(∩_∩)O~~

预备知识

再讲通用线性模型之前一般都会学习线性回归和Logistic回归，在求解回归问题时的迭代方法，这两种回归方式的求解都有相似的迭代公式(吴恩达讲义中的表示)

$$\theta:=\theta+\alpha(y^{(i)}-h_{\theta}(x^{(j)}))x_j^{(j)}$$ 其中 $\theta$为向量。而之后所讲的通用线性模型就是为了揭示这两种回归模型之间有什么联系以及区别。
在构造通用线性模型之前，首先做了三个假设：

(1) $y|x;\theta \sim ExponentialFamily(\eta)$ 即y是参数为$\eta$的指数族分布
(2) 我们的假设$h$，应该满足$h(x)=E(h(y)|x)$
(3) 假设第一条假设中指数组分布的参数$\eta$与$x$是有线性关系的，即$\eta=\theta^Tx$。

下面将会探讨我说想到的问题。

问题

• 1、为什么要假设$y\sim ExponentialFamily(\eta)$？
• 2、第二条假设 h(x)