统计学 一元线性回归

统计学 一元线性回归

回归（Regression）：假定因变量与自变量之间有某种关系，并把这种关系用适当的数学模型表达出来，利用该模型根据给定的自变量来预测因变量

• 线性回归：因变量和自变量之间是线性关系

• 非线性回归：因变量和自变量之间是非线性关系

变量间的关系

变量间的关系：往往分为函数关系和相关关系；函数关系是确定的关系（例如 $y=x^2$ 中 $y$ 和 $x$ 的关系），而相关关系是不确定的关系（例如家庭储蓄额和家庭收入）

相关系数：度量两个变量之间线性关系强度的统计量，样本相关系数记为 $r$ （也称为 Pearson 相关系数），总体相关系数记为 $\rho$ ：
$$r=\frac{\sum (X-\bar{X})(Y-\bar{Y})}{\sqrt{\sum (X-\bar{X}{)}^2\cdot \sum (Y-\bar{Y}{)}^2}}$$

• $r\in [-1,1]$ ，越接近 $1$ 代表两个变量之间正线性相关关系越强，越接近 $-1$ 代表两个变量之间负线性相关关系越强，等于 $0$ 表示两个变量之间不存在线性关系；
• $r$ 具有对称性，即 $r_{XY}=r_{YX}$ ；很显然，若 $X$ 与 $Y$ 之间是线性关系，那么 $Y$ 和 $X$ 之间也是线性关系；
• $r$ 不具有量纲，对 $X$ 和 $Y$ 的缩放不敏感，其数值大小与 $X$ 和 $Y$ 的尺度以及原点无关；
• $r$ 不能用于描述非线性关系，可以结合散点图得出结论；
• $r$ 是两个变量之间线性关系的度量，但不一定意味着 $X$ 与 $Y$ 有因果关系。

相关系数的检验：采用 R.A.Fisher 提出的 t 分布检验，既可用于小样本，也可用于大样本：

① 提出假设：$H_0$ ：$\rho =0$ ；$H_1$ ：$\rho =1$ ；

② 计算样本相关系数 $r$ 以及检验统计量 $t=\frac{r\sqrt{n-2}}{\sqrt{1-r^2}}\sim t(n-2)$

③ 算出 $P$ 值，进行决策

一元线性回归模型的估计

一元回归：当回归分析只涉及一个自变量时称为一元回归

回归模型：描述因变量 $y$ 如何依赖于自变量 $x$ 和误差项 $\epsilon$ 的方程；一元线性回归模型可表示为：
$$y={\beta }_0+{\beta }_{1}x+\epsilon$$
模型参数为 ${\beta }_0$ 和 ${\beta }_1$ ；随机变量 $\epsilon$ 被称为误差项，对其需要作出以下假定：

• 正态性：$\epsilon$ 服从期望为 0 的正态分布；
• 方差齐性：对于所有的 $X$ 值，$\epsilon$ 的方差值 ${\sigma }^2$ 都相同；
• 独立性：两个不同 $X$ 值对应的 $\epsilon$ 不相关

估计的回归方程：总体的 ${\beta }_1$ 和 ${\beta }_0$ 是未知的，需要用样本数据去估计，为：$\hat{y}=\widehat{{\beta }_0}+\widehat{{\beta }_1}x$ （$\widehat{{\beta }_1}$ 称为回归系数）

最小二乘法：使离差 $|\hat{y}-y|$ 的平方和最小的估计方法，即：
$$Q=\sum (y_i-{\hat{y}}_i{)}^2=\sum (y_i-{\hat{\beta }}_0-\widehat{{\beta }_1}{x}_i{)}^2=min$$
求导得到：
$$\{\begin{array}{l}\frac{\partial Q}{\partial {\beta }_0}{|}_{{\beta }_0={\hat{\beta }}_0}=-2\sum (y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i)=0\\ \frac{\partial Q}{\partial {\beta }_1}{|}_{{\beta }_1=\stackrel{^<}{\beta }}\end{array}$$