Model Checking

What is that

之前所有的回归模型及性质都是基于GM假设的:

1.  $E({ϵ}_i)=0$ ${}_{i=1,\mathrm{2..}n}$
2.  $Var({ϵ}_i)={\sigma }^2$ ${}_{i=1,\mathrm{2..}n}$
3.   ${ϵ}_1,{ϵ}_2.....{ϵ}_n$ iid
4.   ${ϵ}_i$服从正态

1) GM不满足时,会发生什么

总的来说:

假设1是重要的, 不满足时,估计和预测都会出现偏差

假设3时重要的, 不满足时, 标准差的估计会不再准确

假设2,4, 只要我们没有遇到非常极端的情况:并不很重要,
   e.g.方差的变化很大或存在一些有较大影响的观察结果

why:

1.   $E({ϵ}_i)=0$ ${}_{i=1,\mathrm{2..}n}$不满足时:

    $\hat{\beta }$变为$\beta$的一个有偏估计:

对于新值的预测同样是有偏的:

2.  $Var({ϵ}_i)={\sigma }^2$ ${}_{i=1,\mathrm{2..}n}$

    之前计算得的$\hat{\beta }$的方差失效: $Var(\hat{\beta })\ne {\sigma }^2(X^{T}X{)}^{-1}$, 也就意味着所有由$Var(\hat{\beta })$出发的推论全部失效

3.   ${ϵ}_1,{ϵ}_2.....{ϵ}_n$ iid不满足时:

    根据经验,所有的方差是否相等(假设2)对于$\sigma$估计的影响并不大(只要各个方差相差不太大); 但是,这些方差是否独立对于$\sigma$的估计影响很大(就算只有两个方差相关,最后的结果相差都会很大)

4.   ${ϵ}_i$服从正态 不满足时:

    首先样本分布不再是正态, 导致$\hat{\sigma }$不再是${\chi }^2$,导致 t 检验, f 检验均不再正确

    不过, 由于大数定律的存在, 其偏差不会很大当样本量n大于30,并且没有influential point时, t 和 f 检验的结果依然有效

2) 如何检验该模型是否满足假设

方法:各种图，通过观察图来大致判断好坏

残差图

横轴：x （注意这里是x值不是x序列）
纵轴：残差

  解释：如若满足gm假设，其残差应当服从KaTeX parse error: Undefined control sequence: \si at position 2: N\̲s̲i̲(0,\sigma^2),即应当是如上图1所示的样子，图2为一反例

另外，还有一种残差图
横轴：y的拟合值$\hat{Y}$

  同样的，这里我们可以看到，图a为理想状况，原因一致，同样是残差服从固定方差的正态分布；
  b中有明显偏差，均值不为0
  而在c中，很明显，参擦汗随着y的增加，有逐渐发散的趋势，这说明残差与y拟合值有关

偏残差图

偏残差的定义：$r_i^{(j)}=r_i+\widehat{{\beta }_1}{x}_{ij}$

其含义为：把$x_j$的效应加回残差中

#这里偏残差暂时不深究，马上考试，回头再学

横轴：x
纵轴：偏残差

  解释：对于满足GM假设的模型来说，偏残差图应表现为线性关系，如上图1；
图2为反例

Q-Q图

qq图用于检验GM4，其两个坐标轴是经过某种变换的实验数据，使其当GM4满足时，应当服从正态，与真正的正态一起，互为两个轴，作图，其理性情况应该是呈45度角的直线（课件里这个应该是变换拉伸了并不是45度）

3) 当不满足时,我们可以做些什么

log转化

其包含两种：一种是仅对响应变量转换；另一种是对协变量和相应变量都进行转换

box-cox转化

带权重的最小二乘估计