在任何线性模型中,能够直接“lm”(模型有意义),既要考虑各个参数的t-test所得出的p-value,也要考虑总体模型F-检验得出的p-value。在这之后,还要清楚一个线性模型是建立在以下五个假设的基础上的。如果不满足以下五个假设,那么模型即使通过了t-test和F-test,其预测效果也大打折扣。同时,也可以通过对这五个指标的研究,进一步优化模型(比如使用其他非参数统计方法,Box-Cox等变换方法,基于AIC,BIC,Adjusted-R^2,Cpd等方法的特征选择,Lasso,Ridge-regression,Elastic Net等等)。
• Normal i.i.d. errors
• Constant error variance
• Absence of influential cases
• Linear relationship between predictors and outcome variable
• Collinearity
而针对这五个假设进行验证,最直观和简单的方法就是用R语言自带的模型诊断图。
文章目录
plot(lm)会生成以下四组图表
-
Residuals vs Fitted
-
Normal QQ
-
Scale-Location
-
Residuals vs Leverage

1. Residuals vs Fitted

Resiuals即为残差的意思(估计值与真实值之差)。这就是残差与真实值之间的关系画图。在理想线性模型中有五大假设。其中之一便是残差应该是一个正态分布,与估计值无关。如果残差还和估计值有关,那就说明模型仍然有值得去改进的地方,当然,这样的模型准确程度也就大打折扣。
显然,左边的图残差和估计值基本是无关的。但是右边的图,残差和估计值几乎成一个二次关系。那么这样的模型就需要进行修正了。
如果您觉得单纯用图来看还不放心,在统计学里有四种检测方法可以进一步去测试残差和估计值是否是无关的。那便是:
Shapiro-Wilk
Kolmogorov-Smirnov
Anderson-Darling
Correlation test
你可以使用R,对你的模型分别进

本文探讨了线性模型的有效性和优化方法,强调了模型诊断的重要性。通过五个关键假设的验证,包括正态误差、恒定误差方差、无影响案例、线性关系和共线性,以及R语言的模型诊断图,如残差与拟合值的关系、正态QQ图、尺度位置图和残差与杠杆图,来确保模型的准确性和可靠性。

943

被折叠的 条评论
为什么被折叠?



