40、模型性能评估、验证与改进：内部统计交叉验证详解

模型性能评估、验证与改进：内部统计交叉验证详解

1. 线性回归模型评估

在模型评估中，线性回归是一个常用的方法。假设我们观察到响应值 ${y_1, \cdots, y_n}$，以及对应的 $k$ 个预测变量，用 $k$ 维协变量向量 ${x_1, \cdots, x_n}$ 表示。其中，样本索引为 $1 \leq i \leq n$，数据元素（变量）索引为 $1 \leq j \leq k$。

我们可以用最小二乘法来估计线性函数的参数 $\beta_1, \cdots, \beta_k$，从而得到一个最适合观测数据 $(x_i, y_i)$（$1 \leq i \leq n$）的超平面 $y = a + x\beta$。用矩阵表示为：
[
\begin{bmatrix}
y_1 \
\vdots \
y_n
\end{bmatrix}
=
\begin{bmatrix}
a_1 \
\vdots \
a_n
\end{bmatrix}
+
\begin{bmatrix}
x_{1,1} & \cdots & x_{1,k} \
\vdots & \ddots & \vdots \
x_{n,1} & \cdots & x_{n,k}
\end{bmatrix}
\begin{bmatrix}
\beta_1 \
\vdots \
\beta_k
\end{bmatrix}
]
对应的线性超平面系统为：