SMT | Kriging代理模型原理及应用

前言

代理模型工具箱 (surrogate modeling toolbox, SMT) 是一个基于Python开发的第三方包，其中包含代理模型方法、采样技术和基准测试函数。有关SMT的详细介绍参见：
SMT | 代理模型Python工具包推荐
SMT可实现几个与高斯过程回归相关的代理模型：

• Kriging (KRG)：经典的高斯过程回归。
• KPLS and KPLSK： 使用PLS降维来处理高维训练数据的KRG变体。
• GPX：是使用 Rust 重新实现的 KRG 和 KPLS，以实现更快的训练/预测操作。
• GEKPLS：利用衍生品训练数据来提高替代模型质量。
• MGP：考虑了定义为密度函数的超参数的不确定性。
• SGP：实现了稀疏方法，允许处理大型训练数据集，因为其他实现的时间复杂度以及训练点数量的内存成本。

下面介绍经典Kriging模型原理及应用案例。

1. Kriging (KRG)

1.1 基本原理

Kriging是一种插值模型，它是已知函数 $f_i(\mathbf{x})$ 的线性组合，并添加随机过程 $Z(\mathbf{x})$ ：
$$\hat{y}=\sum _{i=1}^k{\beta }_i{f}_i(\mathbf{x})+Z(\mathbf{x}).$$
$Z(\mathbf{x})$ 是随机过程的实现，其均值为零，空间协方差函数为：
$$cov\left[Z\left({\mathbf{x}}^{(i)}\right),Z\left({\mathbf{x}}^{(j)}\right)\right]={\sigma }^{2}R\left({\mathbf{x}}^{(i)},{\mathbf{x}}^{(j)}\right)$$
其中 ${\sigma }^2$ 是过程方差，$R$ 是相关性。SMT 中有四种类型的相关性函数。

• 指数相关函数（Exponential correlation function, Ornstein-Uhlenbeck process):
  $$\prod _{l=1}^{nx}\exp \left(-{\theta }_l\left|x_l^{(i)}-x_l^{(j)}\right|\right),\forall {\theta }_l\in {\mathbb{R}}^{+}$$
• 平方指数（高斯）相关函数(Squared Exponential (Gaussian) correlation function):
  $$\prod _{l=1}^{nx}\exp (-{\theta }_l$$