问题的定义

在许多优化任务中，算法每产生一个候选解，都要调用一次高保真仿真、训练完整模型或进行实体实验。若一次评估需要数小时、数天或昂贵实验资源，即使优化算法本身运行很快，可完成的真实评估次数仍然很少。昂贵优化（expensive optimization）讨论的正是如何在有限评估预算下有效搜索。

以单目标最小化为例，问题可写为：

$$\begin{aligned} \min_{\mathbf{x} \in \mathcal{X}}\quad & f(\mathbf{x}) \\ \text{s.t.}\quad & g_i(\mathbf{x}) \le 0, \quad i=1,\ldots,p, \\ & h_j(\mathbf{x}) = 0, \quad j=1,\ldots,q. \end{aligned}$$

在昂贵优化中，只知道候选点的预测目标值还不够：当两个点的预测值接近时，哪一个更值得花一次真实评估？Kriging 为每个候选点建立预测分布，使算法能同时利用预测均值和模型不确定性。在确定性计算机实验中，它常以高斯过程（Gaussian Process，GP）回归的形式实现。

用均值和协方差描述未知函数

设真实目标函数为 $f(\mathbf{x})$，Kriging 用一个带均值函数和协方差函数的高斯过程描述我们对未知函数的认识：

假设一次仿真需要数小时，而我们已经评估了若干设计点。如何利用这些点预测尚未运行的设计，并挑选下一次仿真的输入？径向基函数（Radial Basis Function，RBF）代理模型用样本点之间的距离构造一个便于计算的近似函数。它适合先讨论确定性仿真的插值情形，再扩展到有噪声的数据。

从样本点构造近似函数

设已有 $n$ 个真实评估样本 $(\mathbf{x}_i,y_i)$，其中 $y_i=f(\mathbf{x}_i)$。一种常见的 RBF 模型写为：