问题的定义

在许多优化任务中，算法每产生一个候选解，都要调用一次高保真仿真、训练完整模型或进行实体实验。若一次评估需要数小时、数天或昂贵实验资源，即使优化算法本身运行很快，可完成的真实评估次数仍然很少。昂贵优化（expensive optimization）讨论的正是如何在有限评估预算下有效搜索。

以单目标最小化为例，问题可写为：

$$\begin{aligned} \min_{\mathbf{x} \in \mathcal{X}}\quad & f(\mathbf{x}) \\ \text{s.t.}\quad & g_i(\mathbf{x}) \le 0, \quad i=1,\ldots,p, \\ & h_j(\mathbf{x}) = 0, \quad j=1,\ldots,q. \end{aligned}$$