径向基函数代理模型（RBF）

假设一次仿真需要数小时，而我们已经评估了若干设计点。如何利用这些点预测尚未运行的设计，并挑选下一次仿真的输入？径向基函数（Radial Basis Function，RBF）代理模型用样本点之间的距离构造一个便于计算的近似函数。它适合先讨论确定性仿真的插值情形，再扩展到有噪声的数据。

从样本点构造近似函数

设已有 $n$ 个真实评估样本 $(\mathbf{x}_i,y_i)$，其中 $y_i=f(\mathbf{x}_i)$。一种常见的 RBF 模型写为：

$$s(\mathbf{x})=\sum_{i=1}^{n}\lambda_i\,\phi\!\left(\lVert\mathbf{x}-\mathbf{x}_i\rVert\right)+p(\mathbf{x}).$$

$s$ 是代理预测，$\phi(r)$ 是只依赖距离 $r$ 的基函数，$\lambda_i$ 是待求权重，$p(\mathbf{x})$ 是按所选基函数需要加入的低阶多项式项。变量量纲不同时，应先缩放各维度，否则距离可能主要由数值范围最大的变量决定。

常见选择包括三次函数 $\phi(r)=r^3$ 与高斯函数 $\phi(r)=\exp[-(\varepsilon r)^2]$。前者通常配合低阶多项式项；后者的形状参数 $\varepsilon$ 会影响每个样本点的作用范围。基函数及其参数是模型选择，不能把 RBF 看成唯一固定的函数形式。

可以把每个基函数想成以已评估点为中心的一个“影响形状”。新位置的预测值，是这些形状按权重叠加后的结果。这里的“径向”指只看与中心点的距离，并不表示整个目标函数必须是径向对称的。

基函数示例	形式	建模时要留意
三次函数	$r^3$	常与一次多项式项配合；模型没有需要调节的形状参数。
薄板样条	$r^2\log r$，在 $r=0$ 处取极限值 $0$	常与一次多项式项配合；不同距离处的影响方式与三次函数不同。
高斯函数	$\exp[-(\varepsilon r)^2]$	$\varepsilon$ 控制影响范围；取值不当可能使插值矩阵病态。

这个表只展示常见形式。实际模型还要确定距离度量、变量缩放、是否加入多项式项，以及如何处理噪声；不能仅凭基函数名称判断哪个模型会在目标问题上更准。

对于无噪声且互不重复的样本，插值模型要求 $s(\mathbf{x}_i)=y_i$。若多项式项由基函数 $q_j(\mathbf{x})$ 张成，记 $\Phi_{ij}=\phi(\lVert\mathbf{x}_i-\mathbf{x}_j\rVert)$、$P_{ij}=q_j(\mathbf{x}_i)$，常用的增广线性系统为：

$$\begin{bmatrix} \Phi & P \\ P^{\mathsf T} & 0 \end{bmatrix} \begin{bmatrix} \boldsymbol{\lambda} \\ \boldsymbol{\beta} \end{bmatrix} = \begin{bmatrix} \mathbf{y} \\ 0 \end{bmatrix}.$$

$\boldsymbol{\beta}$ 是多项式系数，下半部分给出相应的附加约束。能否得到唯一、稳定的解取决于样本位置、基函数与多项式空间的匹配。实际实现通常求解线性系统，并检查样本点是否过近、矩阵是否病态。

一个能手算的插值例子

为了看清系数从哪里来，考虑一维、无噪声的两个样本：$(x_1,y_1)=(0,1)$、$(x_2,y_2)=(1,0)$。暂时选高斯基函数 $\phi(r)=e^{-r^2}$，不加多项式项。令 $a=e^{-1}$，插值条件成为：

$$\begin{bmatrix}1&a\\a&1\end{bmatrix} \begin{bmatrix}\lambda_1\\\lambda_2\end{bmatrix} =\begin{bmatrix}1\\0\end{bmatrix}, \qquad \lambda_1=\frac{1}{1-a^2},\quad \lambda_2=-\frac{a}{1-a^2}.$$

因此 $s(0)=1$、$s(1)=0$，模型精确经过两个样本。对尚未真实评估的中点，预测为：

$$s(0.5)=\frac{e^{-1/4}}{1+e^{-1}}\approx 0.569.$$

这个 $0.569$ 是模型预测，不是 $f(0.5)$ 的已知真实值。仅有两个端点，无法判断中间是否存在尖峰、谷底或不连续变化；这正是后续采样需要解决的未知部分。改变基函数、形状参数或增加样本，也会改变中点预测。

有噪声时为什么不能照搬插值

若同一输入重复运行会得到不同的 $y$，强制 $s(\mathbf{x}_i)=y_i$ 可能把随机波动当成目标函数的细节。一种处理方式是在拟合中加入平滑参数 $\eta\ge 0$，将上面线性系统左上角的 $\Phi$ 换成 $\Phi+\eta I$。$\eta=0$ 对应精确插值；$\eta>0$ 允许模型不完全通过观测值。平滑强度需要结合噪声水平与预测检查来选，不能把它理解为真实函数一定更平滑。

代理模型怎样参与优化

在昂贵优化里，RBF 负责预测，采样策略负责决定下一次真实评估的位置。Regis 与 Shoemaker 的随机响应面方法是一个例子：先用 RBF 模型产生候选点的预测值，再结合候选点与已有样本的距离选择新点，以兼顾寻找低目标值和探索未采样区域。

可以把一次迭代理解为：

1. 用目前的真实样本拟合 $s(\mathbf{x})$。
2. 在可行域内生成候选点，计算它们的代理预测及与已评估点的距离。
3. 按采样规则选择一个或多个候选点，运行真实仿真。
4. 将新样本加入数据集，重新拟合模型，直到预算用尽。

例如，已有三个仿真点时，代理模型可以在它们之间快速给出预测；若两个候选点的预测目标值相近，距离已有样本更远的点可能提供更多新信息。这里的“可能”取决于具体采样规则，距离本身不等于预测误差或改进概率。

为了把“预测好”与“探索新区域”写成一个可比较的量，可以先定义候选点到最近已评估点的距离 $d(\mathbf{x})=\min_i\lVert\mathbf{x}-\mathbf{x}_i\rVert$。下面是用于理解的示意评分，并非 Regis 与 Shoemaker 论文算法的原式：

$$Q_w(\mathbf{x})=w\,\widetilde{s}(\mathbf{x})+(1-w)\bigl[1-\widetilde{d}(\mathbf{x})\bigr],\qquad 0\le w\le 1.$$

$\widetilde{s}$ 和 $\widetilde{d}$ 分别是在当前候选集内缩放到 $[0,1]$ 的预测目标值与最近样本距离。选择 $Q_w$ 较小的点时，大 $w$ 更偏向较低的预测值，小 $w$ 更偏向距离已有样本较远的位置。若所有候选点的某一指标相同，应单独处理其归一化，避免除以零。真实算法还要决定候选点如何生成、权重是否随迭代改变，以及如何处理约束。

只按 $\arg\min s(\mathbf{x})$ 选点，可能反复落在代理模型错误预测的局部低谷；只按最大距离选点，又可能把大量预算花在明显不优的区域。两种信息的权重应服务于当前剩余预算：早期可留出探索机会，后期则应更关注已发现的有前景区域，但不存在适用于所有问题的固定权重。

建模与检查的一条实际路径

对一个有界、连续变量的确定性黑箱问题，可以按以下顺序建立第一版模型：

1. 明确每次真实评估的单位、失败返回值和总预算；把初始设计也计入预算。
2. 将各输入维度缩放到可比较的范围，检查重复点与明显无效的仿真结果。
3. 选择初始样本，使其覆盖可行域的主要部分，而不是全部挤在当前猜测的最优区。
4. 对候选基函数与参数拟合 RBF；先检查训练点插值是否符合预期，再做留一法或其他预测检查。
5. 用预测值和探索规则挑选新点，调用真实函数，更新数据与模型；最终以真实评估报告最优点。

留一法是每次暂时去掉一个已有样本，用其余样本预测被去掉的点。它不需要额外真实评估，但会反复拟合模型；如果现有样本从未覆盖某一片区域，留一误差低也不能证明该区域预测可靠。模型选择应考虑目标是辅助选点，而不只是让训练误差最小。

适用条件与局限

• 确定性数据：插值式 RBF 会精确通过训练点，适合无噪声仿真。若观测有噪声，强行插值可能追随噪声，应考虑平滑、正则化或重复测量。
• 变量尺度与样本布局：基于距离的模型对缩放敏感。样本过于集中时，未采样区域的预测缺乏支撑；样本点过近也可能损害数值稳定性。
• 不确定性：基础 RBF 插值通常给出点预测，不会自动提供像概率模型那样的预测方差。与样本距离、交叉验证误差或额外模型可用于设计探索策略，但不能直接当成可靠的概率置信区间。
• 训练成本：全局 RBF 拟合会建立随样本数增长的稠密矩阵。真实评估很贵而样本较少时，这通常可以接受；样本逐渐增多时，可考虑局部邻域模型、分批更新或其他近似方式。
• 约束处理：若约束评估也昂贵，可以分别拟合目标与约束代理；代理预测的可行性仍需真实评估核对。不能把一个预测上可行的点直接宣布为实际可行解。
• 真实结果核验：优化时可以大量查询代理模型，最终报告的目标值和约束状态仍应来自真实评估。

若希望模型直接提供用于采样决策的预测方差，可继续阅读 Kriging 代理模型。

参考资料

• Forrester, A. I. J., Sóbester, A., & Keane, A. J. (2008). Constructing a Surrogate. In Engineering Design via Surrogate Modelling.
• Regis, R. G., & Shoemaker, C. A. (2007). A Stochastic Radial Basis Function Method for the Global Optimization of Expensive Functions. INFORMS Journal on Computing, 19(4), 497–509.
• SciPy. RBFInterpolator：模型形式、平滑与可解条件.