分层贝叶斯优化算法（hBOA）

Goat_Yang2026/3/21约 1652 字大约 6 分钟

分层贝叶斯优化算法（hBOA）

名称

分层贝叶斯优化算法（Hierarchical Bayesian Optimization Algorithm, HBOA）

策略

代理建模

HBOA 采用高斯过程（Gaussian Processes, GPs）构建目标函数的分层代理模型。该代理模型基于已观测数据点建立，并随着新数据的获得进行迭代更新。分层结构使其能够刻画不同保真度层次下的函数特性，从而实现对高代价黑盒目标函数的高效优化。

采集函数

为引导搜索过程，HBOA 使用采集函数在探索与开发之间进行权衡。采集函数基于代理模型的预测均值与不确定性来选择下一个待评估点。常见的采集函数包括期望改进（Expected Improvement, EI）、上置信界（Upper Confidence Bound, UCB）和改进概率（Probability of Improvement, PI）。

分层搜索

HBOA 利用代理模型的分层结构执行多层次搜索。算法首先借助低保真模型在较粗粒度层面探索搜索空间，然后在潜在优良区域中逐步使用高保真模型进行细化搜索。该机制有助于更合理地分配计算资源，并加快收敛至最优解的过程。

流程

数据结构

搜索空间：一种分层结构，其中每一层对应不同的抽象层次或搜索粒度。
高斯过程：用于在各层级上刻画目标函数的概率模型。
采集函数：用于平衡探索与开发并引导搜索方向的函数。

参数

层级数：分层搜索空间中的层数。
迭代次数：算法在每一层中允许执行的最大迭代次数。
初始点数：在开始优化前，每一层需要预先评估的初始样本点数量。
核函数：高斯过程模型所采用的协方差函数。
采集函数类型：所选用的采集函数类型，如 EI、UCB 等。

步骤

初始化分层搜索空间
1. 定义层级数以及各层对应的搜索空间。
按照从高层到低层的顺序，对层级中的每一层执行以下过程：
1. 初始化高斯过程模型
  1. 选择当前层需要评估的初始点。
  2. 在这些初始点处计算目标函数值。
  3. 基于已评估点拟合高斯过程模型。
2. 对当前层中的每次迭代，执行以下过程：
  1. 优化采集函数
    1. 基于当前高斯过程模型，找到使采集函数取得最大值的点。
  2. 在所选点处评估目标函数
    1. 计算该最大化采集函数点对应的目标函数值。
    2. 将该点及其目标函数值加入已评估点集合。
  3. 更新高斯过程模型
    1. 基于更新后的已评估点集合重新拟合高斯过程模型。
3. 若当前层不是最底层：
  1. 细化搜索空间
    1. 利用当前层的结果对下一层的搜索空间进行细化。
    2. 根据当前层识别出的最有前景区域，定义下一层的精细搜索空间。
4. 若当前层为最底层：
  1. 返回在最底层中找到的最优解。