JADE:精英引导、外部档案与参数自适应
JADE:精英引导、外部档案与参数自适应
经典 DE 的算子简单,但固定的 与 不容易兼顾不同问题和搜索阶段。Zhang 与 Sanderson 在 2009 年提出 JADE,将精英引导、可选外部档案和成功参数反馈结合起来。下文采用连续单目标最小化记号。
把“追随最好”改成“从优秀集合中选择”
JADE 的 current-to-pbest/1 变异为:
从当前种群前 的优秀个体中随机选择; 来自种群 , 可来自 。 保存被成功子代替换的旧父代,超出容量时随机删减。它不是历史最优解排行榜。
第一项差分提供优秀区域的引导,第二项提供扰动。较小的 使引导集合更集中;但“更贪婪”只描述选择压力,不保证更好的最终结果。
成功参数如何反馈
每个个体分别采样 与 :前者使用以 为位置参数的 Cauchy 分布,后者使用以 为均值的正态分布。采样后的参数需按算法规则处理合法范围,不能把 Cauchy 分布的位置参数称作其期望。
记本代严格改进对应的参数集合为 ,学习率为 。JADE 用平滑更新:
前者是 Lehmer 均值,后者是算术均值。无成功样本时保留旧中心,避免对空集合求平均。上述机制可在 SHADE 原论文对 JADE 的回顾中核对;JADE 原始论文链接见文末。
用一个数值例子理解反馈
假设本代两个成功的 为 。算术均值是 ,Lehmer 均值却是
若旧 、,新中心是 。这说明两件事:更新偏向成功样本中较大的 ;平滑更新不会直接把下一代全部参数设为 。参数中心、采样值和实际空间位移是三个不同量。
再考虑两个目标区域都曾产生成功参数的情形:一个需要较小 ,另一个需要较大 。用单一中心混合它们,未必还能保留两种搜索行为。这个直观例子解释了为什么后续 SHADE 要引入多个记忆槽。
阅读和实现时的边界
“自适应”表示参数分布受到运行反馈影响,不等于没有超参数;、学习率及档案容量仍影响算法。成功反馈还受当前种群、目标函数及边界修复共同影响,不能把成功参数脱离这些条件理解为普遍最优参数。
在含大量相同目标值的平台问题上,应区分“允许替换”与“严格改进”。若把等值替换也当作正改进,反馈统计的含义就变了。含噪声时,单次改进甚至可能只是评价波动。
参考资料
- Zhang, J.; Sanderson, A. C. (2009). JADE: Adaptive Differential Evolution With Optional External Archive,原始文献入口。
- Tanabe, R.; Fukunaga, A. (2013). SHADE 原论文,第 IV 节回顾 JADE 的变异、档案与参数更新。