JADE、SHADE 和 L-SRTDE 都利用运行反馈，但反馈如何映射到参数仍主要由人设计。学习驱动的 DE 把其中一部分决策交给从优化经验训练出来的模型。本篇是一篇方向综述，并不把“学习驱动 DE”当作一个具有唯一实现的算法名称。

这条研究线与前面的手工自适应方法并行发展，不能在时间上简单排成 RDEx-SOP 之后的一代。

模型到底控制哪一层

学习对象	动作示例	对应代表工作
算子选择	为一个父代选择变异策略	DE-DDQN，2019
参数控制	根据运行状态给出控制参数	LDE，2021
算法调度	在多个 DE 求解器之间切换	DE 上的动态算法选择研究，2024

强化学习（Reinforcement Learning, RL）研究的是智能体（agent）如何通过与环境（environment）的交互，在不断试错（trial-and-error）的过程中学习一个策略（policy），以最大化长期累积回报（expected cumulative return）。

强化学习是机器学习的第三范式，与监督学习（Supervised Learning）和无监督学习（Unsupervised Learning）并列。

对于单过程：

$$S_t \xrightarrow{A_t} R_{t+1},\, S_{t+1}$$

最优策略 Optimal policy

状态价值可用于评估策略的优劣：若对所有状态 $s \in \mathcal{S}$ ，都满足

值迭代

即对贝尔曼最优公式进行迭代求解

算法步骤

Step 1: 策略更新 policy update

值迭代每轮会根据当前 $v_k$ 计算 $q_k(s,a)$，然后在每个状态选取使 $q_k$ 最大的动作：

本文开始介绍无需模型（model-free）的强化学习方法。没有模型就通过数据去找到最优策略。对期望值进行估计。

MC Basic：最简单的基于蒙特卡洛的算法

通过修改前文的策略迭代算法得到，即将其中的基于模型的策略评价模块替换为无需模型的策略评价模块。

• 随机逼近（SA）是指一大类随机迭代算法，用于求解求根问题或优化问题。

• 与许多其他求根算法（例如基于梯度的方法）相比，

  SA 的强大之处在于：它不需要知道目标函数的具体表达式，也不需要其导数。

算法示例：期望值估计

▷ 如何计算均值 $\bar{x}$？

TD算法与MC算法最大的不同在于它是增量式的。

TD算法指一大类强化学习算法，也指一个特殊的进行状态值估计的算法

状态值估计：最基础的时序差分方法

问题陈述

• 给定策略 $\pi$，目标是估计在策略 $\pi$ 下的状态价值 $\{v_{\pi}(s)\}_{s \in \mathcal{S}}$。
• 经验样本为：${\color{blue}(s_0, r_1, s_1, \ldots, s_t, r_{t+1}, s_{t+1}, \ldots)}$ 或 ${\color{blue}\{(s_t, r_{t+1}, s_{t+1})\}_t}$ 它们是由策略 $\pi$ 生成的。

价值表示：从表格到函数

由表格转为函数，由离散转为连续。用函数拟合连续的状态价值

$$\hat{v}(s) = as + b$$

在本文中，我们将从

• 基于价值的方法转向基于策略的方法
• 基于价值函数的方法转向策略函数方法（或称为策略梯度方法）

策略表示：从表格到函数

以前，策略是通过表格表示的：

• 所有状态的动作概率存储在表格$\pi(a|s)$中。表格中的每个条目由状态和动作索引。