在本文中，我们将从

• 基于价值的方法转向基于策略的方法
• 基于价值函数的方法转向策略函数方法（或称为策略梯度方法）

策略表示：从表格到函数

以前，策略是通过表格表示的：

• 所有状态的动作概率存储在表格$\pi(a|s)$中。表格中的每个条目由状态和动作索引。

Actor-critic 方法仍然属于策略梯度方法。

• 它们强调将策略梯度方法与价值函数方法相结合的结构。