DRL

CNN、RNN、Transformer自动学习状态表示实现了从感知到决策的端到端优化。

DRL

方法是直接对策略进行建模和学习将策略表示为一个参数化的函数比如神经网络通过调整参数来优化策略而不是像基于值函数的方法那样间接获取策略。

例如对于一个机器人行走的任务策略网络的输入可能是机器人当前的状态如关节角度、位置等输出是机器人下一步的动作如腿部的运动指令。

Policy

Gradients

直接学习如何根据状态产生最优的动作而不是先学习值函数再根据值函数来确定动作。

以近端策略优化PPO算法为例它通过重要性采样复用旧策略数据并采用裁剪目标函数约束策略更新幅度在连续动作空间任务中展现出高效的样本利用率与稳定的收敛性

与基于价值的方法形成鲜明对比。

基于价值Value-Based学习最优动作价值。

核心思想是不直接学习策略而是通过构建价值函数来评估在状态s下执行动作a的优劣

网络DQN它用

DQN分离价值函数的状态价值和动作优势提高收敛速度。

Rainbow

(1)

表示智能体在环境中的当前信息包含做出决策所需的全部必要数据。

可以是离散的如围棋棋盘布局或连续的如机器人传感器的数值。

在部分可观测马尔可夫决策过程POMDP中智能体可能无法获取完整状态仅观测到部分观测值

(2)

智能体从环境中实际感知到的信息它可能只是状态的部分或噪声版本。

在完全可观测环境中如经典棋盘游戏观察等于状态(o_t

s_t此时环境被建模为马尔可夫决策过程MDP。

在部分可观测环境中如机器人仅通过噪声传感器感知环境观察仅包含状态的部分信息甚至可能存在观测噪声此时环境被建模为POMDP。

(3)

智能体在某一状态下可执行的操作由环境允许的动作空间决定。

离散动作有限个可选动作如

“开火

移动”。

连续动作无限连续的动作空间如机械臂的旋转角度、自动驾驶的方向盘转角。

(4)

不同的环境允许不同类型的操作。

给定环境中所有有效动作的集合通常称为动作空间

Atari

其中只有有限数量的动作可供智能体使用。

其他环境比如智能体在物理世界中控制机器人的地方有连续的动作空间

(5)

智能体与环境交互的完整序列由状态和行动交替组成始于初始状态终于终止状态若环境为

episodio

简单来说策略就是agent在不同环境状态下决定采取何种动作的规则或方法。

比如在一个游戏中智能体面对敌人来袭的状态策略会告诉它是选择攻击、躲避还是防御。

策略可以是确定性的即给定一个状态明确指定要采取的动作也可以是随机性的给出在该状态下采取每个可能动作的概率分布。

例如在自动驾驶中看到红灯时确定性策略是停车而在股票交易中随机性策略可能是根据当前市场状态以

60%

nn.Sequential(nn.Linear(obs_dim,

act_dim))

。

分类策略可用于离散动作空间而对角高斯策略可用于连续动作空间。

两个关键计算对于使用和训练随机策略至关重要从策略中采样动作

分类策略就像是对离散行为的分类器。

为分类策略构建神经网络的方式与分类器相同输入是观察然后是一些层可能是卷积或密集连接取决于输入的类型然后有一个最终的线性层为每个动作提供

softmax

转换为概率。

多元高斯分布或多元正态分布由均值向量和协方差矩阵描述。

对角高斯分布是协方差矩阵仅在对角线上具有条目的特殊情况。

因此我们可以用向量来表示它。

对角高斯策略总是有一个神经网络从观察映射到平均动作。

(7)

“好坏”。

奖励是强化学习的核心驱动力智能体的目标是最大化累积奖励通常为折扣累积奖励

\sum_{t0}^\infty

为折扣因子。

奖励设计需符合任务目标可能需要领域知识如机器人导航中到达目标点奖励

100碰撞障碍物奖励

评估状态s的长期价值即从状态s出发遵循策略\pi所能获得的期望累积奖励。

用于评估在某个策略下从特定状态开始能获得的期望累积奖励。

包括状态值函数V(s)和状态-动作值函数Q(s,

V(s)

然后按照给定策略继续执行能得到的期望总回报。

例如在一个寻宝游戏中状态值函数可以告诉智能体当前位置的价值即从当前位置开始找到宝藏的期望奖励而状态-动作值函数可以告诉智能体在当前位置采取某个动作如向前走、向左转等后的价值。

数学公式其中期望由策略\(\pi\)和环境动态共同决定。

价值函数帮助智能体判断

“当前状态的优劣”是策略评估的核心工具。

例如在状态s下若V^\pi(s)高则说明该状态容易获得高奖励。

值函数本身并不直接指定智能体在每个状态下应该采取什么动作而是通过评估不同状态和动作的价值来引导智能体选择最优动作从而间接确定策略。

例如在基于值函数的强化学习算法中如

Q(s,

a)然后在每个状态下选择具有最高Q值的动作作为当前的最优动作这样逐渐形成一个策略。

也就是说先通过学习值函数来了解每个状态-动作对的好坏再根据这些信息来确定采取什么动作而不是像直接对策略建模那样直接学习一个从状态到动作的映射。

(9)

函数评估在状态s下执行动作a后的长期价值即从状态s执行动作a后再遵循策略\pi的期望累积奖励。

V^\pi(s)

用来描述和调整策略的一些变量。

如果把策略想象成一个函数那么策略参数就是这个函数的参数。

以神经网络为例神经网络的权重和偏置就是策略参数。

通过调整这些参数可以改变策略函数的输出也就是改变智能体在不同状态下选择动作的方式。

比如在一个下棋的智能体中策略参数决定了它在不同棋局状态下选择下一步棋的概率。

优化策略参数的目的是让智能体的行为能够最大化累积奖励也就是让智能体做出最优的决策。

(11)

策略网络通常使用神经网络来表示策略将状态作为网络的输入输出是动作的概率分布对于随机性策略或者直接是动作对于确定性策略。

例如在一个机器人导航任务中将机器人当前的位置、周围环境的感知信息等作为策略网络的输入网络输出机器人下一步移动的方向和速度。

基于梯度的优化定义一个目标函数通常是期望累积奖励然后计算目标函数关于策略参数的梯度利用梯度上升算法来更新策略参数使得目标函数值不断增大即策略不断优化。

如在训练一个玩游戏的智能体时根据游戏的得分奖励来计算梯度调整策略网络的参数让智能体在游戏中表现得越来越好。

采样与学习智能体根据当前的策略与环境进行交互收集状态、动作和奖励等样本数据。

然后基于这些样本估计梯度并更新策略参数。

例如在一个股票交易模拟环境中智能体根据当前的交易策略进行买卖操作记录每次操作的状态如股票价格、市场趋势等、动作买入、卖出或持有和获得的收益奖励通过这些数据来改进交易策略。

(12)

有时在强化学习中我们不需要描述一个动作在绝对意义上有多好而只需要描述它比其他动作平均好多少。

也就是说我们想知道这种行为的相对优势

\pi