。

首先初始化Q表格#xff0c;根据当前的状态和动作与环境进行…目录

1.Value-Based

SarsaState-action-reward-state’-action是为了建立和优化状态-动作(state-action)的价值Q表格所建立的方法。

首先初始化Q表格根据当前的状态和动作与环境进行交互后得到奖励reward以及下一步的状态和动作后对Q表格进行更新并不断重复这个过程。

另外为了保证每一步的探索性Sarsa在执行下一步时采用e-greedy算法即根据一定的概率估计来选择下一步的action。

Sarsa的这种更新Q表格方式称为on-policy方式即先做出下一步的动作再回头开更新Q值。

Q-Learning与之对应的是off-policy方式即在更新Q表格时无需知道下一步的动作而是假设下一步的动作可以取到最大的Q值。

DQNDeep

Q-Learning它的基本思想是采用神经网络的方式来近似代替Q表格。

DQN本质上还是Q-Learning算法同样为了更好的与环境进行交互采用e-greedy算法。

创新点

经验回放(experience

replay)使用经验池存在多条s,a,r,s’信息并随机选择一批数据作为输入到神经网络进行训练。

经验回放保证了样本的关联性和利用效率问题即对于某一条信息它有多次机会可以进入网络进行训练。

Q目标固定(fixed-Q-target)复制一个和原来一样的Q网络用来训练目标Q。

Q目标固定主要为了解决训练过程的稳定性问题。

Policy-Based

策略梯度方法是指在优化神经网络的过程中对于策略π(s,a)的期望回报所有的轨迹获得的回报R与对应的轨迹发生概率p的加权和。

A2CAdvantage

Actor-Critic是一种有策略的actor-critic算法它使用Advantage函数来更新策略。

该算法实现简单可以处理离散和连续的动作空间。

DDPGDeep

Gradient是结合DQN算法与Actor-Critic提出的求解针对连续动作空间上的学习任务的算法。

PPOProximal

Optimization是一种策略算法它使用信任域优化的方法来更新策略。

它在具有高维观察和连续动作空间的环境中特别有用。

PPO

TRPO

Optimization是一种无模型的策略算法它使用信任域优化方法来更新策略。

它在具有高维观察和连续动作空间的环境中特别有用。

参考文献