目标是使回报高的轨迹概率应该高。

这样整个策略的期望回报也会高。

就是用这个策略跑了若干个轨迹#xff0c;得到回报#x…2.策略梯度方法

目标是使回报高的轨迹概率应该高。

这样整个策略的期望回报也会高。

2.1

torch.log(action_probs[action])

log

π(a_t|s_t)log_probs.append(log_prob)next_state,

reward,

env.step(action)rewards.append(reward)#

compute_discounted_rewards(rewards,

gamma0.99)#

discounted_rewards):policy_loss.append(-log_prob

G_t)

求和所有时间步的损失optimizer.zero_grad()total_loss.backward()

计算梯度

PolicyNetwork(nn.Module):策略网络输入状态输出动作概率def

__init__(self,

hidden_dim64):super(PolicyNetwork,

nn.Linear(state_dim,

gamma0.99):REINFORCE算法实现参数:env:

环境policy_net:

折扣因子返回:每个episode的奖励列表episode_rewards

[]for

torch.FloatTensor(state).unsqueeze(0)

shape:

torch.multinomial(action_probs,

1).item()#

torch.distributions.Categorical(action_probs)#

action

torch.log(action_probs.squeeze(0)[action])

shape:

存储log概率和奖励log_probs.append(log_prob)rewards.append(reward)#

更新状态state

计算episode的折扣回报discounted_rewards

[]R

torch.FloatTensor(discounted_rewards)discounted_rewards

(discounted_rewards

discounted_rewards):policy_loss.append(-log_prob

负号因为我们要最大化回报#

反向传播optimizer.zero_grad()policy_loss

shape:

scalarpolicy_loss.backward()optimizer.step()#

记录总奖励episode_rewards.append(sum(rewards))return

总结policy_loss