。

在本研究中#xff0c;我们建立了一种基于3D图形仿真器#xff08;3DGS#xff09;的闭环强化学习现有的端到端自动驾驶AD算法通常遵循模仿学习IL范式但面临着因果混淆和开环差距等挑战。

在本研究中我们建立了一种基于3D图形仿真器3DGS的闭环强化学习RL训练范式。

通过利用3DGS技术我们构建了真实物理世界的照片级真实数字副本使AD策略能够广泛探索状态空间并通过大规模的试错学习处理分布外场景。

为了增强安全性我们设计了专门的奖励机制引导策略有效应对安全关键事件并理解现实世界中的因果关系。

为了更好地与人类驾驶行为保持一致我们将模仿学习作为正则化项融入强化学习训练中。

我们引入了一个由多样且未见过的3DGS环境组成的闭环评估基准。

与基于模仿学习的方法相比RAD在大多数闭环指标上均表现出更强的性能尤其是碰撞率降低了3倍。

大量的闭环结果可访问Github。

Huggingface链接Paper

page论文链接2502.13144

随着自动驾驶技术的快速发展端到端自动驾驶AD逐渐成为学术界和工业界的研究热点。

与传统模块化的自动驾驶系统不同端到端自动驾驶通过直接映射传感器输入到驾驶动作简化了系统结构提高了泛化能力。

然而当前大多数端到端自动驾驶算法遵循模仿学习IL范式该范式在实际部署中面临诸多挑战。

模仿学习主要通过学习人类驾驶演示来训练神经网络以复制人类驾驶行为。

然而这种方法主要捕捉的是观察状态与动作之间的相关性而非因果关系这导致模型在识别导致规划决策的真正原因时存在困难进而可能产生捷径学习现象。

此外模仿学习训练数据主要涵盖常见驾驶行为缺乏对长尾分布情况的覆盖导致模型在面对罕见或危险情况时表现不佳。

另一个重要挑战是开环训练与闭环部署之间的差距。

模仿学习政策是在开环方式下使用分布良好的驾驶演示进行训练的但真实世界的驾驶是一个闭环过程每一步的微小轨迹误差会随时间累积导致复合误差和分布外场景的出现。

因此模仿学习政策在实际部署中往往难以应对这些未见情况其鲁棒性令人担忧。

为了解决这些问题本研究提出了一种基于3D图形仿真器3DGS的闭环强化学习RL训练范式旨在通过大规模试错学习使AD策略能够处理分布外场景并更好地理解现实世界中的因果关系。

相关工作

在自动驾驶领域动态场景重建是一个关键环节。

近年来隐式神经表示在新型视图合成和动态场景重建方面占据主导地位。

然而这些方法依赖于隐式表示导致渲染速度较慢限制了其在实时应用中的实用性。

相比之下3D高斯溅射3DGS作为一种高效替代方案在保持高视觉保真度的同时显著提高了渲染速度。

StreetGaussians、Driving-Gaussians和HUGSIM等研究已经证明了高斯表示在建模城市环境方面的有效性。

然而这些工作主要利用3DGS进行闭环评估而本研究则将其融入RL训练框架中。

2.2

基于学习的规划方法因其数据驱动的本质和随着数据量增加而表现出的卓越性能而受到广泛关注。

UniAD通过集成多项感知任务来增强规划性能展示了端到端自动驾驶的潜力。

V

AD则进一步探索了使用紧凑的矢量化场景表示来提高效率。

一系列工作也采用了单轨迹规划范式并进一步增强了规划性能。

然而这些端到端方法大多遵循数据驱动的模仿学习训练范式。

本研究则提出了一种基于3DGS的RL训练范式为端到端自动驾驶算法的训练提供了新的思路。

2.3

强化学习是一种有前景的技术但尚未在自动驾驶领域得到充分利用。

AlphaGo和AlphaGo

Zero等研究已经展示了强化学习在游戏领域的强大能力。

近年来OpenAI

O1和Deepseek-R1等研究也利用强化学习发展了推理能力。

在自动驾驶领域虽然已有一些研究应用了强化学习但这些研究要么基于非照片级真实的模拟器如CARLA要么不涉及端到端驾驶算法因为它们需要完美的感知结果作为输入。

据我们所知RAD是第一个在照片级真实的3DGS环境中训练端到端AD代理的工作。

RAD方法

RAD的总体框架如图2所示。

它接受多视图图像序列作为输入将传感器数据转换为场景令牌嵌入输出动作的概率分布并采样一个动作来控制车辆。

BEV编码器首先使用BEV编码器将多视图图像特征从透视视图转换为鸟瞰图BEV获得BEV空间中的特征图。

该特征图随后用于学习实例级地图特征和代理特征。

地图头利用一组地图令牌从BEV特征图中学习驾驶场景的矢量化地图元素包括车道中心线、车道分隔线、道路边界、箭头、交通信号等。

代理头采用一组代理令牌来预测其他交通参与者的运动信息包括位置、方向、大小、速度和多模式未来轨迹。

图像编码器除了上述实例级地图和代理令牌外还使用单独的图像编码器将原始图像转换为图像令牌。

这些图像令牌为规划提供了密集且丰富的场景信息是对实例级令牌的补充。

动作空间为了加速RL训练的收敛设计了一个解耦的离散动作表示。

将动作分为两个独立分量横向动作和纵向动作。

动作空间构建在0.5秒的短时间范围内在此期间假设车辆的运动由恒定的线性和角速度近似。

规划头使用场景表示E_scene包括地图令牌、代理令牌和图像令牌和规划嵌入E_plan作为输入通过级联Transformer解码器输出横向动作a_x和纵向动作a_y的概率分布以及对应的价值函数V_x(s)和V_y(s)。

3.2

感知预训练在第一阶段使用地图和代理的真实标签来监督地图头和代理头的输出从而隐式地编码相应的高层信息。

此阶段仅更新BEV编码器、地图头和代理头的参数。

规划预训练在第二阶段为了防止RL训练的不稳定冷启动首先使用大规模真实世界驾驶演示进行模仿学习以初始化动作的概率分布。

此阶段仅更新图像编码器和规划头的参数而BEV编码器、地图头和代理头的参数被冻结。

强化后训练在第三阶段RL和IL协同微调动作分布。

RL旨在引导策略对关键风险事件敏感并适应分布外情况而IL则作为正则化项来保持策略行为与人类相似。

3.3

在3DGS环境中自动驾驶车辆根据AD策略行动而其他交通参与者则根据真实世界数据以日志回放方式行动。

使用简化的运动学自行车模型迭代更新自动驾驶车辆的姿态并根据更新后的姿态计算新的状态作为下一轮推理过程的输入。

3.4

奖励函数是训练信号的来源决定了RL的优化方向。

奖励函数由四个组成部分构成与动态障碍物的碰撞、与静态障碍物的碰撞、与专家轨迹的位置偏差和航向偏差。

这些奖励组件在特定条件下被触发并用于优化AD策略。

3.5

在闭环环境中每一步的误差会随时间累积。

因此奖励不仅由当前动作决定还由前面步骤的动作决定。

奖励通过广义优势估计GAE向前传播以优化前面步骤的动作分布。

优化过程采用近端策略优化PPO框架并引入辅助目标以提供对整个动作分布的密集指导加速收敛。

4.1

数据集和基准收集了2000小时的真实人类驾驶演示并通过低成本自动化标注管道获取地图和代理的真实标签。

使用这些标签作为第一阶段感知预训练的监督。

从收集到的驾驶演示中选取了4305个高碰撞风险的关键密集交通片段并重建这些片段以形成3DGS环境。

其中3968个环境用于RL训练其余337个环境用作闭环评估基准。

评估指标使用九个关键指标评估AD策略的性能包括动态碰撞率DCR、静态碰撞率SCR、碰撞率CR、位置偏差率PDR、航向偏差率HDR、偏差率DR、平均偏差距离ADD、纵向加速度变化率Long.Jerk和横向加速度变化率Lat.Jerk。

4.2

通过消融研究评估了RAD中不同设计选择的影响包括RL和IL之间的平衡、不同奖励源的作用以及辅助目标的效果。

结果显示最佳的RL-IL比例为4:1此时碰撞率最低且轨迹一致性稳定。

全面的奖励函数和辅助目标组合能够显著提升安全性和轨迹一致性。

4.3

与基于模仿学习的端到端自动驾驶方法在提出的3DGS密集交通评估基准上进行了比较。

结果显示RAD在大多数指标上均表现出更好的性能尤其是碰撞率降低了3倍。

4.4

提供了RAD与仅模仿学习政策在3DGS环境中的定性比较。

结果显示RAD在处理动态环境和复杂交通情况时表现更好能够有效避免碰撞并处理挑战性任务。

局限性与结论

本研究提出了第一个基于3DGS的RL框架来训练端到端AD策略。

通过结合RL和ILRAD在建模因果关系、缩小开环差距以及保持与人类驾驶行为的一致性方面表现出色。

然而当前使用的3DGS环境以非反应式方式运行且3DGS的效果仍有待提升。

未来工作将重点解决这些问题并将RL扩展到更高水平。

RAD是一种创新的端到端自动驾驶训练方法通过结合基于3DGS的闭环强化学习和模仿学习成功解决了模仿学习面临的因果混淆和开环差距等问题。

实验结果表明RAD在安全性、轨迹一致性和驾驶平滑性方面均表现出色尤其是在处理复杂和动态交通情况时具有显著优势。

尽管目前仍存在一些局限性但RAD为端到端自动驾驶算法的训练提供了新的思路和方向具有广阔的应用前景。

停止生成