关于基于大语言模型的自动驾驶解决方案的最新研究#xff0c;显示了规划和控制领域的前景。

然而大量的计算资源和大语言模型的幻觉继续阻碍预测精确轨迹和指示控制信号的任务。

为了解决这个问题本文提出了Co-driver这是一种自动驾驶辅助系统能够根据对道路场景的理解使自动驾驶车辆能够调整驾驶行为。

提出一个涉及

此外还提供一个包含图像集和相应提示集的数据集用于微调系统的视觉-语言模型模块。

Co-driver

https://github.com/ZionGo6/Co-driver

如图所示视觉语言模型模块接收图像输入和系统提示以行为树格式发布环境分析和指令结果。

系统的主要任务是分析来自自车前置摄像头的视觉输入并得出有关天气、光线、路面、地点等环境信息的结论以及控制参数例如最大速度、最大制动、最大油门等。

基于视觉数据确定自动驾驶汽车的驾驶行为对于视觉语言模型来说是一项复杂的任务。

该任务被分解为将图像数据集中专门定义的场景提供给模型去识别图像中的环境信息并根据所描述的环境数据来预测控制和行为参数的水平。

这两项任务对微调的视觉语言模型都没有构成重大挑战这确保了提出的系统实际实施流程。

在上述任务的第一步中视觉语言模型模块接收包含任务描述和目的地的系统提示以及来自自车前置摄像头的图像。

然后模块在第一步确定的环境参数的指导下继续生成控制和驾驶行为参数的级别。

最后基于视觉语言模型模块的图像输入所有获得的参数都被映射为一组智体行为改变和影响

CARLA

模拟器中从自车的前置摄像头视图中收集的在定义的天气晴朗、下雨、有雾、光线明亮、阴暗、黑暗、地点城市、城镇、高速公路条件下

在提示数据集中系统提示是从驾驶员的角度作为完成驾驶任务的请求和环境信息的通知而给出的。

然后将定义的环境信息以及关于控制类型、最大速度、最大制动、最大油门、最大加速度和最大转向速度的车辆控制和驾驶行为建议作为行为树格式的输出提示。

Qwen-VL

[23]。

在训练过程中视觉编码器的权重保持冻结专注于优化模型的语言方面。

训练在单个

的情况下模型快速适应目标突发能力并响应所需的格式。

这一过程只需要一个

epoch

个小时才能完成。

尽管训练时间相对较短但该方法被证明是有效的在模型性能和输出质量方面产生了令人满意的结果。

训练过程的进展如图所示的训练曲线所示其展示了损失随时间的变化并提供了对模型学习动态的深入了解。

CARLA

中使用可调整的天气、地图和交通设置创建了测试场景。

在测试模拟运行期间视觉语言模型模块处于打开状态读取自车的前方图像并执行场景理解和行为指令。

记录带有车辆轨迹和车辆状态信息例如速度、加速度等的驾驶场景。

其次用暗光的真实驾驶场景验证系统的视觉-语言模型模块在HawkDrive数据集[24]上夜间条件的泛化能力