/>

/>

简介

ORB-SLAM2​

是一个开源的实时视觉SLAM（Simultaneous

Localization

Mapping，同时定位与建图）系统，由Raúl

Mur-Artal和Juan

Tardós开发。

该项目支持单目、双目和RGB-D相机，能够实时计算相机轨迹并构建稀疏的3D环境重建（在双目和RGB-D情况下具有真实尺度）。

系统具备实时闭环检测和相机重定位能力，是视觉SLAM领域的重要里程碑式工作。

核心价值：

• 多传感器支持：全面支持单目、双目和RGB-D相机，适应不同应用场景

• 实时性能：在普通计算机上实现实时运行，满足实际应用需求

• 高精度定位：通过优化算法提供准确的相机位姿估计

• 闭环检测：自动识别已访问场景，有效减少累积误差

技术定位：ORB-SLAM2填补了学术研究与工业应用之间的鸿沟。

作为视觉SLAM领域的经典实现，它为研究人员提供了可靠的基准系统，同时为开发者提供了可直接部署的解决方案。

其模块化设计和清晰的代码结构使其成为学习视觉SLAM的理想起点。

主要功能

1.

多模态相机支持

ORB-SLAM2支持三种主要的视觉传感器类型：单目相机、双目相机和RGB-D相机。

对于单目相机，系统能够估计相机运动轨迹，但需要额外信息恢复真实尺度。

双目相机通过立体视觉直接获得深度信息，实现带尺度的SLAM。

RGB-D相机结合彩色图像和深度信息，提供最完整的场景感知能力。

这种多模态支持使系统能够适应从消费级设备到专业机器人的各种硬件平台。

2.

实时特征跟踪与匹配

系统基于ORB（Oriented

FAST

BRIEF）特征进行图像处理，这些特征具有旋转不变性和尺度不变性。

特征检测器快速定位图像中的关键点，描述子高效编码局部外观信息。

特征匹配模块通过描述子相似性建立帧间对应关系，为相机运动估计提供基础数据。

系统采用金字塔策略处理尺度变化，确保在不同距离下都能稳定跟踪特征。

3.

关键帧管理与地图构建

ORB-SLAM2采用智能的关键帧选择策略，只在必要时添加新关键帧到地图中。

这平衡了地图的完整性和计算效率。

每个关键帧包含相机位姿、特征点和描述子等信息。

地图点通过三角化从多个视图重建，形成稀疏的3D环境表示。

系统维护一个全局一致的地图，支持大规模场景的建图。

4.

闭环检测与重定位

系统集成了基于DBoW2（Bag

Binary

Words）的位置识别模块，能够快速检测是否回到了之前访问过的场景。

闭环检测触发后，系统执行位姿图优化，校正累积误差，确保地图的全局一致性。

当跟踪失败时，重定位模块能够通过查询关键帧数据库恢复相机位姿，提高系统的鲁棒性。

5.

束调整与优化

ORB-SLAM2采用分层优化策略：局部束调整优化当前关键帧及其邻域，全局束调整在闭环检测后优化整个地图。

系统使用g2o图优化库进行非线性优化，最小化重投影误差。

这种优化框架确保了相机位姿和地图点位置的高精度估计。

6.

ROS集成与实时处理

项目提供完整的ROS（Robot

Operating

System）节点，支持实时处理单目、双目和RGB-D相机数据流。

ROS节点便于与机器人系统的其他组件集成，如传感器融合、路径规划和控制模块。

系统支持在线图像校正，处理原始相机输入。

7.

SLAM与定位模式切换

ORB-SLAM2提供两种运行模式：完整的SLAM模式和纯定位模式。

在SLAM模式下，系统同时进行定位和建图；在定位模式下，系统使用预先构建的地图进行相机定位，关闭建图功能以节省计算资源。

这种灵活性使系统既能用于地图构建，也能用于长期定位任务。

安装与配置

环境要求

操作系统：

• 推荐Ubuntu

  12.04、14.04或16.04，其他Linux发行版也可编译运行

• 需要C++11或C++0x编译器支持

• 建议使用性能较强的计算机（如i7处理器）以确保实时性能

核心依赖：

• Pangolin：用于可视化和用户界面，需要从GitHub下载安装

• OpenCV：用于图像处理和特征操作，至少需要2.4.3版本，支持OpenCV

  3.2

• Eigen3：线性代数库，g2o优化库的依赖，至少需要3.1.0版本

• DBoW2和g2o：已包含在项目的Thirdparty文件夹中，无需单独安装

• ROS（可选）：如需使用ROS节点，需要Hydro或更新版本

安装步骤

基础环境准备：

确保系统已安装必要的开发工具和编译器。

更新软件包列表，安装CMake、Git等构建工具。

检查C++编译器版本，确保支持C++11标准。

依赖库安装：

按照官方指南安装Pangolin，通常涉及克隆仓库、创建构建：cd

ORB_SLAM2。

设置脚本执行权限：chmod

+x

build.sh。

运行构建脚本：./build.sh。

构建过程将编译第三方库和ORB-SLAM2核心库，生成共享库文件和可执行示例。

ROS节点构建（可选）：

如需使用ROS功能，需要将Examples/ROS/ORB_SLAM2路径添加到ROS_PACKAGE_PATH环境变量中。

编辑.bashrc文件，添加相应的导出语句。

运行ROS构建脚本：chmod

+x

./build_ros.sh。

构建成功后，将生成相应的ROS节点。

配置说明

相机标定文件：

ORB-SLAM2需要相机标定参数文件，这些文件定义了相机的内参和畸变系数。

项目为常用数据集提供了预配置的标定文件：TUM数据集对应TUM1.yaml、TUM2.yaml、TUM3.yaml；KITTI数据集对应KITTI00-02.yaml、KITTI03.yaml、KITTI04-12.yaml；EuRoC数据集对应EuRoC.yaml。

用户处理自己的数据时需要创建相应的标定文件。

词汇表文件：

系统使用预训练的ORB词汇表进行位置识别，文件位于Vocabulary/ORBvoc.txt。

这个词汇表包含了ORB特征的视觉单词，用于快速图像匹配和闭环检测。

词汇表文件较大，但只需加载一次。

数据集关联文件（RGB-D）：

对于RGB-D数据，需要关联彩色图像和深度图像的时间戳。

项目提供了associate.py脚本用于生成关联文件，也为部分TUM序列提供了预生成的关联文件。

正确的关联对于RGB-D

SLAM至关重要。

运行参数调整：

用户可以根据具体应用调整系统参数，如特征数量、关键帧选择阈值、闭环检测灵敏度等。

这些参数影响系统的性能和精度，需要根据场景特点进行优化。

如何使用

基本工作流程

环境准备与激活：

确保所有依赖库已正确安装并配置。

如果使用ROS，确保ROS环境已正确设置。

准备输入数据，可以是数据集文件或实时相机流。

单目SLAM运行：

对于TUM数据集，使用命令指定词汇表、标定文件和序列路径。

根据不同的序列选择对应的标定文件（TUM1.yaml、TUM2.yaml或TUM3.yaml）。

系统将处理图像序列，实时显示相机轨迹和稀疏地图。

双目SLAM运行：

对于KITTI数据集，需要选择适当的标定文件（KITTI00-02.yaml、KITTI03.yaml或KITTI04-12.yaml）。

系统处理立体图像对，构建带尺度的3D地图。

双目SLAM不需要额外的尺度恢复步骤。

RGB-D

SLAM运行：

对于TUM

RGB-D数据集，需要先关联彩色和深度图像。

使用提供的关联文件或自己生成。

系统融合彩色和深度信息，构建稠密程度更高的地图。

RGB-D

SLAM在室内环境中表现优异。

数据集处理示例

KITTI数据集处理：

下载KITTI原始数据，解压到适当目录。

根据序列号选择对应的标定文件。

运行单目或双目示例，系统将处理图像序列并输出轨迹估计结果。

KITTI数据集提供地面真值，可用于评估SLAM精度。

TUM数据集处理：

下载TUM

RGB-D数据集，包含彩色图像、深度图像和地面真值。

使用associate.py脚本生成时间戳关联文件。

运行RGB-D示例，系统将实时显示相机运动和3D重建结果。

TUM数据集是评估RGB-D

SLAM性能的标准基准。

EuRoC数据集处理：

下载EuRoC

MAV数据集，包含立体图像和IMU数据。

系统支持单目和双目处理模式。

EuRoC数据集场景复杂，对SLAM系统的鲁棒性要求较高，适合测试系统在挑战性环境中的表现。

ROS实时处理

单目相机节点：

配置ROS相机驱动程序，发布图像话题。

运行ORB_SLAM2单目节点，指定词汇表和标定文件路径。

节点将订阅图像话题，实时输出相机位姿和地图信息。

双目相机节点：

配置立体相机系统，确保左右图像同步。

运行ORB_SLAM2双目节点，支持在线图像校正功能。

系统处理立体图像流，构建尺度一致的环境地图。

RGB-D相机节点：

配置RGB-D相机（如Kinect、RealSense），发布彩色和深度图像话题。

运行ORB_SLAM2

RGB-D节点，系统融合两种信息源，实现鲁棒的室内SLAM。

增强现实演示：

项目提供单目增强现实演示节点，可在检测到的平面区域插入虚拟立方体。

这展示了SLAM技术在AR应用中的潜力，为虚实融合提供基础。

模式切换与地图重用

SLAM模式：

默认运行模式，同时进行定位和建图。

系统运行三个并行线程：跟踪、局部建图和闭环检测。

适用于未知环境探索和地图构建任务。

定位模式：

当地图构建完成后，可切换到定位模式。

此模式下关闭建图功能，仅使用现有地图进行相机定位。

节省计算资源，适合长期定位应用。

地图保存与加载：

系统支持保存构建好的地图，并在后续会话中重新加载。

这实现了建图与定位的分离，支持大规模环境的一次建图、多次使用。

应用场景实例

实例1：移动机器人自主导航

场景描述：服务机器人、仓储机器人或扫地机器人需要在室内环境中实现自主导航。

传统方法依赖预先构建的地图或标记，SLAM技术使机器人能够在未知环境中同时构建地图并定位自身。

解决方案：在机器人上部署ORB-SLAM2系统，使用单目或RGB-D相机作为主要传感器。

机器人探索环境时，系统实时构建稀疏特征地图并估计机器人位姿。

闭环检测确保长期导航的一致性，避免累积误差。

构建的地图可用于路径规划和避障，实现完全自主的导航能力。

实施效果：

• 导航精度显著提高，视觉特征提供丰富的环境信息

• 系统适应性增强，无需预先布置标记或信标

• 建图与定位一体化，简化系统部署流程

• 支持动态环境更新，适应家具移动等场景变化

实例2：增强现实与虚拟现实定位

场景描述：增强现实应用需要将虚拟内容准确叠加到真实世界，虚拟现实系统需要在物理空间中安全导航。

精确的6自由度姿态估计是关键技术挑战，传统IMU存在漂移问题。

解决方案：利用ORB-SLAM2为AR/VR设备提供稳定的视觉定位。

单目相机实时跟踪设备运动，构建环境特征地图。

闭环检测纠正漂移，确保虚拟内容稳定锚定。

定位模式支持在预先建图的环境中快速重定位，减少初始化时间。

实施效果：

• 定位稳定性大幅提高，视觉特征提供可靠的空间锚点

• 用户体验显著改善，虚拟内容抖动和漂移问题得到解决

• 支持大规模环境，通过地图重用实现快速启动

• 为虚实融合应用提供准确的空间感知基础

实例3：自动驾驶环境感知

场景描述：自动驾驶车辆需要精确理解周围环境，包括静态结构和动态物体。

视觉SLAM提供补充或替代方案，减少对高精度地图和昂贵传感器阵列的依赖。

解决方案：将ORB-SLAM2集成到自动驾驶感知系统。

双目相机系统提供立体视觉，直接恢复场景深度信息。

系统实时估计车辆位姿，构建周围环境地图。

结合语义分割技术，识别道路、交通标志、其他车辆等元素。

支持多传感器融合，提高系统鲁棒性。

实施效果：

• 环境感知能力增强，视觉提供丰富的语义和几何信息

• 系统冗余性提高，多传感器方案增加安全性

• 成本效益优化，视觉系统补充昂贵传感器

• 支持无地图导航，减少对高精度地图的依赖

实例4：无人机测绘与巡检

场景描述：无人机用于基础设施巡检、农业监测或地形测绘时需要精确位置估计和地图构建。

GPS在室内或城市峡谷环境不可靠，视觉惯性系统提供补充定位方案。

解决方案：在无人机上部署轻量级ORB-SLAM2系统。

下行相机提供连续图像流，实时估计无人机位姿。

构建稀疏地图支持自主导航和路径规划。

结合GPS和IMU数据，实现多传感器融合定位。

生成的环境地图用于缺陷检测、体积测量或作物分析。

实施效果：

• 定位可靠性提高，视觉在GPS拒止环境中有效工作

• 测绘精度保证，闭环检测减少累积误差

• 自动化程度提升，支持自主飞行和检测任务

• 数据分析能力扩展，结合语义信息实现智能分析

实例5：文化遗产数字化记录

场景描述：博物馆、考古遗址或历史建筑需要高精度3D数字化记录。

传统摄影测量方法需要控制点和复杂后处理，实时SLAM技术加速数据采集和验证过程。

解决方案：使用配备相机的移动设备运行ORB-SLAM2扫描文化遗产。

系统实时构建稀疏特征地图，指导操作者确保完整覆盖。

生成的点云数据用于创建详细3D模型。

多会话建图支持大型场景的分段采集和自动拼接。

结合彩色纹理，创建逼真的数字化副本。

实施效果：

• 采集效率大幅提高，实时反馈确保覆盖完整性

• 模型质量保证，优化算法确保几何一致性

• 工作流程简化，现场即可验证数据质量

• 支持大规模场景，分段采集后自动融合

实例6：室内定位与导航服务

场景描述：商场、机场、医院等大型室内场所需要精确的室内定位服务。

传统WiFi指纹定位精度有限，蓝牙信标部署维护成本高，视觉定位提供高精度替代方案。

解决方案：部署ORB-SLAM2构建室内视觉定位基础设施。

预先采集环境图像构建视觉特征地图。

用户手机相机实时匹配特征，精确定位。

结合惯性传感器，实现平滑的位置跟踪。

支持地图更新，适应环境变化如店铺装修或临时布置。

实施效果：

• 定位精度显著提高，视觉特征匹配提供米级甚至亚米级精度

• 用户体验改善，无缝室内外导航成为可能

• 维护成本降低，软件更新优于硬件维护

• 增值服务可能，基于位置的推送和导览增强商业价值

GitHub地址

项目地址：https://github.com/raulmur/ORB_SLAM2

项目信息：

• ⭐

  Stars：持续增长中，是视觉SLAM领域最受欢迎的开源项目之一

• 📄

  许可证：GPLv3开源许可证，商业使用需联系作者获取闭源版本

• 💻

  主要语言：C++

• 📅

  最新版本：活跃维护中，支持OpenCV

  3和Eigen

  3.3

学术资源：

• 单目SLAM论文："ORB-SLAM:

  Versatile

  Robotics，2015年（获得2015

  IEEE

  Robotics最佳论文奖）

• 多目SLAM论文："ORB-SLAM2:

  Open-Source

  Robotics，2017年

• 位置识别论文："Bags

  Binary

  Robotics，2012年

资源内容：

• 完整源码：核心SLAM系统实现

• 示例程序：单目、双目、RGB-D数据集处理示例

• ROS节点：实时相机处理节点

• 词汇表文件：预训练的ORB视觉词汇表

• 标定文件：常用数据集的相机标定参数

• 文档资料：安装指南、使用说明、依赖列表

快速开始：

1. 安装依赖：Pangolin、OpenCV、Eigen3

2. 克隆仓库：git

   clone

   https://github.com/raulmur/ORB_SLAM2.git

   ORB_SLAM2

3. 构建项目：cd

   ORB_SLAM2

   ./build.sh

4. 运行示例：根据相机类型选择对应的示例程序

5. 处理数据：使用KITTI、TUM或EuRoC数据集测试系统性能

技术生态：

ORB-SLAM2构建了完整的视觉SLAM技术栈：

• 前端处理：ORB特征检测、描述和匹配

• 后端优化：基于g2o的束调整和位姿图优化

• 位置识别：基于DBoW2的快速场景识别

• 地图管理：关键帧选择、地图点三角化

• 可视化：基于Pangolin的实时3D显示

ORB-SLAM2通过其经典的设计和可靠的性能，成为视觉SLAM领域的标杆系统。

无论是学术研究中的算法比较、工业应用中的原型开发，还是教育领域的技术教学，这个项目都展现了不可替代的价值。

其清晰的架构设计和完整的文档支持，使得初学者能够快速入门，专家能够深入定制。

随着视觉SLAM技术的持续发展和应用场景的不断拓展，ORB-SLAM2将继续在机器人、自动驾驶、增强现实等领域发挥重要作用。

项目的开源性质促进了整个领域的进步，为后续的SLAM系统开发奠定了坚实基础。