|期刊分享|计算机视觉|PI-VIO:基于点和线特征的稳健高效VIO 上

编者序：本文是创业公司PerceptIn在MSCKF的基础之上提出的双目VIO算法，除了点特征外，融入了线特征，使得算法对低纹理环境等更稳健。基于他们自己的双目设备，录制了高质量的数据集，可用于VIO/SLAM算法的评估。将分两部分转述，上部分为背景及实验，下部分为详细算法。

推荐指数☆☆☆☆☆☆☆

1 引言

运动跟踪是机器人、自动驾驶、AR、VR等应用的核心，由于相机和IMU的天然互补性，以及它们在智能手机及其它即插即用货架产品中的大量存在使得视觉惯性里程计VIO近几年很流行，苹果的ARKit和谷歌的ARCore是VIO的典型应用。

VIO算法有两种分类方法。基于视觉和惯性测量融合时机，VIO可分为紧耦合和松耦合。松耦合从图像和惯性测量中独立估计运动，然后将估计结果融合以获得最终估计。紧耦合直接在测量级融合视觉和惯性数据联合估计所有的IMU和相机状态。松耦合更灵活、高效，紧耦合更精确、稳健。本文的PI-VIO算法属于紧耦合。

基于视觉和惯性测量融合方式，VIO可分为基于滤波的方法和基于优化的方法。前者一般为EKF算法，通过IMU积分进行预测，使用视觉测量进行校正；后者通过非线性优化直接最小化IMU积累误差和相机测重投影误差。一般来讲，基于优化的方法更精确，但是运算量更大，因为需要不断地线性化。也有结合二者优点的组合类方法，如PIRVS迭代执行EKF更新进行运动估计，同时在后端执行优化以减少长时间漂移。本文提出的PI-VIO是基于滤波的方法，评估表明其精度与state-of-the-art基于优化的方法是同一个量级。

大部分VIO算法基于Shi-Tomasi、FAST等点特征作为图像测量，使得它们性能在低纹理环境或光照变化使得点特征不能可靠检测和跟踪的环境中下降明显。但是这些低纹理环境中的平面元素有大量的线特征，边缘提取对光照变化并不太敏感。因此，除了点特征外，PI-VIO还提取了线特征作为有用的图像测量以增加运动约束，从而使得系统稳健。类似MSCKF算法，双目点和线特征使用滑动窗口处理，使得运算量与特征数呈线性关系。

此外，与SLAM算法相比，VO或VIO算法一般运行更快但是漂移更大，这是由于它们并不维护环境永久地图。因此，在本文提出的PI-VIO算法中，引入了不带耗时的地图优化（如BA）的轻量级闭环检测方法减少长时间漂移。

本文主要贡献如下：（1）首次提出基于点和线特征的基于滤波的紧耦合双目VIO算法；（2）引入了基于滤波的轻量级闭环检测方法；（3）与OKVIS、VINS-MONO、S-MSCKF算法进行了大量对比评估；（4）发布了双目与IMU同步的PerceptIn Ironsides数据集，并提供了毫米级精度的ground truth。

2 相关工作

PL-SLAM在ORB-SLAM的基础上，使用单目点线匹配；另一个也叫PL-SLAM的算法，旨在使用双目点线特征基于词袋模型进行闭环检测；Tarrio等人提出了基于边缘的单目VO算法，使用陀螺仪获得的旋转先验信息作为正则项最小化边缘对齐误差；Ling等人提出了距离变换域的边缘对齐基于优化的紧耦合VIO算法。

LSD-SLAM、DSO等直接法，依赖于梯度较大的图像区域，包括但是不受限于图像特征和边缘。Usenko等人将LSD-SLAM的仅视觉公式扩展为带IMU的紧耦合，最小化联合光度误差和惯性能量的函数。ROVIO是基于滤波的直接VIO方法，在EKF更新时使用图像块的光度误差作为新息项。本文对线特征的使用，某种程度上介于基于特征方法和直接发之间。尽管不需要提取特征，但是直接法依赖于灰度一致性假设，对环境光照变化和相机增益、曝光等敏感。与ROVIO等直接法相比，本文使用点投影误差和点到线的距离作为更新时的新息。

漂移是SLAM和里程计方法不可避免的，闭环检测可有效校正漂移，一般通过全局位姿图优化实现。VINS-MONO引入了两步闭环检测步骤：（1）将滑动窗口与历史位姿对齐的紧耦合重定位；（2）全局位姿图优化。本文的轻量级闭环检测在滤波框架中使用了第一步，出于效率考虑丢弃了第二步，据我们所知这也是基于滤波的紧耦合闭环检测方法。本文PI-VIO算法在统一的滤波框架中处理双目点线特征和闭环检测。

6 实验

本部分通过两个实验验证PI-VIO性能，对比算法是代表state-of-the-art的OKVIS、VINS-MONO和-MSCKF算法。OKVIS和S-MSCKF支持双目相机，实验时工作于双目模式；VINS-MONO是单目VIO算法。两个实验分别采用EuRoC MAV数据集和我们的PerceptIn Ironsides 数据集。由于RANSAC带来的不确定性，所有对比实验均重复5次并记录中位数。

6.1 EuRoC MAV数据集

我们选用MH、V1、V2各3个数据集，对比算法使用它们提供的针对EuRoC调好的默认参数，并且保留了VINS-MONO的闭环检测功能。评估结果如下图所示，PI-VIO在MH_04、MH_05、V1_01和V2_01领先。

对于V2_03数据集，S-MSCKF效果太差，正如原作者所说，由于双目图像间的亮度连续不一致性导致双目特征匹配失败，而PI-VIO因为采用了直方图匹配而对此稳健。此外，V2_03左目相机丢失了约400帧，导致OKVIS跟踪失败，在我们将右目做同样处理后，OKVIS可以正常工作；而本文的PI-VIO则对空间双目或时序帧丢失足够稳健；VINS-MONO由于只是单目算法丢帧对它没影响。

6.2 PerceptIn Ironsides数据集

该数据集使用工作半径850mm的6轴机机械臂上的PerceptIn Ironsides相机采集，同步输出60Hz双目图像和200Hz IMU数据，如下图所示。总共包括9个不同运动和环境条件的子数据集，从视觉条件良好下的单轴缓慢运动到有运动模糊和低纹理的快速运动。与EuRoC类似，我们提供了ROS bag数据和zip格式数据，ground truth由机械臂平台提供，精度达毫米级别，并且与相机精确同步。因此，PerceptIn Ironsides数据集是VIO/SLAM评估或研发的理想数据集。

实验结果如下图所示，所有算法均进行了调参以使得性能最优，本文的PI_VIO一直在前2名。S-MSCKF与本文性能接近，除了PI_30058数据集，该数据集挑战性最大，有好多快速运动和低纹理序列，对仅依赖于点特征的VIO方法非常困难，而本文由于使用了额外的线特征而表现出良好性能。OKVIS在缓慢平移为主的PI_S1_X1、P1_S1_Y1和P1_S1_Z1序列上工作良好，但在PI_3058、PI_S1_Y2和PI_S1_Z2上表现太差，我们注意到OKVIS特征匹配不能处理场景重复特征。该对比试验中排除了VINS-MONO，主要有两个原因：（1）失真模型与Ironsides校正不匹配；（2）许多数据集开始的旋转为主的序列导致并不能初始化。为提高单目SLAM初始化成功率，直到视差足够的延迟初始化和基础矩阵与单应矩阵间的模型选择会有所帮助。

英文名称：PI-VIO: Robust and Efficient Stereo Visual Inertial Odometry using Points and Lines

本公众号专注于提供计算机视觉、机器学习、深度学习、智能传感器技术等人工智能、机器人、无人车、无人机相关领域省时的知识转述，敬请各位看官关注、评论、转发、分享。

关注该公众号，一起创造奇迹。