|期刊分享|深度学习|端到端的视觉惯性里程计VINet 下

编者序：本文首次将深度学习应用到VIO状态估计，获得了媲美state-of-the-art的效果，且对同步误差、内参校正误差等更稳健。此外，本文对VO、VIO的综述也非常到位，明确指出了当前各类算法的state-of-the-art，参考意义极大。上部分为综述和基础知识，下部分为具体网络和实验。

推荐指数☆☆☆☆☆

四、本文算法

本文所提的序列到序列（sequence-to-squence）算法VINet如下图所示，包括裁剪后的CNN-RNN网络以进行VIO估计，整个网络可导（differentiable），从而可通过端到端训练估计自身运动。输入为单目RGB图像和IMU数据sequence-to-squence，IMU为6维向量，包括加速度的x、y、z分量和陀螺仪测量的角速度。网络的输出为7维向量：3维平移和4维四元数，四元数代表了序列中的姿态变化。

本质上，本文网络学习以下映射，将输入图像和IMU数据序列转换为位姿，其中W和H分别为图像的宽度和高度，N为时间序列长度。

下面详细介绍VINet的主要组成模块：

SE(3)连接变换

相机位姿初始起点一般用特殊变换欧式群SE(3)表征。在我们的网络中，使用CNN-RNN处理单目图像序列计算帧到帧运动，CNN-RNN执行输入数据到李代数se(3)的映射。指数映射用于将se(3)映射到SE(3)，生成轨迹。这样，网络需要近似的函数长时间仍然有界，由于相机帧到帧间的动力学映射。通过RNN学习复杂的运动，而手工建模则比较复杂。如下图所示。

此外，在传统的LSTM模型中，隐藏状态在下一时刻才会计算，但是输出本身并不反馈到输入。而在里程计估计中，前一状态至关重要，因为输出是每一步的累积。我们在模型中，直接将SE(3)层输出的位姿，作为下一时刻Core LSTM的输入。

多速率LSTM

在VIO中，存在着输入数据流的多状态问题。IMU数据帧频一般是视觉数据的10倍左右。因此，我们使用较小的LSTM以IMU速率处理IMU数据，IMU-LSTM最后的隐藏层激活后连接到Core-LSTM。

光流权值初始化

CNN使用两个图像序列作为输入，与IMU-LSTM类似，生成单特征向量描述帧间运动，并且作为Core LSTM的输入。我们最初将两帧直接输入到在ImageNet上预训练的CNN上，发现收敛很慢且性能很差。因此使用我们以前提出的在RGB图像上预测光流的网络。本文的CNN在FlowNet6层卷积的基础上，移除了产生高维光流输出层，而使用将 1024×6×20向量flatten后与IMU-LSTM产生的特征向量连接后输入到Core LSTM。Core-LSTM在特征层融合视觉惯性数据生成位姿估计。

运算量

里程计预测所需的运算量和模型存储空间大小直接影响了定义模型的参数。本文网络使用2层的LSTM，有1000个单元。图像前向传递通过CNN网络在单个Tesla K80上平均时间为160ms，大约10Hz。LSTM更新在Tesla K80上可以达到200Hz。

五、训练

整个网络使用BPTT（back propagation through time）训练，使用带RMSProp自适应学习率的SGD更新网络权值。训练较长的高维连续图像序列需要极大的内存，为降低存储需求，但在训练时仍保持连续性，我们使用滑窗方法，如下图所示。

为克服训练陷入局部最优，使用两种损失函数：se(3)帧到帧预测损失和SE(3)全连接位姿损失。联合这两种训练的算法如下所示。

六、实验

本部分主要评估精度和对校正与同步误差的稳健性，并与传统方法对比。我们使用Theano部署网络，在Tesla k80上训练，每个数据集迭代200次，大概需要6小时。

EuRoC数据集是通过硬同步的前向视觉惯性传感器采集的，全局曝光相机为20Hz，IMU为200Hz，通过Vicon获得的6D ground truth为100Hz。由于评估里程计的性能，所以OKVIS不执行闭环检测。为测试校正误差，在相机IMU旋转矩阵上加入随机角度误差。我们训练了两种网络，一个仅在校正好的数据集上训练，另一个则通过人工mis-calibrated进行了数据增强。实验结果如下图所示。

我们在KITTI里程计数据集上做了测试，使用序列1-10进行训练，使用序列11进行测试。单目图像和ground truth为10Hz，IMU为100Hz。该数据集有许多急转弯和密集输液区域，使得传统的VIO方法帧间数据关联困难。由于KITTI数据集没有硬同步，所以OKVIS在该数据集不能成功运行，我们与采用LIBVISO2估计结果与惯性数据EKF融合后比较，结果如下图所示。

英文名称：VINet: Visual-Inertial Odometry as a Sequence-to-Sequence Learning Problem

链接及源码：

https://arxiv.org/pdf/1701.08376.pdf

死磕自律，遇见更好的自己；自斩双臂，方能长出强两翼。

败而不弃，潜龙勿用待时机；执着坚毅，飞升上神创奇迹！

关注该公众号，一起创造奇迹。