百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

|期刊分享|计算机视觉|PI-VIO:基于点和线特征的稳健高效VIO 上

bigegpt 2024-10-12 05:37 10 浏览

编者序:本文是创业公司PerceptIn在MSCKF的基础之上提出的双目VIO算法,除了点特征外,融入了线特征,使得算法对低纹理环境等更稳健。基于他们自己的双目设备,录制了高质量的数据集,可用于VIO/SLAM算法的评估。将分两部分转述,上部分为背景及实验,下部分为详细算法。


推荐指数☆☆☆☆☆☆☆


1 引言

运动跟踪是机器人、自动驾驶、AR、VR等应用的核心,由于相机和IMU的天然互补性,以及它们在智能手机及其它即插即用货架产品中的大量存在使得视觉惯性里程计VIO近几年很流行,苹果的ARKit和谷歌的ARCore是VIO的典型应用。

VIO算法有两种分类方法。基于视觉和惯性测量融合时机,VIO可分为紧耦合和松耦合。松耦合从图像和惯性测量中独立估计运动,然后将估计结果融合以获得最终估计。紧耦合直接在测量级融合视觉和惯性数据联合估计所有的IMU和相机状态。松耦合更灵活、高效,紧耦合更精确、稳健。本文的PI-VIO算法属于紧耦合。

基于视觉和惯性测量融合方式,VIO可分为基于滤波的方法和基于优化的方法。前者一般为EKF算法,通过IMU积分进行预测,使用视觉测量进行校正;后者通过非线性优化直接最小化IMU积累误差和相机测重投影误差。一般来讲,基于优化的方法更精确,但是运算量更大,因为需要不断地线性化。也有结合二者优点的组合类方法,如PIRVS迭代执行EKF更新进行运动估计,同时在后端执行优化以减少长时间漂移。本文提出的PI-VIO是基于滤波的方法,评估表明其精度与state-of-the-art基于优化的方法是同一个量级。

大部分VIO算法基于Shi-Tomasi、FAST等点特征作为图像测量,使得它们性能在低纹理环境或光照变化使得点特征不能可靠检测和跟踪的环境中下降明显。但是这些低纹理环境中的平面元素有大量的线特征,边缘提取对光照变化并不太敏感。因此,除了点特征外,PI-VIO还提取了线特征作为有用的图像测量以增加运动约束,从而使得系统稳健。类似MSCKF算法,双目点和线特征使用滑动窗口处理,使得运算量与特征数呈线性关系。

此外,与SLAM算法相比,VO或VIO算法一般运行更快但是漂移更大,这是由于它们并不维护环境永久地图。因此,在本文提出的PI-VIO算法中,引入了不带耗时的地图优化(如BA)的轻量级闭环检测方法减少长时间漂移。

本文主要贡献如下:(1)首次提出基于点和线特征的基于滤波的紧耦合双目VIO算法;(2)引入了基于滤波的轻量级闭环检测方法;(3)与OKVIS、VINS-MONO、S-MSCKF算法进行了大量对比评估;(4)发布了双目与IMU同步的PerceptIn Ironsides数据集,并提供了毫米级精度的ground truth。

2 相关工作

PL-SLAM在ORB-SLAM的基础上,使用单目点线匹配;另一个也叫PL-SLAM的算法,旨在使用双目点线特征基于词袋模型进行闭环检测;Tarrio等人提出了基于边缘的单目VO算法,使用陀螺仪获得的旋转先验信息作为正则项最小化边缘对齐误差;Ling等人提出了距离变换域的边缘对齐基于优化的紧耦合VIO算法。

LSD-SLAM、DSO等直接法,依赖于梯度较大的图像区域,包括但是不受限于图像特征和边缘。Usenko等人将LSD-SLAM的仅视觉公式扩展为带IMU的紧耦合,最小化联合光度误差和惯性能量的函数。ROVIO是基于滤波的直接VIO方法,在EKF更新时使用图像块的光度误差作为新息项。本文对线特征的使用,某种程度上介于基于特征方法和直接发之间。尽管不需要提取特征,但是直接法依赖于灰度一致性假设,对环境光照变化和相机增益、曝光等敏感。与ROVIO等直接法相比,本文使用点投影误差和点到线的距离作为更新时的新息。

漂移是SLAM和里程计方法不可避免的,闭环检测可有效校正漂移,一般通过全局位姿图优化实现。VINS-MONO引入了两步闭环检测步骤:(1)将滑动窗口与历史位姿对齐的紧耦合重定位;(2)全局位姿图优化。本文的轻量级闭环检测在滤波框架中使用了第一步,出于效率考虑丢弃了第二步,据我们所知这也是基于滤波的紧耦合闭环检测方法。本文PI-VIO算法在统一的滤波框架中处理双目点线特征和闭环检测。

6 实验

本部分通过两个实验验证PI-VIO性能,对比算法是代表state-of-the-art的OKVIS、VINS-MONO和-MSCKF算法。OKVIS和S-MSCKF支持双目相机,实验时工作于双目模式;VINS-MONO是单目VIO算法。两个实验分别采用EuRoC MAV数据集和我们的PerceptIn Ironsides 数据集。由于RANSAC带来的不确定性,所有对比实验均重复5次并记录中位数。

6.1 EuRoC MAV数据集

我们选用MH、V1、V2各3个数据集,对比算法使用它们提供的针对EuRoC调好的默认参数,并且保留了VINS-MONO的闭环检测功能。评估结果如下图所示,PI-VIO在MH_04、MH_05、V1_01和V2_01领先。

对于V2_03数据集,S-MSCKF效果太差,正如原作者所说,由于双目图像间的亮度连续不一致性导致双目特征匹配失败,而PI-VIO因为采用了直方图匹配而对此稳健。此外,V2_03左目相机丢失了约400帧,导致OKVIS跟踪失败,在我们将右目做同样处理后,OKVIS可以正常工作;而本文的PI-VIO则对空间双目或时序帧丢失足够稳健;VINS-MONO由于只是单目算法丢帧对它没影响。

6.2 PerceptIn Ironsides数据集

该数据集使用工作半径850mm的6轴机机械臂上的PerceptIn Ironsides相机采集,同步输出60Hz双目图像和200Hz IMU数据,如下图所示。总共包括9个不同运动和环境条件的子数据集,从视觉条件良好下的单轴缓慢运动到有运动模糊和低纹理的快速运动。与EuRoC类似,我们提供了ROS bag数据和zip格式数据,ground truth由机械臂平台提供,精度达毫米级别,并且与相机精确同步。因此,PerceptIn Ironsides数据集是VIO/SLAM评估或研发的理想数据集。

实验结果如下图所示,所有算法均进行了调参以使得性能最优,本文的PI_VIO一直在前2名。S-MSCKF与本文性能接近,除了PI_30058数据集,该数据集挑战性最大,有好多快速运动和低纹理序列,对仅依赖于点特征的VIO方法非常困难,而本文由于使用了额外的线特征而表现出良好性能。OKVIS在缓慢平移为主的PI_S1_X1、P1_S1_Y1和P1_S1_Z1序列上工作良好,但在PI_3058、PI_S1_Y2和PI_S1_Z2上表现太差,我们注意到OKVIS特征匹配不能处理场景重复特征。该对比试验中排除了VINS-MONO,主要有两个原因:(1)失真模型与Ironsides校正不匹配;(2)许多数据集开始的旋转为主的序列导致并不能初始化。为提高单目SLAM初始化成功率,直到视差足够的延迟初始化和基础矩阵与单应矩阵间的模型选择会有所帮助。


英文名称:PI-VIO: Robust and Efficient Stereo Visual Inertial Odometry using Points and Lines


本公众号专注于提供计算机视觉、机器学习、深度学习、智能传感器技术等人工智能机器人无人车、无人机相关领域省时的知识转述,敬请各位看官关注、评论、转发、分享。


关注该公众号,一起创造奇迹。

相关推荐

或者这些Joplin插件也可以帮助你的笔记应用再一次强大

写在前面距离上次分享《搭建私有全平台多端同步笔记,群晖NAS自建JoplinServer服务》已过去一段时间,大家是否开始使用起来了呢?如果你和我一样已经使用过Joplin有一段时间了,那或许你也会...

Three.JS教程4 threejs中的辅助类

一、辅助类简介Three.js提供了一些辅助类(Helpers)以帮助我们更容易地调试、可视化场景中的元素。ArrowHelepr:创建箭头辅助器;AxisHelper:创建坐标轴辅助器;BoxH...

第2章 还记得点、线、面吗(二)(第二章还能敲钟吗)

glbgltf模型(webvrmodel)-gltf模型下载定制,glb模型下载定制,三维项目电商网站在线三维展示,usdz格式,vr模型网,网页VR模型下载,三维模型下载,webgl网页模型下载我...

如何检查Linux系统硬件信息?从CPU到显卡,一网打尽!

你可能会问:“我为什么要关心硬件信息?”答案很简单:硬件是Linux系统的根基,了解它可以帮你解决很多实际问题。比如:性能调优:知道CPU核心数和内存大小,才能更好地调整程序运行参数。故障排查:系统卡...

SpriteJS:图形库造轮子的那些事儿

从2017年到2020年,我花了大约4年的时间,从零到一,实现了一个可切换WebGL和Canvas2D渲染的,跨平台支持浏览器、SSR、小程序,基于DOM结构和支持响应式的,高...

平时积累的FPGA知识点(6)(fpga经典应用100例)

平时在FPGA群聊等积累的FPGA知识点,第六期:1万兆网接口,发三十万包,会出现掉几包的情况,为什么?原因:没做时钟约束,万兆网接口的实现,本质上都是高速serdes,用IP的话,IP会自带约束。...

芯片逻辑调度框架设计 都需要那些那些软件工具

设计芯片逻辑调度框架通常需要使用以下软件工具:1.逻辑设计工具:例如Vivado、Quartus、SynopsysDesignCompiler等,用于设计和实现逻辑电路。2.仿真工具:例如Mo...

ZYNQ与DSP之间EMIF16通信(正点原子领航者zynq之fpga开发指南v3)

本文主要介绍说明XQ6657Z35-EVM高速数据处理评估板ZYNQ与DSP之间EMIF16通信的功能、使用步骤以及各个例程的运行效果。[基于TIKeyStone架构C6000系列TMS320C6...

好课推荐:从零开始大战FPGA(从零开始的冒险4399)

从零开始大战FPGA引子:本课程为“从零开始大战FPGA”系列课程的基础篇。课程通俗易懂、逻辑性强、示例丰富,课程中尤其强调在设计过程中对“时序”和“逻辑”的把控,以及硬件描述语言与硬件电路相对应的“...

业界第一个真正意义上开源100 Gbps NIC Corundum介绍

来源:内容由「网络交换FPGA」编译自「FCCM2020」,谢谢。FCCM2020在5月4日开始线上举行,对外免费。我们有幸聆听了其中一个有关100G开源NIC的介绍,我们对该文章进行了翻译,并对其中...

高层次综合:解锁FPGA广阔应用的最后一块拼图

我们为什么需要高层次综合高层次综合(High-levelSynthesis)简称HLS,指的是将高层次语言描述的逻辑结构,自动转换成低抽象级语言描述的电路模型的过程。所谓的高层次语言,包括C、C++...

Xilinx文档编号及其内容索引(部分)

Xilinx文档的数量非常多。即使全职从事FPGA相关工作,没有几年时间不可能对器件特性、应用、注意事项等等有较为全面的了解。本文记录了我自使用Xilinx系列FPGA以来或精读、或翻阅、或查询过的文...

Xilinx Vivado联合Modelsim软件仿真

引言:Xilinx公司Vivado开发软件自带仿真工具,可以实现一般性能的FPGA软件仿真测试,其测试执行效率以及性能都不如第三方专用仿真软件Modelsim强。本文我们介绍下如何进行Vivado20...

体育动画直播是怎么做出来的?从数据到虚拟赛场的科技魔法!

你是否见过这样的比赛直播?没有真实球员,却能看梅西带球突破?足球比赛变成动画版,但数据100%真实?电竞比赛用虚拟形象直播,选手操作实时同步?这就是体育动画直播——一种融合实时数据、游戏引擎和AI的...

Dialogue between CPC and political parties of neighboring countries held in Beijing

BEIJING,May26(Xinhua)--TheCommunistPartyofChina(CPC)inDialoguewithPoliticalPartiesof...