CVPR 2023开源! ORB和SuperPoint还可以再强化一下!

无论是ORB、SIFT这样的手工特征点，还是SuperPoint这类基于深度学习的特征点，都在SLAM和SfM中应用广泛。但这些方法都已经很早了，有没有什么算法可以对它们进行二次强化，并且还能在嵌入式设备上使用呢？

作者：泡椒味的口香糖 | 来源：3D视觉工坊

在公众号「3D视觉工坊」后台，回复「原论文」即可获取论文pdf。

添加微信：dddvisiona，备注：深度学习，拉你入群。文末附行业细分群。

今天要给大家介绍的就是这样一项工作，名为FeatureBooster，是CVPR 2023开源的工作。其在传统的特征匹配中引入轻量级描述符增强网络，主要思想是编码特征点的描述子及其几何信息，并使用轻量级Transformer来增强感受野，可以很好得优化ORB、SIFT、SuperPoint、ALIKE等特征点，并且在3090上运行速度达到了3.2ms，在Jetson Xavier NX上运行速度达到了27ms。这里也推荐「3D视觉工坊」新课程《ORB-SLAM3理论讲解与代码精析》。

下图左列是原始ORB的匹配结果（最近邻匹配+RANSAC），右列是ORB引入FeatureBooster后的匹配结果，显然在运动模糊和低纹理场景下引入FeatureBooster可以实现很好的匹配结果。

下面是一些真实场景下的匹配结果，引入FeatureBooster后匹配性能大幅提升，对于SLAM和SfM等任务的应该也会有提升效果。

代码已经开源了，感兴趣的小伙伴赶快试试吧，下面来看具体的论文信息。

我们引入一个轻量级网络来改进同一幅图像中关键点的描述符。该网络以原始描述符和关键点的几何属性作为输入，使用基于MLP的自增强阶段和基于Transformer的交叉提升阶段对描述符进行增强。增强后的描述符可以是实值描述符，也可以是二进制描述符。我们使用所提出的网络来提升手工设计的(ORB, SIFT)和最先进的基于学习的描述符(SuperPoint, ALIKE)，并在图像匹配、视觉定位和运动产生的结构任务上对它们进行评估。结果表明，我们的方法显著提高了每个任务的性能，特别是在具有挑战性的情况下，如较大的光照变化或重复模式。我们的方法在桌面GPU上处理2000个特征只需要3.2 ms，在嵌入式GPU上处理2000个特征只需要27ms，速度足够快，可以应用到实际系统中。

FeatureBooster的输入是原始描述符和关键点的几何特性（位置、方向、置信度、尺度），并使用基于MLP的自提升阶段和基于Transformer的交叉提升阶段来增强描述符。其中，自提升阶段分为两步，首先将几何特性编码到新的高维向量，然后将描述子使用MLP投影到新空间。交叉提升阶段更侧重其他特征的描述符和所有特征的空间布局的全局上下文，主要是使用一个轻量级Transformer实现。注意，FeatureBooster的输入并不包括原始图像，所以这个网络很轻量。

那么，为啥要这样做呢？

首先，我们知道手工特征匹配有欧氏距离、汉明距离、Hellinger距离等等，那么使用这些距离进行相似性度量就一定好吗？或者举例来说，ORB的二进制描述子，一定是最适合汉明匹配吗？实际上，改变相似性度量方式，就相当于将原始的描述符投影到了另一个空间。所以，理论上这个空间也是可以学习的！所以就可以使用MLP将原始描述符编码，来逼近这个最优空间！

其次，描述子的几何信息，例如位置、方向、置信度、尺度，也对学习非常有用，所以也可以进行编码。

再说这个交叉增强。前面自增强是独立得增强每个关键点的描述子，但是没有考虑不同关键点之间的相关性。交叉增强就是巧妙利用了同一图像中不同特征点的上下文线索，而全局上下文正好就是Transformer的强项！借助Transformer中的Attention，可以聚合所有局部特征信息，形成全局上下文。通过整合这种全局上下文信息，局部特征描述子会具有更大的感受野，并根据其邻域特征点进行自适应调整。

但使用Transformer最大的问题是计算量和GPU显存占用，作者使用了一些trick。本身多头注意力机制使用注意力矩阵来进行Q和V的交互，进行Q和K点积计算的话复杂度是O(N2D)（N是特征点数目，D是描述子维度），显然是无法接受的。因此，作者设计了一个Attention-Free Transformer模块（AFT），AFT重新排列了Q、K、V的计算顺序，它将K和V逐元素相乘，而没有使用矩阵乘法，因此**计算复杂度降低到了O(ND)**。

最重要的是，FeatureBooster可以适用于任何实值描述子和二进制描述子。但实际上，实值描述子也就相当于给网络的最后一层输出进行L2归一化，二进制描述子也就相当于使用tanh给最后一层进行阈值化。

训练是在MegaDepth和DISK上进行，使用AdamW优化器，初始学习率为1e-3并使用余弦退火策略。测试时，使用HPatches测试集来评估图像匹配任务，使用Aachen Day-Night数据集和InLoc数据集来评估定位任务，使用ETH SfM benchmark来评估SfM性能，使用EuRoC来评估ORB-SLAM2优化效果，注意FeatureBooster并没有在这些数据集上进行微调。

光照和视角变化下的MMA显示，FeatureBooster无论对于实值描述子还是二进制描述子，都可以提升性能，表中Boost-F和Boost-B分别表示实值描述子和二进制描述子。笔者觉得这里也有一个很重要的点，就是FeatureBooster可以将实值描述子转换为二进制描述子，反之亦然。注意看表中带有二进制描述子的SuperPoint，其性能几乎和原始的浮点数描述子相同，但要知道二进制描述子的区分度本来就是不如浮点数的！

下面再看视觉定位结果，主要对比严重光照变化、重复纹理和无纹理条件下的定位性能，结果显示FeatureBooster在室内和室外环境下都提升了性能，优化后的ORB特征甚至可以和SuperPoint竞争，甚至在室内实验超越了ALIKE。有意思的是，还对比了SuperPoint和SuperGlue这个组合。

再来看看SfM测试结果，实验方法是，首先对数据集进行穷举图像匹配，然后进行最近邻匹配，最后执行ColMap，对比匹配图像的数量、稀疏点、图像中的总观测值、平均轨迹长度和平均重投影误差。这个结果说明优化后的特征点，可以找到更多的匹配关系来重建3D点。这里也推荐「3D视觉工坊」新课程《ORB-SLAM3理论讲解与代码精析》。

消融实验是针对SuperPoint（为啥不做ORB和其他特征点了呢？），主要是证明几何信息编码对于自提升阶段的作用，还有交叉提升阶段的影响。

作者还将改进后的ORB特征嵌入到了ORB-SLAM2中，并在EuRoC数据集中进行测试。结果显示，大多数序列上的平移误差都减小了。感兴趣的读者可以尝试嵌入到ORB-SLAM3中进行测试。

作者也对比了不同的Transformer模块对算法性能的影响，结果显示，使用Attention-Free的模块虽然MMA稍差一点，但是速度得到了极大提升，这也从另一方面证明了作者设计的这个注意力模块的计算效率。

FeatureBooster这项工作主要是针对ORB、SIFT、SuperPoint、ALIKE这四个常见的特征点的描述子进行优化，分别进行描述子编码、描述子几何信息编码，以及同其他特征点的全局上下文感知。分别做了图像匹配、定位、SfM、SLAM等实验，工作量很充实。关键是算法可以在嵌入式设备上实时运行，这一点还是挺有应用价值的。

目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶方向，细分群包括：[工业方向]三维点云、结构光、机械臂、缺陷检测、三维测量、TOF、相机标定、综合群；[SLAM方向]多传感器融合、ORB-SLAM、激光SLAM、机器人导航、RTK|GPS|UWB等传感器交流群、SLAM综合讨论群；[自动驾驶方向]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器讨论群、多传感器标定、自动驾驶综合群等。[三维重建方向]NeRF、colmap、OpenMVS等。除了这些，还有求职、硬件选型、视觉产品落地等交流群。大家可以添加小助理微信: dddvisiona，备注：加群+方向+学校|公司, 小助理会拉你入群。