数百倍加速!港科大最新:嵌入式平台上实时运行的NeRF SLAM!

来源：计算机视觉工坊

在公众号「计算机视觉工坊」后台，回复「原论文」可获取论文pdf链接

添加微信：dddvision，备注：NeRF，拉你入群。文末附行业细分群

0. 笔者个人体会

传统的NeRF和NeRF SLAM所需要的计算量非常大，很难在嵌入式设备上跑起来，这也就很大程度上限制了NeRF SLAM的落地。

但最近港科大&中山大学提出了一项工作Photo-SLAM，不仅实现了高保真的建图，还可以在嵌入式设备上实时运行，甚至渲染速度提高了数百倍。

下面一起来阅读一下这项工作，文末附论文链接~

1. 这篇文章希望解决什么问题？

现有的NeRF SLAM一方面严重依赖隐式表示，计算量非常大，很难部署在嵌入式设备上，一方面需要深度信息来加快NeRF收敛。所以现有的NeRF SLAM大多停留在理论阶段。

Photo-SLAM这项工作就希望在嵌入式设备上同时实现精确定位和在线真实感建图，也是第一个基于超基元地图的NeRF SLAM方案，而且适应单目、双目、RGBD三种模式！这里也推荐工坊推出的新课程《深度剖析面向机器人领域的3D激光SLAM技术原理、代码与实战》。

2. 具体原理是什么？

Photo-SLAM的核心思想是，使用显式几何特征进行定位，学习隐式光度特征来表示观测环境的纹理信息。Photo-SLAM包含包括定位、显式几何建图、隐式真实感建图、回环4个模块，同时使用超基元维护地图。

这个超基元地图指的是啥：

Photo-SLAM维护一个由存储ORB、旋转、缩放、密度和球谐系数的点云组成的超基元地图。超基元地图允许系统使用因子图高效地优化跟踪，并通过反向传播原始图像和渲染图像之间的损失来学习相应的建图。

怎么提高渲染速度呢？

通过最近大火的3D Gaussian Splatting渲染，就可以极大提高渲染速度。而不是射线采样来绘制的（最近GS-SLAM也是这个思路）。3D Gaussian Splatting是ACM Transactions on Graphics 2023的最佳论文，最大的亮点是能够在重建高保真NeRF的同时接入传统光栅化，极大加快了渲染速度！想进一步了解的读者可以关注GS的官网https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting。

但是引入3D Gaussian Splatting并不能为单目提高渲染质量。所以作者进一步提出了基于几何的稠密化策略和基于高斯金字塔( GP )的学习方法。更为重要的是，GP学习促进了多层次特征的渐进获取，从而有效地提高了系统的建图性能。

3. 和其他SOTA方法对比如何？

和其他方法的对比是在Intel Core i9-13900K CPU和RTX 4090 24 GB GPU上进行，然后又单独测试了笔记本（NVIDIA RTX 3080ti 16G+Intel Core i9-12900HX）和Jetson AGX Orin Developer Kit上的性能。

先来看看Replica数据集上定位精度和建图质量的定量对比，对比的方案都很新，包括最新开源的Orbeez-SLAM和GO-SLAM。

Replica数据集的定性对比，Photo-SLAM可以保留更多的高频细节，建图质量没有那么平滑和伪影。

TUM数据集上定位和建图的定量对比，同样超越了其他SOTA方案，就是不知道为啥fr2-xyz上嵌入式平台的结果比服务器还好。这里也推荐工坊推出的新课程《深度剖析面向机器人领域的3D激光SLAM技术原理、代码与实战》。

EuRoC数据集上的双目实验，Photo-SLAM是第一个支持双目输入的在线NeRF建图的SLAM。

和其他两个实时NeRF SLAM相比，这个建图质量提升的可不是一点半点。

感觉这项工作好棒呀，可惜没有开源。对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

下载1

在公众号「3D视觉工坊」后台，回复「3d001」,即可获取工业3D视觉（结构光、缺陷检测、三维点云）、SLAM（视觉/激光SLAM）、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文。

下载2

在公众号「3D视觉工坊」后台，回复「3d002」,即可获取巴塞罗那自治大学3D视觉课件、慕尼黑工业大学3D视觉和视觉导航精品课件。

下载3

在公众号「3D视觉工坊」后台，回复「3d003」,即可获取相机标定、结构光、三维重建、激光-视觉-IMU-GPS多模态融合SLAM、LOAM、ORB-SLAM3，深度估计、模型部署、3D目标检测等学习课件。注：非完整版。

计算机视觉方向交流群成立啦

目前咱们计算机视觉工坊已经建立了多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：

[工业3D视觉]相机标定、立体匹配、三维点云、结构光(面/线/散斑)、机械臂抓取（2D/3D）、2D缺陷检测、3D缺陷检测、6D位姿估计、相位偏折术、Halcon、光场重建、摄影测量、阵列相机、偏振三维测量、光度立体视觉、激光雷达、综合群等。

[SLAM]视觉SLAM、激光SLAM、ORB-SLAM、Vins-Fusion、LOAM/LeGo-LOAM、cartographer、VIO、语义SLAM、滤波算法、多传感器融合、多传感器标定、MSCKF、动态SLAM、MOT SLAM、NeRF SLAM、FAST-LIO、LVI-SAM、LIO-SAM、事件相机/GPS/RTK/UWB/IMU/码盘/TOF（iToF/dToF）/激光雷达/气压计/毫米波雷达/RGB-D相机/超声波等、机器人导航、综合群等。

[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪、综合群等。

[三维重建]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

[无人机]四旋翼建模、无人机飞控等

除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群

大家可以添加小助理微信: dddvision，备注：加群+方向+学校|公司, 小助理会拉你入群。