来源：计算机视觉工坊
在公众号「计算机视觉工坊」后台，回复「原论文」可获取论文pdf及支撑材料、代码链接
添加微信：dddvision，备注：NeRF，拉你入群。文末附行业细分群
0. 笔者个人体会
最近3D Occupancy大火，自动驾驶领域的从业者有必要学习一下这项技术。今天笔者将为大家分享清华大学最新开源的工作SelfOcc，仅使用视频序列就可以自监督地学习3D Occupancy，还在SemanticKITTI、KITTI-2015和nuScenes上的深度合成、单目深度估计、环视深度估计上取得了SOTA结果。
下面一起来阅读一下这项工作，文末附论文和代码链接~
3D视觉工坊
56
1. 这篇文章希望解决什么问题？
3D Occupancy的目的是预测周围3D空间中的每个点是否被占用。现有方法需要3D Occupancy真值来训练，但真值标签非常难标定。这里也推荐工坊推出的新课程《单目深度估计方法：算法梳理与代码实现》。
因此，SelfOcc希望仅使用视频序列来学习3D Occupancy，大大降低训练难度。
2. 具体原理是什么？
SelfOcc首先将图像变换到3D空间（BEV），以获得场景的3D表示。将3D表示建模成SDF来直接对其施加约束，然后渲染先前和未来帧的2D图像作为自监督信号来学习3D表示。
SelfOcc还提出了一种MVS嵌入策略，以利用多个深度建议来直接优化SDF引导的权重，有效地扩大了整个极线上深度优化过程的感受域。
3. 和其他SOTA方法对比如何？
对于环绕视图3D占用率预测，SelfOcc是第一个仅使用视频监督就能够产生合理占用率结果的自监督方法。
对于单目3D占用预测，SelfOcc在SemanticKITTI上以21.97比13.84的IoU优于之前的最佳方法SceneRF 58.7%。这里也推荐工坊推出的新课程《单目深度估计方法：算法梳理与代码实现》。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
下载1
在公众号「3D视觉工坊」后台，回复「3d001」,即可获取工业3D视觉（结构光、缺陷检测、三维点云）、SLAM（视觉/激光SLAM）、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文。
下载2
在公众号「3D视觉工坊」后台，回复「3d002」,即可获取巴塞罗那自治大学3D视觉课件、慕尼黑工业大学3D视觉和视觉导航精品课件。
下载3
在公众号「3D视觉工坊」后台，回复「3d003」,即可获取相机标定、结构光、三维重建、激光-视觉-IMU-GPS多模态融合SLAM、LOAM、ORB-SLAM3，深度估计、模型部署、3D目标检测等学习课件。注：非完整版。
计算机视觉方向交流群成立啦
目前咱们计算机视觉工坊已经建立了多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：
[工业3D视觉]相机标定、立体匹配、三维点云、结构光(面/线/散斑)、机械臂抓取（2D/3D）、2D缺陷检测、3D缺陷检测、6D位姿估计、相位偏折术、Halcon、光场重建、摄影测量、阵列相机、偏振三维测量、光度立体视觉、激光雷达、综合群等。
[SLAM]视觉SLAM、激光SLAM、ORB-SLAM、Vins-Fusion、LOAM/LeGo-LOAM、cartographer、VIO、语义SLAM、滤波算法、多传感器融合、多传感器标定、MSCKF、动态SLAM、MOT SLAM、NeRF SLAM、FAST-LIO、LVI-SAM、LIO-SAM、事件相机/GPS/RTK/UWB/IMU/码盘/TOF（iToF/dToF）/激光雷达/气压计/毫米波雷达/RGB-D相机/超声波等、机器人导航、综合群等。
[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪、综合群等。
[三维重建]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
[无人机]四旋翼建模、无人机飞控等
除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群
大家可以添加小助理微信: dddvision，备注：加群+方向+学校|公司, 小助理会拉你入群。
