论文笔记 - BiFuse: Monocular 360◦ Depth Estimation via Bi-Projection Fusion. CVPR 2020

这篇博客介绍一篇CVPR2020的论文，这篇论文结合了全景图（360°图像）的两种常见投影方式，设计了融合模块及双分支神经网络，实现了出色的单目全景图深度估计性能。论文地址:https://ieeexplore.ieee.org/document/9157424

通过两种投影融合方式进行单目360度全景深度估计

本文提出了利用两种全景图投影进行单目全景深度估计的算法。文章利用双分支的神经网络处理ERP投影以及CubeMap投影这两种常见的360图像投影。ERP合成了完整的视场角但是引入了畸变，cubemap消除了畸变但是在边界存在不连续。本文提出了双投影融合方案并结合了可学习的mask平衡两种投影的feature map。此外，本文也提出了针对cubemap的球面padding 方法来缓解面之间边界的不连续性。本文的算法在4个全景数据集上取得了sota的结果。

1. Introduction

文章指出，从2维图像恢复三维结构存在广阔的应用前景，例如自动驾驶及室内机器人等。由于深度学习及大规模训练数据，单目深度估计的性能得到了大幅改善。例如FCRN取得了单目深度估计很好的效果。但现有的算法主要为常规视场角的相机而设计。360°相机近年来逐渐流行，也因其能够推断完整周围环境三维结构的能力而激发了360°单目深度估计的研究。
这篇文章提出了一个端到端可训练的神经网络，能够利用两种全景图常见投影–equirectangular projection（ERP）和 cubemap，将二者作为输入预测单目的360°深度图。其idea的动机来源于人眼能够结合周围广阔视野以及视觉焦点（视网膜黄斑区域）的视觉信号。ERP提供了广角视野信息而cubemap提供了小但无畸变的视野。ERP能够呈现周围全景但是引入了畸变，cubemap无畸变但每个面连接处存在不连续性。将二者结合就提出了本文的算法：BiFuse

文章认为一般cubemap提供的中央视角太小限制了融合算法的有效性，cube padding填充算法在一些研究中用于扩展视野，但是会在边界处引入畸变与几何不一致性，因此提出了球面填充spherical padding结合了球面几何减小边界不一致性。最后，不同于简单的将两个投影的特征直接结合的方式，文章提出了带有可学习mask的融合策略，来平衡二者的信息。文章项目连接：https://fuenwang.ml/project/bifuse 不过代码目前只有测试代码，没有训练部分。

本文的算法应用于Matterport3D, PanoSUNCG, 360D and Stanford2D3D 这4个全景公开数据集上取得了SOTA的结果。作者总结文章的贡献如下：

• 提出了端到端双分支网络，分别处理ERP与cubemap投影，模拟人眼的周边与中央视角
• 提出了具有可学习mask的融合算法，共享两种投影处理时的信息
• 提出了球面填充spherical padding扩展cubemap的视野减小边界不一致性

2. Related Work

本文对单目深度估计，以及全景感知的相关论文进行了回顾，这里不再赘述。

3. Approach

cubemap一般表示为6个面，每个面是边长为w的正方形，标记为{B,D,F,L,R,U}分别指代back，down，front，left，right，up这6个面。每个面可以被看做是焦距为w/2的相机独立拍摄的图像（视场角90°），6个相机的投影中心重合于1点，也即立方体的中心。如果将世界坐标系原点设置于立方体中心处，则6个相机的外参将只由旋转矩阵 R ( f i ) R_(f_i ) R