【论文笔记】视觉重定位 PixLoc || Back to the Feature: Learning Robust Camera Localization from Pixels to Pose

本文提出了基于metric learning 的视觉重定位方法，PixLoc。只需要给定一张查询图像和场景的三维模型，以及具有先验位姿的参考图像，即可进行重定位。这种将模型参数与场景几何分离开来的度量学习方法，使得PixLoc能够轻易的泛化到任意场景中。

视觉定位可以被分为三步：

1. 估计场景中的大致位姿
2. 提取鲁棒不变的特征
3. 回归精确的位姿估计值或者场景坐标估计值

其中步骤1，2不受限于某一特定场景，通过图像检索可以解决1，现有的CNN可以提取鲁棒的特征，解决了2。目前步骤3，即位姿估计是通过经典几何方法完成的（特征匹配、图像对齐等），而这些方法均不可微。本文专注于如何提取鲁棒、通用的特征点， 使得位姿估计步骤能够做到和场景无关。通过可微的几何估计步骤将位姿估计模块纳入到网络训练过程中，PixLoc能够直接通过位姿误差损失对特征进行监督学习。

论文介绍：PixLoc

已知数据：查询图像，三维场景模型（点云），参考图像序列（多个）
输出：6-Dof 位姿

1. Localization as image alignment

Image Representation:

本文对查询图像和参考图像，构建特征金字塔，如$l$层的特征图：${\mathbf{F}}^l\in {\mathbb{R}}^{W_l\times H_l\times D_l}$， 最后对每个通道的特征进行L2正则化，提升不同数据集下的特征稳定性。

Direct alignment:

通过最小化查询图像和参考图像之间的差异进行对齐。将三维点投影到参考图像中，并根据预测的位姿变换到查询图像中，计算插值后对应像素位置的特征残差：
$$\begin{gathered} {\mathbf{r}}_k^i={\mathbf{F}}_q^l\left[{\mathbf{p}}_q^i\right]-{\mathbf{F}}_k^l\left[{\mathbf{p}}_k^i\right]\in {\mathbb{R}}^D \\ {\mathbf{p}}_q^i=\Pi \left(\mathbf{R}{\mathbf{P}}_i+\mathbf{t}\right) \end{gathered}$$
最后的总损失是：
$$E_l$$