【研究】聚焦型光场相机等效多相机模型及其运动恢复结构应用

摘要:聚焦型光场相机在运动恢复结构(SFM)和场景重建等领域中的作用日益显现。但是传统SFM算法因聚焦型光场相机具有特殊的结构而难以直接应用。针对这一问题提出一种完整的聚焦型光场相机等效多目相机模型。在此基础上，利用传统多目相机的SFM算法，给出了适用于聚焦型光场相机的位姿估计算法示例和点云三角化算法示例。最后，通过仿真实验和真实场景重建实验验证了本文等效多目相机模型和SFM算法的正确性，进而表明聚焦型光场相机的SFM问题可以等价为多目相机的SFM问题。

关键词:机器视觉；聚焦型光场相机；多目相机模型；运动恢复结构；场景重建；位姿估计；三角化

1引言

光场相机能够同时捕捉光线的空间分布和角度分布信息，进而可以记录场景的深度信息，这使得光场相机能够应用于三维重建[1]、速度距离测量[2-3]以及运动恢复结构(SFM)等诸多领域。相比于非聚焦型光场相机[4]，聚焦型光场相机[5]可以在相似的相机配置条件下实现更高的深度计算精度，因此更适用于运动恢复结构(SFM)等领域。

运动恢复结构(SFM)的主要研究内容是从一个移动相机拍摄得到的一系列二维图像中恢复相机姿态和场景结构。很多学者[6-8]在SFM领域做了大量研究。目前较为流行的是Schonberger等[9]提出的COLMAP方法。但是这些方法仅适用于针孔相机，难于直接应用于聚焦型光场相机。

近几年，很多学者提出了适用于非聚焦型光场相机的SFM方法。Johannsen等[10]首次提出了适用于光场相机的SFM算法—LF-SFM。Zhang等[11]提出了基于直线和平面特征的SFM流程。Nousias等[12]提出了基于大规模无序排列的非聚焦型光场图像集合的场景重建算法。但是由于聚焦型光场相机和非聚焦型光场相机的结构和参数不同，聚焦型光场相机无法像非聚焦型光场相机那样便捷地提取子孔径图像，因此非聚焦型光场相机的SFM方法并不能直接应用于聚焦型光场相机。

为此，Zeller等[13]提出了适用于聚焦型光场相机的场景重建算法，分析了聚焦型光场相机等效多目相机模型中相机的空间位置。但是该方法在计算相机位姿过程中，将光场相机退化为针孔相机模型，且利用全聚焦图像对准来进行光场相机的位姿估计，故没有充分利用多目相机模型相比于针孔模型的优势，并且Zeller等[13]并没有给出完整的聚焦型光场相机等效多目相机模型，尤其是没有给出每个子相机的内参矩阵。

本文针对聚焦型光场的SFM问题，提出了完整准确的聚焦型光场相机的等效多目相机模型。并基于等效多目相机模型，利用多目相机的SFM方法，给出了适用于聚焦型光场相机的位姿估计方法和点云三角化方法。最后，通过仿真实验和真实场景重建实验验证了本文等效模型的正确性，证实了位姿估计方法和点云三角化方法的有效性，进而表明聚焦型光场相机SFM问题可以等效为多目相机SFM问题。

2 聚焦型光场相机基本概念

2.1相机结构

聚焦型光场相机可以划分为均一焦距的聚焦型光场相机[14]和多焦距聚焦型光场相机[15]。本研究以多焦距聚焦型光场相机为例进行说明，因为均一焦距可以视为多焦距的特例。聚焦型光场相机的成像平面可以位于微透镜阵列(MLA)的前侧或者后侧，前者对应开普勒结构，后者对应伽利略结构，如图1所示。目前的商用聚焦型光场相机(例如:Raytrix公司)多采用伽利略结构，其通过使用3类不同焦距的微透镜来增加景深范围

图1多焦距聚焦型光场相机结构示意。(a)开普勒结构;(b)伽利略结构

2.2坐标系建立

为了方便后续的描述，首先建立坐标系，并对相关符号进行说明。光场相机坐标系OXYZ的中心选在主透镜的中心位置O点，其Z轴方向与相机光轴重合，方向朝外。图像坐标系ouv的坐标原点选在传感器的左上角o点。具体的坐标系示意图如图2所示，图中fL为主透镜的焦距(mm)，b为传感器相对于主透镜的位移(mm)，B表示传感器相对于MLA的位移(mm)。值得注意的是，这里fL为正数，而b和B为负数。

图2光场相机坐标系建立

2.3光场相机标定

在计算聚焦型光场相机等效多目相机模型的具体参数之前，需要得到聚焦型光场相机的具体相机标定参数。本研究采用Bok等[16]提出的光场相机内参{fx，fy，cu，cv，K1，K2}。这些内参和本文相机模型中参数的具体对应关系为

式中:fx和fy分别为x和y方向的像素焦距;(sx，sy)为传感器上像素的物理尺寸;(cu，cv)表示主镜头的中心O点在ouv中的像素坐标;K1，K2为光场相机区别于针孔相机的相机参数。

3 聚焦型光场相机等效多目相机模型

聚焦型光场相机本质上可以等价为多目相机阵列。假定在物空间存在物点P，其在相机坐标系OXYZ内的坐标为(Px，Py，Pz)，那么根据薄透镜成像公式，P点对应的像点Q的坐标满足

Qz=

，(3)

式中:Qz为Q点在相机坐标系OXYZ中的Z轴坐标值。进一步，将微透镜中心位置看作成像点，并根据薄透镜成像公式将微透镜中心坐标投影到真实空间中，进而得到

Lz=