ToF基础知识

1. ToF相机数学模型

• ToF: Time of Flight
• ToF鼻祖：PMD

1.1 ToF原理

• ToF摄像机光探测器收到的信号有：包括各个方向返回的光信号（光子），由背景光线等一系列信号复合组成的，这些光信号均为正弦调制。由于ToF摄像的调制和解调函数都为正弦函数形式，则ToF摄像机发射出的信号及反射回来的信号均可描述为正弦函数的形式，发出的测量信号为：
  $$s(t)=A\cdot cos(\omega t)$$
  返回的信号$r(t)$为：
  $$r(t)=n+kA\cdot cos(\omega t+\Delta \phi )$$
  其中参数含义如下：
  • $n$: 表示外部环境叠加进去的干扰噪声
  • $A$：表示ToF摄像机发射信号的振幅
  • $kA$：表示返回信号的振幅
  • $k$：表示信号的衰减系数
    为了达到测量飞行时间的目的，采用相位差方法，即将测量飞行时间$\Delta t$转换成发射信号与接收信号间的相位差$\Delta \phi$,如下所示：
    $$飞行时间：\Delta t=\frac{\Delta \phi }{2\pi }\cdot T_m=\frac{\Delta \phi }{2\pi }\cdot \frac{1}{f_m}$$
    $$飞行距离：d=\frac{1}{2}c\cdot \Delta t=\frac{c}{2f_m}\cdot \frac{\Delta \phi }{2\pi }$$
    其中参数含义如下：
    • $c$: 表示光速
    • $f_m$：表示红外信号的调制频率
      $$测量量程：L=\frac{c}{2f_m}$$
      $$若f_m为20MHz,则L=\frac{3\times 10^8}{2\times 20\times 10^6}=7.5m$$
      $$测量分辨率：\Delta L=\frac{c}{2f_m}\cdot \frac{\Delta \varphi }{2\pi }=\frac{c}{4\pi f_m}\cdot \Delta \varphi$$
      其中参数含义如下：
    • $\Delta \varphi$: 表示ToF摄像机的相位测量分辨率
• ToF摄像机测量系统信号示意图：
  
• ToF摄像机解调和测量的方法为：四点测量法
  • 对于摄像机发出的正弦信号，选定四个相位：$$t_0=0^0,t_1=90^0,t_2=180^0,t_3=270^0$$作为解调和测量的采样点，每个采样点间的间隔为四分之一调制周期$T$，即正交采样。
  • 计算包含以下四个步骤：
    • 卷积
    • “四点测量法”测量互相关函数值
    • 计算幅度、相位、偏移
    • 计算距离
• 测量信号的相位获取并不是以整体形式计算得出的，而是摄像机的光探测器上各像素均可独立获取。
• 推测器表面获得的相位延迟信息可转换为测得的时间信息
• 时间信息可以转换为各像素获得的距离信息
• ToF摄像机每拍摄一次，其获得的距离信息的数量与摄像机的分辨率大小是相等的，即每个像素获取一个距离信息

2. 摄像机成像模型

2.1 坐标系

• 上图中的坐标系及相关定义：
  • $O_w-X_w{Y}_w{Z}_w$：世界坐标系
  • $O_c-X_c{Y}_c{Z}_c$：摄像机坐标系 ($O_c$定义在摄像机光心上； $Z_c$为摄像机主光轴，且它与像平面垂直)
  • $O_I-X_I{Y}_I$：像平面坐标系
  • $o-uv$：图像像素坐标系
  • $P$：为空间中的任意一点
  • $P^{\prime }$：P点在像平面上的投影像点
  • $O_c{O}_I$：焦距$f$
• 摄像机的像平面定义了两个图像坐标系：
  • $O_I-X_I{Y}_I$：像平面坐标系 （$以毫米为单位$）
  • $o-uv$：像素坐标系 （$以像素为单位$）
• $O_I-X_I{Y}_I$的原点$O_I$
  • 定义原点$O_I$：为摄像机主光轴与摄像机像平面的交点
  • 理想情况：$O_I$位于图像中心处
  • 实际情况：由于摄像机制作等原因，会发生偏离
• 摄像机的像平面坐标系如下图：
  
  • $(u_0,v_0)$：像平面坐标系原点$O_I$在像素坐标系中的坐标
  • $d_x,d_y$：分别为每个像素在$X_I和Y_I$轴的方向上的物理尺寸 ($以像素为单位$)
• 像素坐标系与像平面坐标系的变换
  $$\{\begin{array}{l}u=\frac{X_I}{d_x}+u_0\\ v=\frac{Y_I}{d_y}+v_0\end{array}$$
• 摄像机坐标系与像平面坐标系的变换 (相似三角形)
  $$\frac{X_I}{X_c}=\frac{Y_I}{Y_c}=\frac{f}{Z_c}$$
  $$\{\begin{array}{l}{X}_I=f\frac{X_c}{Z_c}\\ Y_I=f\frac{Y_c}{Z_c}\end{array}$$
• 世界坐标系与摄像机坐标系的变换
  $$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]=R\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]+T$$
• R表示旋转矩阵
  $$R=\left[\begin{array}{c}{r}_{11},r_{12},r_{13}\\ r_{21},r_{22},r_{23}\\ r_{31},r_{32},r_{33}\end{array}\right]$$
• T表示平移向量
  $$T=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]$$