相机坐标系和世界坐标系的转换以及图像坐标系和像素坐标系的转换【详解】

1、一些坐标系的定义

什么是相机标定？

• 空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立相机成像的几何模型
• 这些几何模型参数就是相机参数
• 这个求解参数的过程就称之为相机标定(或摄像机标定)

什么是世界坐标系

• 由于摄像机与被拍摄物体可以放置在环境中任意位置，这样就需要来表示摄像机和被摄物体的位置，这个在环境中建立一个坐标系，坐标系就成为世界坐标系

什么是相机坐标系

• 也是一个三维直角坐标系，原点位于镜头光心处，x、y轴分别与相面的两边平行，z轴为镜头光轴，与像平面垂直，如下图所示

2、世界坐标系到相机坐标系

世界坐标系到相机坐标系，需要先旋转对齐，再平移回去。

2.1 旋转

• 旋转的表示有很多种，旋转矩阵，欧拉角，四元数，轴角，李群与李代数
• 旋转的应用场景，惯性导航，机器人学(机械臂运动学，无人机姿态估计，SLAM等)

下面来看旋转的一个例子，颜色标记为黑色的坐标系以 $x$ 轴为旋转轴，旋转角度为 $\theta$，旋转 $\theta$ 角度之后是颜色为蓝色标记的坐标系，求红点在蓝色坐标系的坐标值。解答示意图如下，这里不作描述，

将上面坐标值关系的转换为矩阵形式，

坐标值的变换中，所有的分解都满足欧式距离不变性，即，
$$a_1^2+a_2^2+\cdot \cdot \cdot +a_n^2=b_1^2+b_2^2+\cdot \cdot \cdot +b_n^2$$

上面介绍了绕 $x$ 轴旋转的矩阵，下面给出绕 $y$ 轴和 $z$ 轴的旋转矩阵的数学表达式，

然后我们在把三个绕不同方向的旋转进行相乘，得到的公式如下，

2.2 总结

• 为啥要把世界坐标系变到相机坐标系? 因为我们相机坐标系可以将图像的世界点联系起来。
• 啥是世界点? 一般情况下我们是需要测量物体到机器人的距离和位置关系，因此世界坐标系一般定在机器人上，或者是机器人工作的场景中。
• 世界坐标系与相机坐标系的关系就是相机的外参

3、图像坐标系和像素坐标系

3.1 像素坐标系和图像坐标系

什么是像素坐标系？

• 像素坐标系uov是一个二维直角坐标系，反映了相机CCD/CMOS芯片中像素的排列情况。
• 原点o位于图像的左上角u轴、v轴分别于像面的两边平行。
• 像素坐标系中坐标轴的单位是整数。

什么是图像坐标系？

• 像素坐标系不利于坐标变换，因此需要建立图像坐标系XOY，
• 其坐标轴的单位通常为毫米(mm)，原点是相机光轴与相面的交点(称为主点)，即图像的中心点，
• X轴、Y轴分别与u轴、v轴平行。故两个坐标系实际是平移关系，即可以通过平移就可得到。

3.2 像素坐标系和图像坐标系的转换

其中，$dX$、$dY$分别为像素在$X$、$Y$轴方向上的物理尺寸，$u_0$和$v_0$为主点(图像原点)坐标。

4、针孔成像原理

空间任意一点$P$与其图像点$P$之间的关系，$P$与相机光心$o$的连线为$oP$，$oP$与像面的交点$P$即为空间点$P$在图像平面上的投影，如下图所示，

该过程为透视投影，如下矩阵表示：

其中，$s$为比例因子($s$不为0)，$f$为有效焦距(光心到图像平面的距离)，$(x,y,z,1{)}^T$是空间点$P$在相机坐标系$oxyz$中的齐次坐标，$(X,Y,1{)}^T$是像点$p$在图像坐标系$OXY$中的齐次坐标。

5、世界坐标系转换为像素坐标系

世界坐标系到相机坐标系的转换：

基于小孔成像的原理，将三维相机坐标系转换到图像坐标系，

图像坐标系转换到像素坐标系的矩阵，

世界坐标系转换为像素坐标系，其中，${\alpha }_x=f/dX$，${\alpha }_y=f/dY$，称为$u、v$轴的尺度因子，$M_1$称为相机的内部参数矩阵，$M_2$称为相机的外部参数矩阵，$M$称为投影矩阵，

6、畸变

• 在几何光学和阴极射线管(CRT)显示中，畸变(distortion)是对直线投影(rectilinear projection)的一种偏移。
• 简单来说直线投影是场景内的一条直线投影到图片上也保持为一条直线。
• 那畸变简单来说就是一条直线投影到图片上不能保持为一条直线了，这是一种光学畸变(optical aberration)。
• 畸变一般可以分为两大类，包括径向畸变和切向畸变。主要的一般径向畸变有时也会有轻微的切向畸变。

畸变参数(distortion parameter）

• 畸变一般可以分为:径向畸变、切向畸变
• 径向畸变来自于透镜形状切向畸变来自于整个摄像机的组装过程
• 畸变还有其他类型的畸变，但是没有径向畸变、切向畸变显著

6.1 径向畸变

• 实际摄像机的透镜总是在成像仪的边缘产生显著的畸变，这种现象来源于“筒形”或“鱼眼”的影响。
• 光线在远离透镜中心的地方比靠近中心的地方更加弯曲。对于常用的普通透镜来说，这种现象更加严重。
• 对于径向畸变，成像仪中心(光学中心)的畸变为0，随着向边缘移动，畸变越来越严重。

径向畸变的图示，随着向边缘移动，畸变越来越严重，

径向畸变的类别：

• 桶形畸变(barrel distortion)
• 枕形畸变(pincushion distortion)
• 胡子畸变(mustache distortion)

桶形畸变在便宜的网络摄像机电非常厉害，但在高摄像机中不明显，因为这些透镜系统做了很多消除径向畸变的工作。

6.2 切向畸变

• 切向畸变是由于透镜制造上的缺陷使得透镜本身与图像平面不平行而产生的。
• 切向畸变可分为:薄透镜畸变、离心畸变。
• 切向畸变图示如下，

当透镜不完全平行于图像平面时候产生切向畸变，

6.3 畸变矫正

参考：
1、哔哩哔哩视频
2、哔哩哔哩视频