Ubuntu14.04+opencv3.4.6：稀疏直接法估计相机运动

记录SlamBook十四讲自己的学习内容

目录背景C++实现头文件和全局变量读取txt文件里的坐标信息main函数选取标定点构造A矩阵构造U矩阵计算L矩阵求解内参数求解外参数计算重投影误差收尾运行结果 背景 老师布置的作业是利用已知点的3维坐标信息和成像信息，标定相机的内外参数，并计算误差。已知点的信息如下： 其中，前三列是XYZ世界坐标，最后两列是成像平面的u v坐标。 建议先吃透理论知识，理论知识可以参考： 经典：传统相机标定方法...

把先前的稀疏特征点改成带有明显梯度的像素，代码实现如下所示，于是在图优化中会增加许多的边。这些边都会参与估计相机位姿的优化问题，利用大量的像素而不单单是稀疏的特征点。由于我们并没有使用所有的像素，所以这种方式又称为半稠密方法（Semi-dense）。 // select the pixels with high gradiants for ( int x=10; x&...

上一届介绍了特征点法估计相机位姿，但是由于计算量，本节介绍计算量更少的直接法。首先是直接法前身-LK光流法的推导，理论和代码分析，结果分析，引出直接法，稀疏直接法，半稠密直接法，稠密直接法以及运动环境和适用条件，优势劣势对比。

啊

ORB-SLAM3是一款基于特征点的实时单目SLAM系统，是SLAM领域的研究热点之一。它的核心算法是结合了ORB特征点提取和描述子匹配、单目RGB相机的深度估计、运动估计和地图优化等步骤，能够在实时性和精度之间取得平衡，适用于各种环境下的定位和建图任务。在各种应用领域都有广泛的应用。本教程主要是介绍了关于在ubuntu20.04中运行ORB_SLAM3的所有依赖的库的安装过程，和所遇到的一些报错的解决方法。有什么问题，可以评论区里面交流讨论

ORB-SLAM3是一款基于特征点的实时单目SLAM系统，是SLAM领域的研究热点之一。它的核心算法是结合了ORB特征点提取和描述子匹配、单目RGB相机的深度估计、运动估计和地图优化等步骤，能够在实时性和精度之间取得平衡，适用于各种环境下的定位和建图任务。在各种应用领域都有广泛的应用，如室内导航、自动驾驶、机器人导航、增强现实等。通过在移动机器人和自主系统中实现实时的SLAM功能。帮助机器人实现自主导航和定位。本文详细介绍了ORB3的全部安装流程和问题解决的方法

SLAM（即时定位与地图构建）是机器人视觉和三维重建领域的核心技术，它使机器能够在未知环境中实时定位并构建地图。其原理是通过传感器（如相机、激光雷达）数据，估计自身运动并同步创建环境模型。在技术实现上，SLAM主要分为基于特征点的方法和直接法，前者依赖稳定的特征提取与匹配，后者则直接利用图像像素灰度信息进行位姿估计，对纹理丰富场景具有优势。直接法SLAM的代表作LSD-SLAM，采用半稠密重建，为单目相机实现大尺度环境感知提供了独特方案。在工程实践中，部署经典算法常面临依赖兼容性挑战，尤其在Ubuntu 1

结合高翔老师的著作《视觉SLAM十四讲：从理论到实践》，加上小白的工程经验共同完成。建议作为笔记功能反复使用。 一. 直接法的引出 根据像素灰度的差异，直接计算相机运动，可以完全不用计算关键点和描述子。 特征点法缺点： 关键点的提取与描述子的计算非常耗时。 使用特征点时，忽略了除特征点以外的所有信息。 相机有时会运动到特征缺失的地方，往往这些地方没有明显的纹理信息。 二. 光流...

2. 多层直接法：由于篇幅原因，这里只展示对第一张图片的金字塔多层优化，这里是4层金字塔。我们在第一张图片提取角点，然后用光流跟踪他们在第二张图片的位置。2）基于高斯牛顿法的光流：因为光流可以看做一个。2）多层直接法：图像金字塔，每层调用单层直接法。，通过最小化灰度误差估计最优的像素偏移；1）OpenCV自带的LK光流；3）多层光流：使用图像金字塔。求解直接法最后等价于。

svo的下载编译可以查看教程：https://github.com/uzh-rpg/rpg_svo/wiki 跑完下作者提供的数据集后，我就想用自己手边的摄像头来看下实际效果。 但要用自己的摄像头首先得对摄像头进行标定，获得相机的参数，这里我采用的是 ATAN模型，标定的是xtion_pro_live 的rgb摄像头。 (相机标定：https://github.com/uzh-rpg/rpg

特征点法：通过特征点匹配来跟踪点，计算几何关系得到R,t，BA来优化R，t，流程大致如下：直接法：直接法是从光流法演变而来的，是基于灰度不变假设，计算最小光度误差来优化R,t，流程大致如下：光流法：基于灰度不变假设，把特征点法中的描述子和匹配换成了光流跟踪，之后求解R，t的过程是一样的，流程大致如下：那么这三种方法的优缺点各是什么呢，近期在学了视觉slam后做了初步的总结，希望大家批评指正。PS....

1.ORB特征 是目前看来非常具有代表性的实时图像特征。[ORB特征：改进的FAST（oriented FAST）关键点+BRIEF描述子] 这个博客讲的很详细可做参考：http://blog.csdn.net/qq_18661939/article/details/52900524 2.汉明距离： 汉明距离是以理查德•卫斯里•汉明的名字命名的。在信息论中，两个等长字符串之间的汉...

相机标定中最常见的方法是关键点法，比如 OpenCV 和 MatLab 中使用棋盘格、圆阵列等二维图案进行标定，这上面的棋盘格角点和圆心就是所谓的关键点。虽然关键点法有很多优点，但在某些情况下容易遇到标定数据不够的情况，因此便有了基于光度误差的直接法相机标定。本文介绍了关键点法和直接法的大致原理和优缺点。 关键点法原理 关键点法计算相机参数的原理简单来说就是最小化重投影误差。 相机成像过程可以表示为： u=π(T(x)) \bold{u} = \pi\bigl(T(\bold{x})\bigr) u=π(T

直接法跳过了提取特征点的步骤。它构建一个优化问题，直接根据像素信息（通常是亮度），来估计相机的运动。这种方法省去了提特征的时间，然而代价则是，利用了所有信息之后，使得优化问题规模远远大于使用特征点的规模。因此，基于直接法的VO，多数需要GPU加速，才能做到实时化。...

#include #include #include   using namespace std;   using namespace cv;   int main(int argc, char** argv) { const char* filename = "YinZhang\\0004.jpg"; IplImage * pSrcImg=NULL; IplImage

一、角点检测 Harris算子原理： 在灰度变化平缓区域，窗口内像素灰度积分近似保持不变 在边缘区域，边缘方向：灰度积分近似不变，其余任意方向：剧烈变化； 在角点处，任意方向均剧烈变化 定义灰度积分变化: 令 E（u,v）= 常值，则前面方程表示一个椭圆 使用角点响应函数： 当R接近于零时，处于灰度变化平缓区域；...

#include <opencv2/opencv.hpp> #include <sophus/se3.hpp> #include <boost/format.hpp> #include <pangolin/pangolin.h> using namespace std; typedef vector<Eigen::Vector2d, Eigen::aligned_allocatorEigen::Vector2d> VecVector2d; // C

直接法的引入 　SLAM 主要分为视觉前端和优化后端。前端也称为 视觉里程计（VO）。它根据相邻图像的信息，估计出粗略的相机运动，给后端提供较好的初始值。 　　VO 的实现方法，按是否需要提取特征，分为特征点法的前端以及不提特征的直接法前端。尽管特征点法在视觉里程计中占据主流地位，研究者们认识它至少有以下几个缺点： 关键点的提取与描述子的计算非常耗时。实践当中，SIFT目前在CPU上是无法实...