MSC-VO: Exploiting Manhattan and Structural Constraints for Visual Odometry（MSC-VO阅读笔记）

论文阅读

点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨paopaoslam来源丨泡泡机器人SLAM标题：MSC-VO: Exploiting Manhattan and Structural Constraints for Visual Odometry作者：Joan P. Company-Corcoles, Emilio Garcia-Fidalgo and Al...

ICRA2022的点线SLAM，在ORBSLAM的基础上加入了线特征，用结构化约束和曼哈顿坐标的约束进行建图的位姿的校正

MSC-VO代码阅读记录，根据运行顺序重点阅读线特征的部分以及曼哈顿坐标系的相关内容

对于视觉里程计而言，在面对低纹理场景时，往往会出现退化的问题，究其原因是人造环境往往很难找到足够数量的点特征。而其他的几何视觉线索则是比较容易找到，在城市等场景中，通常表现出结构规律，如平行性或正交性，满足曼哈顿世界的假设。之前我们已经在《》文中介绍了点线SLAM的形式，相关的具体代码我们可以在上找到。

SLAM ---- 误差测评 ATE、RPE，与EVO一、误差1.1 ABSOLUTE TRAJECTORY ERROR (ATE)1.2 RELATIVE POSE ERROR (RPE)1.3 ABSOLUTE POSE ERROR (APE)二、EVO工具 一、误差 内容取自 TUM数据集： https://vision.in.tum.de/data/datasets/rgbd-dataset/tools The ATE is well-suited for measuring the perform

ros --- 双目相机内参与外参标定 本文暂时使用 小觅相机，介绍相机内参，相机与imu之间的外参 ROS 中的相机传感器数据，关于相机信息的格式：sensor_msgs/CameraInfo 详细见下面的 官方链接： http://docs.ros.org/melodic/api/sensor_msgs/html/msg/CameraInfo.html ......

ros --- base notes （ tf ...） 1. ros 录制imu bag包2. imu标定创建 launch 文件 1. ros 录制imu bag包 rosbag 指令 rosbag record -a rosbag record /topic1 /topic12 rosbag play rosbag play -r 3 <your bagfile name> # 表示以3倍原始速率发布话题 rosbag info <your bagfile name>

ROS机器人---超级环境搭建ros+opencv+ceres+CameraSDK+vins 注意一、换源二、安装 ubuntu16.04下的ros版本 kinetic2.1 添加ros源2.2 设置Key2.3 更新软件源列表2.4 安装kinetic2.5 初始化rosdep2.6 配置环境变量2.7 启动roscore三、安装 opencv 3.4.1四、安装 c++下的数学计算库cere...

slam 基本算法 --- 使用【Ceres】进行slam中BA问题求解 （理论+实践）注1. 简要2. ceres求解关键步骤2.1 定义误差项结构2.2 构建 BA 问题2.3 配置求解器并求解3.3 代码实践 注 ceres 相比g2o 能自动对误差项关于优化变量的导数求导，简易方便很多； 后续再具体的原理，这里先暂时应用。 1. 简要 ceres 解BA 官方链接： http://www.ceres-solver.org/nnls_tutorial.html#bundle-adjustment B

slslam----基于线特征的双目SLAM系统（关键知识点整理）1.注2. line 提取与跟踪2.1 简要2.2 主要代码2.2.1 line map 结构2.2.2 添加 line 进 line map3. 当前帧位姿估计3.1 简要3.2 主要代码 （BA）3.2.1 设置优化需要的参数索引3.2.2 build ceres4. 滑动窗口优化4.1 简要4.2 主要代码 (Local BA)5. 回环检测与位姿图优化 1.注 slslam 的论文 《Building a 3-D Line-Bas

C++---实用编程技巧记录求最小值/最大值 注：为了写出高质量的代码，一些简单的逻辑尽量用库函数去实现，减少代码量； 求最小值/最大值 普通vector 求最小值 std::vector<double> x={0,2,3,7,4,1}; auto min_inter = std::min_element(x.begin(), x.end()); double *min= *min_inter; // 值 int index = std::distance(x.begin(),min_in

1. 外点剔除 1.1 前端外点剔除 vins-mono 中根据光流跟踪，得到匹配点对; vins-fusion 中可以设置反向光流，进一步剔除 然后使用F基础矩阵进行剔除外点：rejectWithF() 原理介绍： 1. 输入的图片是带畸变的（如Euroc 单目数据集，为针孔相机模型） 2. 则需要先通过将像素坐标系转到归一化坐标系下并去畸变（可以用 camodocal 模型 liftProjective 完成） 3. liftProjective 之后得到归一化坐标系下的 3D点，除以 z ，得到 [x

这是因为 opencv版本不一致的问题。 本机中的opencv >4.0 error: ‘CV_CAP_PROP_FRAME_WIDTH’ was not declared in this scope error: ‘CV_CAP_PROP_FRAME_HEIGHT’ was not declared in this scope error: ‘CV_BGR2GRAY’ was not declared in this scope error: ‘cvStartWindowThread’ was no

SLAM 相关论文网址与查询一 论文查询二 CCF会议期刊等级CVPRIROSICRA 一 论文查询 https://www.mdpi.com/ https://ieeexplore.ieee.org/Xplore/home.jsp 二 CCF会议期刊等级 https://www.ccf.org.cn/Academic_Evaluation/AI/ 如下期刊或会议都可以通过 上面的CCF 链接找到其网址 CVPR SLAM 与深度学习结合较多 IROS 智能机器与系统 http://dblp.uni-tr

slam 基本算法 --- 使用【Ceres】进行曲线拟合 （理论+实践）注1.1 问题描述1.2 代码实践1.3 结果 注 之前整理过 slam 基本算法 — 分别使用 【高斯牛顿，g2o】进行曲线拟合 （理论+实践） vins中使用的ceres进行非线性优化求解，所以这里再学习并整理一下 Ceres的使用，通过官方的曲线拟合的例子 Ceres可以解决以下形式的边界约束的鲁棒非线性最小二乘问题 min⁡x12∑iρi(∥fi(xi1,…,xik)∥2) s.t. lj≤xj≤uj\b

VINS ---视觉约束雅克比推导1.注1.1 投影误差公式1.2 投影误差相对于待优化变量的雅克比1.3重投影误差公式1.4重投影误差相对各个待优化变量的雅克比 1.注 高博SLAM 十四讲 P186 中介绍了点的视觉重投影误差相对各个优化变量的雅克比 这儿做一个大概的公式介绍 1.1 投影误差公式 我们选择定义：（与高博书上相反，VINS确是这样定义的，为了与代码对应，我们也这样） 误差 = 理论预测值 - 观测值 十四讲 是使用像素平面下的像素坐标做差，我们也为了与VINS对应，使用归一化坐标系的点

1. 手写BA 手推BA 2. 直接法BA （推导与实践） Ceres求解直接法BA实现自动求导 从零开始一起学习SLAM | 掌握g2o边的代码套路