【6Dof位姿估计】PVN3D: A Deep Point-wise 3D Keypoints Voting Network for 6DoF Pose Estimation 论文理解

论文代码

本文创新点\贡献

使用颜色和深度信息，结合先验关键点来预测6DoF

方法

方法概述

对彩色和深度信息分别取特征信息然后融合，对提前定义好的关键点、每个点的分类label、中心点偏移进行预测，使用mean shift聚类来解决不同实例的划分，最后用最小二乘来拟合世界坐标系和摄像机坐标系的变换

三个模组

• 关键点预测，预测关键点的偏移
• 分割，预测个每个点的语义label
• 中心点投票，投票中心点的偏移

3D Keypoints Detection Module

使用特征提取模组来提取全部点的特征，预测每个target点的欧氏距离偏移，然后根据这些预测来投票，然后用聚类算法，选择聚类的中心点作为投票选出来的关键点

操作：
给定一些图片上的点 { p i } i = 1 N \{ p_i \}^N_{i=1} { pi​}i=1N​还有一系列选出来的关键点 { k p j } j = 1 M \{ kp_j \}^M_{j=1} { kpj​}j=1M​，然后定义$p_i=[x_i;f_i]$，其中$x_i$是3D坐标，$f_i$是提取的特征。定义$k_{p_j}=[y_j]$中$y_j$是关键点的3D坐标

2D点本身怎么会有3D坐标呢？齐次化？
不是，是使用的点云位置信息

$M_K$利用每个点的$f_i$来生成他们的位置偏移 { o f i j } j = 1 M \{ of^j_i \}^M_{j=1} { ofij​}j=1M​，$i{f}_i^j$表示从第$i$个点到第 j j