PointNet＜论文＞

PointNet的应用

1.点云图像的分类（整片点云是什么物体）

2.点云图像的部件分割（整片点云所代表的物体能拆分的结构）

3.点云图像的语义分割（将三维点云环境中不同的物体用不同的颜色区分开）

Robotic Grasping Detection with PointNet (Polycam实验+讲解)

补充

PointNet是一个统一的模型，直接将点云作为输入，同时输出整个输入的类标签或者输入的的每个点块/部分的标签。网络最终的全连接层把这些学习到的最优值聚合到如上所述的整个形状的全局描述符（形状分类）上或者用于预测每个点标签（形状分割）。

点云数据：直接使用无序点集作为输入。点云表示为一组3D点，其中每个点的Pi是其坐标（x , y , z）的向量加上额外的特征通道，例如颜色、法线等，除非另有说明，我们只使用坐标（x , y , z）作为我们点的通道。(注：有些点云数据可能是6个值， 除了三个坐标外， 还有nx,ny,nz构成法向量。)那么由N个点构成的一个点云数据其实就是一个Nx3的数组

我们的输入格式很容易应用刚性或者仿射变换，因为每个点都是独立变换的。因此我们能够增加一个依赖数据的空间变换网络，该网络会在PointNet处理数据前对数据进行规范化，以便进一步改善结果。

我们工作的主要贡献如下：

• 我们设计了一个适用于处理3D无序点集的新型深度网络模型
• 我们展示了如何训练这样的网络模型来执行3D形状分类、形状部分分割和场景语义分析任务
• 我们对该方法的稳定性和效率进行了深入的验证和理论分析
• 我们演示了网络中所选择神经元计算出的3D特征，并对其性能进行了直观的解释

我们的网络有三个关键模块：

• 最大池层作为对称函数用于聚类所有点的信息
• 组合局部信息和全局信息的结构
• 两个对齐输入点和点的特征的联合对齐网络

点集​的深度学习

我们网络的构架的灵感来自​中的点集的属性。

​中的点集的属性 

我们的输入是来自欧式空间的点的子集。它有三个主要属性：

1. 无序性：点云是一组没有特定顺序的点。点与点之间没有严格的顺序，如将两个点交换之后仍然表示同一个点云。【对称函数设计用于表征】
2. 点之间的相互作用：虽然点云的点是离散的，但是却可以共同组成物体或者环境的轮廓。这意味着这些点不是孤立的，而且相邻的点形成一个具有意义的子集。因此模型需要能够捕获附近点的局部结构，以及局部结构之间组合的相互作用。【局部全局特征结合】
3. 转换的不变性：对于几何对象，点集学习到的表示应该对某些变换具有不变性。例如，所有的旋转点和平移点都不能修改全局点云的类别或者点的分割。点云进行刚性变换（旋转平移）后，再进行输入，输出的分类或者是分割结果不变。【alignment network】

 1 三维数据