Learning3D：3维点云数据的深度学习现代库

Learning3D：3维点云数据的深度学习库

源链接：https://github.com/vinits5/learning3d

文档 | 博客 | 示例代码

Learning3D是一个开源库，支持处理3维数据的深度学习算法的开发。Learning3D有在python中目前效果好的深度神经网络。为了进一步开发，这里提供了模块化的代码。欢迎开源社区的贡献。

在Learning3D 可用的CV算法

可使用的预训练模型

1. PointNet
2. PCN
3. PointNetLK
4. PCRNet
5. DCP
6. PRNet
7. FlowNet3D
8. RPM-Net (clean-trained.pth, noisy-trained.pth, partial-pretrained.pth)
9. DeepGMR
10. PointConv （通过这个 链接下载）
11. MaskNet

可使用的数据集

1. ModelNet40

可使用的损失函数

1. 分类损失函数（交叉熵(Cross Entropy)）
2. 配准损失函数 (FrobeniusNormLoss, RMSEFeaturesLoss)
3. 距离损失函数(Chamfer Distance, Earth Mover’s Distance)
4. 对应关系损失函数（Correspondence Loss） (基于这篇文章)

技术细节

支持的系统

1. Ubuntu 16.04
2. Ubuntu 18.04
3. Linux Mint

开发环境

1. CUDA 10.0 或更高的版本
2. Pytorch 1.3 或更高的版本

如何使用这个库

请注意：要Clone 这个库到你的项目里，请不要将自己的代码添加到**learning3d**中

1. 所有的网络都定义在models这个模块中；
2. 所有的损失函数都定义在losses这个模块中；
3. Data loaders 提前定义在data_utils/dataloaders.py这个文件中；
4. 所有的预训练模型都在learning3d/pretrained 文件夹之中；

文档

B: 批量大小（Batch Size）, N: 点的数量（No. of points ）， C: 通道（Channels.）

Point Embedding Networks的使用：

from learning3d.models import PointNet, DGCNN, PPFNet
pn = PointNet(emb_dims=1024, input_shape=‘bnc’, use_bn=False)
dgcnn = DGCNN(emb_dims=1024, input_shape=‘bnc’)
ppf = PPFNet(features=[‘ppf’, ‘dxyz’, ‘xyz’], emb_dims=96, radius=‘0.3’, num_neighbours=64)

Classification / Segmentation Network的使用：

from learning3d.models import Classifier, PointNet, Segmentation
classifier = Classifier(feature_model=PointNet(), num_classes=40)
seg = Segmentation(feature_model=PointNet(), num_classes=40)

Registration Networks的使用：

from learning3d.models import PointNet, PointNetLK, DCP, iPCRNet, PRNet, PPFNet, RPMNet
pnlk = PointNetLK(feature_model=PointNet(), delta=1e-02, xtol=1e-07, p0_zero_mean=True, p1_zero_mean=True, pooling=‘max’)
dcp = DCP(feature_model=PointNet(), pointer_=‘transformer’, head=‘svd’)
pcrnet = iPCRNet(feature_moodel=PointNet(), pooling=‘max’)
rpmnet = RPMNet(feature_model=PPFNet())
deepgmr = DeepGMR(use_rri=True, feature_model=PointNet(), nearest_neighbors=20)

Inlier Estimation Network (MaskNet)的使用：

from learning3d.models import MaskNet, PointNet
masknet = MaskNet(feature_model=PointNet(), is_training=True)

Point Completion Network的使用：

from learning3d.models import PCN
pcn = PCN(emb_dims=1024, input_shape=‘bnc’, num_coarse=1024, grid_size=4, detailed_output=True)

PointConv的使用：

使用以下作者预训练好的模型来创建

from learning3d.models import create_pointconv
PointConv = create_pointconv(classifier=True, pretrained=‘path of checkpoint’)
ptconv = PointConv(emb_dims=1024, input_shape=‘bnc’, input_channel_dim=6, classifier=True)

或者 像下面一样 用自己的PointConv模型来创建

PointConv = create_pointconv(classifier=False, pretrained=None)
ptconv = PointConv(emb_dims=1024, input_shape=‘bnc’, input_channel_dim=3, classifier=True)

PointConv 的变量是一个类，使用者可以使用它去创建一个子类来重载*create_classifier和create_structure* 方法去改变PointConv的网络架构。

Flow Estimation Network的使用：

from learning3d.models import FlowNet3D
flownet = FlowNet3D()

Data Loaders的使用：

from learning3d.data_utils import ModelNet40Data, ClassificationData, RegistrationData, FlowData
modelnet40 = ModelNet40Data(train=True, num_points=1024, download=True)
classification_data = ClassificationData(data_class=ModelNet40Data())
registration_data = RegistrationData(algorithm=‘PointNetLK’, data_class=ModelNet40Data(), partial_source=False, partial_template=False, noise=False)
flow_data = FlowData()

使用自己的数据：

from learning3d.data_utils import UserData
dataset = UserData(application, data_dict)

损失函数的使用：

from learning3d.losses import RMSEFeaturesLoss, FrobeniusNormLoss, ClassificationLoss, EMDLoss, ChamferDistanceLoss, CorrespondenceLoss
rmse = RMSEFeaturesLoss()
fn_loss = FrobeniusNormLoss()
classification_loss = ClassificationLoss()
emd = EMDLoss()
cd = ChamferDistanceLoss()
corr = CorrespondenceLoss()

示例代码的运行：

1. 将examples文件夹复制到learning3d文件夹外的文件夹
2. 然后运行文件（如 python test_pointnet.py）

• 文件目录\文件地址
  • learning3d
  • test_pointnet.py

参考文献：

1. PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation
2. Dynamic Graph CNN for Learning on Point Clouds
3. PPFNet: Global Context Aware Local Features for Robust 3D Point Matching
4. PointConv: Deep Convolutional Networks on 3D Point Clouds
5. PointNetLK: Robust & Efficient Point Cloud Registration using PointNet
6. PCRNet: Point Cloud Registration Network using PointNet Encoding
7. Deep Closest Point: Learning Representations for Point Cloud Registration
8. PRNet: Self-Supervised Learning for Partial-to-Partial Registration
9. FlowNet3D: Learning Scene Flow in 3D Point Clouds
10. PCN: Point Completion Network
11. RPM-Net: Robust Point Matching using Learned Features
12. 3D ShapeNets: A Deep Representation for Volumetric Shapes
13. DeepGMR: Learning Latent Gaussian Mixture Models for Registration
14. CMU: Correspondence Matrices are Underrated
15. MaskNet: A Fully-Convolutional Network to Estimate Inlier Points