多层感知机、激活函数（pointnet算法基础知识）

项目地址：https://github.com/TrickyGo/Dive-into-DL-TensorFlow2.0 UC 伯克利李沐的《动手学深度学习》开源书一经推出便广受好评。很多开发者使用了书的内容，并采用各种各样的深度学习框架将其复现。 现在，《动手学深度学习》书又有了一个新的复现代码版本——TensorFlow2.0 版，短时间内成为了github上千star项目，欢迎关注。 文章...

多层感知机简单介绍以及代码实现

感知机 给定输入x（向量），权重w（向量），和偏移b（标量），感知机输出： 感知机不能拟合XOR函数，他只能产生线性分割面。 感知机是一个二分类的模型，是最早的AI模型之一。 感知机的求解算法等价于使用批量大小为1 的梯度下降。 多层感知机 1、学习XOR 2、单隐藏层-单分类 为什么需要非线性的激活函数？ 如果不加激活函数，就是n个全连接层叠加在一起，输出还是一个最简单的线性模型。 3、激活函数 3.1 sigmoid 函数 他就是说对于x来讲，将他投影到（0,1）..

前言 关于PointNet模型的构成、原理、效果等等论文部分内容，我在之前一篇论文中写到过，可以参考这个链接：PointNet论文笔记 下边我就直接放一张网络组成图，并对代码进行解释，我以一种比较容易理解的顺序放置，希望耐心阅读。 网络结构图示 在分类网络中，输入n个点，对输入做特征变换，再进行最大池化输出k个种类；分割网络是分类网络的一个拓展，它考虑了全局和局部的特征以及每个点的输出分数。mlp代表多层感知机，括号中是感知机的层数，批标准化（Batch...

知识点回顾 什么是点云，如何获得点云。 点云包含了很多信息，除了3维坐标数据之外，还可能包括颜色、分类值、强度值、时间等。 点云数据可以由多种方法获得：1.直接由Lidar激光扫描出点云数据。 2.不同角度的2D图像组合成点云3.由深度图（Depth Map）生成点云，即将图像坐标+深度信息从图像坐标系转换为世界坐标系。 点云和深度图都会出现深度信息的缺失，因为往往传感器只能捕捉物体表面...

从PointNet到PointNet++理论及代码详解1. 点云是什么1.1 三维数据的表现形式1.2 为什么使用点云1.3 点云上以往的相关工作2. PointNet2.1 基于点云的置换不变性2.1.1 由对称函数到PointNet(vanilla)2.1.2 理论证明2.2 基于点云的旋转不变性2.3 网络总体结构2.4 实验结果和网络的鲁棒性2.5 代码解析3. PointNet++3.1...

一、基本简介 本篇博文主要是对 PointNet，PointNet++ 论文的要点进行梳理和总结。认真阅读本博文后，不仅能够深刻理解论文的核心算法思想，而且对模型训练数据的准备和模型的训练细节也能了然于胸。如果想阅读原论文，参考下面的链接资源，附有本人对原论文的中文翻译。 PointNet论文翻译，附链接。 PointNet++论文翻译，附链接。 二、PointNet 解决了什么问题？ a. 由于卷积网络在2D图像上的兴起，很多研究者开始将神经网络应用于3D点云数据。但是，大部分工作都是将3D

本文章为个人学习使用，版面观感若有不适请谅解，文中知识仅代表个人观点，若出现错误，欢迎各位批评指正。文中部分知识参考：B 站 —— 跟李沐学AI；

一、多层感知机MLP 1.1定义 人工神经网络（Artificial Neural Networks，简写维ANN）:一种类似于大脑神经突触联接的结构进行信息处理的数学模型 二、MLP实现非线性分类 2.1MLP实现与门 2.2MLP实现非与门 2.3MLP实现或门 2.4MLP实现同或门 三、MLP实现多分类 四、激活函数 4.1定义 激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端 4.2阶跃函

本文探讨了三种激活函数（ReLU&Tanh&Sigmoid）的特点，以及他们在多层感知机中的表现（基于mnist-fashion 数据集2017），以10轮训练所需的时间，损失函数下降速度以及测试集上的准确度来对三种激活函数做对比。文章后附源代码可作为参考。

主要就是先记录一下训练轮次等基本信息，开启训练模式，更新学习率，然后开始一轮训练，优化器清零，然后数据增强，然后进行训练，一轮训练结束后会进行一次检测，最后检测结果与以前训练数据进行比较，保存最好的那个。方法计算分类正确的样本数，再除以该类别中的总样本数，即可得到分类器在该类别上的准确率。下面代码就是把训练的模型复制到对应的目录下，以便以后查看和对比，然后就获取对应的分类模型以及损失函数，激活函数。比如是否使用GPU，训练批次大小，模型，训练总轮数，以及优化器，训练日志保存路径等等。

多层感知器（MLP，Multilayer Perceptron）是一种前馈模型，其将输入的多个数据集映射到单一的输出的数据集上。，因此也叫深度感知机是单个神经元模型，是较大神经网络的前身。神经网络的强大之处在于它们能够学习训练数据中的表示，以及如何将其与想要预测的输出变量联系起来。从数学上讲，它们能够学习任何映射函数，并且已经被证明是一种通用的近似算法。神经网络的预测能力来自网络的分层或多层结构。而多层感知机是指具有至少三层节点，输入层，一些中间层和输出层的神经网络。

动手学深度学习笔记

多层感知机（MLP，Multilayer Perceptron）也叫人工神经网络（ANN，Artificial Neural Network），除了输入输出层，它中间可以有多个隐层。

线性模型的不足：任何特征的增大都会导致模型输出的增大（如果对应的权重为正）， 或者导致模型输出的减小（如果对应的权重为负）。 似然函数：似然函数是一种关于统计模型参数的函数。而p(x|θ)也是一个有着两个变量的函数。如果，你将θ设为常量，则你会得到一个概率函数（关于x的函数）；如果，你将x设为常量你将得到似然函数（关于θ的函数）。 下面举一个例子： 有一个硬币，它有θ的概率会正面向上，有1-θ的概率反面向上。θ是存在的，但是你不知道它是多少。为了获得θ的值，你做了一个实验：将硬币抛10次，得到了一个正

感知机模型：将线性可分的数据，利用一个线性超平面将其分类；（感知机只有输出层神经元进行激活函数处理，即只有一层功能神经元）其模型公式为：其中 感知机模型损失定义： 其中M表示误分类结点的集合； 多层感知机就是含有至少一个隐藏层的由全连接层组成的神经网络，且每个隐藏层的输出通过激活函数进行变换。（最简单的MLP只有一个隐含层如下图。） 隐藏层与输入层是全连接的，假设输入层用向量X表示，则隐藏层的输出就是 f (W1X+b1)，W1是权重（也叫连接系数），b1是偏置，函数f可以是常用的

3.当输入为0时，sigmoid函数的导数达到最大值0.25；而输入在任一方向上越远离0点时，导数越接近0。sigmoid函数将输入变换为区间(0, 1)上的输出，也叫挤压函数，它是一个平滑的、可微的阈值单元近似。sigmoid在隐藏层中已经较少使用， 它在大部分时候被更简单、更容易训练的ReLU所取代。使用reshape将每个二维图像转换为一个长度为num_inputs的向量。直接调用d2l包的train_ch3函数，详细见之前的线性回归。自己实现ReLU激活函数。sigmoid函数的导数。

在models/pointnet2_utils.py中加入以下代码，该代码将PointNetSetAbstraction中的mlp三层感知机重新封装成一个class Conv模块，便于直接在Conv模块中修改激活函数，修改后的代码和源码结构是一致的。修改不同的激活函数直接在Conv类中修改即可。在不同的模型中修改调用即可，如在models/pointnet2_sem_seg.py文件中修改，训练即可。