直觉化深度学习教程——极致解读 M-P模型、感知器、多层感知器

往事不察，无以知来者。

在追逐新潮概念（ResNet、Mask R-CNN、Bert、GPT等）的时候，非常有必要回顾一下最初的源头脉络。

出发点并不是考古，而是为了从最基本的思维原型着手，建立直觉的认识。

如果循着这个脉络，你会发现：神经网络的由来是如此的自然而然，每一步的迭代亦是如此朴素，却又意义深远。

四个概念的关系

人工智能、机器学习、深度学习、神经网络，这四个词几乎经常出现，我想下面这个图1非常合适。

• 概念范畴来看，人工智能>机器学习>深度学习

  如果图1描述的很模糊，那么图2所说的更明白一些。
  

• 神经网络与深度学习的关系。

  神经网络：诞生于神经元（M-P模型），经历感知器、多层感知器后逐渐发展为成熟，但是由于神经网络拟合能力的强大，数据有限，硬件能力有限，训练与构造技巧匮乏，网络一直无法向深层发展。

  深度学习：最早是2006年提出，得益于1986年到2012年这几十年对网络的构造技巧、训练技巧的积累，以及互联网时代的数据积累，硬件的提升，三个封印终于凑齐，网络大踏步向更深层次、更多花样发展。

  就如同乔布斯时代年前的iphone与iphone11的关系，同为智能手机(算法思想未变)，但是由于积累了足够多的迭代，手机的可玩性增强了太多（算法能力倍增）。

M-P模型

尽管M-P模型常常被忽略，然而它才是神经网络的真正起源。

1943年，Warren McCulloch和Walter Pitts参考了生物神经元的结构，提出了神经元模型M-P（他俩姓氏首字母的组合）。（生物神经元之于人工神经元差别，可能比飞鸟之于飞机的差别还大，只能说人类喜欢追根溯源或者喜欢建立关联。)

就像这个图中所展示的，原理很简单，就是输入的加权和，再通过一个阶跃函数，加权和大于阈值$h$就输出1，否则输出0。注意：一个神经元干的活，包括两个操作，即加和与非线性化，在下文中将用一个圆圈所代表。

可以描述为：M-P模型 = 加权和 + 阶跃函数

特点

即使这么简单的模型，我们依然可以有几点解读：

• 权重$w_i$越大，$x_i$对加权和结果$z$的影响越大，即$x_i$越重要，即 w i w_i