2、神经网络与统计学习入门

神经网络与统计学习入门

1. 神经网络研究的重大事件

神经网络学科以人类大脑为模型。人类大脑平均包含近 $10^{11}$ 个各种类型的神经元，每个神经元可连接多达数万个突触，因此神经网络模型也被称为连接主义模型。信息处理主要发生在大脑的外层——大脑皮层。认知功能，如语言、抽象推理、学习和记忆，是大脑最复杂的操作，难以用神经机制来定义。

以下是神经网络发展历程中的重大事件：
|时间|事件|
| ---- | ---- |
|20世纪40年代|McCulloch和Pitts发现神经元可以建模为简单的阈值装置来执行逻辑功能；1949年，Hebb提出了Hebb规则，描述学习如何影响两个神经元之间的突触|
|1952年|Hodgkin和Huxley基于细胞膜的物理特性和跨膜蛋白的离子电流，将神经元放电和动作电位传播等神经现象纳入一组演化方程，该工作使他们在1963年获得诺贝尔奖|
|20世纪50年代末 - 60年代初|Rosenblatt提出感知机模型，Widrow和Hoff提出自适应线性元件（adaline）模型，并使用最小均方（LMS）方法进行训练|
|1969年|Minsky和Papert从数学上证明感知机不能用于复杂的逻辑功能，这大大降低了人们对神经网络领域的兴趣。同期，adaline模型及其多层版本madaline在许多问题中得到成功应用，但由于使用线性激活函数，它们无法解决线性不可分问题|
|20世纪70年代|Grossberg、von der Malsburg和Fukushima受视觉皮层连接模式的启发，在竞争学习和自组织方面开展了开创性工作。Fukushima提出了认知机（cognitron）和新认知机（neocognit