人工神经网络的发展方向,人工神经网络发展趋势

人工神经网络的发展历史

1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立了神经网络和数学模型，称为MP模型。

他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。1949年，心理学家提出了突触联系强度可变的设想。

60年代，人工神经网络得到了进一步发展，更完善的神经网络模型被提出，其中包括感知器和自适应线性元件等。

M.Minsky等仔细分析了以感知器为代表的神经网络系统的功能及局限后，于1969年出版了《Perceptron》一书，指出感知器不能解决高阶谓词问题。

他们的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。

在此期间，一些人工神经网络的研究者仍然致力于这一研究，提出了适应谐振理论（ART网）、自组织映射、认知机网络，同时进行了神经网络数学理论的研究。以上研究为神经网络的研究和发展奠定了基础。

1982年，美国加州工学院物理学家J.J.Hopfield提出了Hopfield神经网格模型，引入了“计算能量”概念，给出了网络稳定性判断。

1984年，他又提出了连续时间Hopfield神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究，1985年，又有学者提出了波耳兹曼模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。

1986年进行认知微观结构地研究，提出了并行分布处理的理论。1986年，Rumelhart, Hinton, Williams发展了BP算法。

Rumelhart和McClelland出版了《Parallel distribution processing: explorations in the microstructures of cognition》。

迄今，BP算法已被用于解决大量实际问题。1988年，Linsker对感知机网络提出了新的自组织理论，并在Shanon信息论的基础上形成了最大互信息理论，从而点燃了基于NN的信息应用理论的光芒。

1988年，Broomhead和Lowe用径向基函数(Radial basis function, RBF)提出分层网络的设计方法，从而将NN的设计与数值分析和线性适应滤波相挂钩。

90年代初，Vapnik等提出了支持向量机(Support vector machines, SVM)和VC(Vapnik-Chervonenkis)维数的概念。

人工神经网络的研究受到了各个发达国家的重视，美国国会通过决议将1990年1月5日开始的十年定为“脑的十年”，国际研究组织号召它的成员国将“脑的十年”变为全球行为。

在日本的“真实世界计算（RWC）”项目中，人工智能的研究成了一个重要的组成部分。

谷歌人工智能写作项目：神经网络伪原创

神经网络的发展历史

1943年，心理学家W·Mcculloch和数理逻辑学家W·Pitts在分析、总结神经元基本特性的基础上首先提出神经元的数学模型好文案。此模型沿用至今，并且直接影响着这一领域研究的进展。

因而，他们两人可称为人工神经网络研究的先驱。1945年冯·诺依曼领导的设计小组试制成功存储程序式电子计算机，标志着电子计算机时代的开始。

1948年，他在研究工作中比较了人脑结构与存储程序式计算机的根本区别，提出了以简单神经元构成的再生自动机网络结构。

但是，由于指令存储式计算机技术的发展非常迅速，迫使他放弃了神经网络研究的新途径，继续投身于指令存储式计算机技术的研究，并在此领域作出了巨大贡献。

虽然，冯·诺依曼的名字是与普通计算机联系在一起的，但他也是人工神经网络研究的先驱之一。50年代末，F·Rosenblatt设计制作了“感知机”，它是一种多层的神经网络。

这项工作首次把人工神经网络的研究从理论探讨付诸工程实践。当时，世界上许多实验室仿效制作感知机，分别应用于文字识别、声音识别、声纳信号识别以及学习记忆问题的研究。

然而，这次人工神经网络的研究高潮未能持续很久，许多人陆续放弃了这方面的研究工作，这是因为当时数字计算机的发展处于全盛时期，许多人误以为数字计算机可以解决人工智能、模式识别、专家系统等方面的一切问题，使感知机的工作得不到重视；其次，当时的电子技术工艺水平比较落后，主要的元件是电子管或晶体管，利用它们制作的神经网络体积庞大，价格昂贵，要制作在规模上与真实的神经网络相似是完全不可能的；另外，在1968年一本名为《感知机》的著作中指出线性感知机功能是有限的，它不能解决如异或这样的基本问题，而且多层网络还不能找到有效的计算方法，这些论点促使大批研究人员对于人工神经网络的前景失去信心。

60年代末期，人工神经网络的研究进入了低潮。另外，在60年代初期，Widrow提出了自适应线性元件网络，这是一种连续取值的线性加权求和阈值网络。后来，在此基础上发展了非线性多层自适应网络。

当时，这些工作虽未标出神经网络的名称，而实际上就是一种人工神经网络模型。随着人们对感知机兴趣的衰退，神经网络的研究沉寂了相当长的时间。

80年代初期，模拟与数字混合的超大规模集成电路制作技术提高到新的水平，完全付诸实用化，此外，数字计算机的发展在若干应用领域遇到困难。这一背景预示，向人工神经网络寻求出路的时机已经成熟。

美国的物理学家Hopfield于1982年和1984年在美国科学院院刊上发表了两篇关于人工神经网络研究的论文，引起了巨大的反响。人们重新认识到神经网络的威力以及付诸应用的现实性。

随即，一大批学者和研究人员围绕着 Hopfield提出的方法展开了进一步的工作，形成了80年代中期以来人工神经网络的研究热潮。

神经网络的历史是什么？

沃伦·麦卡洛克和沃尔特·皮茨（1943）基于数学和一种称为阈值逻辑的算法创造了一种神经网络的计算模型。这种模型使得神经网络的研究分裂为两种不同研究思路。

一种主要关注大脑中的生物学过程，另一种主要关注神经网络在人工智能里的应用。一、赫布型学习二十世纪40年代后期，心理学家唐纳德·赫布根据神经可塑性的机制创造了一种对学习的假说，现在称作赫布型学习。

赫布型学习被认为是一种典型的非监督式学习规则，它后来的变种是长期增强作用的早期模型。从1948年开始，研究人员将这种计算模型的思想应用到B型图灵机上。

法利和韦斯利·A·克拉克（1954）首次使用计算机，当时称作计算器，在MIT模拟了一个赫布网络。纳撒尼尔·罗切斯特（1956）等人模拟了一台 IBM 704计算机上的抽象神经网络的行为。

弗兰克·罗森布拉特创造了感知机。这是一种模式识别算法，用简单的加减法实现了两层的计算机学习网络。罗森布拉特也用数学符号描述了基本感知机里没有的回路，例如异或回路。

这种回路一直无法被神经网络处理，直到保罗·韦伯斯(1975)创造了反向传播算法。在马文·明斯基和西摩尔·派普特（1969）发表了一项关于机器学习的研究以后，神经网络的研究停滞不前。

他们发现了神经网络的两个关键问题。第一是基本感知机无法处理异或回路。第二个重要的问题是电脑没有足够的能力来处理大型神经网络所需要的很长的计算时间。

直到计算机具有更强的计算能力之前，神经网络的研究进展缓慢。二、反向传播算法与复兴后来出现的一个关键的进展是保罗·韦伯斯发明的反向传播算法（Werbos 1975）。

这个算法有效地解决了异或的问题，还有更普遍的训练多层神经网络的问题。在二十世纪80年代中期，分布式并行处理（当时称作联结主义）流行起来。

戴维·鲁姆哈特和詹姆斯·麦克里兰德的教材对于联结主义在计算机模拟神经活动中的应用提供了全面的论述。神经网络传统上被认为是大脑中的神经活动的简化模型，虽然这个模型和大脑的生理结构之间的关联存在争议。

人们不清楚人工神经网络能多大程度地反映大脑的功能。

支持向量机和其他更简单的方法（例如线性分类器）在机器学习领域的流行度逐渐超过了神经网络，但是在2000年代后期出现的深度学习重新激发了人们对神经网络的兴趣。

三、2006年之后的进展人们用CMOS创造了用于生物物理模拟和神经形态计算的计算设备。最新的研究显示了用于大型主成分分析和卷积神经网络的纳米设备具有良好的前景。

如果成功的话，这会创造出一种新的神经计算设备，因为它依赖于学习而不是编程，并且它从根本上就是模拟的而不是数字化的，虽然它的第一个实例可能是数字化的CMOS设备。

在2009到2012年之间，Jürgen Schmidhuber在Swiss AI Lab IDSIA的研究小组研发的循环神经网络和深前馈神经网络赢得了8项关于模式识别和机器学习的国际比赛。

例如，Alex Graves et al.的双向、多维的LSTM赢得了2009年ICDAR的3项关于连笔字识别的比赛，而且之前并不知道关于将要学习的3种语言的信息。

IDSIA的Dan Ciresan和同事根据这个方法编写的基于GPU的实现赢得了多项模式识别的比赛，包括IJCNN 2011交通标志识别比赛等等。

他们的神经网络也是第一个在重要的基准测试中（例如IJCNN 2012交通标志识别和NYU的扬·勒丘恩（Yann LeCun）的MNIST手写数字问题）能达到或超过人类水平的人工模式识别器。

类似1980年Kunihiko Fukushima发明的neocognitron和视觉标准结构（由David H. Hubel和Torsten Wiesel在初级视皮层中发现的那些简单而又复杂的细胞启发）那样有深度的、高度非线性的神经结构可以被多伦多大学杰弗里·辛顿实验室的非监督式学习方法所训练。

2012年，神经网络出现了快速的发展，主要原因在于计算技术的提高，使得很多复杂的运算变得成本低廉。以AlexNet为标志，大量的深度网络开始出现。

2014年出现了残差神经网络，该网络极大解放了神经网络的深度限制，出现了深度学习的概念。

构成典型的人工神经网络具有以下三个部分：1、结构（Architecture）结构指定了网络中的变量和它们的拓扑关系。

例如，神经网络中的变量可以是神经元连接的权重（weights）和神经元的激励值（activities of the neurons）。

2、激励函数（Activation Rule）大部分神经网络模型具有一个短时间尺度的动力学规则，来定义神经元如何根据其他神经元的活动来改变自己的激励值。

一般激励函数依赖于网络中的权重（即该网络的参数）。3、学习规则（Learning Rule）学习规则指定了网络中的权重如何随着时间推进而调整。这一般被看做是一种长时间尺度的动力学规则。

一般情况下，学习规则依赖于神经元的激励值。它也可能依赖于监督者提供的目标值和当前权重的值。例如，用于手写识别的一个神经网络，有一组输入神经元。输入神经元会被输入图像的数据所激发。

在激励值被加权并通过一个函数（由网络的设计者确定）后，这些神经元的激励值被传递到其他神经元。这个过程不断重复，直到输出神经元被激发。最后，输出神经元的激励值决定了识别出来的是哪个字母。

人工智能的发展概况

探讨人工智能，就要回答什么是智能的问题，综合各类定义，智能是一种知识与思维的合成,是人类认识世界和改造世界过程中的一种分析问题和解决问题的综合能力。

对于人工智能，美国麻省理工学院的温斯顿教授提出“人工智能就是研究如何使计算机去做过去只有人才能做的智能工作”，斯坦福大学人工智能研究中心尼尔逊教授提出“人工智能是关于知识的学科――怎样表示知识以及怎样获得知识并使用知识的科学”。

综合来看人工智能是相对人的智能而言的。其本质是对人思维的信息过程的模拟，是人的智能的物化。是研究、开发模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

（一）感知、处理和反馈构成人工智能的三个关键环节人工智能经过信息采集、处理和反馈三个核心环节，综合表现出智能感知、精确性计算、智能反馈控制，即感知、思考、行动三个层层递进的特征。

智能感知：智能的产生首先需要收集到足够多的结构化数据去表述场景，因此智能感知是实现人工智能的第一步。

智能感知技术的目的是使计算机能 “听”、会“看”,目前相应的计算机视觉技术和自然语言处理技术均已经初步成熟，开始商业化尝试。

智能处理：产生智能的第二步是使计算机具备足够的计算能力模拟人的某些思维过程和行为对分析收集来的数据信息做出判断，即对感知的信息进行自我学习、信息检索、逻辑判断、决策，并产生相应反映。

具体的研究领域包括知识表达、自动推理、机器学习等，与精确性计算及编程技术、存储技术、网络技术等密切相关，是大数据技术发展的远期目标，目前该领域研究还处于实验室研究阶段，其中机器学习是人工智能领域目前热度最高，科研成果最密集的领域。

智能反馈：智能反馈控制将前期处理和判断的结果转译为肢体运动和媒介信息传输给人机交互界面或外部设备，实现人机、机物的信息交流和物理互动。

智能反馈控制是人工智能最直观的表现形式，其表达能力展现了系统整体的智能水平。

智能反馈控制领域与机械技术、控制技术和感知技术密切相关，整体表现为机器人学，目前机械技术受制于材料学发展缓慢，控制技术受益于工业机器人领域的积累相对成熟。

（二）深度学习是当前最热的人工智能研究领域在学术界，实现人工智能有三种路线，一是基于逻辑方法进行功能模拟的符号主义路线，代表领域有专家系统和知识工程。

二是基于统计方法的仿生模拟的连接主义路线，代表领域有机器学习和人脑仿生，三是行为主义，希望从进化的角度出发，基于智能控制系统的理论、方法和技术，研究拟人的智能控制行为。

当前，基于人工神经网络的深度学习技术是当前最热的研究领域，被Google，Facebook，IBM，百度，NEC以及其他互联网公司广泛使用，来进行图像和语音识别。

人工神经网络从上个世纪80年代起步，科学家不断优化和推进算法的研究，同时受益于计算机技术的快速提升，目前科学家可以利用GPU（图形处理器）模拟超大型的人工神经网络；互联网业务的快速发展，为深度学习提供了上百万的样本进行训练，上述三个因素共同作用下使语音识别技术和图像识别技术能够达到90%以上的准确率。

（三）主要发达国家积极布局人工智能技术，抢占战略制高点。各国政府高度重视人工智能相关产业的发展。

自人工智能诞生至今，各国都纷纷加大对人工智能的科研投入，其中美国政府主要通过公共投资的方式牵引人工智能产业的发展，2013财年美国政府将22亿美元的国家预算投入到了先进制造业，投入方向之一便是“国家机器人计划”。

在技术方向上，美国将机器人技术列为警惕技术，主攻军用机器人技术，欧洲主攻服务和医疗机器人技术，日本主攻仿人和娱乐机器人。现阶段的技术突破的重点一是云机器人技术，二是人脑仿生计算技术。

美国、日本、巴西等国家均将云机器人作为机器人技术的未来研究方向之一。

伴随着宽带网络设施的普及，云计算、大数据等技术的不断发展，未来机器人技术成本的进一步降低和机器人量产化目标实现，机器人通过网络获得数据或者进行处理将成为可能。

目前国外相关研究的方向包括：建立开放系统机器人架构（包括通用的硬件与软件平台）、网络互联机器人系统平台、机器人网络平台的算法和图像处理系统开发、云机器人相关网络基础设施的研究等。

由于深度学习的成功，学术界进一步沿着连接主义的路线提升计算机对人脑的模拟程度。

人脑仿生计算技术的发展，将使电脑可以模仿人类大脑的运算并能够实现学习和记忆，同时可以触类旁通并实现对知识的创造，这种具有创新能力的设计将会让电脑拥有自我学习和创造的能力，与人类大脑的功能几无二致。

在2013年初的国情咨文中，美国总统奥巴马特别提到为人脑绘图的计划，宣布投入30亿美元在10年内绘制出