人工神经网络发展历史与训练算法概述-2019年文档

人工神经网络发展历史与训练算法概述

以一己之力战胜两位世界级围棋高手李世石及柯洁的Alpha Go的横空出世，不仅仅吸引了相应人才从事此方面的研究，更显示了其的巨大潜力。而Alpha Go能战胜这两位围棋中顶级选手，与其采用了人工神经网络不无关联。而人工神经网络是一门结合了众多学科的内容而发展起来的一门新的信息处理学科。

1 人工神经网络的发展历史

1）起源。人工神经网络最初是由科研工作者根据生物神经网络的特点而创造出来的一种可以进行简单信息处理的模型。生物神经网络（Biological Neural Networks）以神经元为骨架，通过神经元彼此之间的连结形成了一个完整的能对所给刺激产生反应的系统。人工神经网络就是类比生物神经网络的这个可以进行信息处理的原理而制造出来的。用节点替代神经元，且每个节点代表一种固定的函数，节点之间彼此联接形成一个庞大的网状系统，可处理一些信息。综合人工神经网络的起源、特点及定义，它可以用这样一句话概括：人工神经网络是一种信息处理系统，目的在于模仿人类大脑的相应结构及其相关功能[ 1 ]。

2）摸索阶段。历史上第一个提出人工神经网络设想并藉此制造出了第一个模型的是心理学家W.S.McCulloch和数理逻辑学家Wapitis。他们提出的模型就是MP模型，而MP模型的建

立不仅证明了单个神经元执行逻辑功能的可行性，还带来对人工神经网络研究的热潮。因此W.S.McCulloch和Wapitis被后来者尊称为人工神经网络研究的先驱。但是当时的人工神经网络只是一个胚胎，甚至只能说是一个大胆的猜想，缺乏相应的理论支持。

50年代末，F?罗森布拉特提出并设计了感知机。60年代初，Windrow提出了一种自适应线性元件网络，这两项工作第一次将人工神经网络的研究成果应用到实践中[7]。而他们的成功也激励了其他众多科学家，提高了他们对人工神经网络的研究兴趣。但是当时有学者指出感知机本身存在问题，且该问题的不可解决性，再加上当时正值计算机高速发展、各种研究成果竞相发表的时期，众多科学研究者纷纷转向计算机的研究，因此人工神经网络的研究被搁置。人工神经网络的发展也停滞不前。

3）高速发展阶段。1982年及1984年，美国加州工学院物理学家J.J.Hopfield先后提出了Hopfield神经网格模型与连续时间Hopfield神经网络模型，这两项研究解决了感知机所存在的不能解决高阶谓词的问题，为人工神经网络的研究提供了一个新思路。随后，一些学者提出了玻尔兹曼模型。这三项研究不仅为人工神经网络的发展做了开拓性的研究，更是使人工神经网络这个备受冷落的研究项目重新回到科研人员的视野中。也正是有这些科学工作人员的一个又一个的研究成果，才能令人工神经网络从原本不被重视的状态扭转为当时备受人们追捧的状态。

1991年，Aihara等基于之前的推导和实验，提出了一个混沌神经元模型。1997年，Hochreiter和Schmidhuber提出了长短期记网络。等等，诸如此类的研究的提出，足以论证人工神经网络发展的迅猛及其科学研究热潮的来临。

2 人工神经网络的理论算法

1）BP网络。1986年由Rumelhart和McClelland为首的科学家们给出的BP神经网络算法虽然存在一些缺陷，但是BP 算法理论依据坚实、推导过程严谨等特点，还是让BP算法成为人工神经网络算法中较为经典的，也是使用最普遍的神经网络模型之一[6]。

传统的BP算法本质上是一种学习方法，它将一组样本输入/输出问题转换为非线性优化问题，并通过负梯度下降算法通过迭代操作解决权重问题，但其收敛速度较慢，易陷入局部最优解为此方法较为突出的问题。为解决此问题，提出了一种新的高斯消元法。

2）离散Hopfield神经网络。Hopfield首先提出的网络是一种二值神经网络，所谓二值就是神经元的输出只取这两个值，1和0，因此也称它为离散Hopfield神经网络。离散HopfieId 网络使用的神经元为二元神经元，因此输出的1和0分别代表该神经元的激活和抑制

对于离散Hopfield网络，网络状态是一组输出神经元信息。对于输出层是N个神经元的网络，T矩是n维向量。

因此，网络状态有2n种状态，因为Yj（t）（j = 1N）可以取值为1或0，因此，n维向量Y（t）有2n种状态，即网络状态。

3 人工神经网络的发展现状及应用

人工神经网络是一门交叉学科，与计算机科学，数学等学科关系密切。它的发展与应用离不开这些学科。其从90年代起，各种研究成果层出不穷，这些成果不仅完善了当时的人工神经网络研究，还为以后人工神经网络的实际应用提供了理论依据。直至目前人工神经网络已发展的较为完善，而且已广泛应用于多个学科领域之中[4]。例如，上文所提的Alpha Go，及目前尚在起步阶段的VR技术还有人脸识别技术。Alpha Go不仅攻克了棋类游戏中最难的围棋，而且展示了人工神经网络所拥有的巨大潜力。而VR技术的发展将改变目前人们的生活方式，并将带来极大的便利。而人脸识别技术的发展将提高个人信息，物品的安全性，将更好的保护我们的权利。其他诸如指纹识别、视网膜识别、虹膜识别、掌纹识别、专家系统、智能搜索等技术的发展也不容忽视。 4 人工神经网络的影响

1）积极影响。人工神经网络的迅猛发展给我们的生活带来了巨大的好处。VR购物可以让我们更为直观的感受衣服合身与否，穿在身上的效果如何等，这是传统的网络购物无法解决的问题。智能医疗体系的建成将进一步解决目前传统医疗体系存在的弊端，也将优化目前的医疗体系，让资源得到更合理的配置。未

来，智能机器人的存在将使人们从繁复的体力活动中解救出来，使人们更能专心于各种技术的研发。人工神经网络的发展还将促进其他学科的发展，其工作拥有的超高速能大大的节省我们的时间，其所拥有的极低错误率也将大大的提高准确率。

2）消极影响。人工神经网络的发展带来的不仅仅是优势，它也有不利的一面。首先，过于真实的VR场景会使人沉溺其中，而其模拟现实感受的感觉体系可能会刺激大脑，使人的精神受到一定的创伤。其次，大量的职业由智能机器人接管将导致大量的人失业。而这些失业的人的衣食住行问题，及其本身带来的不安定因素成为亟待解决的问题。再者，大量智能机器人的出现将加大知识的两极分化，导致有知?R的人越来越有知识，而跟不上知识更新速度的人将无法改变自身命运。另外，大量工作由智能机器人替代，将会使人懈怠，变得四肢不勤、五谷不分，身体素质也将会下降。

5 结论

人工神经网络作为一门机器智能学科，是随着生物智能特别是人类智能的研究而发展起来的。由于目前对人脑的研究还十分的浅薄，对生物神经网络的认知还不够，人工神经网络始终存在弊端。因此，人工神经网络的改进和发展需要神经科学的研究。在如今飞速发展的时代，人工神经网络的发展势头不容小觑。人工神经网络的不断发展也将带给我们不停的惊喜。