神经网络基本知识

神经网络基本知识、BP神经网络

一．概述

1.1神经网络的定义

人工神经网络(Artificial Neural Networks，简写为 ANNs)是由大量类似于生物神经元的处理单元相互连接而成的非线性复杂网络系统。它是用一定的简单的数学模型来对生物神经网络结构进行描述，并在一定的算法指导下，使其能够在某种程度上模拟生物神经网络所具有的智能行为，解决传统算法所不能胜任的智能信息处理的问题。它是巨量信息并行处理和大规模并行计算的基础，神经网络既是高度非线性动力学系统，又是自组织自适应系统，可用来描述认知、决策和控制的智能行为。

1.2 神经网络的发展历史

对人工神经网络的研究始于 1943 年，经历 60 多年的发展，目前已经在许多工程研究领域得到了广泛应用。但它并不是从一开始就倍受关注，它的发展道路曲折、几经兴衰，大致可以分为以下五个阶段：

①奠基阶段：1943 年，由心理学家 McCulloch 和数学家 Pitts 合作，提出第一个神经计算模型，简称 M-P 模型，开创了神经网络研究这一革命性的思想。

②第一次高潮阶段：20 世纪 50 年代末 60 年代初，该阶段基本上确立了从系统的角度研究人工神经网络。1957 年 Rosenblatt 提出的感知器(Perceptron)模型，可以通过监督学习建立模式判别能力。

③坚持阶段：随着神经网络研究的深入开展，人们遇到了来自认识、应用实

现等方面的难题，一时难以解决。神经网络的工作方式与当时占主要地位的、以数学离散符号推理为基本特征的人工智能大相径庭，但是更主要的原因是：当时的微电子技术无法为神经网络的研究提供有效的技术保证，使得在其后十几年内人们对神经网络的研究进入了一个低潮阶段。

④第二次高潮阶段：20 世纪 70 年代后期，由于神经网络研究者的突出成果，并且传统的人工智能理论和 Von.Neumann 型计算机在许多智能信息处理问题上遇到了挫折，而科学技术的发展又为人工神经网络的物质实现提供了基础，促使神经网络的研究进入了一个新的高潮阶段。

⑤快速发展阶段：自从对神经网络的研究进入第二次高潮以来，各种神经网

络模型相继提出，其应用已经很快渗透到计算机图像处理、语音处理、优化计

算、智能控制等领域，并取得了很大的发展。

综上所述，神经网络的研究虽然有起伏，出现了研究的高潮与低潮，但总的方向无疑还是正确的。目前神经网络发展的重点是以应用为导向，研究和利用大脑神经网络的一些特性，设计出具有类似的某些大脑功能的智能系统。神经网络正在蓬勃发展，其理论研究结果和应用范围一时还无法准确预料。

1.3 神经网络的特点

①具有高速信息处理的能力

神经网络是由大量的神经元广泛互连而成的系统，并行处理能力很强，因此具有高速信息处理的能力。

②神经网络的知识存储容量大

在神经网络中，知识与信息的存储表现为神经元之间分布式的物理联系。它分散地表示和存储于整个网络内的各神经元及其连线上。每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。只有通过各神经元的分布式综合效果才能表达出特定的概念和知识。

③具有很强的不确定性信息处理能力

由于神经网络中神经元个数众多以及整个网络存储信息容量的巨大，使得它具有很强的对不确定性信息的处理能力。即使输入信息不完全、不准确或模糊不清，神经网络仍然能够联想思维存在于记忆中的事物的完整图像。只要输入的模式接近于训练样本，系统就能给出正确的推理结论。

④具有很强的健壮性

正是因为神经网络的结构特点和其信息存储的分布式特点，使得它相对于其它的判断识别系统，如专家系统等，具有另一个显著的优点：健壮性。生物神经网络不会因为个别神经元的损失而失去对原有模式的记忆。因某些原因，无论是网络的硬件实现还是软件实现中的某个或某些神经元失效，整个网络仍然能继续工作。

⑤一种具有高度非线性的系统

神经网络同现行的计算机不同，是一种非线性的处理单元。只有当神经元对所有的输入信号的综合处理结果超过某一阈值后才输出一个信号。因此神经网络是一种具有高度非线性的系统。它突破了传统的以线性处理为基础的数字电子计算机的局限，标志着人们智能信息处理能力和模拟人脑智能行为。

⑥十分强的自适应、自学习功能

人工神经网络可以通过训练和学习来获取网络的权值与结构，呈现出很强的自学习能力和对环境的自适应能力。

1.4 神经网络的应用

近年来，人工神经网络独特的结构和信息处理方法，使其在许多实际应用领 域中取得了显著的成绩。神经网络的应用突出的领域有：

①模式识别。如图像识别、语音识别、手写体识别等。

②信号处理。包括特征提取、燥声抑制、统计预测、数据压缩、机器人视觉等。 ③判释决策。如模糊评判、市场分析、系统辩识、系统诊断、预测估值等。1 ④组合优化。包括旅行商问题、任务分配、排序问题、路由选择等。 ⑤知识工程。如知识表示、专家系统、自然语言处理和实时翻译系统等。

⑥复杂控制。包括多变量自适应控制、变结构优化控制、并行分布控制、智能及

鲁棒控制等。

二．基本问题和分类

2.1神经元基本结构

人工神经网络是由大量简单的基本元件—神经元(neuron)相互连接而成的自适应非线性动态系统，神经元是神经网络的基本处理单元，它一般是一个多输入单输出的非线性动态系统，其结构模型如图2.1所示

图2.1神经元结构

其中，

i X 为神经元i 个神经元的输入信号，i W 为相应的突触强度或联结权值，()f •为激励函数，它是作用前面部分的加权和，O 为实际输出。

激励函数可取不同的函数，但常用的基本激励函数有三种，分别是阈值函 数(此时神经元的输出取1或0，反映了神经元的兴奋或抑制)、分段线性函数(这种形式的激励函数可看作是非线性放大器的近似)和 S 型(Sigmoid)函数, 它也