神经网络理论及应用

神经网络理论及应用

哈尔滨理工大学朱建良

神经网络是起始于二十世纪四十年代，发展于二十世纪八十年代，应用于二十世纪九十年代的一个研究领域。它是模拟人脑的思维、结构和智能的一门新兴学科。神经网络理论的应用已经渗透到各个领域，并在智能控制、模式识别、计算机视觉、自适应滤波和信号处理、非线性优化、自动目标识别、连续语音识别、声纳信号的处理、知识处理、传感技术与机器人、生物医学工程等方面取得了令人鼓舞的进展。

美国加州大学伯克莱分校前校长田长霖教授于2000年7月，在接受东南大学授予他名誉教授的仪式上，发表了一篇激情洋溢的演讲，他提到了美国二十一世纪的三个科研主攻方向为：信息科学、生物科学、纳米科学。由此可见神经网络所具有的理论价值、现实意义及其发展前景。

在这门课程中，由于学时所限，我们仅介绍神经网络的基本模型、BP算法、Hopfield神经网络、细胞神经网络等基础内容。

1 课程时数：40学时

2 考试方式：考查（考试）

3 授课方法：讲授与自学及查阅文献相合

4 参考文献：

（1）宿延吉等，神经网络理论及应用。东北林业大学出版社，1993

（2）王永骥等，神经元网络控制。机械工业出版社，1998

（3）吴简彤等，神经网络技术及其应用。哈尔滨工程大学出版社，1998

（4）焦李成，神经网络的应用与实现。西安电子科技大学出版社，1996

第一章 绪 论

§1．1 生物神经元模型

1 神经元的结构

人的大脑大约由12

10个神经元组成，而其中每个神经元又与约2

10~4

10个神经元相连接，从而构成了一个庞大而又复杂的神经网络系统。

神经元是大脑处理信息的基本单元，它的结构如图1—1所示。 它以细胞体为主，有许多向周围延伸的不规则树支状纤维构成的神经细胞，其形状很像一根枯树。主要有细胞体、树突、轴突和突触组成。

细胞体不仅是神经元新陈代谢的中心，还是接受与处理信息的部件。树突是细胞体向外延伸的树枝状纤维体，是神经元的输入通道，接受来自其他神经元的信息。轴突是细胞体向外延伸的最长、最粗的一条树支纤维体，是神经元的输出通道。一个神经元的神经末梢与另一个神经元的树突或细胞体的接触处称为突触，是神经元之间传递信息的输入输出接口。每个神经元约有3

10~4

10个突触。

2 神经元的功能

神经元作为控制和信息处理的基本单元，有下述功能：

（1）时空整合功能：神经元对于不同时间通过同一突触传入的神经冲动，具有时间整合功能；对于同一时间通过不同突触传入的神经冲动，具有空间整合功能；两种功能相互结合，具有时空整合的输入信息处理功能。

（2）兴奋与抑制状态：神经元具有两种常规工作状态：兴奋——当传入冲动的时空整合结果，使细胞膜电位升高，超过动作电位的阀值（约为40mV ）时，细胞进入兴奋状态，产生神经冲动，由轴突输出；抑制——当传入冲动的时空整合结果，使得细胞膜电位下降至低于动作电位阀值时，细胞进入抑制状态，无神经冲动输出。满足“0—1”律。

（3）具有脉冲与电位转换：突触界面具有脉冲/电位转换功能。沿神经纤维传导的电脉冲为等幅（约60~100 mV ）、恒宽、编码的离散脉冲信号，而细胞膜电位的变化为连续的电位信号。在突触接口处进行的“数/模”转换，是通过神经介质以量子化学方式实现的变换过程。

（4）神经纤维传导速度：神经冲动沿神经纤维传导速度在1~150m/s 之间。它随纤维的粗细、髓鞘的有无而不同。有髓鞘的粗纤维，其传导速度在100m/s 以上；无髓鞘的细纤维传导速度可低于每秒数米。

（5）突触延时和不应期：突触对神经冲动的传递具有延时一般为0.3~1ms 。在两个相邻冲动之间需要一个时间间隔，即为不应期，约3~5 ms 。在此期间，对激励不响应，不能传递神经冲动。

（6）学习、遗忘和疲劳：由于结构的可塑性，即突触传递信息的强度是可变的，有增强、减弱和饱和，所以细胞具有相应的学习功能、遗忘或疲劳效应（饱和效应）。

3 人脑神经网络系统

生物神经网络是由许多神经元相互连接而成的。其连接形式主要有：

（1）幅散式；

（2）聚合式；

（3）连锁式；

（4）环式；

如图1—2所示。

4人脑神经网络信息处理的特点

（1）分布存储与冗余性信息在神经网络中是分布存储于大量的神经元之中的；一个事物的信息不只是对应于一个神经元的状态进行记忆，而是分散到许多神经元中进行记忆。而且每个神经元实际上存储着多种不同信息的部分内容。在分布存储的内容中，有许多是完成同一功能的，即网络具有冗余性。网络的冗余性导致网络的存储具有容错性。

（2）并行处理这里并行处理的含义不同于目前的并行处理机，它不是简单的“以空间的复杂性来换取时间的快速性”，而是反映了不同的操作机理。神经网络既是处理器，又是存储器。信息处理与存储合一。

（3）可塑性与自组织性在大脑中，神经元之间的突触连接，虽然其基本部分是先天就有的。即由遗传所决定的，但大脑皮层的大部分突触连接是后天由环境的激励逐步形成的。它随环境激励性质的不同而不同。能形成和改变神经元之间的突触连接的现象称为可塑性。由于环境的刺激，形成和调整神经元之间的突触连接，并逐渐构成神经网络的现象，称为神经网络的自组织性。

（4）鲁棒性网络的高连接度意味着一定的误差和噪声不会使网络的性能恶化，即网络具有鲁棒性。大脑神经网络的鲁棒性对于智能演化可能是一个十分重要的因素。

§1．2 生物神经网络的模型化——人工神经网络

1 人工神经元模型

神经元是神经网络的基本处理单元，一般是一多输入/单输出的非线性器件，其结构模型如图1—3所示。

其中，),,2,1(n j x j =为输入信号；ij w 为神经元j 到i 的连接权系数，是模拟突触传递强度的一个比例系数；∑表示突触后信号的空间累加；i θ表示神经元的阀值；f 表示神经元的响应函数。该模型的数学表达式为： i j n

j ij

i x w

u θ-=

∑=1

（1—１）

)(i i u f y = （１－2） 根据响应函数的不同，人工神经元有以下几种类型： （1）阀值单元 如图1—4a 所示 ⎩⎨

⎧<≥=0

01)(x x x f （1－3）

（2）线性单元 如图1—4b 所示

x x f =)( （1－4）

（3）非线性单元 常用响应函数为S 型（Sigmoid ）函数，如图1—4c 所示

x e x f -+=

11

)( （1－5）

或 [])tanh(12

1

)(x x f β+= （1－6）

上述模型能反映生物神经元的基本特性，但还有如下不同之处：

①生物神经元传递的信息是脉冲，而上述模型传递的信息是模拟电压。 ②模型只有空间累加而没有时间累加。 ③模型未考虑时延、不应期和疲劳。

虽然现代技术可以建立更为精确的模型，但一般神经网络研究无此必要。

2 人工神经网络模型