人工神经网络基本概念

《神经网络》讲稿

主讲人：谷立臣教授

2003年9月

第1章基本概念

♦作为自然实例的人脑

♦人工神经元模型

●人工神经网络的拓扑结构及其学习规则♦神经网络的学习策略

♦人工神经网络与生物神经网络的比较♦人工神经网络的发展与现状

♦人工神经网络与自动控制

♦人工神经网络与设备故障诊断

♦参考文献

♦脑神经生理学家告诉我们:人脑借以记忆与思维的最基本单元是神经元,其数量

约为个;

♦每一神经元约有个突触;

♦神经元间通过突触形成的网络，传递着彼此间的兴奋与抑制；全部大脑神经元构成拓扑上极其复杂的网络群体，由这一网络群体实现记忆与思维。见图1－1。

111210~103410~10

每一个神经元包括细胞体（Cell body或Soma）和突起（Process）两部分。

◆细胞体是神经元新陈代谢的中心，还是接收与处理信息的部件

◆突起有两类，即轴突(Axon)与树突(Dendrite)。轴突的长度相差很大，长的可达1米。轴突的末端与树突进行信号传递的界面称为突触(synapse)，通过突触向其他神经元发送出生物信息，在轴突中电脉冲的传导速度可达到10～100米／秒。另一类突起——树突（输入），一般较短，但分枝很多，它能接收来自其他神经元的生物电信号，从而与轴突一起实现神经元之间的信息沟通。突起的作用是传递信息。

◆通过“轴突---突触――树突”这样的路径，某一神经元就有可能和数百个以至更多的神经元沟通信息。那些具有很长轴突的神经元，更可将信息从一脑区传送到另一脑区。

♦绝大多数神经元不论其体积﹑形状﹑功能如何，不论是记忆神经元还是运动神经元，均可分为一个输入（或感知）器官，一个代数求和器官，一个长距离传递器官和一个输出器官。见图1－2。

♦既然所有神经元的功能均是相近的，那么何以实现复杂的功能呢？答案是：无一功能是由单个神经元实现的，而是由许多神经元以不同的拓扑结构所共同产生的。这一平行处理性提高了神经网路系统的冗余度与可靠性。

基于对大脑组织特征的认识及一些生理实验，可以归纳出如下一些大脑神经网络处理信息的特点：

♦分布存储与冗余性

♦并行处理

♦信息处理与存储合一

♦可塑性与自组织性

♦鲁棒性

♦一个事物的信息不只是对应于一个神经元的状态进行记忆，而是分散到许多神经元中进行记忆。而且每个神经元实际上存储着多种不同信息的部分内容。在分布存储的内容中，有许多是完成同一功能的，即网络具有冗余性。网络的冗余性导致网络的存储具有容错性，即其中某些神经元受到损伤或死亡时，仍不至于丢失其记忆的信息。信息在神经网络中的记忆，主要反映在神经元的突触连接强度上。

♦神经网络并行处理的含义不同于目前的并行处理机，它不是简单地“以空间的复杂性为代价来求得时间上的快速性”，而是反映了根本不同的操作机理。神经网络既是处理器，又是存储器。

♦人们从未发现大脑皮层中记忆和处理分别属于不同区域的情况，这是因为每个神经元都兼有信息处理和存储的功能。神经元之间突触连接强度的变化既反映了神经元对激励的响应，即信号处理过程，同时其响应结果又反映了信息的记忆。这种和二为一的优点对于提高网络信息处理的速度和智能是至关重要的。

♦网络的高连接度意味着一定的误差和噪声不会使网络的性能恶化，即网络具有鲁棒性。

♦大脑的记忆是由环境的刺激在神经元之间形成新的突触连接，或者使原来就有的突触连接加强而形成的。

能形成和改变神经元之间突触连接的现象称为可塑性。

由于环境的刺激，形成和调整神经元之间的突触连接，并逐渐构成神经网络的现象，称为神经系统的自组织性。由此可见，可塑性是学习和记忆的基础。

♦生物神经元是一个多输入（即它的多个树突和细胞体与其他多个神经元轴突末梢突触连接）﹑单输出单元（每个神经元只有一个轴突作为输出通道），沿神经元轴突传递的信号是脉冲，其等效模型如图1－3所示。

♦从图中可以看出人脑神经系统的工作原理：外部刺激信号或上级神经元信号合成后由树突传给神经元细胞体处理，最后由突触输出给下级神经元或作出响应。

树突

突

触细胞体轴突

输入

输

出图1-3 生物神经元等效模型

♦常用的人工神经元模型主要是基于模拟上述的生物神经元信息的传递特性，即输入﹑输出关系。如果将生物神经元输入﹑输出脉冲的密度用模拟电压来表示，则上述生物神经元信息传递的主要特性可以用图1－4的模型来模拟。

♦图中，为加在输入端（突触）上的输入信号；为相应的突触连接权系数，它是模拟突触传递强度的一个比例系数；Σ表示突触后信号的空间累加；⊙表示神经元的阈值，表示神经元的响应函数。该模型的数学表达式为：

i x (i=0,1,2,L,n-1)i w f[]

01

1n X X X -0

11n W W W -θ-Y ∑

()f •图1-4 人工神经元模型n 1

i i i 0net w x y f (net)

===-θ

=∑通常被称为响应函数（或变换函数）

f[]

θθ

通常被称为响应函数（或变换函数）。

n 1

i i i 0net w x y f (net)

===-θ

=∑f[]

根据响应函数的不同，人工神经元有以下几种类型：

♦⑴阈值函数(硬限幅函数

﹑阶跃函数)

其响应函数如图1－5(a)

所示

♦⑶sigmoid 函数（函数）

在实际的神经网络中，

常取为1。其响应函数如图1－5(c)所示♦⑵线性函数其响应函数如图1－5(b)

所示

♦⑷双曲正切函数其响应函数如图1－5(d)所示

1,x 0f (net)0,x 0≥⎧=⎨<⎩δλx 1f (x)1e -λ=+f (x)kx =f (x)th(x)=β