第四章 神经网络基本理论

21
训练算法：
5 5 5 1 2 1 ˆ (k ) y(k ))2 J J k ek (y k 1 k 1 2 k 1 2
5 5 5 J k J k y k J e(k ) f i ( z i ) wi2 k 1 wi2 k 1 y k wi2 k 1
19
例4.1 多层前向BP网络训练
训练样本SISO：
SampleInput=[0 0.1 0.2 0.3 0.4]; SampleOutput=[4 2 2 2 2];
网络结构：
College of Electrical and Information Engineering, Hunan Univ.
中神经元单向联接，一般同层内神经元不能联接。
前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有 反馈。每个神经元从前一层接收输入，发送输出给下一层。
College of Electrical and Information Engineering, Hunan Univ.
12
4.4 神经网络的构成和分类
分类 （1）从结构上划分
通常所说的网络结构，主要是指它的联接方式。神经网络 从拓扑结构上来说，主要分为层状和网状结构。
College of Electrical and Information Engineering, Hunan Univ. 11
4.4 神经网络的构成和分类
①层状结构：网络由若干层组成，每层中有一定数量的神经元，相邻层
5 5 J k J k yk f i ( zi ) 5 J e(k ) wi2 zi exp(i zi ) f i ( zi ) 2 i k 1 i k 1 yk f i ( zi ) i k 1
16
4.4 多层前向BP神经网络
网络的学习
学习的基本思想是：误差反传算法调整网络的权值，使网 络的实际输出尽可能接近期望的输出。 假设有M个样本:
( X k , y k ), k 1, 2, M
k k T X k [ x1k , x 2 , x n ]
将第k个样本Xk输入网络，得到的网络输出为
College of Electrical and Information Engineering, Hunan Univ.
6
4.2 神经网络的定义和特点
定义
神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系统。
特点 （1）非线性映射逼近能力。可以逼近任意的连续非线性函数映射关系。
（2）自适应性和自组织性。神经元之间的连接具有多样性，各神经元之
间的连接强度具有可塑性，网络可以通过学习与训练进行自组织。 （3） 并行处理性。网络的各单元可以同时进行类似的处理过程，整个网
络的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。
（4）分布存储和容错性。网络的每部分对信息的存储具有等势作用，部 分的信息丢失仍可以信息得到恢复，因而网络具有容错性和联想记忆功能。
5 5 5 J k J k y k f i ( z i ) zi J 2 2 e ( k ) w exp( z ) f ( z ) x i i i i i i wi1 k 1 wi1 k 1 y k f i ( zi ) zi wi1 k 1
第四章 神经网络基本理论
4.1 人工神经元模型
人工神经元是对人或其它生物的神经元细胞的若干基本特性 的抽象和模拟。
生物神经元模型
生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传 出信息，兴奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位； 相反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加，若代 数和超过某个阈值，神经元将产生冲动。

i 1
n
(1) wij Out i(1)
Out (j2 ) f ( In (j2 ) )
第三层（输出层）
j 1, 2, , l
y Out
(3)
In
(3)


l
j 1
w j Out j
( 2)
( 2)
College of Electrical and Information Engineering, Hunan Univ.
y f( Wi x i )
i 1
n 1
学习算法： ① 给定初始值：赋给Wi(0)各一个较小的随机非零值，这里Wi(t)为t时 刻第i个输入的权(1≤i≤n)，Wn+1(t)为t时刻的阈值；
② 输入一样本X=(xi,…,xn,1)和它的希望输出d；
③ 计算实际输出Y(t) ④ 修正权W ：
College of Electrical and Information Engineering, Hunan Univ.
14
4.4 多层前向BP神经网络
多层前向神经网络的结构
多层前向神经网络由输入层、隐层（不少于1层）、输出层组成， 信号沿输入——>输出的方向逐层传递。
College of Electrical and Information Engineering, Hunan Univ.
（5）便于集成实现和计算模拟。
College of Electrical and Information Engineering, Hunan Univ. 7
4.3 感知器模型
感知器(Perceptron)是由美国学者F.Rosenblatt于1957年 提出的，它是一个具有单层计算单元的神经网络，并由线性 阈值元件组成。
13
4.4 神经网络的构成和分类
（2）从激发函数的类型上划分 高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等
（3）从网络的学习方式上划分
①有导师学习神经网络 ②有导师学习神经网络
（4）从学习算法上来划分：
基于BP算法的网络、基于Hebb算法的网络、基于竞争式学习算法的 网络、基于遗传算法的网络。
f(x) arctan(x)
College of Electrical and Information Engineering, Hunan Univ.
5
4.1 人工神经元模型
4）S型函数
1 f(x) ,β 0 1 exp(βx)
5）高斯函数
x2 f(x) exp( 2 ) b
②网状结构：网络中任何两个神经元之间都可能双向联接。 反馈网络：从输出层到输入层有反馈，
每一个神经元同时接收外来输入和来自
其它神经元的反馈输入，其中包括神经 元输出信号引回自身输入的自环反馈。
混合型网络：前向网络的同一层神经 元之间有互联的网络。
College of Electrical and Information Engineering, Hunan Univ.
College of Electrical and Information Engineering, Hunan Univ. 18
4.4 多层前向BP神经网络
学习的步骤：
（1）依次取第k组样本 ( X k , y k ),
k 1, 2, M ，将Xk输入网络。
1 M （2）依次计算 J ( y k y k ) 2 ，如果 2 k 1
15
4.4 多层前向BP神经网络
沿信息的传播方向，给出网络的状态方程，用Inj(i)， Outj(i)表示第i层第j个神经
元的输入和输出，则各层的输入输出关系可描述为：
第一层（输入层）：将输入引入网络
Out i(1) In i(1) xi
第二层（隐层）
i 1, 2 , , n
In (j2)
J ，退出。
J k （3）计算 w
J （4）计算 w

M
k 1
J k w
（5）w(t 1) w(t )
J ，修正权值，返回（1） w (t )
College of Electrical and Information Engineering, Hunan Univ.
College of Electrical and Information Engineering, Hunan Univ. 3
4.1 人工神经元模型
常用的激发函数f 的种类 ：
1）阈值型函数
1 x 0 f(x) 0 x 0
1 x0 f(x) 1 x 0

M
k 1
J k w

ˆk J k y ˆ k ) Out (j2) ( y k y ˆ k w ( 2 ) y j
( 2) ( 2)
out j in j ˆk J k y ˆ k ) w (j2) f Out i(1) ( y k y (1) ˆ k out ( 2) in ( 2) w (1) y wij j j ij
yk

定义学习的目标函数为 ：
1 M J ( yk y k ) 2 2 k 1
College of Electrical and Information Engineering, Hunan Univ.
17
4.4 多层前向BP神经网络
训练算法是：
w(t 1) w(t ) J w (t )
根据某样本训练时，均方差随训练次数的收敛情况
College of Electrical and Information Engineering, Hunan Univ.
10
4.4 神经网络的构成和分类
构成 从Perceptron模型可以看出神经网络通过一组状态方程和 一组学习方程加以描述。 状态方程描述每个神经元的输入、输出、权值间的函数关 系。 学习方程描述权值应该怎样修正。神经网络通过修正这些 权值来进行学习，从而调整整个神经网络的输入输出关系。
College of Electrical and Information Engineering, Hunan Univ.
4
4.1 人工神经元模型
2）饱和型函数
1 1 x k 1 1 f(x) kx x k k 1 1 x k
3）双曲函数
J w j (t )
J wij (t )
(1)
w (j2) (t 1) w (j2) (t ) 1
(1) (1) wij (t 1) wij (t ) 2
( 2)
1 令 J k ( yk y k ) 2 2
则
J k w j
J k
( 2)
J w
感知器的结构
激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出 为1，否则为0或-1。 它的权系W可变，这样它就可以学习。
College of Electrical and Information Engineering, Hunan Univ. 8
4.3 感知器模型
感知器的学习算法
f( Wi (t)x i )
i 1
n 1
Wi(t+1)=Wi(t)+η[d-Y(t)]xi, i=1,2,…,n+1
⑤ 转到②直到W对一切样本均稳定不变为止。
College of Electrical and Information Engineering, Hunan Univ. 9
4.3 感知器模型
College of Electrical and Information Engineering, Hunan Univ. 2
4.1 人工神经元模型
人工神经元模型
模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学 模型
[x1,…,xn]T为输入向量，y为输出，f(· )为激发函数，θ为阈值。 Wi为神经 元与其它神经元的连接强度，也称权值。
20
网络输入输出关系：
y wi2 f i ( z i )
i
wk.baidu.comf i ( zi )
1 1 exp( i z i )
zi wi1 x i
需训练的量：
i i w1 , w2 , i , i
College of Electrical and Information Engineering, Hunan Univ.