第四章2常见神经网络模型

智能控制技术
中国计量学院自动化教研室
谢敏
1
智能控制技术 第4章 人工神经元网络模型
4.1 引言 4.2 常见神经网络模型
2
4.2 常见神经网络模型
一、感知器
感知器（Perceptron）模型由美国心理学家 Rosenblatt于1958年提出，其简化模型如下图：
4.2 常见神经网络模型
3
一、感知器
4.2 常见神经网络模型
24
三、Hopfield网络
状态转移： 单个神经元：激活：0→1，1 →0
未激活：状态保持 整个网络：某一时刻只有一个神经元被选择进行 状态更新，该节点的状态变化时，整个网络状态 以某一概率转移到另一状态。
4.2 常见神经网络模型
25ห้องสมุดไป่ตู้
三、Hopfield网络
离散Hopfield网络
因为Yj(t)( j＝1……n)可以取值 为1或0，故n维向量Y(t)有2n种 状态，即是网络状态。
4.2 常见神经网络模型
23
三、Hopfield网络
几个概念：
1、DHNN的状态：单个神经元有兴奋和抑制两种 状态，DHNN的状态是一个包含所有单个神经元 状态的矢量。
2、稳定状态：
神经网络从任一初态Y(0)开始运动，并存在某一有 限时刻ts，从ts以后神经网络的状态不再发生变化， 则称网络是稳定的。处于稳定时刻的网络状态叫 稳定状态，又称定点吸引子。
w1 0 w2 0 0
0
w1 0 w2 1 0
w2
w1 1 w2 0 0
w1
w1 1 w2 1 0
w1 w2
令 W1=1，W2=2， 则有：θ ≤1
取 θ=0.5，则有： X1+X2-0.5=0
4.2 常见神经网络模型
8
一、感知器 例：有一组训练向量，对单输出感知器有：X1=[-1， 1，-2，0]T， X2=[-1，0，1.5，-0.5]T， X3=[-1，1，1，0.5]T，设初始权值为Wi（0）= [0.5，1，-1， 0]T,η =0.3，期望输出为Y1=0，Y2=0， Y3=1，试训 练感知器网络。
k i

Wij
X
k 1 j
j
4.2 常见神经网络模型
15
二、BP网络
BP网络的学习算法：
反向传播算法分二步进行，即输入信号正向传播和误差信号反向传播。
1．输入信号正向传播
输入的样本从输入层经过隐层单元一层一层进行处理，通过所有的隐 层之后，则传向输出层，每一层神经元的状态只对下一层神经元的状 态产生影响。
4.2 常见神经网络模型
7
一、感知器
感知器的学习算法：
1、初始化：置权系数w为最小的随机数； 2、训练：输入一样本x＝(x1，x2，…，xn)以及它的期望输 出y*；
n
3、计算实际输出：y f ( wi；xi ) i 1
4、计算误差：e y *；y 5、修改权系数和阈值wi (t 1) wi (t) e xi ； 6、转2，直到误差满足要求。
4.2 常见神经网络模型
26
三、Hopfield网络 状态转移举例： P.82 例 4-3
问题：为什么各个状态的排列有层次呢？
4.2 常见神经网络模型
27
三、Hopfield网络
能量函数： 能量函数是一个Liapunov函数。 定理4-1 离散Hopfield神经网络的稳定状态与能 量函数E在状态空间的局部极小状态是一一对应的。 给定一个初始状态，则DHNN网络的状态总是沿 着能量减小的方向变化，最终收敛到稳定状态。 例：4-4 计算网络中各状态的能量。
5
一、感知器
在输入样本只有两个分量x1，x2时，则有分类边 界条件： 即 w1x1+w2x2-θ =0
4.2 常见神经网络模型
6
一、感知器
感知器的学习算法： 感知器的学习算法目的在于找寻恰当的权系数w
＝(w1，w2，…，wn)，使系统对一个特定的样 本x＝(x1，x2，…，xn)能产生期望输出y。当x 分类为A类时，期望值y＝1；X为B类时，y=0。
4.2 常见神经网络模型
9
一、感知器
从感如器的学习算法可知，学习的目的是在于修 改网络中的权系数，使网络对于所输入的模式样 本能正确分类。当学习结束时，也即神经网络能 正确分类时，显然权系数就反映了同类输人模式 样本的共同特征。换句话讲，权系数就是存储了 的输入模式。
由于权系数是分散存在的，故神经网络自然而然 就有分布存储的特点。
n
感知器的数学模型： y f ( wi xi ) i 1
其中：f[.]是阶跃函数或符号函数，并且有
1 f (u) 0
u wi xi 0 u wi xi 0
f
(u)

1 1
u wi xi 0 u wi xi 0
θ 是阈值。
4.2 常见神经网络模型
10
一、感知器 感知器实质是一个分类器，可以用于实现逻辑函数。 其分类条件是样本是线性可分的。
例：用感知器实现逻辑函数X1UX2的真值：
X1 X2 X1UX2
0011 0101 0111
4.2 常见神经网络模型
11
一、感知器
以X1UX2 ＝1为A类，以X1UX2 =0为B类，则有方程 组：
该网络采用BP算法，能正确识别车牌数字：
7
3
0
5
1
4.2 常见神经网络模型
20
三、Hopfield网络
1982年，Hopfield提出了可用作联想存储器的互 连网络，这个网络称为Hopfield网络模型，也称 Hopfield模型。
Hopfield反馈神经网络由于其输出端有反馈到其 输入端，所以，Hopfield网络在输入的激励下， 会产生不断的状态变化。一旦到达了稳定平衡状 态，那么Hopfield网络就会输出一个稳定的恒值。
19
二、BP网络
车牌数字识别
BP神经网络采用三层结构，输入层、隐含层、输出 层神经元个数分别为16、24、10。取0-9共十个数字 作为待识别数字，每个数字取6个样本进行训练，共 有60个训练样本，另取10个样本作为识别样本。取 最大输出端对应的数字作为识别结果，如果所有输 出端的结果都小于0.5，则认为系统无法识别。
4.2 常见神经网络模型
28
三、Hopfield网络
Hopfield网络的一个功能是可用于联想记忆，这 是人类的智能特点之一。人类的所谓“触景生情” 就是见到一些类同过去接触的景物，容易产生对 过去情景的回味和思忆。
DHNN网络的能量极小状态又称为能量井，为信 息的存储记忆提供了基础。将要记忆的信息与能 量井一一对应，则当输入某一模式时，神经网络 就能通过状态转移实现联想记忆。
4.2 常见神经网络模型
30
三、Hopfield网络
举例：设计一个具有两个能量井[-1，1]和[1，-1]的 Hopfield网络。
4.2 常见神经网络模型
31
三、Hopfield网络
连续Hopfield网络
连续Hopfield网络的拓朴 结构和离散Hopfield网络 的结构相同。连续 Hopfield网络和离散 Hopfield网络不同的地方 在于其激励函数不是阶跃 函数，而是S形的连续函 数。
4.2 常见神经网络模型
17
二、BP网络 BP网络的学习算法： 例：P.77 4-1
4.2 常见神经网络模型
18
二、BP网络 车牌数字识别
原始图像 ：
分割后的数字图像 ：
神经网络对图形的旋 转、平移敏感，车牌 照数字的获取中不可 避免的存在这一类问 题，所以要首先对图 形进行处理。
4.2 常见神经网络模型
14
二、BP网络
BP网络的数学模型：
设有一个m层的神经网络，并在输入层加有样本X； 第k层的i神经元的输入总和表示为Uik，输出Xik； 从第k-1层的第j个神经元到第k层的第i个神经元的 权系数为Wij，各神经元的激励函数为f，则各个变 量的关系可用下面有关数学式表示：
X
k i

f
(U
k i
)
U
4.2 常见神经网络模型
33
4.2 常见神经网络模型
4
一、感知器
感知器的最大作用就是可以对输入的样本分类，
故它可作分类器，感知器对输入信号的分类如
下：
1 A类 y 0 B类
即：当感知器的输出为1时，输入样本称为A类； 输出为0时，输入样本称为B类。
感知器的分类边界是：
n
wi xi 0
i 1
4.2 常见神经网络模型
对于三个神经元的离散 Hopfield网络，它的输出层就 是三位二进制数，从而共有8个 网络状态。在图中，立方体的 每一个顶角表示一种网络状态。 如果Hopfield网络是一个稳定 网络，那么在网络的输入端加 入一个输入向量，则网络的状 态会产生变化，也就是从立方 体的一个顶角转移向另一个顶 角，并且最终稳定于一个特定 的顶角。
4.2 常见神经网络模型
29
三、Hopfield网络
学习记忆阶段：
对于Hopfield网络，用它作联想记忆时，首先通过一 个学习训练过程确定网络中的权系数，使所记忆的信 息在网络的n维超立方体的某一个顶角的能量最小。
联想会议阶段：
当网络的权系数确定之后，只要向网络给出输入向量， 这个向量可能是局部数据，但是通过状态不断变化， 最后状态会稳定下来，最终的状态是和给定向量最接 近的样本向量。
2．误差信号反向传播
在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望 输出，则进入反向传播过程。误差信号按原来正向传播的通路反向传 回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋 向最小。
4.2 常见神经网络模型
16
二、BP网络
BP网络的学习算法：
1、初始化：置权系数w为最小的随机数； 2、训练：给出输入样本x=（x1，x2，…，xn ）以及期望 输出y=（y1，y2,…yn）； 3、计算输出：按顺序计算隐含层、输出层各神经元输出； 4、计算期望输出与实际输出的误差； 5、修改输出层的权系数和阈值； 6、修改隐含层的权系数和阈值； 7、转3，直到误差满足要求。
1986年，Rumelhart提出了一种利用误差反向传播 （Back Propagation ）训练算法的神经网络，简 称BP网络，是一种多层前向网络，其特征为：
1、由输入层、隐含层、输 出层组成；
2、同层节点之间没有互连；
3、每层节点的输出只影响 下层节点；
4、激励函数多为S型。
4.2 常见神经网络模型
U j WijYi X j
i
Yi 1 Ui i
Yi 0 Ui i
4.2 常见神经网络模型
22
三、Hopfield网络
离散Hopfield网络
对于一个离散的Hopfield网络， 其网络状态是输出神经元信息 的集合。对于一个输出层是n个 神经元的网络，则其t时刻的状 态为一个n维向量： Y(t)=[Y1(t),Y2(t),...,Yn(t)]T
对于一个Hopfield网络来说，关键是在于确定它 在稳定条件下的权系数。
4.2 常见神经网络模型
21
三、Hopfield网络
离散Hopfield网络
Hopfield最早提出的网络是 二值神经网络，神经元的输 出只取1和0这两个值，所以， 也称离散Hopfield神经网络。 所输出的离散值1和0分别表 示神经元处于激活和抑制状 态。
4.2 常见神经网络模型
32
三、Hopfield网络
当Hopfield网络的神经元激励函数g是连续且有界 的，例如Sigmoid函数，并且网络的权系数矩阵对 称，则这个连续Hopfield网络是稳定的。
在实际应用中，任何一个系统，如果其优化问题 可以用能量函数E(t)作为目标函数，那么，总可以 用连续Hopfield网络对其进行求解。这样，大量 的优化问题都可以用连续的Hopfield网来求解。
4.2 常见神经网络模型
12
一、感知器
x2
（0,1）
（1,1）
逻辑与
（0,0）
（1,0）
x1
x2 （0,1）
逻辑异或
（0,0）
（1,1）
（1,0）
x1
x2 （0,1）
（0,0） x2
（0,1）
（1,1）
逻辑或
（1,0）
x1
（1,1）
（0,0）
（1,0）
x1
4.2 常见神经网络模型
13
二、BP网络