2常见神经网络模型

4.2 常见神经网络模型
8
一、感知器
从感如器的学习算法可知，学习的目的是在于修 改网络中的权系数，使网络对于所输入的模式样 本能正确分类。当学习结束时，也即神经网络能 正确分类时，显然权系数就反映了同类输人模式 样本的共同特征。换句话讲，权系数就是存储了 的输入模式。 由于权系数是分散存在的，故神经网络自然而然 就有分布存储的特点。
6、转2，直到误差满足要求。
4.2 常见神经网络模型
7
一、感知器 例：有一组训练向量，对单输出感知器有：X1=[-1 ，1，-2，0]T， X2=[-1，0，1.5，-0.5]T， X3=[-1 ，-1，1，0.5]T，设初始权值为Wi（0）= [0.5，1， -1，0]T,η =0.3，期望输出为Y1=0，Y2=0， Y3=1， 试训练感知器网络。

感知器的最大作用就是可以对输入的样本分类， 故它可作分类器，感知器对输入信号的分类如 下：
1 y 0 A类 B类
即：当感知器的输出为1时，输入样本称为A类； 输出为0时，输入样本称为B类。

感知器的分类边界是：
w x 0
i 1 i i
4.2 常见神经网络模型 4
n
一、感知器 在输入样本只有两个分量x1，x2时，则有分类边 界条件： 即 w1x1+w2x2-θ =0
5、修改输出层的权系数和阈值；
6、修改隐含层的权系数和阈值； 7、转3，直到误差满足要求。
4.2 常见神经网络模型 16
二、BP网络 BP网络的学习算法： 例：P.77 4-1
4.2 常见神经网络模型
17wk.baidu.com
二、BP网络 车牌数字识别
13
4.2 常见神经网络模型
二、BP网络 BP网络的数学模型： 设有一个m层的神经网络，并在输入层加有样本X ；第k层的i神经元的输入总和表示为Uik，输出Xik ；从第k-1层的第j个神经元到第k层的第i个神经元 的权系数为Wij，各神经元的激励函数为f，则各个 变量的关系可用下面有关数学式表示：
4.2 常见神经网络模型
5
一、感知器 感知器的学习算法：
感知器的学习算法目的在于找寻恰当的权系数w ＝(w1，w2，…，wn)，使系统对一个特定的样 本x＝(x1，x2，…，xn)能产生期望输出y。当x 分类为A类时，期望值y＝1；X为B类时，y=0。
4.2 常见神经网络模型
6
一、感知器
感知器的学习算法：
智能控制技术 第4章 人工神经元网络模型 4.1 引言 4.2 常见神经网络模型
1
4.2 常见神经网络模型 一、感知器 感知器（Perceptron）模型由美国心理学家 Rosenblatt于1958年提出，其简化模型如下图：
4.2 常见神经网络模型
2
一、感知器
wi xi ) 感知器的数学模型： y f ( i 1
n
其中：f[.]是阶跃函数或符号函数，并且有
1 f (u ) 0 u wi xi 0 u wi xi 0 1 f (u ) 1 u wi xi 0 u wi xi 0
θ 是阈值。
4.2 常见神经网络模型
3
一、感知器
1、初始化：置权系数w为最小的随机数；
2、训练：输入一样本x＝(x1，x2，…，xn)以及它的期望输 出y*；
xi ) 3、计算实际输出：y f ( wi；
n
e y *； y 4、计算误差：
i 1
5、修改权系数和阈值wi (t 1) wi (t ) e xi ；
w1 0 w2 0 0 w1 0 w2 1 0 w1 1 w2 0 0 w1 1 w2 1 0
0 w2 w1
w1 w2
令 W1=1，W2=2， 则有：θ ≤1
取 θ =0.5，则有： X1+X2-0.5=0
4.2 常见神经网络模型 11
一、感知器
x2 x2 （0,1） （1,1） （0,1） （1,1）
逻辑与
（0,0） （1,0） x1
逻辑或
（0,0）
（1,0） x1
x2
x2
（0,1）
（1,1）
（0,1）
（1,1）
逻辑异或
（0,0） （1,0） x1 （0,0） （1,0） x1
4.2 常见神经网络模型
12
二、BP网络 1986年，Rumelhart提出了一种利用误差反向传播 （Back Propagation ）训练算法的神经网络，简 称BP网络，是一种多层前向网络，其特征为：
1、由输入层、隐含层、输 出层组成； 2、同层节点之间没有互连； 3、每层节点的输出只影响 下层节点； 4、激励函数多为S型。
4.2 常见神经网络模型
9
一、感知器 感知器实质是一个分类器，可以用于实现逻辑函数。
其分类条件是样本是线性可分的。
例：用感知器实现逻辑函数X1UX2的真值：
X1 0 0 1 1
X2
X1UX2
0 1 0 1
0 1 1 1
10
4.2 常见神经网络模型
一、感知器 以X1UX2 ＝1为A类，以X1UX2 =0为B类，则有方程 组：
在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望 输出，则进入反向传播过程。误差信号按原来正向传播的通路反向传 回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋 向最小。
4.2 常见神经网络模型
15
二、BP网络 BP网络的学习算法：
1、初始化：置权系数w为最小的随机数； 2、训练：给出输入样本x=（x1，x2，…，xn ）以及期望 输出y=（y1，y2,…yn）； 3、计算输出：按顺序计算隐含层、输出层各神经元输出； 4、计算期望输出与实际输出的误差；
1 U ik Wij X k j j
X ik f (U ik )
4.2 常见神经网络模型
14
二、BP网络 BP网络的学习算法：
反向传播算法分二步进行，即输入信号正向传播和误差信号反向传播。 1．输入信号正向传播 输入的样本从输入层经过隐层单元一层一层进行处理，通过所有的隐 层之后，则传向输出层，每一层神经元的状态只对下一层神经元的状 态产生影响。 2．误差信号反向传播