第三章 神经网络1.2

E w jk
式中， 为学习速率， >0；
第5章 单片机的定时/计数器与串行接口
定义反传误差信号 k 为
式中，
k
E
netk
E
Ok
Ok netk
E Ok
(dk
Ok )
Ok netk
netk
f (netk )
f ' (netk )
第5章 单片机的定时/计数器与串行接口
7.3 前向神经网络模型
前向神经网络是由一层或多层非线性处理单元组成 的。相邻层之间通过突触权阵连接起来。由于前一层 的输出作为下一层的输入，因此称为前向神经网络。
这种变换通过对某一给定的输入样本相应的输出数 据集的训练而得到。
此神经网络为有导师指导下的学习。在导师的指导 下，使网络的突触权系数阵进行有适应地学习。
对于具有n0个输出的单元网络，每一个期望输出矢量Tp 和实际输出矢量Yp之间的误差函数可以用平方误差
和来表示
Ep
1 2
n0
(t p j
j 1
yp j )2
第5章 单片机的定时/计数器与串行接口
一般说来，前向神经网络是通过期望输出与实际 输出之间的误差平方的极小来进行权阵的学习和训练 的。
第5章 单片机的定时/计数器与串行接口
第5章 单片机的定时/计数器与串行接口
n0
系统 ni 个输入变量，用x j (
个输出变量，用 yi (i 1
j
,
2
1, 2,,
, , n0 )
ni )表示， 表示。则
每一个输出神经元yi满足
nj
yi ( ij x j i ) j 1
第5章 单片机的定时/计数器与串行接口
7.3.1 感知器 感知器（Perceptron）是一个具有单层神经元的
第5章 单片机的定时/计数器与串行接口
BP算法的学习过程有正向传播和反向传播。
BP网络与感知器的主要差别在于：（BP）网络的 节点是非线性的。
采用广义 学习规则，反传（BP）网络的结构图
7－19所示 。
第5章 单片机的定时/计数器与串行接口
xp1
. . x pn .
隐隐 w1j
O S
h jp
h pj
对网络进行训练。为书写方便，暂时将公式中样本p的 记号省略，如隐含层的第j个节点的输入写为
M
net pj net j wij oi i1
第5章 单片机的定时/计数器与串行接口
第j个节点的输出为（通过加权系数wjk向前传播到 k个节点，输出第k个节点的总输入为netj；）其中q为 隐含层的节点数。输出层第j个节点的实际输出：
式中，1 为各神经元的激励函数，W l为L-1层到L层
的连接权矩阵，l 2 , 3 , , L 。
第5章 单片机的定时/计数器与串行接口
四、多层传播网络的学习算法
可以通过合适样本集，即输入输出矢量对(Xp,Tp)，p ＝1,2,3…N来进行训练。网络的训练实质上是对突触 权阵的调整，以满足当输入为Xp时其输出应为Tp。 对于某一特定的任务，训练样本集是由外部的导师决 定的。这种训练的方法就称为有导师学习 。
第5章 单片机的定时/计数器与串行接口
2．BP网络权值的调整规则
设每一样本p的输入模式对二次型误差函数定义为
E p
1 2
L
(d pk
k 1
2
Opk )
系统的平均误差代价函数为
（7－20）
E
1 2
P p 1
L
(d pk
k 1
Opk )2
P
Ep
p1
（7－21）
式中，P为样本模式对数，L为网络输出节点数。
不难看出，可以简单地直接将以上结论推广到多 层隐含层的神经网络上去。
第5章 单片机的定时/计数器与串行接口
多层神经网络指的是虽然输出单元可以全部是线性 单元，但隐含层单元至少含有一个非线性单元。 假设每一层的神经元激励函数相同，则对于L＋1层前 向传播网络，其网络输出的数学表达式一律采用 。
F L (W LL1{W L1L2[[1(W 1 X )] L2 )] L1} L )
第5章 单片机的定时/计数器与串行接口
一、 单一人工神经元
每一神经元的激励输出是由一组连续输入信号决定
的。输入信号 xi (i 1 , 2 , , n) 代表着从另外神经元传
递过来的神经脉冲的瞬间激励。 设y代表神经元的连续输出状态值，在离散情况下，取 0 或 1 来表示神经元的兴奋或抑制。
第5章 单片机的定时/计数器与串行接口
k (bk WkT X k )代表输入与输出的差别。
是学习因子
这学习规则即是著名 的学习规则。
y随着学习迭代次数k的增加， k 0 保证网络的
收敛。
第5章 单片机的定时/计数器与串行接口
三 多层神经网络结构 多层传播结构是在输入层和输出层之间嵌入一层
或多层隐含层的网络结构。隐含单元既可以与输入输 出单元相连，也可以与其它隐含单元相连。如下图7－ 17所示。
第5章 单片机的定时/计数器与串行接口
1
0
x
w
1
1
x 2
w 2
xn wn
y
(x)
图7－12 单个神经元的输入输出关系图。
第5章 单片机的定时/计数器与串行接口
在一般情况下，Net 应该是输入 xi的非线性函数，
即
n
nn
Net 0 j x j
jk x j xk
j 1
j 1 k 1
表示全部的连接
关系，隐含单元与输出单元通过突触权系数i2j表示，
全部连接关系可用矩阵 记W之2。
图7－17所示的是只有一个隐含层的神经网络，
其 输 输中入入有变信量号ni ，个即输每入x j一(变j隐量 1含和, 单2n,元0个向的,输n激i )出励个变n隐量h满含。o足层由j 如单图下元中方传可程递知，
第5章 单片机的定时/计数器与串行接口
上述的单个感知器能解决一阶逻辑问题： “与”“或”问题。但是不能解决“异或”等问题。 二、单层人工神经元
单层神经网络结构是由个ni输入单元和n0个输出单元 组成的，见下图7－16所示。。
第5章 单片机的定时/计数器与串行接口
x
y1
1
x
y2
2
y
xn i
n0
图7－16单层前向传播网络结构示意图
j
wnj
输输输
误差反传（学习算法）
Op1 wj1 p1 p
Op2
wjn pm
O pn
输输输
输输
信息流
t pk
. . .
t pm
图7－19 反传（BP）网络的结构图
第5章 单片机的定时/计数器与串行接口
1．BP网络的前馈计算
在训练该网络的学习阶段，设有N个样本，先假
定用其中的某一固定样本中的输入输出模式Xp和{d pk }
第5章 单片机的定时/计数器与串行接口
x1k x2k
x nik
1
2
ij
ij
y 2k
y n0k
图7－17 含一个隐含层前向传播网络结构示意图
第5章 单片机的定时/计数器与串行接口
图中表示了具有一个隐含层的全连接多层前向传
播网络的结构图。隐含层单元与输入单元之间通过突
触权系数
1 ij
连接，并可用矩阵 1
x1 w1i
x2
w2i
. . ... wni
xn
∑ f(.) yi
x=1
0
图7－15 单层单个神经元的感知器
第5章 单片机的定时/计数器与串行接口
输入与输出的关系 XW b 权矩阵可以按下式求解：W ( X T X )1 X T b
学习规则： Wk1 Wk (bk WkT X k ) X k 或 Wk k X k
图7－13 只含二次项的神经元结构示意图结构模型
第5章 单片机的定时/计数器与串行接口
神经元输出只含兴奋和抑制两种状态的单元神经 元可以看作是一个分类器
当神经元输出为连续状态值时，单一神经元作为一 个最简单的神经控制器进行参数自适应控制，如传统 的PID调节器就可以用单一神经元来实现。这样，可 以通过神经元的连接权系数来达到PID参数的自适应。
第5章 单片机的定时/计数器与串行接口
智能控制技术
西安工业大学 电信学院
宋晓茹
第5章 单片机的定时/计数器与串行接口
第5章 单片机的定时/计数器与串行接口
7.3 前向神经网络模型
★ 单一人工神经网络 ★ 单层人工神经网络（感知器网络） ★ 多层人工神经网络 ★ 多层人工神经网络的学习方法 ★ *BP 误差反向传播学习算法 ★ RBF网络
目的是调整权系数使代价函数E最小。
第5章 单片机的定时/计数器与串行接口
下面介绍以（7－20）式的一阶梯度法的优化方法，
即最快速下降法。简写为
E
1 2
L k 1
(dk
Ok
2
)
权系数应按照E函数梯度变化的反方向进行调整，
使网络的输出接近期望的输出。
1） 输出层权系数的调整
权系数的修正公式为
w jk
q
o j f (net j ) f ( wjk o j ) j 1
其中，f (net j ) 为激发函数； j 表示偏置或阈值
f (net j )
1
( 1
ne
t
j
j
)
1 e o
第5章 单片机的定时/计数器与串行接口
若网络输出与期望输出值dk不一致，则将其误差 信号从输出端反向传播，并在传播过程中对加权系数 不断修正，使在输出层节点上的输出结果尽可能接近 期望输出值dk。对样本p（p＝1,2…p）完成网络加权 系数的调整，再送入另一样板模式对其进行，类似学 习，直到完成p个样本 。
第5章 单片机的定时/计数器与串行接口
突触权系数的调整是通过对所有样本p＝1,2,3…N的 误差指标Ep=d(Tp ,Yp)达到极小的方法来实现的。
对于N个样本集，性能指标为
N
N n0
E Ep
(tpi ypi)
p1
p1 i1
式中， 是一个正定的，可微的凸函数。
第5章 单片机的定时/计数器与串行接口
神经网络，由线性阈值元件组成，是最简单的前向网 络。它主要用于模式分类，单层的感知器机构图如图 7－14所示。
感知器是前馈（正向传输）网络，所有节点都 是线性的。
第5章 单片机的定时/计数器与串行接口
x1
●
●
●
b1
x2
●
●
●
●
●
b2
●
xn
●
●
●
bm
权向量W
图7－14 感知器网络结构
第5章 单片机的定时/计数器与串行接口
式中 r 0 时，o(p0l) xpl , n0 ni 。
第5章 单片机的定时/计数器与串行接口
多层前向传播网络的权系数训练算法是利用著名 的误差反向传播学习算法得到的。根据这一算法。训 练网络权阵的更新是通过反向传播网络的期望输出 （样本输出）与实际输出的误差来实现的。
第5章 单片机的定时/计数器与串行接口
nj
oj (
1 jl
xl
j)
j 1, 2,, nh
l 1
第5章 单片机的定时/计数器与串行接口
式中， 为隐含层神经元的激励函数。每一层内
的各神经元激励函数可以是不一样的。不失一般性， 这里取为相同的激励函数。
nh
yi (
2 ij
o
j
i )
i 1, 2,, n0
j0
式中，o0 1 , 为输出层神经元的激励函数。
现在考虑多层前向传播网络见下图7-18所示。设输 入模式为Xp，则相应的隐含单元的输出为
nj
o(1) pj
1(
1 ji
xpi
i1 )
i1
第5章 单片机的定时/计数器与串行接口
x1k
x2k
xni k
w1
ij
y1k y2k
yn0k wL
ij
图7-18 L+1层前向传播网络结构示意图
第5章 单片机的定时/计数器与串行接口
此时，神经元的平衡态输出y为
n
nn
y (0 j x j
jk x j xk )
j 1
j 1 k 1
图7-13给出了一个含有二阶项的单一神经元结构 示意图 。
第5章 单片机的定时/计数器与串行接口
x
x 1
1
x
x2 n
x
x 1
n
x
2
xn
w 11
w 12
w
1n
wn1
w n2
w nn
y
最简单的人工神经元是假设输入项Net由输入信号
x j ( j 1 , 2源自文库, , n ) 的线性组合构成，即
n
Net 0 j x j j 1
阈值 0 决定第j个输入的突触权系数。 j
n
y (0 j x j ) j 1
式中， (x) 表示神经元激励函数。
图7－12形象地表示了单个神经元的输入输出关系图。
※7.3.3 BP 误差反向传播学习算法
误 差 反 向 传 播 神 经 网 络 ， 简 称 BP 网 络 （ Back Propagation）是一种单向传播的多层前向网络。
误差反向传播的BP算法简称BP算法，其基本思想 是最小二乘算法，采用梯度搜索技术，以使网络的实 际输出值与期望输出值的误差的均方值最小 。
根据L层网络结构可知，网络的输出为
nL1
y p j
L
(
Net
L p
j
)
L (
oL (L1) ji pi
L j
)
j 1,2,, n
i 1
第r+1个隐含层的输入是第r个隐含层的输出
nr
o ( r 1) pj
r 1 (
o ) r1 (r)
r 1
jl pl
j
r 0,1, 2,, L 1
l 1