有监督和BP神经网络(1)

v (t ) = Ay (t ) + Bu(t ) + w
v —— N维列向量 A ——N×N维矩阵 y B u w
—— N维列向量（单元输出） ——N×M维矩阵 —— M维列向量（外部输入） —— M维常向量
▲ 线性动态系统
传递函数形式：
xi ( s ) = H ( s )vi ( s )
按时域形式： x i =
W = ( XT X )−1 XT b
T 学习规则： W k +1 = W k + η (bk − W k X k ) X k
或 ∆W k = ηδ k X k
这学习规则即是著名的 δ 学习规则。 δ 随着学习迭代次数k的增加， 保证网络的收敛。 随着学习迭代次数k的增加， k → 0 保证网络的收敛。 ● 反传（BP）网络 误差反传（学习算法） （BP）网络与感知器的主要差别在于：（BP）网络的节点 是非线性的。 采用广义δ 学习规则。
线性系统
xi
非线性函数
yi
1）加法器 2）线性动态系统（SISO） 3）静态非线性系统
vi (t ) =
∑
n
j =1
a ij y i ( t ) +
∑ b ik u k ( t ) + w i
k =1
m
式中 aij 和bik 为权系数，i,j =1,2,…,n, k= 1,2,…m. n 个加法器可以写成向量形式：
基于神经元网络的智能控制
神经元网络的特点：
1）非线性 2）分布处理 3）学习并行和自适应 4）数据融合 5）适用于多变量系统 6）便于硬件实现
神经网络的发展历史
• 始于19世纪末20世纪初，源于物理学、心理学和神 始于19世纪末20世纪初，源于物理学、 19世纪末20世纪初 经生理学的跨学科研究。 经生理学的跨学科研究。 • 现代研究：20世纪40年代。从原理上证明了人工神 现代研究：20世纪40年代。 世纪40年代 经网络可以计算任何算术相逻辑函数。 经网络可以计算任何算术相逻辑函数。可以认为是 神经网络领域研究工作的开始。 神经网络领域研究工作的开始。 • 人工神经网络第一个实际应用出现在20世纪50年代 人工神经网络第一个实际应用出现在20世纪50 20世纪50年代 后期， Rosenblatt提出了感知机网络和联想 后期，Frank Rosenblatt提出了感知机网络和联想 学习规则。 学习规则。 • 在60年代，由于缺乏新思想和用于实验的高性能计 60年代 年代， 算机，曾一度动摇了人们对神经网络的研究兴趣。 算机，曾一度动摇了人们对神经网络的研究兴趣。 • 到了80年代，随着个人计算机和工作站计算能力的 到了80年代， 80年代 急剧增强和广泛应用，以及不断引入新的概念， 急剧增强和广泛应用，以及不断引入新的概念，克 服了摆在神经网络研究面前的障碍， 服了摆在神经网络研究面前的障碍，人们对神经网 络的研究热情空前高涨。 络的研究热情空前高涨。
∑
Adline(自适 应线性网） yi
∑
yi
yj ui ∑ K yi
u1 u2 u3 u4 离散Hopfield网
y1 y2 y3 y4
yj ui ∑
a2 i Ts + a1i
xi yi
连续的Hopfield网 ●按学习的方法神经元网络可分成二类： 1）有监督的学习网络： 感知器 误差反传网络（BP） 小脑模型连接控制器（CMAC） 模块（组合）网络 增强学习网络
• • • • • •
电子： 娱乐： 金融： 保险： 制造： 医疗：
• • • • •
石油、天然气： 机器人： 有价证券： 电信： 交通：
生物学的启示
人工神经网络却没 有人脑那么复杂，但它 们之间有两个关键相似 之： 首先，两个网络的构成 都是可计算单元的高度 互连(虽然人工神经元比 生物神经元简单得多)。 其次，处理单元之间的 连接决定了网络的功能。
学习：就是修改神经网络的权值和偏置值的方法和过程(也称 学习 这种过程是训练算法) 学习的目的：为了训练网络来完成某些工作 学习的目的 学习的分类： 学习的分类 1. 有监督学习： 2. 竞争学习： 3. 无监督学习： 学习规则由一组描述网络行为的实例集 增强学习与有监督的学习类似，只是它 在无监督的学习中，仅仅根据网络的输入 合(训练集)给出：{p1,t1}、 并不像有监督的学习一样为每一个输 调整网络的权值和偏置值，它没有目标输 {p2,t2} 、。。。{pq,tq}，其中，pq为网 入提供相应的目标输出，而是仅仅给出 出，乍一看这种学习似乎并不可行：不知 络的输入，tq为相应的正确(目标)输出。 一个级别，这个级别(或评分)是对网络 道网络的目的是什么，还能够训练网络吗? 当输入作用到网络时，网络的实际输出 在某些输入序列上的性能测度。当前这 实际上，大多数这种类型的算法都是要完 与目标相比较，然后学习规则调整网络 种类型的学习要比有监督的学习少见。 成某种聚类操作，学会将输入模式分为有 的权值和偏置值，从而使网络的实际输 看起来它最为适合控制系统应用领域。 限的几种类型，这种功能特别适合于诸如 出越来越接近于目标输出。 向量量化等应用问题。 返回
o pk o pj
O
k pj
w ( t + 1) = w ( t ) + ηδ
h kj h ji
x pj
初始化
加输入和期望输出 计算隐层和输出层的输出
调节输出层和隐层的连接权值
o o w kj ( t + 1 ) = w kj ( t ) + ηδ h w kj ( t + 1 ) = w h ( t ) + ηδ ji o pk o pj k O pj
2）无监督学习网络 竞争学习和Kohonen网络 Hopfield网络 双向联想存贮器（BAM） Boltzman机 ● 有监督的神经网络 1）感知器网络
感知器是前馈(正向传输)网络,所有节点都是线性的.
x1 x2 xn
● ● ● ● ● ● ● ● ● ●
b1 b2 bm
●
●
权向量W
输入与输出的关系： XW = b 权矩阵可以按下式求解：
t pm
信息流
隐层节点j输出和输入节点p的关系： h h h h h S pj = w ji x pi O pj = f j ( S pj ) i 输出节点k和隐层输出节点p的关系：
∑
j
S
o pk
= ∑w O
o kj
h pj
o o o Opk = f k (S pk )
学习过程： 定义输出误差 δ pk o δ pk = (t pk − O pk )
●神经元网络的简化模型
x1 w1 w2 · · · xn wn
x2
θ
y
n y (t ) = f ∑ wi xi (t ) − θ i =1 ●神经元网络的一般模型框架
y1 y2 yn u1 uk um 1 ︰ ︰ ai1 ai2 a in bi1 bi2 bim wi
∑
vi
讨论
1)隐层的数目和节点的数目,何谓合适? 2)是否收敛到全局最优?(涉及多维误差曲 面的不确定性) 3)收敛的速度问题。(涉及隐层节点输出 的相互耦合和梯度下降法本身的缺点）
作业
• 阅读：Martin T. Haguan等著，戴葵等译. 神经网络设计. 机械工业出版社，北京： 2002.9：第11章、第12章有关BP算法的 内容
有两个新概念对神经网络的复 兴具有重大的意义： 其一：用统计机理解释某些类型的递 归网络的操作，这类网络可作为联想 存储器； 其二：在20世纪80年代，几个不同的 研究者分别开发出了用于训练多层感 知器的反传算法。
神经网络的应用
• 航空：高性能飞行器自动驾驶仪，飞行路径模 拟，飞机控制系统，自动驾驶优化；器，飞行 部件模拟，飞行器部件故障检测器 • 汽车：汽车自动导航系统，担保行为分析器 • 银行：支票和其他公文阅读器，信贷申请的评 估器 • 国防：武器操纵，目标跟踪，目标辨识，面部 识别、新型的传感器，声纳．雷达和图像信号 处理(包括数据压缩、特征提取、噪声抑制、信 号／图像的识别)
x pj
改变训练样板
No
训练样终止？
y
迭代次数加1
No
迭代终止？
y
BP算法的基本流程
重要结论
具有至少一个隐层的多层前馈网络，如果隐层 单元足够多，那么，利用扁平激励函数和线性多 项式集成函数，可以对任意感兴趣的函数逼成到 任意精度。 扁平激励函数定义：f : R [0,1] 或[-1,1]是非减函 数, limλ →∞ f (λ ) = 1, limλ →∞ f (λ ) = 1 或 - 1。 是 λ 扁平激励函数的参数. 理论证明:多层前馈网络是一种通用逼近器
学习的目的是要使以下定义的误差平方和最小：
1 Ep = 2
∑
k =1
p o kj
m
1 2 δ pk = 2
∑
k
(t pk − O o ) 2 pk
o pk o kj
因此，要求以下的偏导，
∂E
∂S ∂w
∂w
o kj
最后得到二个权值改变的重要公式：
w ( t + 1) = w ( t ) + ηδ
o kj
−∞ 1 , 典型的有： H(s) = 1+ sT
∫
l
h ( t −t ' ) v i ( t ' ) dt '
1 −t / T h(t) = e T
▲静态非线性系统 g(x)
典型的有：
g(x) x g(x) x
Sigmoid函数
x
阈值函数 阈值函数
▲不同的部件可以组成不同的网络 u1 ui ︰ θi u1 ui ︰ θi 单层感知器 (Perceptron) Sigmoid （双极型）