有监督和BP神经网络

u1
ui
︰∑
i
（双极型）
Adline(自适 应线性网）
yi
u1
ui ︰ ∑
i
Sigmoid yi
单层感知器 (Perceptron)
11
yj
K
yi
ui
u1
y1
u2
y2
u3
y3
u4
y4
离散Hopfield网
12
ui
a 2i
xi
Ts a 1i
连续的Hopfield网 ●按学习的方法神经元网络可分成二类：
1）有监督的学习网络： 感知器 误差反传网络（BP） 小脑模型连接控制器（CMAC） 模块（组合）网络 增强学习网络
yj yi
13
2）无监督学习网络 竞争学习和Kohonen网络 Hopfield网络 双向联想存贮器（BAM） Boltzman机
● 有监督的神经网络
1）感知器网络
感知器是前馈(正向传输)网络,所有节点都是线性的.
m
Ep12 p2k12 (tpkOopk)2
k1
k
因此，要求E 以下p 的偏导，So p k
wkoj
wkoj
最后得到二个权值改变的重要公式：
wkoj(t1)wkoj(t)pokOpk j
wkhj(t 1) whji(t)pojxp j 18
初始化
加输入和期望输出
计算隐层和输出层的输出
调节输出层和隐层的连接权值
x1 w1
x2
w2
· ·
· wn
xn
y
y(t)f n wixi(t)
i1
7
●神经元网络的一般模型框架
y1
ai1
y2 ︰ ai2
yn
a in
vi 线性系统 x i
非线性函数
yi
u1
bi1
uk
bi2
︰
um
bim
1）加法器 2）线性动态系统（SISO） 3）静态非线性系统
1
wi
n
m
vi(t) aijyi(t) bikuk(t)w i
x1
●
●
●
b1
x2
●
●
●
●
●
b2
●
xn
●
●
●
bm
权向量W
14
输入与输出的关系： XWb
权矩阵可以按下式求解： W(XTX)1XTb
学习规则： Wk1Wk(bkWkTXk)Xk 或WkkXk
k(bkWkTXk) 代表输入与输出的差别。
是学习因子
这学习规则即是著名的 学习规则。
随着学习迭代次数k的增加，k 保0 证网络的收敛。
基于神经元网络的智能控制
神经元网络的特点：
1）非线性 2）分布处理 3）学习并行和自适应 4）数据融合 5）适用于多变量系统 6）便于硬件实现
1
神经网络的发展历史
• 始于19世纪末20世纪初，源于物理学、心理学和神 经生理学的跨学科研究。
• 现代研究：20世纪40年代。从原理上证明了人工神 经网络可以计算任何算术相逻辑函数。可以认为是 神经网络领域研究工作的开始。
• 汽车：汽车自动导航系统，担保行为分析器 • 银行：支票和其他公文阅读器，信贷申请的评
估器 • 国防：武器操纵，目标跟踪，目标辨识，面部
识别、新型的传感器，声纳．雷达和图像信号 处理(包括数据压缩、特征提取、噪声抑制、信 号／图像的识别)
4
• 电子： • 娱乐： • 金融： • 保险： • 制造： • 医疗：
扁平激励函数定义：f : R [0,1] 或[-1,1]是非减函
2
有两个新概念对神经网络的复兴 具有重大的意义： 其一：用统计机理解释某些类型的递 归网络的操作，这类网络可作为联想 存储器； 其二：在20世纪80年代，几个不同的 研究者分别开发出了用于训练多层感 知器的反传算法。
3
神经网络的应用
• 航空：高性能飞行器自动驾驶仪，飞行路径模 拟，飞机控制系统，自动驾驶优化；器，飞行 部件模拟，飞行器部件故障检测器
• 人工神经网络第一个实际应用出现在20世纪50年代 后期，Frank Rosenblatt提出了感知机网络和联想 学习规则。
• 在60年代，由于缺乏新思想和用于实验的高性能计 算机，曾一度动摇了人们对神经网络的研究兴趣。
• 到了80年代，随着个人计算机和工作站计算能力的 急剧增强和广泛应用，以及不断引入新的概念，克 服了摆在神经网络研究面前的障碍，人们对神经网 络的研究热情空前高涨。
● 反传（BP）网络 误差反传（学习算法）
（BP）网络与感知器的主要差别在于：（BP）网络的节点
是非线性的。
采用广义 学习规则。
15
● 反传（BP）网络的结构图 一个输入层，一个输出层，多个隐层。
xp1
· · ·
x pn
隐层
S
h jp
O
h pj
j
输入层
Op1 wj1 p1
p
Op2
wjn pm
O pn
9
▲ 线性动态系统
传递函数形xi式 (s)： H(s)vi(s)
l
按时域 xi形 h式 (tt')： vi(t')d't
典型的有： H(s) 1 , h(t)1et/T
1sT
T
▲静态非线性系统 典型的有：
g(x)
g(x)
g(x)
x
阈值函数
x
阈值函数
x
Sigmoid函1数0
▲不同的部件可以组成不同的网络
• 石油、天然气： • 机器人： • 有价证券： • 电信： • 交通：
5
生物学的启示
人工神经网络却没 有人脑那么复杂，但它 们之间有两个关键相似 之： 首先，两个网络的构成 都是可计算单元的高度 互连(虽然人工神经元比 生物神经元简单得多)。 其次，处理单元之间的 连接决定了网络的功能。
6
●神经元网络的简化模型
j1
k1
8
式中 aij 和bik 为权系数，i,j =1,2,…,n, k= 1,2,…m. n 个加法器可以写成向量形式：
v(t)A(ty )B(tu )w v —— N维列向量 A ——N×N维矩阵 y —— N维列向量（单元输出） B ——N×M维矩阵 u —— M维列向量（外部输入） w —— M维常向量
wkoj(t1)wkoj(t)pokOpk j wkhj(t 1) whji(t)pojxp j
改变训练样板
No 训练样终止？ y 迭代次数加1
No
迭代终止？
y BP算法的基本流程19
重要结论
具有至少一个隐层的多层前馈网络，如果隐层 单元足够多，那么，利用扁平激励函数和线性多 项式集成函数，可以对任意感兴趣的函数逼成到 任意精度。
输出层
隐层
信息流
来自百度文库
t pk
· · ·
t pm
16
隐层节点j输出和输入节点p的关系：
Shpj whjixpi
Ohpj fjh(Shpj)
i
输出节点k和隐层输出节点p的关系：
Sopk wkojOhpj j
Oopk fko(Sopk)
学习过程： 定义输出误差 pk
pk(tpkOopk)
17
学习的目的是要使以下定义的误差平方和最小：